CN101809999B - 声音信号控制装置 - Google Patents

声音信号控制装置 Download PDF

Info

Publication number
CN101809999B
CN101809999B CN200780100829.7A CN200780100829A CN101809999B CN 101809999 B CN101809999 B CN 101809999B CN 200780100829 A CN200780100829 A CN 200780100829A CN 101809999 B CN101809999 B CN 101809999B
Authority
CN
China
Prior art keywords
data
disappearance
change
situation
input data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200780100829.7A
Other languages
English (en)
Other versions
CN101809999A (zh
Inventor
大柜敏郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Client Computing Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN101809999A publication Critical patent/CN101809999A/zh
Application granted granted Critical
Publication of CN101809999B publication Critical patent/CN101809999B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)

Abstract

提供一种声音信号控制装置，在一致程度较高的动态图像持续的情况下，对声音输出进行无声化并切换再现速度，由此抑制噪声的产生。为此，声音及动态图像的再现装置确定变更包括动态图像信号和声音信号在内的输入数据的再现速度，当在所述再现中所述变更确定部确定了变更为不同的再现速度的情况下，将动态图像的一致程度为预定值以上的期间检测为切换时机，根据所述输入数据再现声音和动态图像，在由所述变更确定部确定了变更再现速度的情况下，在所述切换时机切换再现速度，在所述切换时机对基于所述声音信号的声音输出进行无声化。

Description

声音信号控制装置
技术领域
本发明涉及对动态图像再现时的声音输出进行控制的技术。
背景技术
在将动态图像变倍为倍速或慢速等1倍速以外的速度进行再现时，配合该动态图像也控制声音的输出。因此，在将再现速度从变倍恢复(切换)为1倍的情况下，也进行使声音输出恢复为通常状态的控制。此时，如果音量和声音的频率存在较大变动，则有时产生噪声。
为了避免产生该噪声，提出了在切换再现速度时等待无音期间来执行切换的方法。
另外，作为与本申请发明相关联的现有技术，例如有下述专利文献公开的技术。
专利文献1：日本特开2004-214902号公报
专利文献2：日本特开平06-337696号公报
专利文献3：日本特开平07-212319号公报
但是，在按照上面所述等待无音期间来进行再现速度的切换的情况下，在通常的动态图像中，BGM(back ground music：背景音乐)和效果声音在不断地输出，达到完全无音是很少见的，所以存在不能在合适的时机进行切换的问题。
发明内容
本发明提供一种技术，在一致程度较高的动态图像持续的情况下，类推为声音输出的变动比较小，在该时机使声音输出无声化，并切换再现速度，由此抑制噪声的产生。
为了解决上述问题，本发明采用下述结构。
即，本发明的声音信号控制装置具有：变更确定部，其确定变更包括动态图像信号和声音信号在内的输入数据的再现速度；切换检测部，其在所述再现中所述变更确定部确定了变更为不同的再现速度的情况下，将动态图像的一致程度为预定值以上的期间检测为切换时机；再现部，其根据所述输入数据再现声音和动态图像，在由所述变更确定部确定了变更再现速度的情况下，在所述切换时机切换再现速度；以及声音控制部，其在所述切换时机对基于所述声音信号的声音输出进行无声化。
所述切换检测部也可以对动态图像信号中的N帧和从该N帧起直到预定帧之后的N+x帧进行比较，在一致程度为预定值以上的情况下，将从N+1帧到N+x帧检测为切换时机。
也可以在所述变更确定部从小于1倍的再现速度变更为1倍速度、或者从超过1倍的再现速度变更为1倍速度的情况下，所述声音控制部对声音输出进行无声化。
所述声音信号控制装置也可以还具有：缺失检测部，其检测所述输入数据的缺失；和替代数据生成部，在由所述缺失检测部检测到所述输入数据的缺失的情况下，把除检测到缺失的部分之外的、缺失部分前面的输入数据及后面的输入数据中的至少任一方输入数据，作为将该输入数据涉及的再现时间和该缺失部分涉及的再现时间相加而得到的再现时间的量的数据进行平均化，由此生成替代数据，在由所述缺失检测部检测到所述输入数据的缺失的情况下，所述变更确定部确定变更为小于1倍的再现速度，所述再现部根据所述替代数据再现声音和动态图像，在所述缺失检测部不再检测到所述输入数据的缺失的情况下，所述变更确定部确定变更为1倍的再现速度。
另外，本发明的声音信号控制方法使声音及动态图像的再现装置执行以下步骤：确定变更包括动态图像信号和声音信号在内的输入数据的再现速度的变更确定步骤；当在所述再现中由所述变更确定步骤确定了变更为不同的再现速度的情况下，将动态图像的一致程度为预定值以上的期间检测为切换时机的步骤；根据所述输入数据再现声音和动态图像，在由所述变更确定步骤确定了变更再现速度的情况下，在所述切换时机切换再现速度的步骤；在所述切换时机对基于所述声音信号的声音输出进行无声化的步骤。
在所述声音信号控制方法中，也可以对所述动态图像信号中的N帧和从该N帧起直到预定帧之后的N+x帧进行比较，在一致程度为预定值以上的情况下，将从N+1帧到N+x帧检测为切换时机。
在所述声音信号控制方法中，也可以在将所述再现速度从小于1倍的再现速度变更为1倍速度、或者从超过1倍的再现速度变更为1倍速度的情况下，对所述声音输出进行无声化。
在所述声音信号控制方法中，还包括：检测所述输入数据的缺失的缺失检测步骤；在由所述缺失检测步骤检测到所述输入数据的缺失的情况下，把除检测到缺失的部分之外的、缺失部分前面的输入数据及后面的输入数据中至少任一方的输入数据，作为将该输入数据涉及的再现时间和该缺失部分涉及的再现时间相加而得到的再现时间的量的数据进行平均化，由此生成替代数据的步骤，在检测到所述输入数据的缺失的情况下，确定变更为小于1倍的再现速度，并根据所述替代数据再现声音和动态图像，在不再检测到所述输入数据的缺失的情况下，确定变更为1倍的再现速度。
另外，本发明也可以是使计算机执行所述声音信号控制方法的声音信号控制程序。此外，本发明还可以是将该声音信号控制程序记录在计算机可以读取的记录介质中的发明。通过使计算机读入并执行该记录介质的程序，能够提供该功能。
其中，计算机可以读取的记录介质指通过电气、磁气、光学、机械或化学作用来存储数据和程序等的信息，并且计算机能够读取的记录介质。作为这种记录介质中能够从计算机上插拔的记录介质，例如有软盘、光磁盘、CD-ROM、CD-R/W、DVD、DAT、8mm带、存储卡等。
另外，作为被固定在计算机中的记录介质，有硬盘和ROM(只读存储器)等。
根据本发明能够提供一种技术，在一致程度较高的动态图像持续的情况下，对声音输出进行无声化来切换再现速度，由此抑制噪声的产生。
附图说明
图1是表示本实施方式的概况的图。
图2是实施方式的个人计算机的功能结构图。
图3是表示实施方式的个人计算机的具体结构的示例的图。
图4是表示实施方式的替代数据生成处理的概况的图。
图5是表示实施方式的替代数据生成处理的概况的图。
图6是表示在进行图5所示的替代数据生成处理时显示的视频的示例的图。
图7是表示实施方式的信号输出处理的整体流程的流程图。
图8是表示实施方式的替代数据生成处理的流程的流程图。
图9是表示实施方式的替代数据生成处理和再现速度切换处理的流程的流程图。
图10是对应于用户操作的再现速度切换处理的说明图。
图11是声音跳跃噪声的产生原因的说明图。
图12A是声音跳跃噪声的产生原因的说明图。
图12B是声音跳跃噪声的产生原因的说明图。
图13是表示H.264/AVC的数据结构的图。
标号说明
14广播接收部；18操作部；21输出控制部；22感知部；23输出信号生成部；26缓冲存储部；27检测部；28替代数据生成部；40显示部。
具体实施方式
(概况)
在根据包括动态图像信号和声音信号的输入数据来再现动态图像的装置中，在动态图像的再现过程中，有时切换为快进、帧进(コマ送り)等1倍速以外的变倍速度。该情况时，对于声音信号也进行与动态图像的变倍一致的控制。例如，如果是小于1倍的再现速度，则将声音拉长来延长再现时间，如果是1倍以上的再现速度，则省略无音期间等来缩短再现时间，由此进行与动态图像一致的控制。因此，在变更再现速度的情况下，在变更前和变更后声音的状态急剧变化，所以有时产生声音噪声。
在此，参照图11说明由于再现速度的急剧变更而产生的声音跳跃噪声。另外，在以下的说明中，声音信号可以是任何声音的信号，但在电视广播等中，人的语音是主要要素，并且一般是组合了BGM和效果声音的音响，所以为了方便也记述为声音信号、音响信号。同样，也把基于声音信号的声音记述为声音或音响。
在图11中，期间3A是小于1倍速度的低速再现的部分，期间3B是以1倍速度通常再现的部分。“Nxx”表示1秒期间的帧N01～N15。
在期间A，声音的再现速度也是小于1倍速度并降低频率、或者以预定单位对声音进行采样并延长该每个单位的再现时间由此不改变频率地再现声音。无论哪种情况，期间3A的声音和期间3B的声音是不同的状态。图12A和图12B表示以1/2倍的速度再现的声音的频率、和以通常(1倍)速度再现的声音的频率的差异。在图12A、B中，横轴表示频率，纵轴表示声音的大小(dB)。
并且，把从该小于1倍速度的再现变更为1倍速度的点设为“3C”。即，在点3C声音的频率突然变更。以往在该期间不进行无声化。因此，产生较大的声音水平的差异。其中，频率的差距表现为音质的变化，分贝[dB]的差距表现为音量的变化。因此，在出现了具有这些变化的时间时，能够听到声音噪声。
因此，在本实施方式中，如图1所示，在切换再现速度时使声音输出无声化，而抑制噪声的产生。图1是本实施方式的概况的说明图。
首先，在根据输入数据来再现动态图像时，通过用户的操作或装置来确定再现速度的变更。例如，确定从变倍速度向1倍速度的切换。
该情况时，查找输入数据，检测构成动态图像的各个帧(动态图像)的一致程度为预定值以上的期间4C。这样在相同的帧连续的情况下，声音也持续相同状态，能够类推到变化较小，所以把该期间设为再现速度的切换时机。
并且，在该切换时机进行声音的无声化和再现速度的切换。该无声化和再现速度的切换如图1所示，在无声化开始时101，相对于时间轴逐渐减小声音水平使其成为无声。因此，不会突然成为无声，不会产生因此形成的声音噪声。
然后，进行再现速度的切换102，使声音水平逐渐增大，并解除无声化103。
在该切换时机，在N帧和从(N+1)帧起到(N+5)帧(在图中为N06～N10)，预定以上数量的画面是一致的，所以没有急剧的声音的声压或频率的变动。即，此时是持续相同的场景，所以不存在爆发音等剧烈的声音切换。因此，即使通过应用程序生成暂时性的无音区间，在视听该动态图像时也不会产生不协调感。因此，即使在较短的期间开始无声化以及解除无声化，也不会被识别成为噪声。
因此，根据本实施方式，能够抑制噪声的产生，并适时地进行再现速度的切换。
此处记述的预定以上的动态图像一致，不是已确定的值，而是由应用程序(声音控制程序)的设计者根据其再现内容而设定的。
例如，对构成动态图像的各个帧以像素单位进行比较，根据预定值(在本例中为90％)以上的像素是否一致来进行判定。即，在一致程度为90％以上的视频持续的情况下，把再现速度切换为1倍。
(实施方式1)
下面，说明作为具有数字电视(单频段：one segment)广播的视听功能的计算机(个人计算机)进行实施时的实施方式。下述的实施方式的结构只是示例，本实施方式不限于实施方式的结构。
在单频段再现中，作为动态图像数据的压缩编码方式采用H.264/AVC(1.2级，320×240或320×180，最小帧间隔1/15秒)。在该方式中，关于根据被压缩的动态图像数据生成图片的方法，采用基于帧间预测的图片生成。
图13是表示H.264/AVC的数据结构的图。在H.264/AVC的数据中包括：包含与序列整体的编码相关的信息在内的头即SPS(SequenceParameter Set：序列参数集)；表示图片整体的编码模式的头即PPS(Picture Parameter Set：图片参数集)；在必要时附加的SEI(Supplemental Enhancement Information：辅助增强信息)、IDR图片(Instantaneous Decoding Refresh Picture：即时解码刷新图片)等。在单频段广播中，根据3张以内的参照图片进行帧间预测，生成P图片(Predictive Picture：预测图片)。并且，利用IDR图片划分而形成的一个整体的帧组被称为GOP(Group Of Picture：图片组)。在本实施方式中，原则上GOP设为1秒再现时间内的15帧。
本实施方式的个人计算机是具有单频段广播的接收调谐器和解码单元，在显示部(显示器)上显示基于解码后的视频信号的图像，并基于解码后的音响信号进行音响的再现，由此能够视听单频段广播的个人计算机。在这种个人计算机中，根据由设于个人计算机的设备自身发出的电波和周围的电波状况等，可能存在帧的接收等暂时失败，数据产生缺失的情况。
其中，在以往的单频段广播视听装置中，在数据产生缺失的情况下，产生直接输出信息不足的视频或音响、或者不能输出视频或音响(中断)的问题。
因此，本实施方式的个人计算机缓冲存储相当于3秒再现时间的数据(即不从计算机上的存储器中删除)，同时进行延迟输出，在动态图像数据或音响数据存在缺失的情况下，根据缓冲存储的数据进行慢速再现，由此不会在缺失部分产生视频中断和/或声音中断等。
即，根据本实施方式的个人计算机，在动态图像数据或音响数据产生缺失的情况下，也能够输出能够显示几乎不会给视听者带来不协调感的视频、能够再现几乎不会给视听者带来不协调感的音响的视频信号和音响信号，而不会输出信息不足的视频，也不会视频中断或声音中断。
在本实施方式中，将所缓冲存储的输入数据的量设为在换算成再现动态图像和音响的时间时的3秒。例如，在动态图像数据中，单频段广播是每秒15帧，所以大致缓冲存储45帧的动态图像数据。优选该缓冲存储量和延迟时间尽可能多，但考虑到实际视听时延迟的允许范围和个人计算机中能够确保的存储区域的容量，在本实施方式中设为3秒。但是，关于该缓冲存储量和延迟时间，优选根据每个实施方式适当设定为最合适的值。例如，使结束常驻的应用程序和不必要的应用程序，或者不将主存储器的一部分用作视频存储器(设置独立的视频存储器)，由此增大能够确保的主存储器的容量，增加缓冲存储量等。
并且，本实施方式的个人计算机利用该缓存器进行3秒钟的延迟输出。通过进行延迟输出，在由于数据的缺失使得动态图像数据或音响数据缺失的情况下，也能够通过慢速再现所缓冲存储的未输出的数据来对缺失部分的视频或音响进行插值，而不会直接输出存在缺失的视频信号或音响信号。
(个人计算机的功能结构)
图2是本实施方式的个人计算机10的功能结构图。本个人计算机10具有：操作部18，其接受用户的操作来操作个人计算机10；感知部22，其感知操作部18的操作；广播接收部14，其接收电视广播；信号输出装置10A，其根据由广播接收部14输出的数据，向显示部(包括声音输出部)40输出解码后的视频信号和音响信号；以及显示部40，其根据所输入的视频信号，显示由广播接收部14接收到的广播节目。
另外，信号输出装置10A具有：缓冲存储部26，其存储一定量的由广播接收部14输出的数据；输出信号生成部23，其对由广播接收部14输出的数据进行解码，由此生成视频信号和音响信号；检测部(缺失检测部)27，其检测数据的缺失；替代数据生成部28，其在由检测部27检测到缺失的情况下生成替代数据；输出控制部(相当于再现部)21，其向显示部40输出视频信号和音响信号；变更确定部31，其确定输入数据的再现速度的变更；切换检测部32，其检测切换时机；以及声音控制部33，其使声音输出无声化。
这些各个功能部能够利用包括CPU、存储器等的计算机和在计算机上执行的程序实现。
其中，操作部18是计算机的输入装置、基于红外线感光部和红外线遥控器的组合的遥控操作部、频道操作用的旋钮、操作按钮等。
感知部22通过操作部18与CPU的接口、处理接口的信号的装置驱动器、和通过装置驱动器与操作部18之间收发信号的OS(操作系统)，感知对操作部18的操作(例如接收频道的切换)。但是，也可以设置专用的硬件作为感知部22。例如，可以设置操作部用的输入信号处理电路来分担CPU的处理。关于这种处理电路，已经公知有键盘控制器、鼠标控制器等。
并且，例如也可以另外设置处理来自操作部18的信号的专用的输入控制处理器。输入控制处理器可把操作部18的信号转换为预定的信号，并向输出控制部21传递信号。
广播接收部14是所谓单频段调谐器。广播接收部14通过天线接收广播波，输出基于接收到的广播波的数据流(例如TS信号)。
输出信号生成部23直接或通过缓冲存储部26获取由广播接收部14输出的数据，根据获取的数据生成视频信号和音响信号。输出信号生成部23也可以构成为在CPU上执行的计算机程序。并且，输出信号生成部23也可以构成为专用处理器，其根据输入数据生成视频信号和音响信号，并输出所生成的视频信号和音响信号。
缓冲存储部26临时存储所输入的数据。缓冲存储部26受理由广播接收部14输出的数据的输入，并缓冲存储相当于3秒再现时间的输入数据。缓冲存储部26可以构成为由在CPU上执行的计算机程序控制的有备份电源的易失性存储器、闪存等非易失性存储器、硬盘或可移动介质等的记录介质。另外，缓冲存储部26也可以构成为缓冲存储所输入的输入数据的专用存储器。
输出控制部21具有与显示部40的接口，控制输出给显示部40的视频信号和音响信号。输出控制部21按照由感知部22感知到的信号，向显示部40输出由输出信号生成部23生成的视频信号和音响信号。此时，输出控制部21在从接收到广播的时间起延迟3秒进行输出。并且，输出控制部21根据由变更确定部31通知的再现速度来控制输出。即，如果小于1倍速度，则延长各个帧的输出时间，如果是1倍速度以上，则对帧进行间疏等，来变更动态图像的再现速度。随之，音响信号也配合动态图像而被延长或间疏。输出控制部21可以构成为在CPU上执行的计算机程序。另外，输出控制部21也可以构成为输出视频信号和音响信号的专用处理器。
检测部27监视由广播接收部14输入的数据(输入数据)的完整性，检测数据的缺失。在检测到缺失的情况下，检测部27确定产生了缺失的数据块(如果是动态图像则指GOP)，并通知替代数据生成部28和变更确定部31。替代数据生成部28接收到该通知，开始替代数据生成处理。
替代数据生成部28在由检测部27通知了数据缺失的情况下，获取转换用数据块，并对其进行平均化处理，由此生成用于对缺失部分的视频或音响进行插值的替代数据。关于替代数据生成部28的具体处理，将使用图4和图5来说明。并且，显示部40是所谓监视器和扬声器，接收由输出控制部21输出的视频信号和音响信号的输入，显示视频、再现音响。
变更确定部31根据用户的操作或变更确定部31的通知，确定包括动态图像信号和声音信号在内的输入数据的再现速度的变更。例如，在用户通过对操作部18的操作指示了快进或慢速再现等的变倍时，变更确定部31根据由感知部22感知到的该指示，确定再现速度并通知输出控制部21。并且，在由检测部27检测到数据缺失的情况下，利用替代数据对动态图像进行平均化，成为小于1倍的再现速度，因此，根据缺失的帧数量求出该再现速度，并通知输出控制部21。并且，在检测部27不再检测到数据的缺失的情况下，将再现速度确定为1倍，即确定返回(变更)为1倍速度，并通知输出控制部21。
当在所述再现过程中所述变更确定部确定变更为不同的再现速度的情况下，切换检测部32查找视频信号，并检测帧(动态图像)的一致程度为预定值以上的期间作为切换时机。关于该一致程度的检测，例如以像素单位对由输出信号生成部23生成的视频信号中、某个帧(N帧)和从该N帧起到预定帧之后的N+x帧进行比较，并求出相关，在一致程度为预定值以上(例如90％以上)的情况下，把从N+1帧到N+x帧检测为切换时机。并且，监视由广播接收部14接收到的输入数据中、IBP帧的P图片的数据量(差分量)，求出连续的预定数量(例如5张)P图片的数据量为预定数量以下或者在GOP内达到最少的期间，把基于该期间的图片的N+1帧到N+x帧的再现期间设为切换时机。
声音控制部33根据由所述切换检测部32检测到的切换时机，使基于所述声音信号的声音输出无声化。具体地讲，也可以构成为使从输出控制部21输出给显示部40的扬声器的音响信号衰减，还可以构成为将无声化的时机通知给输出控制部21，使音响信号进行无声化。
(个人计算机的结构)
图3是表示本发明的一个实施方式的个人计算机10的具体结构的示例的图。如图3所示，个人计算机10具有：CPU 11，其执行计算机程序，并控制个人计算机10；存储器12，其存储由CPU 11执行的计算机程序或由CPU 11处理的数据；接口13，其将CPU 11与各种装置连接；以及通过接口13连接的广播接收部14、通信部15、硬盘驱动装置16、可移动式介质驱动装置17、操作部18、和显示部40等装置。
其中，CPU 11执行计算机程序(声音信号控制程序等)，并控制个人计算机10的各个部分，由此使个人计算机10作为具有以下各个功能部的装置发挥作用：感知部22、广播接收部14、输出控制部21、输出信号生成部23、缓冲存储部26、检测部27、替代数据生成部28、输出控制部21、变更确定部31、切换检测部32、和声音控制部33等。存储器12存储由CPU 11执行的程序和由CPU 11处理的数据。存储器12包括易失性的RAM(Random Access Memory：随机存取存储器)和非易失性的ROM(Read Only Memory：只读存储器)。ROM包括闪存、EPROM(ErasableProgrammable Read-Only Memory：可擦可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory：可电气擦写可编程只读存储器)那样能够改写的半导体存储器。
接口13可以是USB等串行接口，或者是PCI(Peripheral ComponentInterconnect：外围设备互连总线)、ISA(Industry StandardArchitecture：工业标准体系结构)、EISA(Extended ISA)、ATA(ATAttachment)、IDE(Integrated Drive Electronics：集成电子驱动器)、IEEE1394、SCSI(Small Computer System Interface：小型计算机系统接口)等任一种并行接口。
另外，在图3中记述为接口13，但也可以利用不同的接口将CPU 11与各个装置之间连接。并且，也可以桥接多个接口。
广播接收部14是单频段广播用的电视调谐器。广播接收部14除了包括调谐电路和放大器的高频部之外，还包括数字信号的解码器(OFDM(Orthogonal Frequency Division Multiplexing：正交频分复用)的解调器)等。
其中，高频部把高频的电磁波转换为基带信号。并且，OFDM的解调器包括FFT(Fast Fourier Transform：快速傅立叶变换)处理电路和正交解调器，根据基带信号生成数字信号。这些处理也可以构成为执行积和运算的专用的数字电路。并且，还可以由DSP那样的处理器和程序构成。另外，也可以采用按照电视广播的标准制造并销售的解调用LSL。
通信部15是与宽带网络的接口。宽带网络例如可以是LAN(LocalArea Network：局域网)、有线电视网络、xDSL(x Digital SubscriberLine：x数字用户线)、ADSL、光网等有线网络，或者是无线LAN、固定无线接入(FWA)等能够无线接入的网络。通信部15例如从网络上的服务器获取安装在硬盘驱动装置16上的计算机程序、和电视广播的电子节目表等。这些宽带网络一般能够与互联网连接。
硬盘驱动装置16存储载入在存储器12中的程序。并且，硬盘驱动装置16存储由CPU 11处理的数据。
另外，硬盘驱动装置16不限于1台，也可以设置多台。并且，例如硬盘驱动装置16可以由网络上的其他计算机、例如盘服务器管理。该情况时，CPU 11可以通过通信部15与盘服务器通信。并且，CPU 11可以在显示部40上显示从盘服务器获取到的EPG等。
可移动式介质驱动装置17例如是CD(Compact Disc：光盘)、DVD(Digital Versatile Disk：数字光盘)、HD-DVD、蓝光光盘等的驱动装置。并且，可移动式介质驱动装置17也可以是具有闪存等非易失性存储器的卡介质的输入输出装置。可移动式介质驱动装置17驱动的介质，例如保存安装在硬盘驱动装置16中的计算机程序、输入数据等。
操作部18是计算机的输入装置，例如键盘、指向装置等。并且，作为操作部18，包括基于红外线感光部与红外线遥控器的组合的遥控操作部、和各种开关、频道操作用的旋钮等。指向装置的类型没有特别限定，可以根据个人计算机10的特性、用户的用途等采用合适的装置，例如鼠标、轨迹球、拨号式操作部、以操纵杆形式移动显示部40上的指针的装置、利用静电容量来检测用户手指的操作的装置、触摸屏、操纵杆等。
键盘根据用户的输入操作，向未图示的键盘控制器发送与所输入的键对应的电信号。键盘控制器向CPU 11发送与该电信号对应的编码。
指向装置检测用户操作，向未图示的指向装置控制装置(例如未图示的鼠标控制器或接口13等)发送操作信号。接收到操作信号的指向装置控制装置向CPU 11发送用于生成操作方向及操作量的信息。CPU 11的指向装置驱动器根据来自指向装置控制装置的操作信号，在显示部40的画面上显示指针，并使其在画面上移动。
并且，CPU 11的OS判定指针与画面上的对象(窗口、按钮、菜单、列表等)的位置关系。并且，把位于指针所处位置的对象设为选择状态或聚焦状态。另外，通过针对指向装置的选择确定操作、例如按下鼠标键，确定该对象的选择。
显示部40例如是液晶显示装置、等离子显示面板、CRT(Cathode RayTube)、电致发光面板等。另外，虽然没有图示，在显示部40中包括存储图像数据的RAM、和根据RAM的数据来驱动显示部40的驱动电路。其中，存储图像数据的RAM、驱动显示部40的驱动电路等，可以独立设置为图像处理基板。该情况时，将来自CPU 11的构成画面信息的数据输入图像处理基板。
并且，在显示部40中附带有扬声器(声音输出部)，输出基于由输出控制部21输出的音响信号的音响、以及从硬盘驱动装置16或可移动式介质驱动装置17读出并由未图示的声音合成基板再现的声音。声音合成基板例如把MP3等的数字数据转换为声音。
本发明的信息设备能够构成为以上所述的个人计算机10。但是，本发明的信息设备不限于个人计算机，也可以是具有同等功能的其他装置、例如电视接收装置。并且，能够利用电视广播接收用的调谐器、机顶盒、带电视广播接收功能的便携电话、便携式信息终端(PDA)、游戏机、带电视广播接收功能的车载设备等实现。
图4是表示本实施方式的替代数据生成处理(1)的概况的图。替代数据生成处理由替代数据生成部28执行。图4(a)表示接收到正常的输入数据并输出的状态。图中的长方形表示1秒的量的数据块，按照N1、N2、N3…的顺序输入。本实施方式的个人计算机缓冲存储有3秒的量的数据，所以在被输入N4时，输出在3秒前输入的N1。
图4(b)表示从(a)所示状态起1秒之后的状态。其中，在所输入的N5的数据不正常的情况下，如果在该状态下继续处理，则导致3秒后输出不正常的数据。因此，在本实施方式中，把位于不正常的N5后面、而且位于当前的输出点即N2前面的数据块N3和N4平均成为N3-N5的替代品即替代数据块M3-M5。
图4(c)表示从(b)所示状态起1秒之后的状态。其中，取代N3，输出根据M3生成的输出信号(视频信号和音响信号)。所输出并再现的动态图像和音响成为没有进行替代数据生成处理(1)时的2/3的速度的慢速再现。以后，连续输出M4、M5。关于输出并显示M4和M5的动态图像和音响，也是正常时的2/3的速度的慢速再现。
通过上述说明的替代数据生成处理(1)，能够对相当于缺失数据块的再现时间进行插值。但是，如果在这种状态下返回通常的再现处理、进行基于所输入的数据的输出，则导致相当于缺失数据块(图4中的N5)的动作被跳过，并且由于从通常时的2/3倍的速度的慢速再现瞬时返回到通常时的等倍速度的再现，导致对视听所显示的动态图像和音响的视听者带来的不协调感增大。因此，在本实施方式中，在替代数据生成处理(1)之后，执行以下说明的替代数据生成处理(2)。
图5是表示本实施方式的替代数据生成处理的概况的图。并且，图6是表示在进行了图5所示的替代数据生成处理时显示的视频示例的图。在图5所示的处理中，假设在替代数据生成处理(1)中，N3缺失，N1和N2被平均成为M1-M3。在此，虽然输入了正常的N4，但由于上述原因对视听者带来的不协调感增大，所以不能直接输出数据块N4。替代数据生成部28把通过替代数据生成处理(1)被平均后的替代数据块M2、M3和数据块N4的数据，平均到替代数据块M4中。另外，在进行平均化处理时，与缺失数据块N3相关的图片或音响，通过伴随平均化处理产生的预测处理而生成。例如，在动态图像数据的平均化处理中，通过与前面叙述的帧间预测相同的预测处理，插补所缺失的动作(帧)。
此时，替代数据块M2和M3的信息量与通常的数据块相比是它的2/3，M4的信息量是通常的数据块的(2/3+2/3+1)/3＝7/9倍。即，基于M4的输出成为没有进行替代数据生成处理时的7/9倍速度的慢速再现。该速度与再现基于M1到M3的输出信号时的感观速度是通常时的2/3倍相比，还是稍快的。以后，利用相同的方法，进行向替代数据块M5、M6的平均化处理。此时，只要输入数据没有再次产生缺失，在平均化处理中使用的新的输入数据始终具有等倍于通常时的信息量，所以替代数据块逐渐接近通常的信息量，即接近通常速度(参照图6)。在本实施方式中，替代数据块M5是通常时的23/27倍的信息量(速度)，替代数据块M6是通常时的73/81倍的信息量(速度)(参照图5的计算式)。
另外，在图5所示的计算式中，对再计算得到的替代数据块附加“’(撇)”进行表示。例如，在生成替代数据块M5时使用的M3’是在伴随生成替代数据块M4时的平均化处理中生成的数据块。因此，M3’的信息量是通常时的7/9倍，与替代数据块M3的信息量是通常时的2/3倍不同。
即使通过上述替代数据生成处理(2)追加新输入数据，同时进行向替代数据块的平均化处理，只要替代数据块的生成方法是数据的平均化处理，则所生成的替代数据块的信息量就不会等倍于通常时。即，导致感观上的再现速度追不上通常再现速度的状态持续。因此，在本实施方式中，在再现速度到达预定速度(例如73/81倍)以上的情况下，监视构成动态图像的帧的一致程度，把一致程度为预定值(例如90％)以上的帧连续预定数量(例如5帧)的期间检测为切换时机，在该切换时机变更为1倍速度。把该动作称为替代数据生成处理(3)。例如，根据图5的示例，由于在替代数据块M6达到73/81倍速度，所以查找数据块N7的帧，以像素单位对某个帧(N帧)和自该N+1开始的帧进行比较，一直比较到自一致程度为90％起的预定帧之后的N+x帧，并求出相关，在一致程度为预定值(例如90％)以上的情况下，把从N+1帧到N+x帧检测为切换时机。
在检测到该切换时机的情况下，如前面所述，对声音输出进行无声化，并切换为1倍速度。以后，不进行替代数据生成处理，而输出基于输入数据的输出信号，直到下一次检测到数据的缺失为止。
(处理流程)
图7～图9表示个人计算机10的处理流程。图7是表示本实施方式的信号输出处理的整体流程的流程图。本流程图所示的信号输出处理通过由感知部22接收操作部18的电视视听开始操作，并由感知部22向输出控制部21输出信号输出处理的开始指示而执行。
在步骤S101中，缓冲存储由广播接收部14输出的3秒的数据。缓冲存储部26对由广播接收部14输出的数据缓冲存储相当于3秒再现时间的数据。然后，处理转入步骤S102。
在步骤S102中，生成输出信号。输出信号生成部23从缓冲存储部26获取输入数据，根据获取到的输入数据生成视频信号和音响信号。其中，所说视频信号是包括动态图像显示所需要的各个帧的图片的信息。然后，处理转入步骤S103。
在步骤S103中，视频信号被延迟输出。输出控制部21在缓冲存储了3秒的输入数据的状态下，在从接收到广播的时间起延迟3秒后，将由输出信号生成部23生成的视频信号和音响信号输出给显示部40。即，输出控制部21利用缓冲存储部26进行3秒钟的延迟输出。然后，处理转入步骤S104。
在步骤S104中，监视数据的缺失。检测部27监视由缓冲存储部26缓冲存储的输入数据中是否存在信息不足的数据块、即有无数据的缺失。在没有发现数据缺失的情况下，反复进行步骤S101～步骤S104所示的处理。在发现了数据缺失的情况下，处理转入步骤S105。
在步骤S105中，判定存在缺失的数据块是否为1个(即1秒的量)。检测部27确定包括在步骤S104中检测到的缺失部分的数据块，并通知替代数据生成部28和变更确定部31。并且，接收到缺失通知的变更确定部31，判定包括该缺失部分的数据块是否是1个。在此，在判定为所缺失的数据块是1个时，确定变更为慢速再现(在本示例中为2/3倍)的再现速度，并转入步骤S108。另一方面，在所缺失的数据块不是1个(2个以上)时，将该情况通知给输出控制部21，并转入步骤S106。
在步骤S106中，显示表示不能进行正常显示的信息。输出控制部21检测到在替代数据生成部28中不能生成替代数据的情况，向显示部40输出包括不能进行正常显示的信息的视频信号。接收到该信号，在显示部40显示不能进行正常显示的信息，视听者能够得知处于因某种原因而不能进行视听的状态。然后，处理转入步骤S107。
在步骤S107中，进行待机处理直到接收到正常数据。在由广播接收部14接收到正常数据的情况下，处理转入步骤S101，再次开始视频的输出和显示。
在步骤S108中，进行替代数据生成处理。替代数据生成部28从由缓冲存储部26缓冲存储的输入数据中，获取位于缺失数据块的后面、而且位于与输出控制部在该时刻的输出相关的数据块前面的数据块，作为转换用数据块，把该转换用数据块平均成为相当于对转换用数据块的再现时间(在本实施方式中为2秒)加上缺失部分的数据块的再现时间(在本实施方式中为1秒)而得到的再现时间(在本实施方式中为3秒)的替代数据块，进行替代数据的生成。关于替代数据生成处理的具体情况，将在后面使用图8进行说明。然后，处理转入步骤S101。
图8、9是表示本实施方式的替代数据生成处理的流程的流程图。本流程图所示的替代数据生成处理相当于图7所示的步骤S108。
在步骤S201中，获取转换用数据块。替代数据生成部28从由缓冲存储部26缓冲存储的输入数据中，获取缺失数据块的前一个及前面第二个的数据块(即2秒的数据块)，作为转换用数据块。使用图4的示例进行说明，在数据块N5缺失的情况下，获取N3和N4作为转换用数据块。然后，处理转入步骤S202。
在步骤S202中，判定所获取的转换用数据块是否能够使用。替代数据生成部28判定在步骤S201中获取到的转换用数据块能否用于生成替代数据的正常的数据块。在判定为所获取的转换用数据块包括数据的缺失部分等不能用作转换用数据块的情况下，处理转入步骤S213。在判定为所获取的转换用数据块能够用作转换用数据块的情况下，处理转入步骤S203。
在步骤S203中，将作为转换用数据块所获取的2秒的数据块平均成为3秒的替代数据块。替代数据生成部28把作为转换用数据块所获取的2秒的数据块，平均成为相当于对转换用数据块的再现时间(在本实施方式中为2秒)加上缺失部分的数据块的再现时间(在本实施方式中为1秒)而得到的再现时间(在本实施方式中为3秒)的替代数据块。根据图4的示例，将合计2秒(2块)的数据块N3和N4平均成为3秒的替代数据块M3、M4、M5。然后，处理转入步骤S204。
在步骤S204中，输出基于替代数据块的视频信号。替代数据生成部28根据在步骤S203得到的替代数据块M3、M4、M5，生成输出信号。所生成的输出信号作为视频信号和音响信号，由输出控制部21依次输出给显示部40。然后，处理转入步骤S205。
在步骤S205中，获取下一个数据块。替代数据生成部28从缓冲存储部26获取成为下一个输出对象的数据块。然后，处理转入步骤S206。
在步骤S206中，变更确定部31判定再现速度是否达到预定值(例如73/81倍)。在此，预定值被设定为即使结束慢速再现也不会使视听者产生不协调感的程度的值。在是预定值以上的再现速度的情况下，变更确定部31确定变更为1倍速度，并转入步骤S209。另一方面，在再现速度小于预定值的情况下，变更确定部确定转入步骤S207，进行替代数据生成处理(2)来提高速度，即，使再现速度接近1倍。
在步骤S207中，获取下一个的转换用数据块。替代数据生成部28获取在前一次的替代数据生成处理中得到的3个替代数据块中前面(即接近输出对象数据块一侧)的两个替代数据块。根据图5的示例，为了得到取代在步骤S205获取的数据块N4而输出的替代数据块M4，替代数据生成部28获取在前一次的替代数据生成处理中得到的替代数据块M2和M3。然后，处理转入步骤S208。
在步骤S208中，转换用数据块和输出对象数据块被平均化为3秒的量的替代数据块。替代数据生成部28对在步骤S205和步骤S207中获取的数据块进行平均化处理，由此得到取代下一个输出对象数据块而输出的替代数据块。根据图5的示例，为了得到取代数据块N4而输出的替代数据块M4，替代数据生成部28获取数据块N4、在前一次的替代数据生成处理中得到的替代数据块M2和M3，对这3个数据块进行平均化处理，由此得到替代数据块M4，该替代数据块M4在与前面刚刚输出的替代数据块M3连续输出的情况下，也不会对视听者造成不协调感。然后，处理转入步骤S204。
然后，反复进行替代数据生成处理(2)，当在步骤S206中判定为再现速度为预定值以上的情况下，在步骤S209中，切换检测部32查找在步骤S205中获取到的数据块(例如N7)，并检测该数据块的各个帧(动态图像)的一致程度为预定值以上的期间(S210)。这样在相同的帧持续的情况下，声音也持续相同的状态，能够类推为变化比较小，所以把该期间设为再现速度的切换时机。另外，在未能检测到切换时机的情况下，转入步骤S207，进行替代数据生成处理(2)，查找下一个数据块(S209)，并再次检测切换时机。
并且，在该检测到的期间内，即在再现一致程度为预定值以上的帧时，开始无声化(S211)，将再现速度切换为1倍(S212)，然后解除无声化(S213)。即，在此替代数据生成处理结束，进行通常的输出处理，直到以后再次产生数据缺失。然后，本流程图所示的处理结束，转入图7中的步骤S101。
(变形例)
另外，在本实施方式中，输入数据具有1秒单位的数据块，进行3秒的量的缓冲存储，替代数据生成是按照3块单位进行的，但这些数值优选根据实施方式适当选择最合适的值。例如，在输入数据具有0.5秒单位的数据块的情况下，如果把缓冲存储时间设为2秒、把替代数据生成设为4块单位，则因数据缺失而生成的替代数据块的初始信息量是通常时的3/4倍，能够进行更加不易使视听者产生不协调感的插值。
在图7～图9中，关于图2所示的个人计算机10的内部构成要素、即感知部22、广播接收部14、输出控制部21、输出信号生成部23、缓冲存储部26、检测部27、替代数据生成部28及输出控制部21等，示出了利用由CPU 11执行的程序来实现的示例。但是，也可以取代这种结构，如在(个人计算机的结构概况)中说明的那样，利用与CPU 11不同的处理器、硬件电路等实现个人计算机10的内部结构中的任意一个以上的结构。即，根据CPU 11的处理能力和处理量，可以利用不同的处理器或数字电路构成图2中的各个构成要素。在也包括除CPU 11之外的处理器或数字电路的情况下，那些处理步骤与图7和图8所示的步骤相同。即，本实施方式的个人计算机10能够实现为CPU 11的程序、或者利用专用处理器或者专用的数字电路实现。
(基于用户操作的再现速度的切换示例)
在上述的示例中，在感知数据的缺失而自动检测到再现速度的切换的情况下使声音输出无声化，但也可以在根据用户操作来切换再现速度的情况下，进行声音输出的无声化。
图10是与用户操作对应的切换方法的说明图。
首先，起动装置并根据输入数据再现动态图像(S301)。
然后，感知部22感知用户的操作、例如再现(1倍)、快进、慢速再现的按钮被按下等，并通知给变更确定部31(S302)。
如果所通知的操作是与当前的再现速度不同的速度的再现，变更确定部31确定变更再现速度，并通知切换检测部32和输出控制部22(S303)。例如，通知从变倍速度向1倍速度、从1倍速度向变倍速度、从变倍速度向不同的变倍速度的切换。
以该通知为契机，切换检测部32查找输入数据(S304)，把构成动态图像的各个帧(动态图像)的一致程度为预定值以上的期间检测为切换时机，并将切换时机通知给输出控制部22(S305)。另外，在未检测到的情况下，返回步骤S304，查找下一个数据块。
并且，在开始这些帧的再现时，声音控制部33开始声音输出的无声化(声音逐渐消失)(S306)，在该无声化开始后，输出控制部22按照来自变更确定部的通知，变更再现速度(S307)。
输出控制部22在该时机，例如从间隔1帧地间疏动态图像信号并以2倍速度再现的状态，变更为不进行间疏而输出全部的帧，成为1倍速度，或者变更为间隔2帧地进行输出，成为3倍速度。或者，从将同一帧各输出两次而以1/2倍速度再现的状态，变更为将各个帧各输出一次而成为1倍速度，或者变更为将各个帧各输出三次而成为1/3倍速度。
在进行该再现速度的切换之后，再现声音控制部33结束声音输出的无声化(声音逐渐增强)(S308)。
这样，根据本示例，在变更再现速度时，在一致程度较高的帧连续的期间内，进行无声化开始、再现速度的切换、以及无声化的解除，所以能够适时地进行切换，而不会产生噪声。
即，由于在声音的无声化过程中进行切换，所以不会产生噪声。并且，不像以往那样等待无音期间，而是检测一致程度较高的帧的连续状态来进行无声化，即生成无音期间，所以能够适时地进行切换。另外，由于检测一致程度较高的帧的连续状态来进行切换，所以能够实现没有不协调感的切换。并且，在一致程度较高的帧连续的情况下，对于声音也持续相同的状态，变动比较小，所以即使在较短的期间内进行无声化开始和无声化解除，不协调感也比较小，不会被识别为噪声。
(其他)
本发明不限于上述的图示例，当然能够在不脱离本发明宗旨的范围内进行各种变更。并且，上述构成要素能够尽可能地进行组合。

Claims (8)

1.一种声音信号控制装置，其具有：
变更确定部，其确定变更包括动态图像信号和声音信号在内的输入数据的再现速度；
切换检测部，在所述再现中所述变更确定部确定了变更为不同的再现速度的情况下，该切换检测部将动态图像的一致程度为预定值以上的期间检测为切换时机；
再现部，其根据所述输入数据对声音和动态图像进行再现，在由所述变更确定部确定了对再现速度进行变更的情况下，在所述切换时机切换再现速度；以及
声音控制部，其在所述切换时机对基于所述声音信号的声音输出进行无声化。
2.根据权利要求1所述的声音信号控制装置，其中，所述切换检测部对动态图像信号中的N帧和从该N帧起直到预定帧之后的N+x帧进行比较，在一致程度为预定值以上的情况下，将N+1帧到N+x帧检测为切换时机。
3.根据权利要求1所述的声音信号控制装置，其中，在所述变更确定部从小于1倍的再现速度变更为1倍速度、或者从超过1倍的再现速度变更为1倍速度的情况下，所述声音控制部对声音输出进行无声化。
4.根据权利要求1～3中任一项所述的声音信号控制装置，其还具有：
缺失检测部，其检测所述输入数据的缺失；以及
替代数据生成部，在由所述缺失检测部检测到所述输入数据的缺失的情况下，把除检测到缺失的部分之外的、缺失部分前面的输入数据及后面的输入数据中的至少任一方输入数据，作为将该输入数据涉及的再现时间和该缺失部分涉及的再现时间相加而得到的再现时间的量的数据进行平均化，由此生成替代数据，
在由所述缺失检测部检测到所述输入数据的缺失的情况下，所述变更确定部确定变更为小于1倍的再现速度，所述再现部根据所述替代数据再现声音和动态图像，在所述缺失检测部不再检测到所述输入数据的缺失的情况下，所述变更确定部确定变更为1倍的再现速度。
5.一种声音信号控制方法，使声音及动态图像的再现装置执行以下步骤：
确定变更包括动态图像信号和声音信号在内的输入数据的再现速度的变更确定步骤；
当在所述再现中由所述变更确定步骤确定了变更为不同的再现速度的情况下，将动态图像的一致程度为预定值以上的期间检测为切换时机的步骤；
根据所述输入数据再现声音和动态图像，在由所述变更确定步骤确定了对再现速度进行变更的情况下，在所述切换时机切换再现速度的步骤；以及
在所述切换时机对基于所述声音信号的声音输出进行无声化的步骤。
6.根据权利要求5所述的声音信号控制方法，其中，对所述动态图像信号中的N帧和从该N帧起直到预定帧之后的N+x帧进行比较，在一致程度为预定值以上的情况下，将N+1帧到N+x帧检测为切换时机。
7.根据权利要求5所述的声音信号控制方法，其中，在将所述再现速度从小于1倍的再现速度变更为1倍速度、或者从超过1倍的再现速度变更为1倍速度的情况下，对所述声音输出进行无声化。
8.根据权利要求5～7中任一项所述的声音信号控制方法，其还包括：
检测所述输入数据的缺失的缺失检测步骤；
在由所述缺失检测步骤检测到所述输入数据的缺失的情况下，把除检测到缺失的部分之外的、缺失部分前面的输入数据及后面的输入数据中的至少任一方输入数据，作为将该输入数据涉及的再现时间和该缺失部分涉及的再现时间相加而得到的再现时间的量的数据进行平均化，由此生成替代数据的步骤，
在检测到所述输入数据的缺失的情况下，确定变更为小于1倍的再现速度，根据所述替代数据再现声音和动态图像，在不再检测到所述输入数据的缺失的情况下，确定变更为1倍的再现速度。
CN200780100829.7A 2007-09-28 2007-09-28 声音信号控制装置 Expired - Fee Related CN101809999B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/069053 WO2009040950A1 (ja) 2007-09-28 2007-09-28 音信号制御装置

Publications (2)

Publication Number Publication Date
CN101809999A CN101809999A (zh) 2010-08-18
CN101809999B true CN101809999B (zh) 2012-07-18

Family

ID=40510863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780100829.7A Expired - Fee Related CN101809999B (zh) 2007-09-28 2007-09-28 声音信号控制装置

Country Status (6)

Country Link
US (1) US8634697B2 (zh)
EP (1) EP2202973A4 (zh)
JP (1) JP5141689B2 (zh)
KR (1) KR101189733B1 (zh)
CN (1) CN101809999B (zh)
WO (1) WO2009040950A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5701017B2 (ja) * 2010-11-09 2015-04-15 キヤノン株式会社 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体
JP6732547B2 (ja) * 2016-06-10 2020-07-29 キヤノン株式会社 撮像装置及びその制御方法
WO2018034371A1 (ko) * 2016-08-19 2018-02-22 스노우 주식회사 동영상 처리 장치, 방법 및 컴퓨터 프로그램
US10722990B2 (en) 2016-09-15 2020-07-28 General Electric Company Method for installing and removing modularized silencer baffles
US10119469B2 (en) 2016-09-15 2018-11-06 General Electric Company Method and apparatus for modularized inlet silencer baffles
CN108278158B (zh) 2017-01-06 2022-05-13 通用电气公司 用于改进的入口消音挡板的系统和方法
CN108278157B (zh) 2017-01-06 2022-08-02 通用电气公司 用于改进的入口消音挡板的系统和方法
JP7490330B2 (ja) 2018-06-27 2024-05-27 三菱重工サーマルシステムズ株式会社 フィルタ清掃ユニット及び空気調和機
JP2022077231A (ja) * 2020-11-11 2022-05-23 キヤノン株式会社 音響処理装置、音響処理方法、およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957600A (zh) * 2004-05-21 2007-05-02 松下电器产业株式会社 通信系统和通信方法
CN1992846A (zh) * 2005-12-30 2007-07-04 乐金电子（南京）有限公司 影像显示装置及其控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06337696A (ja) * 1993-05-28 1994-12-06 Matsushita Electric Ind Co Ltd 速度変換制御装置と速度変換制御方法
JPH0779411A (ja) * 1993-09-06 1995-03-20 Sony Corp 画像信号再生方法および画像信号再生装置、ならびに 画像信号記録媒体
JPH07212319A (ja) * 1994-01-17 1995-08-11 Nec Eng Ltd ディジタル音声信号切替ノイズ抑圧装置
JPH0855384A (ja) * 1994-08-17 1996-02-27 Sony Corp 電子情報装置
JP3602635B2 (ja) * 1995-02-16 2004-12-15 株式会社東芝 音声切換方法および再生装置
KR100254090B1 (ko) * 1995-02-16 2000-04-15 니시무로 타이죠 기록 매체 재생 장치
JP2004214902A (ja) * 2002-12-27 2004-07-29 Matsushita Electric Ind Co Ltd ストリーミング再生携帯端末、ストリーミング再生方法、コンピュータプログラム、並びにコンピュータ読み取り可能な記録媒体
JP4501808B2 (ja) * 2005-08-02 2010-07-14 船井電機株式会社 再生装置
US20090002556A1 (en) * 2007-06-11 2009-01-01 Picongen Wireless Inc. Method and Apparatus for Packet Insertion by Estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1957600A (zh) * 2004-05-21 2007-05-02 松下电器产业株式会社 通信系统和通信方法
CN1992846A (zh) * 2005-12-30 2007-07-04 乐金电子（南京）有限公司 影像显示装置及其控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JP特开2004-214902A 2004.07.29
JP特开平6-337696A 1994.12.06
JP特开平7-212319A 1995.08.11
JP特开平7-79411A 1995.03.20
JP特开平8-55384A 1996.02.27

Also Published As

Publication number Publication date
EP2202973A4 (en) 2012-01-11
JP5141689B2 (ja) 2013-02-13
US8634697B2 (en) 2014-01-21
US20100172633A1 (en) 2010-07-08
EP2202973A1 (en) 2010-06-30
WO2009040950A1 (ja) 2009-04-02
KR101189733B1 (ko) 2012-10-10
KR20100049655A (ko) 2010-05-12
CN101809999A (zh) 2010-08-18
JPWO2009040950A1 (ja) 2011-01-13

Similar Documents

Publication Publication Date Title
CN101809999B (zh) 声音信号控制装置
JPH10224722A (ja) コマーシャル検出装置及び検出方法
JPWO2009081478A1 (ja) 電子装置及びプログラム
JP4735413B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
KR20080096464A (ko) 정보 처리 장치 및 정보 처리 방법, 프로그램, 및 기록매체
US20060002261A1 (en) Data reproduction apparatus having resume reproduction function, and program product for implementing resume reproduction function
US8385431B2 (en) Moving picture data decoding device
JP5093233B2 (ja) 信号出力装置、情報機器、信号出力方法および信号出力プログラム
JP4900246B2 (ja) タイムシフト視聴時に即時に提供すべき放送を優先する放送受信装置
JP2007066409A (ja) 記録再生装置および記録再生方法
US7974518B2 (en) Record reproducing device, simultaneous record reproduction control method and simultaneous record reproduction control program
AU2013272414A1 (en) Apparatus and method for adjusting volume in a terminal
JP2004354677A (ja) 情報処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、再生装置
US7881481B2 (en) Audio processing apparatus and method
JP2005108339A (ja) 情報記録再生装置、情報記録再生方法及び情報記録再生用プログラム並びに情報記録媒体
US20060078276A1 (en) Optical disk recording and reproducing apparatus
JP4232744B2 (ja) 記録再生装置
KR100680914B1 (ko) 텔레비전 방송의 녹화/재생이 가능한 이동통신 단말기 및이를 이용한 방송 녹화/재생 방법
KR100601287B1 (ko) 영상 녹화 시스템의 데이터 녹화 재생 장치 및 방법
JP5643006B2 (ja) オーディオ装置、再生方法、プログラム
JP2012244319A (ja) デジタル放送受信機
KR20090049499A (ko) 동영상 데이터 재생 장치 및 방법
KR20040080656A (ko) 영상기록/재생장치 및 그에 의한 영상 데이터 기록방법
JP2010091974A (ja) 再生装置
KR20070064822A (ko) 콤보 시스템의 방송 프로그램 재생 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20190213

Address after: Kanagawa

Patentee after: Fujitsu Personal Computer Co., Ltd.

Address before: Kanagawa

Patentee before: Fujitsu Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120718

Termination date: 20190928

CF01 Termination of patent right due to non-payment of annual fee