CN105052163A - 再现装置及数据再现方法 - Google Patents

再现装置及数据再现方法 Download PDF

Info

Publication number
CN105052163A
CN105052163A CN201580000427.4A CN201580000427A CN105052163A CN 105052163 A CN105052163 A CN 105052163A CN 201580000427 A CN201580000427 A CN 201580000427A CN 105052163 A CN105052163 A CN 105052163A
Authority
CN
China
Prior art keywords
decoding
unit
data
output
view data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580000427.4A
Other languages
English (en)
Inventor
中西隆博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN105052163A publication Critical patent/CN105052163A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal

Abstract

再现装置以使图像数据和声音数据同步的同步模式，输出图像数据和声音数据，并以使图像数据和声音数据不同步的非同步模式，至少输出图像数据。该再现装置使输出图像数据和声音数据时的延迟造成的对用户的不协调感降低。

Description

再现装置及数据再现方法
技术领域
本发明涉及再现包含了编码的图像数据及声音数据的多媒体数据的再现装置。
背景技术
以往，作为再现多媒体数据的技术，已知进行无声电平(1evel)的音频编码数据的检测，同时将无声电平的音频编码数据保存在无声电平数据保存单元中，并停止音频信号的延迟时的、对音频解码器供给无声电平的音频编码数据，另一方面，先于音频信号之前时，插入无声电平数据保存单元的无声电平的音频编码数据，进行音频和视频的同步处理的技术(例如参照专利文献1)。
在上述以往的技术中，有在将图像(或视频)的数据和音频(声音)的数据输出到显示装置等时有产生延迟，给用户造成不协调感的情况。
现有技术文献
专利文献
专利文献1：日本特开平10-164556号公报
发明内容
再现装置以使图像数据和声音数据同步的同步模式来输出图像数据和声音数据，以使图像数据和声音数据非同步的非同步模式来至少输出图像数据。
该再现装置使输出图像数据和声音数据时的延迟对用户造成的不协调感降低。
附图说明
图1是包括实施方式1中的再现装置的再现系统的框图。
图2是实施方式1中的再现装置的动作的流程图。
图3是包括实施方式2中的再现装置的再现系统的框图。
图4是实施方式2中的再现装置的动作的流程图。
图5是包括实施方式3中的再现装置的再现系统的框图。
图6是实施方式3中的再现装置的动作的流程图。
具体实施方式
(实施方式1)
图1是实施方式1中的再现系统1001的框图。再现系统1001由车载装置10和移动装置201构成。
作为一例，本实施方式的再现系统1001适用近年来不断扩大其利用的Miracast(注册商标)的技术。Miracast(注册商标)是由Wi-Fi联盟制定的、一个电子设备对任意的另一个电子设备进行的无线通信的显示传输技术。例如，通过Miracast(注册商标)，能够进行将显示从任意的移动电话镜像在任意的电视接收机上，并且以实时方式共享会议室的投影仪和个人计算机的画面等。
在以下的说明中，作为实施方式的车载装置10，示出在汽车等的车辆的车厢内部中所利用的电子设备中适用了Miracast(注册商标)技术的例子。通过移动装置201和车载装置10利用Miracast(注册商标)技术，从移动装置201发送的图像(视频)被显示在车载装置10的显示单元203上。
移动装置201是发送图像(视频)的、具有信号源的装置即源装置。此外，车载装置10是将图像再现显示的再现装置，有时称为信宿装置(sinkdevice)。
车载装置10和移动装置201为彼此利用无线通信或有线通信进行数据的收发的、可连接的结构。
此外，在车载装置10中，向用户输出声音的扬声器202和输出图像(视频)的显示单元203被连接。
先说明移动装置201。实施方式1中的移动装置201是所谓的智能手机，但只要是将符合MPEG2-TS(MotionPictureExpertsGroupTransportStream；运动图像专家组传输流)的标准的标准化的图像数据和声音数据发送到车载装置10的手机，也可以是智能手机以外的源装置。
在从移动装置201发送来的数据中，包含再现时刻的信息，所以使用该信息，车载装置10能够使图像(视频)和声音同步再现。
车载装置10包括接收从移动装置201发送来的数据的接收单元110。接收单元110由普通的WiFi接收器等构成，进行加密过的分组的解读和物理层的分组报头的除去等的处理。
接收单元110中接收并处理过的数据被输入到分组耦合单元(packetcoupler)111。接收的数据分割为适当的大小而被分组，所以在分组耦合单元111中，将这些分割的分组耦合。
由分组耦合单元111耦合的数据被传送到下级的复用解码单元112。复用解码单元112基于从分组耦合单元111传送来的数据，生成编码的图像数据即图像基本流(ES)和编码的声音数据即声音基本流(ES)。
由复用解码单元112生成的图像ES被输出到下级的图像解码单元113，声音ES被输出到声音解码单元114。
图像解码单元113累积在复用解码单元112中生成的图像ES即图像数据，并解码累积的图像数据。同样地，在声音解码单元114中，累积生成的声音ES即声音数据，并解码累积的声音数据。
由图像解码单元113解码的图像数据被输入到图像输出控制单元115。在图像输出控制单元115中，主要基于对输入的图像数据赋予的时戳(时刻信息)和/或来自后述的音量检测单元116的信息，控制在显示单元203上显示图像的定时、即向显示单元203输出图像数据的定时。
例如，图像输出控制单元115可以构成为对于从图像解码单元113接收的数据进行某些图像处理，或者也可以构成为进行适合于输出目的地的显示单元203的功能或性能、显示形式的处理。
由声音解码单元114解码的声音数据被输入到声音输出控制单元117。在声音输出控制单元117中，主要基于对输入的声音数据赋予的时戳(时刻信息)，控制在扬声器202中输出声音的定时。
此外，音量检测单元116依次检测由声音解码单元114解码的声音数据表示的状态。声音数据表示的状态是例如声音的数据的音量电平。
该情况下，音量检测单元116检测解码的声音数据的音量电平。例如音量检测单元116检测被检测到的音量电平是否比规定的阈值低、或是否在阈值以下。在音量电平比其阈值低、或在阈值以下的情况下，将表示音量电平较低的含义的无声检测信号输出到图像输出控制单元115。在那时，为了不发生该信号的抖动，音量检测单元116在持续规定的时间以上而音量电平比其阈值低的情况下，优选向图像输出控制单元115输出无声检测信号。
图像输出控制单元115及声音输出控制单元117为可从主控制单元118具备的计时单元119接收时刻信息的结构。
这里，时刻信息可以是表示当前时刻的信息，也可以是表示从特定时刻起经过的经过时间的信息。
特定时刻也可以是，在与图像输出控制单元115或声音输出控制单元117可双向进行信息通信的情况下，计时单元119(主控制单元118)从各控制单元接受了信号的时刻。在本实施方式中，各控制单元也可成为向计时单元119(主控制单元118)请求经过时间的结构。
实施方式1中的车载装置10包括触摸板203A作为接受用户的操作的构件。触摸板203A设置在显示单元203上，并且设置在面向用户的面上。图1所示的操作检测单元120检测用户在触摸板203A上触摸操作过的位置。
由操作检测单元120检测出的、表示位置的信息(操作信息)通过发送单元121发送到移动装置201。在发送单元121中，使用普通的WiFi收发器等，进行分组的加密或物理层报头的附加等的处理。接收到操作信息的移动装置201将该信息视为移动装置201被直接操作时的信息。
例如，在操作检测单元120检测到用户触摸了显示单元203显示着按钮的图像的位置的情况下，接收到该信息的移动装置201作为对应的按钮被触摸来进行处理，更新画面，并将新的画面变换为MPEG2-TS运动图像形式，通过无线通信发送到车载装置10。
如前述那样，在车载装置10中，连接向用户输出(放音)声音的扬声器202，向用户输出图像(视频)的显示单元203。
在以上的结构中，分组耦合单元111、复用解码单元112、图像解码单元113、声音解码单元114、音量检测单元116、图像输出控制单元115、声音输出控制单元117、主控制单元118、计时单元119、操作检测单元120分别使用普通的微计算机和软件来实现。
该情况下，例如在包含CPU、ROM及RAM的基本结构中，CPU通过将RAM用作工作区域并且执行ROM中存储的软件程序，来实现上述各单元。
此外，上述各单元可以分别由一个微计算机来实现，但也可以通过单一的微计算机来实现多个功能(上述各单元的功能)。或者，也可适当改变CPU和ROM、RAM的耦合来实现上述各单元的功能。
因此，在使用图1的说明中，为了方便，将主控制单元118作为统一性的控制装置来记载，但计时单元119是否被包含在主控制单元118中的形式，也可以选择适合产品的形式，不是被限定的形式。
此外，在以上的结构中，分组耦合单元111、复用解码单元112、声音解码单元114、图像解码单元113构成解码单元10A，声音输出控制单元117、图像输出控制单元115、计时单元119构成输出单元10B。此外，接收单元110构成接收单元10C。
对于再现系统1001，以下说明其动作。
包括实施方式1的车载装置10(再现装置)的再现系统1001是利用Miracast(注册商标)技术的系统。Miracast(注册商标)将移动装置201(源装置)的画面经由无线(WiFi)反映在车载装置10上连接的显示单元203上。而且，来自移动装置201(源装置)的声音也被无线传输，从车载装置10上连接的扬声器202输出。
这时，优选使“画质、音质的维持(无中断)”、“图像和声音的同步(口型同步)”和“低延迟(降低数据处理造成的数据输出为止的延迟)”的三个条件同时成立，但一般地，因以下的理由，若实现三个条件之中的两个条件，则剩余的一个条件将恶化。
一般地，声音数据被看作其特性上连续的数据。即，从网络接收的数据产生延迟，即使瞬间声音数据消失，也被用户作为声音中断来认识，直接导致用户的不满。因此，为了消除声音中断，声音数据被缓冲。
另一方面，图像数据与声音数据相比能够作为非连续的数据来处理。即，即使接收来自网络的图像数据延迟，也仅是图像更新稍稍延迟，只要延迟的程度较小，则用户不能识别该情况。
使具有这样性质的声音数据和图像数据同步时，与声音数据的缓冲造成的延迟匹配，需要使图像的输出延迟。
如果声音数据缓冲，不缓冲图像数据，则能够实现维持画质和音质、低延迟，但图像和声音的同步恶化。如果不缓冲声音数据和图像数据，则能够实现图像和声音的同步、低延迟，但画质、音质恶化。
然而，根据使用状况，有介意延迟的情况和不介意延迟的情况。例如，相对于用户故意地不操作装置那样的、运动图像的再现时，介意口型同步而不介意延迟，在显示的菜单的操作时介意延迟，但不介意口型同步。
鉴于该状况，在本实施方式中，特别地在车载装置10解码的声音数据中检测到无声状态(或表示是无声的数据)的情况下，不进行图像和声音的同步处理，即，相比进行同步处理的情况，提前输出图像。
在上述以往的技术中，由于使图像(或视频)的数据和音频(声音)的数据同步是前提，所以在输出到显示装置等时产生延迟。
以下，说明车载装置10的动作。图2是表示实施方式1中的车载装置10的动作的流程图。
车载装置10从移动装置201接收编码的图像数据和编码的声音数据。图像解码单元113(参照图1)将编码的图像数据解码。主控制单元118控制从图像输出控制单元115显示图像数据的定时。声音解码单元114将累积的声音数据(声音ES)解码，音量检测单元116对声音数据的每个帧检测解码的声音数据的音量电平。
如果检测到的音量电平比规定的阈值高或在规定的阈值以上，则检测到的音量电平不是无声而作为有声，音量检测单元116向主控制单元118输出有声检测信号(步骤S201)。
从音量检测单元116接收有声检测信号时，主控制单元118将本装置的处理动作设定(切换)为使声音数据和图像数据同步的同步模式(步骤S202)。
被设定为同步模式时，主控制单元118使声音数据和图像数据从声音输出控制单元117和图像输出控制单元115同步地输出(步骤S203)。
在车载装置10以同步模式动作的情况下，进行保持口型同步的动作。具体地说，主控制单元118使声音输出控制单元117将声音数据缓冲，在使声音数据缓冲的期间，使图像输出控制单元115暂时地等待图像数据的输出。主控制单元118利用对声音数据和图像数据赋予的时戳进行该动作。
在音量检测单元116检测到的音量电平比规定的阈值低或在规定的阈值以下的情况下，检测到的音量为无声，音量检测单元116向主控制单元118输出无声检测信号(步骤S204)。
从音量检测单元116接收无声检测信号时，主控制单元118将本装置的处理动作设定(切换)为低延迟模式(步骤S205)。
然而，低延迟模式是使声音数据和图像数据不同步而输出各自的数据的模式。
被设定为低延迟模式时，主控制单元118控制声音输出控制单元117和图像输出控制单元115，以非同步方式输出声音数据和图像数据(步骤S206)。在步骤S206中，主控制单元118也可以控制声音输出控制单元117和图像输出控制单元115，使声音数据和图像数据非同步而输出图像数据，而不输出声音数据。即，在步骤S206中，主控制单元118控制声音输出控制单元117和图像输出控制单元115，使声音数据和图像数据非同步而至少输出图像数据。
在低延迟模式中，主控制单元118或声音输出控制单元117、图像输出控制单元115不是进行主动地使图像数据和声音数据不同步的控制，而是不进行上述同步模式那样的用于同步处理的声音数据的缓冲、使图像数据暂时等待的图像延迟处理。因此，作为结果，即使是低延迟模式，也有图像数据和声音数据同步的情况。
即，在低延迟模式中，主控制单元118可以使声音输出控制单元117缓冲或不缓冲声音数据，而且，在与声音数据的缓冲或时戳表示的时刻信息无关系的、成为显示单元203上能够扫描图像数据的状态的时刻，图像输出控制单元115依次输出图像数据。
同步模式时，与声音数据的缓冲相匹配，图像输出控制单元115缓冲图像数据。
在从同步模式转移到低延迟模式时，主控制单元118也可以一次清除最新的图像数据之外的该缓冲的图像数据。此外，主控制单元118也可以通过将更新图像的间隔提前，逐渐消除被缓冲的图像数据。如果是前者的方法，则运动图像再现瞬间跳到前方，如果是后者的情况，则为一定时间快进那样的显示。优选在无不协调感的程度上将更新图像的间隔设定得短。
音量检测单元116进行动作，以逐次检测声音解码单元114解码过的声音数据的音量电平，在检测上述低延迟模式中的动作中检测到的声音数据的音量电平为有声时(步骤S207)，与步骤S201同样地将有声检测信号向主控制单元118输出，车载装置10的动作切换为同步模式(步骤S208)。
在步骤S208中切换为同步模式之后，与步骤S203同样地，主控制单元118使声音和图像从声音输出控制单元117和图像输出控制单元115同步地输出(步骤S209)。
作为同步模式的主要动作，有电影和音乐视频等的运动图像的视听时的动作。在这些动作中，图像和声音是取得同步而形成特定的意义的性质的图像和声音，所以即使产生了直至车载装置10显示移动装置201生成的图像为止的延迟，取得图像和声音的同步也使用户很少有不协调感。
该情况下，一般地，由于用户本人不操作车载装置10，所以与对操作的反应速度相比，介意口型同步。因此，在使声音和图像同步的同步模式中，使车载装置10动作比低延迟模式中的动作有用。
音量检测单元116检测解码的声音数据的音量电平。在检测到的音量电平是无声电平的情况下，输出单元10B也可以以非同步模式方式至少输出解码的图像数据。在检测到的音量电平不是无声电平的情况下，输出单元10B也可以以同步模式方式输出解码的图像数据和解码的声音数据。
如以上说明的，根据本实施方式，根据解码的声音数据的音量电平是有声还是无声，来切换使图像数据和声音数据同步的同步模式或非同步的低延迟模式。由于能够在声音数据被输出时切换模式，使图像和声音同步输出，所以能够无不协调感地实现用户视听运动图像的车载装置(再现装置)10。
同步模式中、由于声音数据和图像数据被缓冲地再现，所以能够防止起因于声音数据的接收和处理延迟的声音中断，能够对用户提供优质的运动图像再现。
再有，在上述说明中，为了使图像数据和声音数据同步，主控制单元118控制声音输出控制单元117和图像输出控制单元115而使它们同步，但也可以通过以下结构来进行该动作。
即，在计时单元119和声音解码单元114之间、计时单元119和图像输出控制单元115之间，分别收发时刻信息。而且，向图像输出控制单元115输入音量检测单元116输出的有声检测信号和无声检测信号。
在该结构中，向计时单元119逐次发送由声音解码单元114得到的时戳等的时刻信息。图像输出控制单元115确认声音数据中附带的时刻信息之中最新的时刻信息和其前一个时刻信息之差。由此，图像输出控制单元115能够检测声音数据的被解码的部分。
由此，图像输出控制单元115能够根据声音数据的解码的状况输出图像数据，即能够使图像数据与声音数据同步地输出。
(实施方式2)
图3是表示实施方式2的再现系统1002的框图。在图3中，对与图1所示的实施方式1的再现系统1001相同的结构附加同一标号。再现系统1002由车载装置30和移动装置201构成。
与实施方式1的再现系统1001同样地，实施方式的再现系统1002利用了Miracast(注册商标)的技术。通过利用Miracast(注册商标)的技术，移动装置201的图像(视频)被显示在再现装置即车载装置10的显示单元上。
而且在Miracast(注册商标)中，作为用户操作再现装置即车载装置30的方式，使用触摸板203A。具体地说，用户通过触摸在再现装置(30)的显示单元上设置的触摸板203A，能够操作移动装置201(UIBC：UserInputBackChannel(用户输入反向通道)功能)。
该情况下，车载装置30被请求操作移动装置201的感觉，特别地寻求图像输出的低延迟。
再现装置即车载装置30与移动装置201为利用无线通信或有线通信进行数据的收发的、可连接的结构。
此外，在车载装置30中，连接面向用户输出声音的扬声器202、输出图像(视频)的显示单元203。
车载装置30包括接收从移动装置201发送来的数据的接收单元310。在由普通的WiFi接收器等构成的接收单元310中，进行加密过的分组的解读和物理层报头的除去等处理。
接收单元310接收并处理的数据被输入到分组耦合单元311。接收的数据被以适当的大小分割而分组，所以在分组耦合单元311中，将这些分割的分组偶合。
分组耦合单元311中结合的数据被送到下级的复用解码单元312。复用解码单元312基于从分组耦合单元311送来的数据，生成编码的图像数据即图像基本流(ES)和编码的声音数据即声音基本流(ES)。
由复用解码单元312生成的图像ES被输出到下级的图像解码单元313，声音ES被输出到声音解码单元314。
图像解码单元313累积在复用解码单元312中生成的图像ES即图像数据，将累积的图像数据解码。同样地，声音解码单元314累积生成的声音ES的声音数据，将累积的声音数据解码。
由图像解码单元313解码的图像数据被输入到图像输出控制单元315。在图像输出控制单元315中，主要基于输入的图像数据中所赋予的时戳(时刻信息)，控制在后述的显示单元(显示单元203)上显示图像的定时、即显示单元203上输出图像数据的定时。
图像输出控制单元315，例如，可以构成为对于从图像解码单元313接收到的数据进行某些图像处理，或者，也可以构成为进行适合于输出目的地的显示单元203的功能或性能、显示形式的处理。
由声音解码单元314解码的声音数据被输入到声音输出控制单元317。在声音输出控制单元317中，主要基于输入的声音数据中所赋予的时戳(时刻信息)，控制在后述的扬声器202中输出声音的定时。
图像输出控制单元315和声音输出控制单元317为可从主控制单元318包括的计时单元319接收时刻信息的结构。
这里，时刻信息可以是表示当前时刻的信息，也可以是表示从特定时刻起经过的经过时间的信息。
在与图像输出控制单元315或声音输出控制单元317双方向上可进行信息通信的情况下，特定时刻也可以是计时单元319(主控制单元318)从各控制单元接受了信号的时刻。在本实施方式中，各控制单元也可为向计时单元319(主控制单元318)请求经过时间的结构。
车载装置30包括作为用户的操作装置的触摸板203A。触摸板203A设置在显示单元203上，而且设置在与用户相对的面上。图3所示的操作检测单元320是在触摸板203A上检测用户进行了触摸操作的位置的单元。
表示由操作检测单元320检测到的位置的信息(操作信息)通过发送单元321发送到移动装置201。在发送单元321中，使用普通的WiFi收发器等，进行分组的加密和物理层报头的赋予等处理。
如图3所示，在本实施方式中，操作检测单元320构成为随时检测有无来自用户的操作，并向主控制单元318发送该信息(检测结果)。操作检测单元320向主控制单元318发送的检测结果，例如，在没有来自用户的操作的情况下发送表示该含义的信息(无操作检测信号)，在有来自用户的操作(触摸板203A被触摸、或检测到触摸板203A被触摸)情况下，发送表示有来自用户的操作的含义的信息(有操作检测信号)。
或者，主控制单元318在规定时间未检测出来自操作检测单元320的信号的情况下，主控制单元318可以判断为没有来自用户的操作，该情况下，操作检测单元320也可不输出无操作检测信号。
此外，如前述，车载装置30连接扬声器202作为向用户输出(放音)声音的装置，连接显示单元203作为向用户输出图像(视频)的装置。
在以上的结构中，分组耦合单元311、复用解码单元312、图像解码单元313、声音解码单元314、图像输出控制单元315、声音输出控制单元317、主控制单元318、计时单元319、操作检测单元320的各单元，使用普通的微计算机和软件程序来实现。
该情况下，例如在包括CPU、ROM及RAM的基本结构中，CPU通过一边将RAM作为工作区域使用，一边执行在ROM中存储的软件程序来实现上述各单元。
上述各单元可各自利用一个微计算机来实现，也可使单一的微计算机具有多个功能(上述各单元的功能)，或者也可适当改变CPU和ROM、RAM的耦合来实现各自的功能。
因此，在使用图3的说明中，将主控制单元318作为进行集中性的控制的部分来记载，但也可以选择在产品中适用将计时单元319是否被内置在主控制单元318中的方式，没有被限定。
分组耦合单元311、复用解码单元312、声音解码单元314、图像解码单元313构成解码单元30A。声音输出控制单元317、图像输出控制单元315、计时单元319构成输出单元30B。接收单元310构成接收单元30C。
以下说明再现系统1002的动作。本实施方式的再现装置即车载装置30是利用Miracast(注册商标)技术的装置，但在本实施方式中，特别地，有将用户的信宿侧(车载装置30)中的操作内容传送到信源侧(移动装置201)的情况。
该情况下的用户，不介意口型同步，但特别介意在使用了触摸板203A的操作中发生的以下现象。即，用户对于显示单元203上显示的菜单或图标等进行了操作时、以及操作了滚动时画面的更新产生延迟的现象。
在本实施方式的车载装置30中，在检测到来自用户的操作的情况下，不进行图像和声音的同步处理，与进行同步处理的情况相比，迅速地输出图像。
因此，能够无延迟地执行操作时的画面的反应(滚动操作时的跟踪性等)，所以能够实现对于用户无不协调感的顺利的动作。
以下，表示车载装置30的动作的细节。图4是表示实施方式2中的车载装置30的动作的流程图。
在图4中，在用户处于运动图像的视听中的情况等、未检测出来自用户的操作的情况下，从操作检测单元320向主控制单元318发送表示无来自用户的操作的含义的无操作检测信号(步骤S401)。
主控制单元318若从操作检测单元320接收无操作检测信号时，将本装置的处理动作设定(切换)为进行使声音数据和图像数据同步的处理的同步模式(步骤S402)。
若被设定为同步模式，则主控制单元318从声音输出控制单元317及图像输出控制单元315同步地输出声音和图像(步骤S403)。
在车载装置30以同步模式动作的情况下，车载装置30进行与实施方式1的车载装置10的同步模式同样的动作。
无论是否在运动图像等的再现时，在用户对于车载装置30(该情况下使用触摸板203A)进行了某些操作的情况下，表示由用户进行了操作的含义的有操作检测信号从操作检测单元320输出到主控制单元318(步骤S404)。
主控制单元318若从操作检测单元320接收有操作检测信号，则将本装置的处理动作设定(切换)为不进行声音数据和图像数据的同步处理的低延迟模式(步骤S405)。
若设定为低延迟模式，则主控制单元318控制声音输出控制单元317及图像输出控制单元315，以非同步方式输出声音数据和图像数据(步骤S406)。
在低延迟模式中，主控制单元318或声音输出控制单元317、图像输出控制单元315不是进行使图像数据和声音数据主动地不同步的控制，而是不进行上述同步模式那样的用于同步处理的声音数据的缓冲、或使图像数据暂时等待的处理等的使图像延迟的处理。因此，作为结果，即使非同步模式也有图像数据和声音数据同步的情况。
即，在低延迟模式中，主控制单元318也可以使声音输出控制单元317缓冲或不缓冲声音数据，而且，在与声音数据的缓冲或时戳表示的时刻信息无关系的、成为图像数据的图像能够显示在显示单元203上的状态的时刻，图像输出控制单元315依次输出图像数据。
然而，声音数据一旦被缓冲规定时间，通常只要不清除缓冲区则缓冲继续进行。这是因为在流式再现的情况下，用与通常消耗声音数据的步调(pace)相同的步调来接收新的声音数据。
图像数据也被缓冲，但也可以除了最新的图像数据之外清除该缓冲过的图像数据。或者，通过缩短更新图像的间隔，也可以逐渐解除缓冲。如果是前者的方法，则运动图像再现瞬间跳到前方，如果是后者的情况，则为一定时间快进那样的显示。优选在无不协调感的程度上使更新图像的间隔短。
作为低延迟模式的主要的动作，可列举用户操作了车载装置30的情况等。例如，在用触摸板203A操作了车载装置30的情况下，显示单元203上显示图标等的图像。在使用了Miracast(注册商标)技术的情况下，该图标的图像数据也从移动装置201发送来了。
该情况下，一般地，用户在自己进行操作时，比口型同步更介意对操作的反应速度，所以相比同步模式，使车载装置30以不产生延迟的低延迟模式动作是有用的。
此外，操作检测单元320依次进行检测是否有来自用户的操作的动作，若在以上述低延迟模式中的动作中检测出无操作(步骤S407)，则与步骤S401同样地将无操作检测信号输出到主控制单元318，车载装置30的动作切换为同步模式(步骤S408)。
在步骤S408中切换为同步模式后，与步骤S403同样地，主控制单元318从声音输出控制单元317和图像输出控制单元315同步地输出声音数据和图像数据(步骤S409)。
如以上说明的，根据本实施方式，根据是否有来自用户的操作，通过设为切换使图像数据和声音数据同步或非同步的结构，能够降低图像数据的显示延迟造成的对用户的不协调感。
声音数据总是被缓冲再现，所以能够防止起因于声音数据的接收和处理延迟的声音中断，能够对用户提供质量高的运动图像再现。
如上述，操作检测单元320检测是否有来自用户的对再现装置30的操作。在操作检测单元320检测到有来自用户的操作的情况下，输出单元30B以非同步模式输出解码的图像数据和解码的声音数据。并且，在操作检测单元320未检测到有来自用户的操作的情况下，输出单元30B也可以以同步模式输出解码的图像数据和解码的声音数据。
再有，在上述说明中，主控制单元318控制声音输出控制单元317和图像输出控制单元315而使图像数据和声音数据同步，但也可以如以下那样地构成并执行控制。
即，分别在计时单元319和声音解码单元314之间、计时单元319和图像输出控制单元315之间能够收发时刻信息。
在该结构中，由声音解码单元314得到的时戳等的时刻信息被陆续传送到计时单元319。图像输出控制单元315确认在声音数据附随的时刻信息之中最新的时刻信息和其前一个时刻信息之差。由此，图像输出控制单元315能够探测声音数据的被解码的部分。由此，图像输出控制单元315能够根据声音数据的解码状况，与声音同步地输出图像数据。
(实施方式3)
图5是实施方式3中的再现系统1003的框图。在图5中，对与图1和图3所示的实施方式1、2中的再现系统1001、1002相同的部分附加相同的参考标号。再现系统1003包括车载装置50，取代图1和图3所示的实施方式1、2中的再现系统1001、1002的再现装置、即车载装置10、30。
在实施方式3中的车载装置50中，将实施方式1的车载装置10中的基于声音数据的音量电平的同步模式和低延迟模式的设定(切换)、以及实施方式2的车载装置10中的基于有无用户的操作的同步模式和低延迟模式的设定(切换)耦合。该情况下，在图像数据和声音数据以低延迟模式输出的情况下，是声音数据的音量电平为无声和用户进行了操作的至少一方。
在图像数据和声音数据以同步模式输出的情况下，声音数据的音量电平不是无声，并且用户不进行操作。
此外，在以上的结构中，分组耦合单元111、复用解码单元112、声音解码单元114、图像解码单元113构成解码单元50A，声音输出控制单元117、图像输出控制单元115、计时单元119构成输出单元50B。此外，接收单元110构成接收单元50C。
以下说明车载装置50的动作。图6是车载装置50的动作的流程图。音量检测单元116检测解码的声音数据的音量电平。操作检测单元320检测是否有来自用户的对车载装置50的操作。
在检测到的音量电平为无声的情况下(步骤S601)，无论操作检测单元320的检测结果如何，输出单元50B都设定为低延迟模式(步骤S602)，至少输出解码的图像数据，在实施方式3中输出解码的声音数据和解码的图像数据(步骤S603)。
在操作检测单元320检测到有来自用户的操作的情况下(步骤S604)，无论音量电平检测部116检测到的音量电平如何，输出单元50B都设定(切换)为低延迟模式(步骤S605)，以低延迟模式输出解码的图像数据和解码的声音数据(步骤S606)。
在音量检测单元116检测到的音量电平不是无声而为有声(步骤S608)，并且操作检测单元未检测出有来自用户的操作、即检测到无操作的情况下(步骤S607)，输出单元50B设定(切换)为同步模式(步骤S609)，输出解码的图像数据和解码的声音数据(步骤S610)。
在实施方式中的再现装置、即车载装置10、30、50中包括触摸板203A作为用户操作的输入装置，但该装置可以适用按钮、键盘、电位器(volume)、其他任意的输入装置。
如以上说明的，实施方式1至3中的再现装置、即车载装置10、30、50构成为切换使图像(视频)数据和声音数据同步或非同步(低延迟)的结构，能够降低与图像和声音有关的对于用户的不协调感。
再有，实施方式1～3中的再现装置也可以用于不是Miracast(注册商标)技术，而使用了虚拟网络客户端(VirtualNetworkClient)、或RTP(RealTimeProtocol；实时协议)的运动图像流式传输，此外，不限定于对车载设备的适用。在实施方式1～3中的再现系统中作为源装置和再现装置之间的通信方式，假定了Wi-Fi，但不限于此，而且，也能够适用于使用不同的通信方式来接收图像(视频)数据和声音数据的情况。此外，列举了MPEG2-TS作为运动图像流式传输的格式，但也可适用其他的任意格式。
然而，通过用户操作在车载装置(再现装置)、即信宿侧显示的图标，在进行信源侧的移动装置201的动作控制时能够无延迟地动作，所以尤其在适用Miracast(注册商标)这样的技术中是有用的。
工业实用性
根据本发明，本发明的再现装置具有能够降低对于用户的与图像(视频)和声音的同步及延迟有关的不协调感的效果，作为再现包含了编码的图像数据及声音数据的多媒体数据的再现装置是有用的。
标号说明
10，30车载装置(再现装置)
10A，30A解码单元
10B，30B输出单元
112，312复用解码单元
113，313图像解码单元
114，314声音解码单元
115，315图像输出控制单元
116音量检测单元
117，317声音输出控制单元
118，318主控制单元
119，319计时单元
120，320操作检测单元
121，321发送单元
201移动装置
202扬声器
203显示单元

Claims (7)

1.再现装置，其将编码的图像数据和编码的声音数据解码并输出内容，包括：
解码单元，其解码所述编码的图像数据解码并解码所述编码的声音数据；以及
输出单元，其控制输出定时来输出由所述解码单元解码的图像数据及解码的声音数据的至少其中一方，
所述输出单元切换使所述解码的图像数据及解码的声音数据同步输出的同步模式和使所述解码的图像数据及解码的声音数据非同步输出的低延迟模式，输出所述解码的图像数据及解码的声音数据。
2.如权利要求1所述的再现装置，还包括：
音量检测单元，其检测由所述解码单元解码的声音数据的音量电平，
在所述音量检测单元检测到的音量电平为无声的情况下，所述输出单元以低延迟模式输出所述解码的图像数据及解码的声音数据。
3.如权利要求1所述的再现装置，还包括：
操作检测单元，检测用户对于本装置是否进行了操作，
在所述操作检测单元检测到有来自用户的操作的情况下，所述输出单元以低延迟模式输出所述解码的图像数据及解码的声音数据。
4.再现装置，其将编码的图像数据和编码的声音数据解码并输出内容，包括：
接收单元，其从所述再现装置所连接的移动终端装置接收所述编码的图像数据及所述编码的声音数据；
解码单元，其解码所述编码的图像数据及所述编码的声音数据；以及
输出单元，其控制输出定时来输出由所述解码单元解码的图像数据及解码的声音数据的至少其中一方；以及
音量检测单元，其检测由所述解码单元解码的声音数据的音量，
在由所述音量检测单元检测到的音量为无声的情况下，所述输出单元以使所述解码的图像数据及解码的声音数据非同步输出的低延迟模式进行输出，在由所述音量检测单元检测到的音量为有声的情况下，所述输出单元以使所述解码的图像数据及解码的声音数据同步输出的同步模式进行输出。
5.再现装置，其将编码的图像数据和编码的声音数据解码并输出内容，包括：
解码单元，其解码所述编码的图像数据及所述编码的声音数据；
输出单元，其控制输出定时来输出由所述解码单元解码的图像数据及解码的声音数据的至少其中一方；以及
操作检测单元，其检测对从所述输出单元输出的图像数据有无来自用户的操作，
在由所述操作检测单元检测到有来自用户的操作的情况下，所述输出单元以使所述解码的图像数据及解码的声音数据非同步输出的低延迟模式进行输出，
在由所述操作检测单元检测到无来自用户的操作的情况下，所述输出单元以使所述解码的图像数据及解码的声音数据同步输出的同步模式进行输出。
6.数据再现方法，包括：
将编码的图像数据和编码的声音数据解码的步骤；
检测在所述解码的步骤中解码的声音数据的音量电平的步骤；以及
在检测所述音量电平的步骤中检测到的音量电平为无声的情况下，使所述解码的图像数据和所述解码的声音数据非同步输出的步骤。
7.数据再现方法，包括：
将编码的图像数据和编码的声音数据解码的步骤；
检测是否有来自用户的操作的步骤；以及
在检测是否有来自所述用户的操作的步骤中检测到有操作的情况下，使所述解码的图像数据和所述解码的声音数据非同步输出的步骤。
CN201580000427.4A 2014-01-20 2015-01-20 再现装置及数据再现方法 Pending CN105052163A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-007494 2014-01-20
JP2014007494 2014-01-20
PCT/JP2015/000213 WO2015107909A1 (ja) 2014-01-20 2015-01-20 再生装置及びデータ再生方法

Publications (1)

Publication Number Publication Date
CN105052163A true CN105052163A (zh) 2015-11-11

Family

ID=53542801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580000427.4A Pending CN105052163A (zh) 2014-01-20 2015-01-20 再现装置及数据再现方法

Country Status (5)

Country Link
US (1) US20160088339A1 (zh)
EP (1) EP2945393A4 (zh)
JP (1) JPWO2015107909A1 (zh)
CN (1) CN105052163A (zh)
WO (1) WO2015107909A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286384B2 (en) 2011-09-21 2016-03-15 Sonos, Inc. Methods and systems to share media
US10098082B2 (en) * 2015-12-16 2018-10-09 Sonos, Inc. Synchronization of content between networked devices
US10158905B2 (en) * 2016-09-14 2018-12-18 Dts, Inc. Systems and methods for wirelessly transmitting audio synchronously with rendering of video
US9967689B1 (en) 2016-09-29 2018-05-08 Sonos, Inc. Conditional content enhancement
KR20210121777A (ko) 2020-03-31 2021-10-08 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
JP7354183B2 (ja) * 2021-06-02 2023-10-02 本田技研工業株式会社 車両測定装置、及び車両測定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033743A (ja) * 2004-07-21 2006-02-02 Sharp Corp 送信装置、受信装置、及び送受信装置
CN1777265A (zh) * 2005-08-19 2006-05-24 上海晨兴电子科技有限公司 影音同步录制及播放方法
CN101453655A (zh) * 2007-11-30 2009-06-10 深圳华为通信技术有限公司 用户可控的音视频同步调节的方法、系统和设备
CN102075767A (zh) * 2010-11-29 2011-05-25 大连捷成实业发展有限公司 一种视频与音频自动同步的处理方法
US20120169837A1 (en) * 2008-12-08 2012-07-05 Telefonaktiebolaget L M Ericsson (Publ) Device and Method For Synchronizing Received Audio Data WithVideo Data

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07245665A (ja) * 1994-03-04 1995-09-19 Ricoh Co Ltd マルチメディア端末装置
US5818514A (en) * 1994-12-01 1998-10-06 Lucent Technologies Inc. Video conferencing system and method for providing enhanced interactive communication
JPH08317362A (ja) * 1995-05-22 1996-11-29 Nec Eng Ltd テレビ会議システムの端末装置
JPH10164556A (ja) 1996-12-02 1998-06-19 Matsushita Electric Ind Co Ltd デコーダ、エンコーダ、およびビデオ・オン・デマンドシステム
AU3276099A (en) * 1998-03-13 1999-09-27 Matsushita Electric Industrial Co., Ltd. Data storage medium, and apparatus and method for reproducing the data from the same
JP2005108294A (ja) * 2003-09-29 2005-04-21 Pioneer Electronic Corp 信号処理装置
JP2005278152A (ja) * 2004-02-25 2005-10-06 Matsushita Electric Ind Co Ltd 映像音声再生装置及び映像音声再生方法
US20070019931A1 (en) * 2005-07-19 2007-01-25 Texas Instruments Incorporated Systems and methods for re-synchronizing video and audio data
JP2009076952A (ja) * 2006-01-12 2009-04-09 Panasonic Corp Ｔｖ会議装置およびｔｖ会議方法
KR100800716B1 (ko) * 2006-05-10 2008-02-01 삼성전자주식회사 근거리 통신을 이용한 동영상 데이터 송수신 장치 및 그송수신 장치에서의 동영상 데이터 송수신 방법
CN101340591B (zh) * 2008-08-11 2011-04-06 华为终端有限公司 解码系统中接收视音频数据的处理方法及装置
JP2011120024A (ja) * 2009-12-03 2011-06-16 Canon Inc 映像表示システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033743A (ja) * 2004-07-21 2006-02-02 Sharp Corp 送信装置、受信装置、及び送受信装置
CN1777265A (zh) * 2005-08-19 2006-05-24 上海晨兴电子科技有限公司 影音同步录制及播放方法
CN101453655A (zh) * 2007-11-30 2009-06-10 深圳华为通信技术有限公司 用户可控的音视频同步调节的方法、系统和设备
US20120169837A1 (en) * 2008-12-08 2012-07-05 Telefonaktiebolaget L M Ericsson (Publ) Device and Method For Synchronizing Received Audio Data WithVideo Data
CN102075767A (zh) * 2010-11-29 2011-05-25 大连捷成实业发展有限公司 一种视频与音频自动同步的处理方法

Also Published As

Publication number Publication date
US20160088339A1 (en) 2016-03-24
EP2945393A1 (en) 2015-11-18
EP2945393A4 (en) 2016-06-22
WO2015107909A1 (ja) 2015-07-23
JPWO2015107909A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
CN105052163A (zh) 再现装置及数据再现方法
KR101184821B1 (ko) 원격 오디오와 고정 비디오의 동기화
CN102893542A (zh) 用于在车辆中使数据同步的方法和设备
EP2063662A2 (en) Multimedia apparatus and synchronization method thereof
JP4782973B2 (ja) オーディオおよびビデオ信号の同期化
CN109819303B (zh) 数据输出方法及相关设备
KR100565333B1 (ko) 휴대단말기의 비디오 오디오 동기장치 및 방법
CN109168059B (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
US10334293B2 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
CN108810656B (zh) 一种实时直播ts流的去抖处理方法及处理系统
JP2015144430A (ja) 位置データを用いる聴覚装置、音声システム、および関連する方法
US20220021980A1 (en) Terminal, audio cooperative reproduction system, and content display apparatus
US8862256B2 (en) Electronic apparatus
CN105247875A (zh) 分发控制系统和分发系统
CN102067595B (zh) 图像声音通信装置以及其通信方法
KR20170134451A (ko) 멀티 계층 타이밍 동기화 프레임워크
KR20140123753A (ko) 무선 통신 시스템에서 비디오 트래픽 스케줄링 방법 및 장치
KR20070008069A (ko) 음성/영상신호의 동기화 장치 및 방법
CN101137066B (zh) 一种多媒体数据流同步控制的方法及装置
JP2008061010A (ja) 映像音声送信装置
CN106063284A (zh) 用于在通信系统播放多媒体内容的方法及装置
KR101501075B1 (ko) 전송 갭들을 가능하게 하기 위한 전송 계층 변경
JP2009089056A (ja) 映像表示装置及び音声出力装置
CN103167344A (zh) 提供图像的方法及采用其的显示装置
CN113422997A (zh) 一种播放音频数据的方法、装置及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20151111

WD01 Invention patent application deemed withdrawn after publication