CN109983781B - 内容播放装置以及计算机可读存储介质 - Google Patents

内容播放装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN109983781B
CN109983781B CN201680090523.7A CN201680090523A CN109983781B CN 109983781 B CN109983781 B CN 109983781B CN 201680090523 A CN201680090523 A CN 201680090523A CN 109983781 B CN109983781 B CN 109983781B
Authority
CN
China
Prior art keywords
content
time axis
sound
computer
playing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680090523.7A
Other languages
English (en)
Other versions
CN109983781A (zh
Inventor
泷川淳
铃木久晴
那须猛士
长友康彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissho Efkeze Co ltd
Original Assignee
Nissho Efkeze Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissho Efkeze Co ltd filed Critical Nissho Efkeze Co ltd
Publication of CN109983781A publication Critical patent/CN109983781A/zh
Application granted granted Critical
Publication of CN109983781B publication Critical patent/CN109983781B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036—Time code signal
    • G11B27/3045—Time code signal superimposed on the recorded main signal, e.g. burn-in-time code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier

Abstract

本公开容易且可靠地判定某个内容的时间轴，与该内容的播放联动地播放其他内容。内容播放程序使电脑实现：声音检测单元，其检测在电脑外部播放的第一内容的声音；时间轴判定单元，其基于检测的声音对在电脑的外部接着第一内容播放的第二内容的时间轴进行判定；以及内容播放单元，其基于判定的时间轴并结合第二内容的播放来播放对应于第二内容的第三内容。

Description

内容播放装置以及计算机可读存储介质
技术领域
本发明涉及内容播放程序以及内容播放装置。
背景技术
公开了一种将伴随有声音的影像的第二屏幕信息输出到声音输入/输出以及可显示图像的便捷式设备中的方法(专利文献1)。在专利文献1公开的方法中，与影像的各影像场景相对应的时间码作为水印数据被嵌入在声音中。并且，将时间码与相当于第二屏幕信息的数据相对应，并预先保存在便携式设备中，在影像附近向便捷式设备输入声音，与影像场景同步地输出第二屏幕信息。
[现有技术文献]
[专利文献]
专利文献1：特开2015-61112号公报。
发明内容
[发明所要解决的问题]
在专利文献1所公开的方法中，需要对应各影像场景在声音中嵌入水印数据。因此，电影等的内容制作工作的负荷高，制作方根据情况有时不进行水印数据的嵌入。
不仅是水印数据，还有利用作为声音的特征量的音频指纹判定影像的时间轴的方法，但是无声的情况和固定的声音持续的部分无法制作音频指纹。而且，在一个影像的不同时间段使用完全同样的声音时，通过音频指纹无法判断是在哪个时间段。
因此，本发明的目的在于，提供一种容易且可靠地判定某个内容的时间轴、并与该内容的播放联动地播放其他内容的内容播放程序以及内容播放装置。
[为解决问题实施的手段]
根据本发明的一个方面的内容播放程序使电脑实现：
声音检测单元，其检测在所述电脑的外部播放的第一内容的声音；
时间轴判定单元，其基于所检测的声音，判定在所述电脑的外部接着第一内容播放的第二内容的时间轴；以及
内容播放单元，其基于所判定的时间轴并结合所述第二内容的播放来播放对应于所述第二内容的第三内容。
另外，根据本发明的一个方面的内容播放装置包括：
声音检测单元，其检测在外部播放的第一内容的声音；
时间轴判定单元，其基于所检测的声音，判定接着所述第一内容在外部播放的第二内容的时间轴；以及
内容播放单元，其基于所判定的时间轴并结合所述第二内容的播放来播放对应于所述第二内容的第三内容。
另外，在本发明中，“单元”不仅意味着物理手段，还包括通过软件实现该“单元”所具有的功能的情况。而且，一个“单元”或装置所具有的功能可以通过两个以上的物理手段或装置实现，也可以是两个以上的“单元”或装置的功能通过一个物理手段和装置实现。
[发明效果]
根据本发明可以提供一种容易且可靠地判定某个内容的时间轴、并与该内容的播放联动地播放其他内容的内容播放程序以及内容播放装置。
附图说明
图1是示出本发明的一个实施方式的内容播放系统的构成的示意图；
图2是示出内容播放系统中的内容播放的概要的示意图；
图3是示出用户终端100的硬件构成的示例的示意图；
图4是示出用户终端100的功能构成的示例的示意图；
图5是示出获取内容用的用户界面的示例的示意图；
图6是示出显示时间轴判定状态的画面的示例的示意图；
图7是示出用户终端100中的内容播放处理的示例的流程图。
具体实施方式
参照附图对本发明的优选实施方式进行说明。图1是示出本发明的一个实施方式的内容播放系统的构成的示意图。内容播放系统包括用户终端100(内容播放装置)、屏幕110以及扬声器120。屏幕110以及扬声器120设置在例如电影院或棒球场等设施中，用户终端100由该设施的使用者所使用。电影等内容的影像显示在屏幕110上，该内容的声音从扬声器120输出。另外，在用户终端100上，与该内容的播放联动地显示字幕和语音向导等其他内容。
图2是示出内容播放系统中的内容播放的概要的示意图。
在电影院等设施中播放的内容包括第一内容200和接着此第一内容200播放的第二内容210。第二内容210例如是电影的本片。另外，第一内容200例如是在电影本片之前播放的预告片和广告等(映前广告)。在第一内容200中，在其声音中嵌入了水印数据220。例如，水印数据220被嵌入在第一内容200的每帧中，并且其包含用于第二内容210的开始时机(时间轴)的判定的时间码等的数据(第一数据)。另外，水印数据220包括例如表示设施和区域等的数据(第二数据)。
在用户终端100中播放的第三内容230例如是与电影的本片联动地播放的该电影的字幕。第三内容230如果是与第二内容210联动播放的，则不限于字幕，可以是语音向导或手语画面、说明画面等任意的内容。在用户终端100上，基于水印数据220判定第二内容210的开始时机(时间轴)，与第二内容210联动地播放第三内容230。
图3是示出用户终端100的硬件构成的示例的示意图。用户终端100例如是智能手机或平板终端等电脑。如图3所示，用户终端100包括处理器300、存储装置310、通讯接口(I/F)320、麦克风330、声音输出装置340、显示装置350以及输入装置360。
处理器300通过执行保存在存储装置310中的程序，可以实现用户终端100中的各种功能。
存储装置310是存储程序或数据的存储区域。存储装置310可以包括作为临时存储区域的易失性存储器和作为永久存储区域的非易失性存储器。存储装置310也可以设置在用户终端100的外部。
通讯接口320是用于在外部装置之间传送和接收程序或数据的接口装置。通讯接口320包括例如用于手机的通讯网的接口或用于无线LAN(Local Area Network)的接口。通讯接口320也可以包括有线接口。
麦克风330检测周围的声音。麦克风330不仅可以检测可听见范围的声音，还可以检测不可听见的范围的声音。麦克风330也可以设置在用户终端100的外部。
声音输出装置340是用于输出声音的输出装置。例如，声音输出装置340是扬声器。另外，声音输出装置340也可以是用于向耳机输出声音的装置。当第三内容230包括声音(例如语音向导或配音)时，该声音从声音输出装置340输出。
显示装置350是用于显示画面(静止图像或者视频)的输出装置。例如，显示装置350是液晶显示器或有机EL(Electroluminescence)显示器。显示装置350也可以设置在用户终端100的外部。当第三内容230含有画面(例如字幕)时，该画面被显示在显示装置350中。
输入装置360是用于接收用户输入的装置。例如，输入装置360可以是与显示装置350一体形成的触摸屏。输入装置360也可以设置在用户终端100的外部。
图4是示出用户终端100的功能构成的示例的示意图。用户终端100包括内容获取单元400、内容存储单元410、声音检测单元420、时间轴判定单元430、内容播放单元440、参照数据获取单元450、参照数据存储单元460、设定单元470以及设定数据存储单元480。图4示出的各单元可以通过例如使用存储装置310的存储区域或者处理器300执行保存在存储装置310的程序(内容播放程序)而实现。
内容获取单元400例如通过互联网获取将在用户终端100上播放的第三内容230，并将其保存在内容存储单元410中。图5是示出用于获取内容的用户界面的示例的示意图。画面500例如显示启动用于播放第三内容230的应用程序。画面500包含用于选择内容种类的区域510、520。
在画面500中，在区域510中可以选择字幕、手语或者语音向导。另外在画面500中，在区域510中可以选择电影院·剧场、主题公园、博物馆·美术馆、DVD/BD或者其他。另外，对应于区域510、520的选择内容的内容一览显示在区域530中。例如，第二内容210(例如本片)的题目显示在区域530中。内容获取单元400获取与在区域530中选择的第二内容210相对应的第三内容230。另外，内容获取单元400也可以获取含有非播放对象的第三内容230。
另外，内容获取单元400也可以根据第一内容200中检测的声音(水印数据或者音频指纹)获取所指定的第三内容230。例如，当嵌入在第一内容200中的水印数据中含有用于指定第三内容230的数据(第二数据)时，内容获取单元400也可以基于该数据获取第三内容230。
声音检测单元420检测在用户终端100的外部播放的内容的声音。具体而言，声音检测单元420可以检测第一内容200(映前广告)的声音。而且，声音检测单元420可以检测第二内容21(本片)的声音。声音检测单元420检测的声音例如是水印数据或者音频指纹。声音检测单元420通过时间轴判定单元430可以在第二内容210的时间轴被判定时停止运作。
时间轴判定单元430基于声音检测单元420检测的声音来判定第二内容210的时间轴。具体而言，例如基于嵌入在第一内容200的声音中的水印数据中含有的、用于判定第二内容210的时间轴的数据(第一数据)，可以判定第二内容210的时间轴。另外，时间轴判定单元430基于第二内容210的声音的音频指纹，可以在第二内容210的播放中判定第二内容210的时间轴。其中，第二内容210的时间轴的判定是指将第二内容210的播放时机与时间进行对应。例如，时间轴判定单元430可以判定第二内容210的播放开始时间(例如，可以是实际时间，也可以是以某个时间点为标准的相对时间)。又例如，时间轴判定单元430可以判定第二内容210的哪个部分正在播放。时间轴判定单元430可以在第二内容210的时间轴被判定时停止运作。
内容播放单元440基于由时间轴判定单元430判定的时间轴并结合(同步)第二内容210的播放而播放第三内容230。另外，内容播放单元440可以输出信息，该信息显示由时间轴判定单元430生成的时间轴的判定状态。图6是示出显示时间轴判定状态的画面的示例的示意图。如图6的画面600所示，内容播放单元440可以将表示时间轴的判定已经完成的信息显示在显示装置350上(例如“字幕显示准备已完成。本片即将开始，请稍候。”)。
参照数据获取单元450例如通过互联网获取用于时间轴判定单元430基于音频指纹判定时间轴的参照数据，并将其保存在参照数据存储单元460中。参照数据是将内容的声音的特征量与内容的播放时间相对应的数据。时间轴判定单元430通过将第一内容200或者第二内容210的声音的特征量与参照数据相比较，可以判定第二内容210的时间轴。
设定单元470从用户接收用于播放第三内容230的设定，将显示该设定的设定数据保存在设定数据存储单元480中。内容播放单元440基于该设定数据可以播放第三内容230。
图7是示出用户终端100的内容播放处理的示例的流程图。图7示出的处理例如通过用户启动应用程序即开始。
声音检测单元420开始检测第一内容200的声音中嵌入的水印数据(S701)。当检测水印数据时，时间轴判定单元430基于水印数据判定第二内容210的时间轴(S702)。另外，时间轴判定单元430也可以基于第一内容200的声音的音频指纹判定第二内容210的时间轴。
另外，声音检测单元420与基于第一内容200的声音对时间轴的判定并行地执行基于第二内容210的声音的对时间轴的判定(S703～S704)。具体而言，声音检测单元420开始第二内容210的声音的音频指纹(特征量)的检测(S703)。并且，时间轴判定单元430基于该音频指纹判定第二内容210的时间轴(S704)。基于第二内容210的声音对时间轴的判定(S703～S704)的处理，在例如第二内容210的播放开始之后，用户开始第二内容210的试听的情况下或者基于第一内容200的声音对时间轴的判定(S701～S702)没有正常运作等情况下有效。
在基于第一内容200或者第二内容210的声音对时间轴的判定(S701～S704)结束之前的时间段内(S705：否)，反复执行时间轴的判定处理。并且，当时间轴的判定结束时(S705：是)，声音检测单元420以及时间轴判定单元430停止运作，内容播放单元440基于所判定的时间轴，结合第二内容210的播放来播放第三内容230(S706)。
上面说明了本发明的一个实施方式。根据本实施方式，基于第一内容200(例如映前广告)的声音，可以判定接着第一内容200播放的第二内容210(例如本片)的时间轴。并且，基于该判定的时间轴，结合第二内容210的播放，可以播放对应于第二内容210的第三内容230(例如字幕或语音向导)。因此，即使在第二内容210的声音中没有嵌入水印数据的情况下或者通过第二内容210的声音的音频指纹难以判定第二内容210的开始时机的情况下，仍可以容易且可靠地判定第二内容210的时间轴。
另外，根据本实施方式，基于嵌入在第一内容200的声音中的水印数据可以判定第二内容210的时间轴。第一内容200通常比第二内容210更容易嵌入水印数据。因此，通过在第一内容200的声音中嵌入水印数据，可以容易且可靠地判定第二内容210的时间轴。
进一步地，根据本实施方式，嵌入在第一内容200的声音中的水印数据可以做成不可听见的范围的声音数据。由此，在不影响正在视听第一内容200的用户的情况下，可以容易且可靠地判定第二内容210的时间轴。
另外，根据本实施方式，除了基于第一内容200的声音中嵌入的水印数据判定第二内容210的时间轴之外，也可以基于第二内容210的声音的音频指纹(特征量)判定第二内容210的时间轴。由此，例如在第二内容210的播放开始后用户开始试听第二内容210等情况下，可以容易且可靠地判定第二内容210的时间轴。
另外，根据本实施方式，第一内容200的声音中嵌入的水印数据220除了包含用于时间轴判定的数据(例如时间码)之外，还可以包含用于指定第三内容230的数据(例如表示设施和区域等的数据)。由此，例如可以通过第一内容200的声音中嵌入的水印数据220选择第三内容230。
另外，根据本实施方式，可以基于第一内容200的声音的特征量判定第二内容210的时间轴。由此，例如即使在第一内容200中没有嵌入水印数据220的情况下，也可以容易且可靠地判定第二内容210的时间轴。
另外，根据本实施方式，声音检测单元420以及时间轴判定单元430在第二内容210的时间轴被判定时可以停止运作。由此，可以抑制用户终端100中的电力消耗。
并且，受用户终端100的性能等的影响，在进行第二内容210的时间轴的判定之后，在用户终端100所保持的第二内容210的时间轴与第二内容210的实际的时间轴之间有可能会发生偏差。因此，时间轴判定单元430在完成第二内容210的时间轴的判定之后，在合适的时机下基于第二内容210的声音的音频指纹(特征量)可以进行第二内容210的时间轴的补正。例如，时间轴判定单元430在第二内容210的时间轴的判定完成之后，以预定的时间间隔，基于第二内容210的声音的音频指纹(特征量)可以进行第二内容210的时间轴的补正。又例如，时间轴判定单元430在第二内容210的时间轴的判定完成之后，响应来自用户的指示，基于第二内容210的声音的音频指纹(特征量)，可以进行第二内容210的时间轴的补正。
另外，根据本实施方式，可以将表示第二内容210的时间轴的判定状态的信息输出到显示装置350。此外，该信息的输出目的地不限于显示装置350，也可以是声音输出装置340。由此，可以向用户通知第二内容210的时间轴的判定状态。
上面说明的实施方式是为了更容易理解本发明，并不是为了限定解释本发明。实施方式中包括的各要素及其配置、材料、条件、形状以及尺寸等不限于示例，可以进行适当的变更。另外，不同的实施方式中示出的构成可以部分地进行置换或者组合。
[附图标记]
100：用户终端
110：屏幕
120：扬声器
200：第一内容
210：第二内容
220：水印数据
230：第三内容
300：处理器
310：存储装置
320：通讯接口
330：麦克风
340：声音输出装置
350：显示装置
360：输入装置
400：内容获取单元
410：内容存储单元
420：声音检测单元
430：时间轴判定单元
440：内容播放单元
450：参照数据获取单元
460：参照数据存储单元
470：设定单元
480：设定数据存储单元

Claims (8)

1.一种存储有内容播放程序的计算机可读存储介质，所述内容播放程序用于使电脑实现：
检测在所述电脑的外部播放的第一内容的声音的声音检测步骤，所述声音是嵌入在所述第一内容中的水印数据；
基于所述检测的声音，对在所述电脑的外部接着所述第一内容播放的第二内容的时间轴进行判定的时间轴判定步骤；以及
基于所述判定的时间轴并结合所述第二内容的播放来播放对应于所述第二内容的第三内容的内容播放步骤。
2.根据权利要求1所述的计算机可读存储介质，其特征在于所述水印数据是不可听见的范围的声音数据。
3.根据权利要求1或2所述的计算机可读存储介质，其特征在于所述声音检测步骤进一步包括检测在所述电脑的外部播放的所述第二内容的声音的特征量的步骤，所述时间轴判定步骤包括基于所述第一内容中嵌入的所述水印数据或者所述第二内容的所述特征量判定所述时间轴的步骤。
4.根据权利要求1或2所述的计算机可读存储介质，其特征在于所述水印数据包括用于所述时间轴的判定的第一数据和用于指定所述第三内容的第二数据，所述时间轴判定步骤包括基于所述第一数据判定所述时间轴的步骤，所述内容播放步骤包括基于所述第二数据播放所述第三内容的步骤。
5.根据权利要求1所述的计算机可读存储介质，其特征在于所述声音检测步骤以及所述时间轴判定步骤在所述时间轴被判定时停止。
6.根据权利要求3所述的计算机可读存储介质，其特征在于所述时间轴判定步骤包括在所述时间轴被判定后，基于所述第二内容的所述特征量补正所述时间轴的步骤。
7.根据权利要求1所述的计算机可读存储介质，其特征在于所述内容播放步骤包括输出表示所述时间轴的判定已经完成的信息的步骤。
8.一种内容播放装置，包括：
声音检测单元，其检测在外部播放的第一内容的声音，所述声音是嵌入在所述第一内容中的水印数据；
时间轴判定单元，其基于所检测的声音，对接着所述第一内容并在外部播放的第二内容的时间轴进行判定；以及
内容播放单元，其基于所判定的时间轴并结合所述第二内容的播放来播放对应于所述第二内容的第三内容。
CN201680090523.7A 2016-10-27 2016-10-27 内容播放装置以及计算机可读存储介质 Active CN109983781B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/081900 WO2018078768A1 (ja) 2016-10-27 2016-10-27 コンテンツ再生プログラム及びコンテンツ再生装置

Publications (2)

Publication Number Publication Date
CN109983781A CN109983781A (zh) 2019-07-05
CN109983781B true CN109983781B (zh) 2022-03-22

Family

ID=59351268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680090523.7A Active CN109983781B (zh) 2016-10-27 2016-10-27 内容播放装置以及计算机可读存储介质

Country Status (7)

Country Link
US (1) US11303951B2 (zh)
EP (1) EP3534618A4 (zh)
JP (1) JP6163680B1 (zh)
KR (1) KR102607703B1 (zh)
CN (1) CN109983781B (zh)
TW (1) TWI760383B (zh)
WO (1) WO2018078768A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370261A (zh) * 2007-08-15 2009-02-18 华为技术有限公司 从cs域向ps域切换的资源准备方法及通信设备
CN101877625A (zh) * 2010-06-29 2010-11-03 中兴通讯股份有限公司 下行语音帧的接收处理方法及装置、基带
CN102625164A (zh) * 2012-04-06 2012-08-01 上海车音网络科技有限公司 多媒体数据处理平台及多媒体读物、系统和方法
CN102664007A (zh) * 2012-03-27 2012-09-12 上海量明科技发展有限公司 用于生成字符标识内容的方法、客户端及系统
CN104023251A (zh) * 2014-06-13 2014-09-03 腾讯科技（深圳）有限公司 基于视频的互动方法和系统
JP2015061112A (ja) * 2013-09-17 2015-03-30 Ｎｐｏ法人メディア・アクセス・サポートセンター 携帯デバイスへのセカンドスクリーン情報の提供方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004021404B4 (de) * 2004-04-30 2007-05-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Wasserzeicheneinbettung
JP2007207328A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 情報記憶媒体、プログラム、情報再生方法、情報再生装置、データ転送方法、及びデータ処理方法
US8763029B1 (en) * 2006-11-13 2014-06-24 Visible World Inc. Systems and methods for client-based addressable advertising
JP2010170604A (ja) * 2009-01-21 2010-08-05 Sony Corp 光ディスク装置、光ピックアップ、プリフォーマット信号生成方法及びプログラム
US8925024B2 (en) 2009-12-31 2014-12-30 The Nielsen Company (Us), Llc Methods and apparatus to detect commercial advertisements associated with media presentations
US9026102B2 (en) * 2010-03-16 2015-05-05 Bby Solutions, Inc. Movie mode and content awarding system and method
JP5724283B2 (ja) * 2010-10-15 2015-05-27 ソニー株式会社 情報処理装置、同期方法およびプログラム
US20130083036A1 (en) * 2011-08-19 2013-04-04 Hall of Hands Limited Method of rendering a set of correlated events and computerized system thereof
EP2801021A1 (en) * 2012-01-06 2014-11-12 Thomson Licensing Alternate view video playback on a second screen
US9305559B2 (en) * 2012-10-15 2016-04-05 Digimarc Corporation Audio watermark encoding with reversing polarity and pairwise embedding
FR3006525B1 (fr) * 2013-06-04 2016-10-14 Visiware Synchronisation de contenus multimedia sur deuxieme ecran
EP3651469A1 (en) * 2013-09-20 2020-05-13 Koninklijke KPN N.V. Correlating timeline information between media streams
JP6349977B2 (ja) * 2013-10-21 2018-07-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2015087804A1 (ja) * 2013-12-09 2015-06-18 株式会社Ｐｕｍｏ リンク先指定用インタフェース装置、視聴者用インタフェース装置、及びコンピュータプログラム
CN103702145A (zh) 2013-12-26 2014-04-02 京东方科技集团股份有限公司 节目播放提醒方法及其系统和显示装置
KR102179321B1 (ko) * 2014-01-31 2020-11-18 인터디지털 씨이 페이튼트 홀딩스 두 개의 전자 디바이스에서 재생을 동기화하는 방법 및 장치
JP6433273B2 (ja) * 2014-12-05 2018-12-05 株式会社テレビ朝日 端末装置、サーバ装置、及びプログラム
US9665341B2 (en) 2015-02-09 2017-05-30 Sonos, Inc. Synchronized audio mixing
US20160309214A1 (en) * 2015-04-15 2016-10-20 Rovi Guides, Inc. Method of synchronizing alternate audio content with video content
EP3226570A1 (en) * 2016-03-31 2017-10-04 Thomson Licensing Synchronizing audio and video signals rendered on different devices
JP6157679B2 (ja) 2016-04-12 2017-07-05 日本放送協会 信号処理装置及びプログラム
JP6557886B1 (ja) * 2018-02-23 2019-08-14 エヴィクサー株式会社 コンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101370261A (zh) * 2007-08-15 2009-02-18 华为技术有限公司 从cs域向ps域切换的资源准备方法及通信设备
CN101877625A (zh) * 2010-06-29 2010-11-03 中兴通讯股份有限公司 下行语音帧的接收处理方法及装置、基带
CN102664007A (zh) * 2012-03-27 2012-09-12 上海量明科技发展有限公司 用于生成字符标识内容的方法、客户端及系统
CN102625164A (zh) * 2012-04-06 2012-08-01 上海车音网络科技有限公司 多媒体数据处理平台及多媒体读物、系统和方法
JP2015061112A (ja) * 2013-09-17 2015-03-30 Ｎｐｏ法人メディア・アクセス・サポートセンター 携帯デバイスへのセカンドスクリーン情報の提供方法
CN104023251A (zh) * 2014-06-13 2014-09-03 腾讯科技（深圳）有限公司 基于视频的互动方法和系统

Also Published As

Publication number Publication date
KR102607703B1 (ko) 2023-11-30
CN109983781A (zh) 2019-07-05
JPWO2018078768A1 (ja) 2018-11-01
EP3534618A4 (en) 2020-06-03
US11303951B2 (en) 2022-04-12
TWI760383B (zh) 2022-04-11
JP6163680B1 (ja) 2017-07-19
TW201820316A (zh) 2018-06-01
WO2018078768A1 (ja) 2018-05-03
KR20190085938A (ko) 2019-07-19
US20190253749A1 (en) 2019-08-15
EP3534618A1 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
KR101657913B1 (ko) 멀티미디어 재생방법, 장치, 프로그램 및 기록매체
TWI538520B (zh) 視頻資訊添加方法及裝置、視頻資訊顯示方法及裝置
US9578210B2 (en) A/V Receiving apparatus and method for delaying output of audio signal and A/V signal processing system
WO2016095384A1 (zh) 一种弹幕显示方法及系统
JP5765940B2 (ja) 画像を再生するための方法及び装置
WO2015032342A1 (zh) 一种信息展示方法及装置
KR20160013649A (ko) 주변 소음에 기초하여 자막을 생성하는 동영상 디스플레이 방법 및 사용자 단말
KR101789221B1 (ko) 동영상 제공 장치, 동영상 제공 방법, 및 컴퓨터 프로그램
CN108172245B (zh) 电影院中音轨的连续自动同步
US20170249971A1 (en) Method for generating image in which sound source is inserted and apparatus therefor
US20190215577A1 (en) Verbal queries relative to video content
JP6271194B2 (ja) 携帯デバイスへのセカンドスクリーン情報の提供方法
CN109983781B (zh) 内容播放装置以及计算机可读存储介质
RU2636116C2 (ru) Способ, сервер и устройство отображения для воспроизведения мультимедийного контента
CN111727608B (zh) 存储介质、内容播放方法及内容播放系统
KR102104498B1 (ko) 슬라이드 쇼를 제공하는 시스템 및 방법
CN114501126B (zh) 视频播放方法、系统和存储介质
JP2019507978A5 (zh)
KR101832464B1 (ko) 동영상 제공 장치, 동영상 제공 방법, 및 컴퓨터 프로그램
JP2015222865A (ja) 携帯端末、関連データ提示方法、及びプログラム
US20120224833A1 (en) Apparatus and method for segmenting video data in mobile communication terminal
JP2010287974A (ja) 携帯電話及びプログラム
KR20190109046A (ko) 동영상 콘텐트에 포함된 블랙 영역을 검출하기 위한 방법 및 그 전자 장치
KR100703522B1 (ko) 디지털 멀티미디어 방송 수신 단말의 디지털 멀티미디어방송 오디오 데이터 저장 방법 및 장치
JP2009187129A (ja) データ蓄積装置、データ蓄積方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40004576

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant