CN102034406B - 多媒体数据显示方法和多媒体数据显示装置 - Google Patents

多媒体数据显示方法和多媒体数据显示装置 Download PDF

Info

Publication number
CN102034406B
CN102034406B CN2010101202248A CN201010120224A CN102034406B CN 102034406 B CN102034406 B CN 102034406B CN 2010101202248 A CN2010101202248 A CN 2010101202248A CN 201010120224 A CN201010120224 A CN 201010120224A CN 102034406 B CN102034406 B CN 102034406B
Authority
CN
China
Prior art keywords
pictures
picture
module
eigenwert
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2010101202248A
Other languages
English (en)
Other versions
CN102034406A (zh
Inventor
简敏纮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co.,Ltd.
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN102034406A publication Critical patent/CN102034406A/zh
Application granted granted Critical
Publication of CN102034406B publication Critical patent/CN102034406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00—Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02—Control of operating function, e.g. switching from recording to reproducing
    • G11B19/022—Control panels
    • G11B19/025—'Virtual' control panels, e.g. Graphical User Interface [GUI]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种多媒体数据显示方法和多媒体数据显示装置。其中多媒体数据显示方法包括提供音频比特流和至少一张图片；分析该音频比特流用以获得至少一个特征值；依据该音频比特流的该至少一个特征值，确定来自多个重现模型的重现模型用以播放该音频比特流；播放该音频比特流；以及当播放该音频比特流时，依据该已确定的重现模型显示该至少一张图片。利用本发明提供的多媒体数据显示方法和多媒体数据显示装置能够依据情感类型模式而不需人工操作就能同步播放音乐和显示图片。

Description

多媒体数据显示方法和多媒体数据显示装置
技术领域
本发明有关于一种多媒体数据显示方法和多媒体数据显示装置。
背景技术
随着人工智能的发展，消费类电子产品的应用被需要。然而，用于播放音乐和显示图片的媒体播放器并未提供足够的类似人工智能的功能，以至于情感类型模式功能可能并未充分满足用户需求。因此，需要进行人工操作以设置情感类型模式，例如为待播放的图片设置显示效果和显示速度，用以与音乐类型进行匹配。
因此，需要提供一种用于显示多媒体数据的方法和装置，依据情感类型模式而不需人工操作就能同步播放音乐和显示图片。
发明内容
有鉴于此，本发明提供一种多媒体数据显示方法和多媒体数据显示装置以解决上述问题。
本发明提供一种多媒体数据显示方法，包括：提供音频比特流和至少一张图片；分析该音频比特流用以获得至少一个特征值；依据该音频比特流的该至少一个特征值，确定来自多个重现模型的一个重现模型用以播放该音频比特流；播放该音频比特流；以及当播放该音频比特流时，依据该已确定的重现模型显示该至少一张图片。
本发明另提供一种多媒体数据显示方法，包括：提供多张图片和多个不同音乐类型；分析该多张图片的至少一张用以获得至少一个特征值；依据该多张图片的至少一张的该至少一个特征值，确定来自多个重现模型的一个重现模型用以显示该多张图片的至少一张；依据该已确定的重现模型选择该多个不同音乐类型的其中一个；播放该已选择的音乐类型；以及当播放该已选择的音乐类型时，依据该已确定的重现模型显示该多张图片的该至少一张。
本发明再提供一种多媒体数据显示装置，依据多个重现模型进行显示，包括：第一存储器，用以存储多个音频比特流；第二存储器，用以存储图片组；处理模块，用以在音乐优先级模式中接收和分析该多个音频比特流的一个或在图片优先级模式中接收和分析该图片组的至少一张图片，以产生至少一个特征值；决定模块，用以接收该至少一个特征值，并依据该至少一个特征值确定该多个重现模型其中的一个在该音乐优先级模式中播放该已分析的音频比特流，或在该图片优先级模式中显示该已分析的图片，并依据该已确定的重现模型产生第一指示信号和第二指示信号；音乐播放模块，用以依据该第一指示信号在该音乐优先级模式中播放该多个音频比特流的该个，或依据该第一指示信号在该图片优先级模式中播放该多个音频比特流的一个类型；以及显示模块，用以依据该第二指示信号在该音乐优先级模式中显示该图片组，或依据该第二指示信号在该图片优先级模式中显示该图片组的该至少一张图片。
利用本发明提供的多媒体数据显示方法和多媒体数据显示装置能够依据情感类型模式而不需人工操作就能同步播放音乐和显示图片。
附图说明
图1为本发明一范例实施例的用以播放多媒体数据的装置；
图2为处于音乐优先级模式的装置1的操作的范例实施例的流程图；
图3为图2的构建重现模型步骤的范例实施例的流程图；
图4为处于图片优先级模式的装置1的操作的范例实施例的流程图；
图5为图4的构建重现模型步骤的范例实施例的流程图。
具体实施方式
在说明书及权利要求当中使用了某些词汇来指称特定组件。所属技术领域的技术人员应可理解，制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异作为区分组件的方式，而是以组件在功能上的差异作为区分准则。在通篇说明书及权利要求中所提及的“包含”为开放式用语，故应解释成“包含但不限定于”。此外，“耦接”一词在此包含任何直接及间接的电气连接手段。藉由以下的较佳实施例的叙述并配合全文的图1至图5说明本发明，但以下叙述中的装置、组件与方法、步骤乃用以解释本发明，而不应当用来限制本发明。
提供依据多个重现模型的用以显示多媒体数据的装置。图1为本发明一范例实施例的用以显示多媒体数据的装置。用以显示多媒体数据的装置1包括第一存储器10和第二存储器11、处理模块12、决定模块13、音乐播放模块14和显示模块15。装置1可由音乐优先级模式或图片优先级模式操作，用以同步播放音乐和显示图片。音乐优先级模式和图片优先级模式皆包括至少一个重现模型。第一存储器10用以存储多个音频比特流，当装置1工作时可从外部装置输入该多个音频比特流，也可预先输入并存储该多个音频比特流。在本实施例中，一个音频比特流相应于一个音乐片段，或多个接续音频比特流构成一个音乐片段。第二存储器11用以存储多张图片，当装置1工作时可从外部装置输入该多张图片，也可预先输入并存储该多张图片。处理模块12可依据音乐优先级模式的操作存取音频比特流，以及依据图片优先级模式的操作存取图片，其中，音频比特流由第一存储器10或外部装置输入，图片来自第二存储器11或外部装置。需注意的是，第一存储器10和第二存储器11皆仅用于举例，并非用于限制本发明。第一存储器10和第二存储器11可实施为同一个存储器；任何能够存储多个音频比特流和多张图片的存储装置皆符合本发明的范畴。
音乐播放模块14包括重现控制器140和由重现控制器140控制的音频输出元件141，例如，扬声器、线路输出插口和耳机。显示模块15包括显示控制器150和由显示控制器150控制的显示元件151，例如面板和液晶显示(Liquid crystaldisplay，LCD)。
接下来，依据图1和相应的流程图描述处于音乐优先级模式和图片优先级模式的装置1的操作。
图2为处于音乐优先级模式的装置1的操作的范例实施例的流程图。如图2所示，已建立多个重现模型，且重现模型的信息已记录于决定模块13的表130之内(步骤S20)。图3为图2的步骤S20的范例实施例的流程图。如图3所示，提供并收集多个模块音频比特流(步骤S30)，然后将模块音频比特流播放给收听者(步骤S31)。然后收听者收听每个模块音频比特流，并为每种类型的模块音频比特流确定收听者的情感感受。然后收集收听者的情感感受(步骤S32)。分析每个模块音频比特流以获得至少一个特征值(步骤S33)。在本实施例中，该至少一个特征值可为已分析的模块音频比特流的频率变化值和/或音量变化值。然后将至少一个参考值与该每个模块音频比特流的该至少一个特征值进行比较(步骤S34)。依据在步骤S32中收集的情感感受以及在步骤S34中产生的比较结果建立用于音乐优先级模式的重现模型，用以同时播放音乐和显示图片(步骤S35)。
假设该至少一个特征值为频率变化值，且已预先确定两个参考值FH和FL，其中，参考值FH大于参考值FL。将一模块音频比特流播放给收听者。然后收听者确定他们对该类型的模块音频比特流的情感感受(步骤S32)，例如摇滚音乐、罗曼蒂克音乐或普通音乐。分析已播放的模块音频比特流以获得其频率变化值(步骤S33)，然后将已获得的频率变化值与参考值FH和FL进行比较(步骤S34)。将足够多的模块音频比特流播放给收听者，且执行步骤S32、S33和S34。经由对收听者的情感感受和模块音频比特流的比较结果执行统计学操作和分类操作，可为音乐优先级模式建立如下的三种重现模型。
第一重现模型：具有大于参考值FH的频率变化值FV的音频比特流被分类为第一音乐类型，例如摇滚音乐，且当播放该音频比特流时，根据相应于第一重现模型的默认显示效果和/或默认显示速度(换句话说，根据该默认显示效果、该默认显示速度或该默认显示效果与该默认显示速度的组合)显示所需图片，其中，如表1所示，相应于第一重现模型的默认显示效果为快转变效果，而该默认显示速度为快显示速度。
第二重现模型：具有小于参考值FL的频率变化值FV的音频比特流被分类为第二音乐类型，例如罗曼蒂克音乐，且当播放该音频比特流时，根据相应于第二重现模型的默认显示效果和/或默认显示速度显示所需图片，其中，如表1所示，相应于第二重现模型的默认显示效果为渐进转变效果，而该默认显示速度为慢显示速度。
第三重现模型：具有大于参考值FL而小于参考值FH的频率变化值FV的音频比特流被分类为第三音乐类型，例如普通音乐，且当播放该音频比特流时，根据相应于第三重现模型的默认显示效果和/或默认显示速度显示所需图片，其中，如表1所示，相应于第三重现模型的默认显示效果为普通转变效果，而该默认显示效果为平均显示速度，该普通转变效果界于快转变效果和渐进转变效果之间，该平均显示速度界于快显示速度和慢显示速度之间。
Figure GSB00001073158200051
表1：音乐优先级模式中的重现模型
在一些实施例中，显示效果依据重现模型的确定可为宽转变效果、对角线宽转变效果、延伸转变效果、压缩转变效果、窗口转变效果或淡入转变效果。表1仅用于举例，并非用于限制本发明的范畴。
请参考图1和图2，提供预先存储于第一存储器10的多个音频比特流的一个或来自外部装置的一个音频比特流至处理模块12。此外，提供预先存储于第二存储器11的多张图片或来自外部装置的多张图片(步骤S21)。在本实施例中，处理模块12对第一存储器10执行读操作，用以接收存储于第一存储器10的多个音频比特流中的一个。然后处理模块12分析已接收的音频比特流用以获得该音频比特流的至少一个特征值(步骤S22)。提供该特征值至决定模块13。决定模块13对该特征值和存储于表130中的至少一个参考值(例如参考值FH和FL)进行比较(步骤S23)，并确定已分析的音频比特流的类型为表1所示的第一音乐类型、第二音乐类型或第三音乐类型，并依据比较结果进一步确定对于该已分析的音频比特流使用三种重现模型的哪一种(步骤S24)。决定模块13依据该已确定的重现模型分别为重现控制器140和显示控制器150产生指示信号S130和S131。重现控制器140依据指示信号S130从第一存储器10读取由处理模块12分析的音频比特流，并经由音频输出元件141播放该音频比特流(步骤S25)。显示控制器150依据该指示信号S131控制显示元件151，用以调节显示效果和显示速度，并从第二存储器11中读取至少一张图片。当重现控制器140经由该音频输出元件141播放该音频比特流时，显示元件151依据相应于该已确定的重现模型的该指示信号S131显示该至少一张图片(步骤S26)。例如，显示元件151使用该已确定的重现模型的显示效果和显示速度对该至少一张图片进行显示。
例如，当该已分析的音频比特流的频率变化值大于该参考值FH时，决定模块13确定将使用该第一重现模型。当播放该已分析的音频比特流时，显示元件151使用快转变效果和快显示速度对该至少一张图片进行显示。
依据图2的实施例，当装置1操作于音乐优先级模式而同步播放音乐和显示图片时，图片的显示效果和/或显示速度与音频比特流的类型匹配。相应地，装置1可以依据人类情感感受而非人工操作同时播放音乐和显示图片。
此外，假设存储于第一存储器10的音频比特流能依据音频片段的音乐类型被分为多个接续的音频片段，则可交替地提供该多个音频片段至处理模块12，用以获得特征值。然后决定模块13为每个音频片段确定重现模型。相应地，图片的显示效果和显示速度根据每个音频片段的音乐类型的改变而改变。
图4为处于图片优先级模式的装置1的操作的范例实施例的流程图。如图4所示，已建立多个重现模型，且重现模型的信息已记录于决定模块13的表130之内(步骤S40)。图5为图4的步骤S40的范例实施例的流程图。如图5所示，提供多张模块图片(步骤S50)，然后将模块图片显示给观看者(步骤S51)。然后观看者观看每张模块图片，并为每张模块图片的内容确定观看者的情感感受。然后收集观看者的情感感受(步骤S52)。分析每张模块图片以获得至少一个特征值(步骤S53)。在本实施例中，该至少一个特征值可为该模块图片的产生时间、快门速度值、光圈值和国际标准化组织(International Standardization Organization，ISO)值其中的至少一个。然后将至少一个参考值与该每张模块图片的该至少一个特征值进行比较(步骤S54)。依据在步骤S52中收集的情感感受以及在步骤S54中产生的比较结果建立用于图片优先级模式的重现模型，用以同时播放音乐和显示图片(步骤S55)。
假设该至少一个特征值为快门速度值，且已预先确定两个参考值SH和SL，其中，参考值SH大于参考值SL。将一模块图片显示给观看者。然后观看者确定他们对该模块图片内容的情感感受(步骤S52)，例如动态图片、静态图片或普通图片。分析已显示的模块图片以获得其快门速度值(步骤S53)，然后将已获得的快门速度值与参考值SH和SL进行比较(步骤S54)。将足够多的模块图片显示给观看者，且执行步骤S52、S53和S54。经由对观看者的情感感受和模块图片的比较结果执行统计学操作和分类操作，可为图片优先级模式建立如下的三种重现模型。
第一重现模型：图片组中的具有大于参考值SH的快门速度值SV的一张图片被分类为第一图片类型，例如动态图片，且根据相应于第一重现模型的默认显示效果和/或默认显示速度显示该图片组，其中，如表2所示，相应于第一重现模型的默认显示效果为快转变效果，而该默认显示速度为快显示速度，且当显示该图片组时，选择并播放相应于第一重现模型的第一音乐类型，例如摇滚音乐。
第二重现模型：图片组中的具有小于参考值SL的快门速度值SV的一张图片被分类为第二图片类型，例如静态图片，且根据相应于第二重现模型的默认显示效果和/或默认显示速度显示该图片组，其中，如表2所示，相应于第二重现模型的默认显示效果为渐进转变效果，而该默认显示速度为慢显示速度，且当显示该图片组时，选择并播放相应于第二重现模型的第二音乐类型，例如罗曼蒂克音乐。
第三重现模型：图片组中的具有大于参考值SL而小于参考值SH的频率变化值SV的一张图片被分类为第三图片类型，例如普通图片，且根据相应于第三重现模型的默认显示效果和/或默认显示速度显示该图片组，其中，如表2所示，相应于第三重现模型的默认显示效果为普通转变效果，而该默认显示效果为平均显示速度，该普通转变效果界于快转变效果和渐进转变效果之间，该平均显示速度界于快显示速度和慢显示速度之间，且当显示该图片组时，选择并播放相应于第三重现模型的第三音乐类型，例如普通音乐。需注意的是，表2中的SV、SH和SL并非为绝对快门速度值，而是示意快门速度值，且表2仅用来举例，并非用以限制本发明的范畴。此外，对于图片优先级模式，可使用该图片组的多张图片用以确定重现模型。
表2：图片优先级模式中的重现模型
请参考图1和图4，提供预先存储于第一存储器10的多个音频比特流以及预先存储于第二存储器11的一图片组。作为选择，可从外部装置提供该图片组至处理模块12，并也存储于第二存储器11(步骤S41)，其中，该音频比特流包括多个不同的音乐类型。在本实施例中，处理模块12对第二存储器11执行读操作，用以接收存储于第二存储器11的该图片组的至少一张图片。然后处理模块12分析已接收的图片用以获得该图片的至少一个特征值(步骤S42)，例如快门速度值。提供该特征值至决定模块13。决定模块13对该特征值和存储于表130中的至少一个参考值(例如参考值SH和SL)进行比较(步骤S43)，并确定已分析的图片的类型为表2所示的第一图片类型、第二图片类型或第三图片类型，并依据比较结果进一步确定对于该图片组使用三种重现模型的哪一个(步骤S44)。决定模块13依据该已确定的重现模型分别为重现控制器140和显示控制器150产生指示信号S130和S131。重现控制器140依据该指示信号S130在第一存储器10中从该多个不同音乐类型中选择出一种相应的音乐类型(步骤S45)，并经由音频输出元件141播放已选择的音乐类型(步骤S46)。显示控制器150依据该指示信号S131调节显示效果和/或显示速度，用以控制显示元件151显示来自第二存储器11的图片组。当重现控制器140经由音频输出元件141播放该已选择的音乐类型时，显示元件151依据该已确定的重现模型的显示效果和显示速度显示该图片组的至少一张图片(步骤S47)。
例如，当该已分析的图片的快门速度值大于该参考值SH时，决定模块13确定将使用第一重现模型。重现控制器140选择摇滚音乐提供至音频输出元件141用以播放。当播放摇滚音乐时，显示元件151使用快转变效果和快显示速度对该图片组进行显示。
依据图4的实施例，当装置1操作于图片优先级模式而同步播放音乐和显示图片时，图片的显示效果和/或显示速度与图片组的内容匹配，且选择播放与该图片组内容匹配的音乐类型。相应地，装置1可以依据人类情感感受而非人工操作同时播放音乐和显示图片。
此外，假设经由处理模块12对存储于第二存储器11的图片组的多张图片进行处理，并对于已确定的重现模型获得各自的特征值。处理模块12对该多个特征值执行统计学操作，用以获得一最终特征值，决定模块13依据该最终特征值和该多个参考值确定使用该多个重现模型的哪一个。
在音乐优先级模式和图片优先级模式中，在决定模块13确定使用该多个重现模型的哪一个去同时播放音乐和显示图片之后，显示模块15可依据该已确定的重现模型修改该多张图片的颜色温度、颜色色调、对比度、亮度值和/或饱和度，因此，已修改的图片的内容进一步与已播放的音乐类型匹配。在一些实施例中，在图片优先级中确定重现模型之后，音乐播放模块14亦可修改待播放的音乐的低音、高音或均衡，因此，已修改的音乐类型进一步与待显示的图片的内容匹配。
上述的实施例仅用来列举本发明的实施方式，以及阐释本发明的技术特征，并非用来限制本发明的范畴。任何所属技术领域的技术人员依据本发明的精神而轻易完成的改变或均等性安排均属于本发明所主张的范围，本发明的权利范围应以权利要求为准。

Claims (15)

1.一种多媒体数据显示方法，该多媒体数据显示方法包括：
收集相应于多个模块音频比特流的多个情感感受；
分析该多个模块音频比特流的每一个，用以获得相应于该多个模块音频比特流的每一个的至少一个特征值；
比较该多个模块音频比特流的每一个的该至少一个特征值与至少一个参考值；
依据该多个情感感受和该比较结果建立多个重现模型；
提供音频比特流和至少一张图片；
分析该音频比特流用以获得相应于该音频比特流的至少一个特征值；
依据该音频比特流的该至少一个特征值，确定该多个重现模型中的一个重现模型用以播放该音频比特流；
播放该音频比特流；以及
当播放该音频比特流时，依据该已确定的重现模型显示该至少一张图片。
2.如权利要求1所述的多媒体数据显示方法，其特征在于，依据该已确定的重现模型显示该至少一张图片的步骤包括：
依据该已确定的重现模型显示具有默认显示效果、默认显示速度和该默认显示效果与该默认显示速度的组合的其中一个的该至少一张图片。
3.如权利要求2所述的多媒体数据显示方法，其特征在于，该默认显示效果为快转变效果、渐进转变效果或普通转变效果，且该默认显示速度为快显示速度、慢显示速度或平均显示速度。
4.如权利要求1所述的多媒体数据显示方法，其特征在于，相应于该多个模块音频比特流的每一个的该至少一个特征值包括该模块音频比特流的频率变化值和音量变化值的至少一个，以及相应于该音频比特流的该至少一个特征值包括该音频比特流的频率变化值和音量变化值的至少一个。
5.一种多媒体数据显示方法，该多媒体数据显示方法包括：
收集相应于多张模块图片的多个情感感受；
分析该多张模块图片的每一张，用以获得相应于该多张模块图片的每一张的至少一个特征值；
比较该多张模块图片的每一张的该至少一个特征值与至少一个参考值；
依据该多个情感感受和该比较结果建立多个重现模型；
提供多张图片和多个不同音乐类型；
分析该多张图片的至少一张用以获得相应于该多张图片的至少一个特征值；
依据该多张图片的至少一张的该至少一个特征值，确定该多个重现模型中的一个重现模型用以显示该多张图片的至少一张；
依据该已确定的重现模型选择该多个不同音乐类型的其中一个；
播放该已选择的音乐类型；以及
当播放该已选择的音乐类型时，依据该已确定的重现模型显示该多张图片的该至少一张。
6.如权利要求5所述的多媒体数据显示方法，其特征在于，依据该已确定的重现模型显示该多张图片的该至少一张的步骤包括：
显示具有默认显示效果、默认显示速度和该默认显示效果与该默认显示速度的组合的其中一个的该多张图片的该至少一张。
7.如权利要求6所述的多媒体数据显示方法，其特征在于，该默认显示效果为快转变效果、渐进转变效果或普通转变效果，且该默认显示速度为快显示速度、慢显示速度或平均显示速度。
8.如权利要求5所述的多媒体数据显示方法，其特征在于，相应于该多张模块图片/该多张图片的每一张的该至少一个特征值包括该多张模块图片/该多张图片的该至少一张的产生时间、该多张模块图片/该多张图片的该至少一张的快门速度值、该多张模块图片/该多张图片的该至少一张的光圈值和该多张模块图片/该多张图片的该至少一张的国际标准化组织值其中的至少一个。
9.如权利要求5所述的多媒体数据显示方法，其特征在于，该已选择的音乐类型为摇滚类型、罗曼蒂克类型或普通类型。
10.一种多媒体数据显示装置，依据多个重现模型进行显示，该多媒体数据显示装置包括：
第一存储器，用以存储多个音频比特流；
第二存储器，用以存储图片组；
处理模块，用以在音乐优先级模式中接收和分析该多个音频比特流的一个或在图片优先级模式中接收和分析该图片组的至少一张图片，以产生至少一个特征值；
决定模块，用以接收该至少一个特征值，并依据该至少一个特征值确定该多个重现模型其中的一个以在该音乐优先级模式中播放该已分析的音频比特流，或在该图片优先级模式中显示该已分析的图片，并依据该已确定的重现模型产生第一指示信号和第二指示信号；
音乐播放模块，用以依据该第一指示信号在该音乐优先级模式中播放该已分析的多个音频比特流，或依据该第一指示信号在该图片优先级模式中播放该已分析的多个音频比特流的相应的类型；以及
显示模块，用以依据该第二指示信号在该音乐优先级模式中显示该图片组的至少一张图片，或依据该第二指示信号在该图片优先级模式中显示该图片组的该至少一张图片；
其中针对该音乐优先级模式，该多个重现模型的建立包括：
收集相应于多个模块音频比特流的多个情感感受；
分析该多个模块音频比特流的每一个，用以获得相应于该多个模块音频比特流的每一个的至少一个特征值；
比较该多个模块音频比特流的每一个的该至少一个特征值与至少一个参考值；
依据该多个情感感受和该比较结果建立该多个重现模型；以及针对该图片优先级模式，该多个重现模型的建立包括：
收集相应于多张模块图片的多个情感感受；
分析该多张模块图片的每一张，用以获得相应于该多张模块图片的每一张的至少一个特征值；
比较该多张模块图片的每一张的该至少一个特征值与至少一个参考值；
依据该多个情感感受和该比较结果建立该多个重现模型。
11.如权利要求10所述的多媒体数据显示装置，其特征在于，该音乐优先级模式中的该至少一个特征值包括该已分析的音频比特流的频率变化值和音量变化值的至少一个。
12.如权利要求10所述的多媒体数据显示装置，其特征在于，该显示模块显示具有默认显示效果、默认显示速度和该默认显示效果与该默认显示速度的组合的其中一个内的图片。
13.如权利要求12所述的多媒体数据显示装置，其特征在于，该默认显示效果为快转变效果、渐进转变效果或普通转变效果，且该默认显示速度为快显示速度、慢显示速度或平均显示速度。
14.如权利要求10所述的多媒体数据显示装置，其特征在于，在该图片优先级模式中的该至少一个特征值包括该已分析的图片的产生时间、该已分析的图片的快门速度值、该已分析的图片的光圈值和该已分析的图片的国际标准化组织值其中的至少一个。
15.如权利要求10所述的多媒体数据显示装置，其特征在于，该相应的类型为摇滚类型、罗曼蒂克类型或普通类型。
CN2010101202248A 2009-10-02 2010-03-09 多媒体数据显示方法和多媒体数据显示装置 Active CN102034406B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/572,384 2009-10-02
US12/572,384 US8909531B2 (en) 2009-10-02 2009-10-02 Methods and devices for displaying multimedia data emulating emotions based on image shuttering speed

Publications (2)

Publication Number Publication Date
CN102034406A CN102034406A (zh) 2011-04-27
CN102034406B true CN102034406B (zh) 2013-07-24

Family

ID=43823225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101202248A Active CN102034406B (zh) 2009-10-02 2010-03-09 多媒体数据显示方法和多媒体数据显示装置

Country Status (3)

Country Link
US (1) US8909531B2 (zh)
CN (1) CN102034406B (zh)
TW (1) TWI410862B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8504422B2 (en) * 2010-05-24 2013-08-06 Microsoft Corporation Enhancing photo browsing through music and advertising
CN106777353B (zh) * 2011-12-14 2020-02-21 联想(北京)有限公司 播放多媒体文件的方法及装置
US20130346920A1 (en) * 2012-06-20 2013-12-26 Margaret E. Morris Multi-sensorial emotional expression
US20150189166A1 (en) * 2013-12-30 2015-07-02 Telefonica Digital España, S.L.U. Method, device and system for improving the quality of photographs
CN104021152B (zh) * 2014-05-19 2017-09-05 广州酷狗计算机科技有限公司 基于音频文件播放的图片显示方法和装置
CN104965683A (zh) * 2015-06-29 2015-10-07 天脉聚源（北京）科技有限公司 一种动态显示数据变化过程的方法及装置
CN105142017B (zh) * 2015-08-12 2019-01-22 北京金山安全软件有限公司 一种图片视频播放时的图片切换方法及图片切换装置
CN105208439B (zh) * 2015-09-11 2018-09-04 深圳Tcl数字技术有限公司 音频文件播放方法及装置
CN110069651B (zh) * 2017-10-23 2023-04-07 腾讯科技（北京）有限公司 图片筛选方法及装置、存储介质
CN109688264B (zh) * 2018-12-17 2021-02-12 咪咕数字传媒有限公司 一种电子设备显示状态调整方法、装置及存储介质
CN110209844B (zh) * 2019-05-17 2021-08-31 腾讯音乐娱乐科技（深圳）有限公司 多媒体数据匹配方法、装置和存储介质
CN110933490B (zh) * 2019-11-20 2021-07-27 深圳创维－Rgb电子有限公司 一种画质和音质的自动调整方法、智能电视机及存储介质
CN113727038B (zh) * 2021-07-28 2023-09-05 北京达佳互联信息技术有限公司 一种视频处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110917A (zh) * 2006-07-17 2008-01-23 联发科技股份有限公司 多媒体显示系统、多媒体显示装置及其方法
CN101369446A (zh) * 2007-08-13 2009-02-18 讯连科技股份有限公司 多媒体制作方法及相关系统
CN101370216A (zh) * 2008-10-15 2009-02-18 北京中星微电子有限公司 一种手机音频文件的情绪化处理和播放方法
WO2009083845A2 (en) * 2007-12-21 2009-07-09 Koninklijke Philips Electronics N.V. Method and apparatus for playing pictures

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6226608B1 (en) * 1999-01-28 2001-05-01 Dolby Laboratories Licensing Corporation Data framing for adaptive-block-length coding system
GB2380599B (en) * 2000-12-22 2003-10-29 Kent Ridge Digital Labs System and method for media production
US10248956B2 (en) * 2007-12-10 2019-04-02 Excalibur Ip, Llc Advertising associated with multimedia content
US20090182810A1 (en) * 2008-01-16 2009-07-16 Yahoo! Inc. System and Method for Real-Time Media Object-Specific Communications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110917A (zh) * 2006-07-17 2008-01-23 联发科技股份有限公司 多媒体显示系统、多媒体显示装置及其方法
CN101369446A (zh) * 2007-08-13 2009-02-18 讯连科技股份有限公司 多媒体制作方法及相关系统
WO2009083845A2 (en) * 2007-12-21 2009-07-09 Koninklijke Philips Electronics N.V. Method and apparatus for playing pictures
CN101370216A (zh) * 2008-10-15 2009-02-18 北京中星微电子有限公司 一种手机音频文件的情绪化处理和播放方法

Also Published As

Publication number Publication date
US8909531B2 (en) 2014-12-09
TWI410862B (zh) 2013-10-01
US20110081101A1 (en) 2011-04-07
TW201113806A (en) 2011-04-16
CN102034406A (zh) 2011-04-27

Similar Documents

Publication Publication Date Title
CN102034406B (zh) 多媒体数据显示方法和多媒体数据显示装置
US11222410B2 (en) Image display apparatus
US8326623B2 (en) Electronic apparatus and display process method
US8744244B2 (en) Reproducing apparatus, reproducing method, and storage medium
US20050180462A1 (en) Apparatus and method for reproducing ancillary data in synchronization with an audio signal
US20070048697A1 (en) Interactive language learning techniques
CN108322817A (zh) 一种音效模式切换方法、装置及电子设备
KR20200054720A (ko) 디스플레이장치, 그 제어방법 및 기록매체
WO2017159313A1 (en) Information processing apparatus, information recording medium, information processing method, and program
CN101416562A (zh) 组合的基于视频和音频的环境照明控制
KR20200086064A (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
US11234042B2 (en) Display device, control method therefor and recording medium
US20090088879A1 (en) Audio reproduction device and method for audio reproduction
CN217406647U (zh) 一种led屏同异步播放切换装置
KR20030081801A (ko) 디지털 텔레비젼 테스트 스트림 생성장치
EP3487168B1 (en) Content providing apparatus, method of controlling the same, and recording medium thereof
US20060109382A1 (en) Display apparatus and control method thereof
CN101521775B (zh) 一种基于DirectShow平台的流媒体播放方法
CN111601157B (zh) 一种音频输出方法及显示设备
CN2702410Y (zh) 网络dvd播放器
KR20220126534A (ko) 콘텐츠 출력 장치 및 콘텐츠 출력 장치의 지연 보상 방법
KR20210073305A (ko) 전자장치 및 그 제어방법
TWI389567B (zh) Internet TV playback system, playback method and the implementation of its computer program products
Marc Viewing 4K and UHD in an HD World
KR20080013348A (ko) 영상 재생장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220217

Address after: ottawa

Patentee after: Xueshan Technology Co.,Ltd.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Patentee before: MEDIATEK Inc.