CN113810982A - 优化移动设备中的多媒体信号处理的功耗的系统和方法 - Google Patents

优化移动设备中的多媒体信号处理的功耗的系统和方法 Download PDF

Info

Publication number
CN113810982A
CN113810982A CN202110655326.8A CN202110655326A CN113810982A CN 113810982 A CN113810982 A CN 113810982A CN 202110655326 A CN202110655326 A CN 202110655326A CN 113810982 A CN113810982 A CN 113810982A
Authority
CN
China
Prior art keywords
media
codec
cpu
module
dsp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110655326.8A
Other languages
English (en)
Inventor
纳拉辛汉·维贾伊·阿南德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trisbeth Technologies Opc Pte Ltd
Original Assignee
Trisbeth Technologies Opc Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trisbeth Technologies Opc Pte Ltd filed Critical Trisbeth Technologies Opc Pte Ltd
Publication of CN113810982A publication Critical patent/CN113810982A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3293—Power saving characterised by the action undertaken by switching to a less power-consuming processor, e.g. sub-CPU
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30032—Movement instructions, e.g. MOVE, SHIFT, ROTATE, SHUFFLE
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G10L19/265—Pre-filtering, e.g. high frequency emphasis prior to encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种用于优化移动设备中多媒体信号处理功耗的系统和方法。系统(100)包括媒体(语音、音频、图像和视频)编解码器编码器模块(103)、媒体编解码器解码器模块(106)以及预处理和后处理(滤波、去块滤波器、分析、人员检测、关键字/关键帧检出)模块(102、107)模块。预处理模块和后处理模块在DSP/VLIW处理器上实施，媒体编码器模块和解码器模块在带有SIMD扩展的CPU上实施。与采用同步RPC(阻塞)的多CPU/DSP/VLIW核中模块实施相比，多核中模块的该流水线式(异步RPC，非阻塞)实施将SoC中电流消耗降低达50％。模块(102、103、106、107)电流消耗的显著降低能减少多媒体处理用例中的功耗。因此，本发明提供一种通过在实际用例中使用移动设备中多媒体信号处理的多核实施模块优化功耗的简单方法。

Description

优化移动设备中的多媒体信号处理的功耗的系统和方法
本说明序言
以下说明书特别描述了本发明及其执行方式：
技术领域
本发明涉及一种用于对移动设备中的功耗进行优化的系统和方法。更具体地，本发明涉及通过以下操作对移动设备中的功耗进行优化：通过在CPU和DSP/VLIW核之间以流水线(pipeline)方式，在具有单指令多数据(SIMD)扩展的中央处理单元(CPU)上实施媒体(语音、音频、图像和视频)编解码器(codec)以及在数字信号处理器(DSP)核/超长指令字(VLIW)核上实施预/后处理模块，包括滤波器(去块滤波)、人员检测、关键字/关键帧检测、分析、回声消除、降噪来减少多媒体应用用例中的电流消耗。CPU和DSP/VLIW核之间的模块的处理通过异步远程过程调用(RPC)机制(非阻塞模式)作用于数据块/帧。
背景技术
随着5G技术的采用，多媒体应用正迅速变得计算密集型，该技术在核处提供高数据速率，这是现实世界应用中多媒体信号处理的典型特征。有各种小型设备可以设计为采用5G技术，例如手机、智能电话和其他便携式无线设备。多媒体应用大体包含压缩/解压缩，然后是预处理/后处理模块。
多媒体信号处理涉及数字媒体(语音、音频、图像、视频)数据的编码(压缩)和解码(解压缩)。这些数字媒体有各种压缩标准，即，自适应多速率(AMR)-NB、AMR-WB、用于语音的增强语音服务(EVS)编解码器、用于音频的mp3和高级音频编码(AAC)、用于图像的联合图像专家组(JPEG)、视频压缩标准，例如运动图像专家组(MPEG)-1、MPEG-2、MPEG-4、H.264、H.265、AV1、VP8、VP10以及许多更多即将推出的标准。这些编解码器通过利用各种冗余和预测技术对媒体信号进行编码。处理这些模块的计算复杂性需要很多处理周期，因此当多媒体应用在电池驱动的小工具/设备(例如智能手机)中运行时会消耗大量电流。
多媒体信号处理中处理器的高负载会导致大量功耗，因此在多媒体用例应用中设备使用的电池寿命大大缩短。
最小化功耗和/或提高用户设备(UE)设备中的数据速率和用户体验对于所有无线通信系统都很重要。随着UE设备变得越来越复杂，它们消耗的功率也越来越大。UE设备具有容量有限的板载电池。因此，在有限电池的约束下获得尽可能好的用户体验存在问题。
题为“System and method for optimizing power consumption in mobiledevices(用于对移动设备功耗进行优化的系统和方法)”的美国专利文件US10390309公开了一种通过适当的指令集架构特征改变和语音编解码器的优化实施来优化移动设备功耗的方法和装置。但是，该解决方案主要针对语音呼叫用例。
因此，需要对移动设备中的功耗进行优化的系统和方法，以优化多媒体应用中的功耗，该多媒体应用不仅涉及语音，还涉及其他媒体，例如用于使用这些媒体的各种真实世界用例，诸如音频、图像、视频。
发明内容
本发明克服了现有技术的不足，提供了一种对移动设备多媒体应用的功耗进行优化的系统和方法。许多解决无数问题陈述的实际用例以多媒体信号处理作为其核，包括编码器/解码器和预处理/后处理，诸如分析、人员检测/识别、讲话者识别、关键字/关键帧检出(spotting)。我们为这些用例提出了一种功率有效的解决方案。
该系统包括与移动设备集成的传感器(麦克风/相机)。传感器捕获输入媒体并转换为不同分辨率的数字媒体，即，采样频率、样本分辨率和媒体帧尺寸。
在本发明的实施方式中，根据压缩标准对数字媒体信号进行编码，压缩标准包括但不限于：MPEG-1、MPEG-2、MPEG-4、H.264、H.265、AV1、VP8、VP10标准视频编解码器、AMR-NB、AMR-WB、EVS语音编解码器、mp3、AAC音频编解码器、JPEG图像编解码器或任何其他适合应用的标准。各种压缩工具/算法在CPU中实施，该CPU具有：带有SIMD扩展的指令集，但没有关键的单周期指令乘法和累加(MAC)。预处理模块包括但不限于去块滤波器、回声消除、降噪、分析、人员检测/识别、关键字/关键帧检出、讲话者识别在DSP上实施。通过在SoC中的DSP/VLIW核上实施预处理而在带有SIMD扩展的CPU中实施媒体编解码器来减少片上系统(SoC)中的电流消耗。然后通过网络传输经编码的信号。
该系统还包括设置在接收端处的媒体编解码器解码器模块。媒体编解码器解码器模块被配置为对从网络所接收的经压缩的视频信号进行解压缩/解码。然后对经解码的媒体信号进行后处理。后处理包括但不限于：去块滤波器、回声消除、降噪、分析、人员检测/识别、关键字/关键帧检出、讲话者识别。后处理模块在DSP/VLIW核中实施，而视频编解码器解码器在带有SIMD扩展的CPU中实施。
在媒体数据的块/帧级别，通过异步RPC(非阻塞模式)在CPU和DSP/VLIW之间流水线式地进行模块的处理。
因此，本发明还提供了一种改善移动设备中多媒体应用的功耗的方法。与具有同步RPC机制(阻塞模式)的在带有SIMD扩展的CPU上实施媒体编解码器和在数字信号处理器(DSP)/超长指令字(VLIW)处理器上实现预处理/后处理模块相比，本方法在多媒体应用中产生达50％的电流消耗的节省。
附图说明
当结合附图阅读时，从实施方式的以下详细描述中，实施方式的前述和其他特征将变得更加明显。在附图中，相同的附图标记指代相同的元件。
图1图示了根据本发明的一种实施方式的用于对移动设备中的多媒体应用中的功耗进行优化的系统的框图。
图2图示了根据本发明的一种实施方式的用于对移动设备中的功耗进行优化的方法。
图3图示了根据本发明的一种实施方式的用于对移动设备中的功耗进行优化的方法。
具体实施方式
现在将详细参考本主题的描述，其一个或更多个示例在图中示出。提供每个示例以对主题进行解释而非限制。对本发明所属领域的技术人员而言明显的各种变化和修改被认为在本发明的精神、范围和构思之内。
为了更清楚、简明地描述和指出所要求保护的发明的主题，为特定术语提供了以下定义，这些术语用于以下书面描述中。
本发明提供了一种对移动设备中的多媒体应用的功耗进行优化的系统和方法。该系统包括麦克风/相机、媒体编解码器编码器、媒体编解码器解码器、媒体预处理/后处理模块，包括但不限于：去块滤波器、回声消除、降噪、分析、人员检测/识别、关键字/关键帧检出、讲话者识别。与具有阻塞(同步)RPC机制的在多CPU和DSP/VLIW处理器中实现这些模块相比，在带有SIMD扩展的CPU和DSP/VLIW中分别进行的媒体编解码器和预处理/后处理模块的流水线式实施可将多媒体应用用例中的功耗减少达50％
图1图示了根据本发明的一种实施方式的用于对移动设备中的多媒体信号处理的功耗进行优化的系统的框图。在优选实施方式中，该系统包括与移动设备集成的麦克风/相机(101)。麦克风/相机(101)被配置为接收输入媒体并将媒体帧样本馈送到媒体预处理模块(102)。然后将经处理的媒体样本传递到媒体编解码器模块(103)。使用媒体编解码器标准(104)中描述的编码工具对媒体样本进行编码。
在传输端处，媒体帧样本被馈送到媒体编解码器编码器模块(102)。媒体编解码器编码器模块被配置为将在处理器(带有SIMD扩展的CPU)上运行的媒体信号进行压缩/编码。媒体帧的处理是在CPU和DSP/VLIW之间进行流水线式的处理，预处理模块在DSP/VLIW核上实施。与具有同步RPC(阻塞模式)的在CPU和DSP/VLIW核上进行的模块实施相比，SoC中的电流消耗在传输路径(102、103、104)上减少达50％。然后编码信号通过传输网络(105)传输。
此外，在接收端处设置有媒体编解码器解码器模块(106)。媒体编解码器解码器模块(106)被配置为将所接收的经压缩的媒体信号(在带有SIMD扩展的CPU上运行)进行解压缩/解码。然后对经解码的媒体样本进行后处理。后处理模块(107)在DSP/VLIW处理器中实施。这种流水线式的实施(在媒体样本的块/帧级别，在CPU和DSP/VLIW处理器之间的异步RPC)可减少移动设备的电流消耗(达50％)。
图2在本发明的实施方式中，媒体编解码器和后处理模块分别在不同处理核CPU和DSP/VLIW核上的流水线式的实施导致电流消耗减少达50％(102、103、104和106、107)。SoC的架构包含DSP/VLIW和带有SIMD扩展的CPU。因此，使用本发明实现低功率多媒体信号处理。
图3图示了根据本发明的一种实施方式的用于对移动设备中的多媒体应用中的功耗进行优化的方法。在优选实施方式中，该方法以在步骤301接收和记录原始媒体的步骤开始。
在步骤302，预处理在DSP/VLIW核上实施。媒体帧样本由媒体编解码器编码器模块进行压缩/编码303。媒体编码器在带有SIMD扩展的CPU上实施。通过这种多核实施(102、103、104)，多媒体应用中的电流消耗减少达50％。经编码的信号通过网络(105)传输。
在步骤304，从网络接收经压缩的媒体信号。其中，它们由媒体编解码器解码器(106)进行解压缩/解码。
在步骤305，经解码的媒体被后处理，以获得输出媒体帧(107)。然后渲染经后处理的视频帧样本(108)。
现在描述具有在带有SIMD扩展的CPU上实施的媒体编码器/解码器模块的SoC中的多媒体应用用例的创造性步骤。通常，经由同步RPC(阻塞模式)利用被卸载到DSP/VLIW的计算密集型模块在CPU中实施多媒体应用。在DSP处理时CPU将一直等待。通过经由异步(非阻塞)RPC机制在CPU中实施的多媒体应用的编码器/解码器部分和在DSP/VLIW处理器上实施的预处理/后处理模块，可以节省电力。
因此，本发明提供了一种改善移动设备中的多媒体应用的功耗的方法。较低的功耗，从而减少热量方面并延长移动设备的电池寿命。

Claims (7)

1.一种用于对移动设备中的多媒体信号处理的功耗进行优化的系统(100)，所述系统(100)包括：
a.集成在所述移动设备中的传感器(麦克风/相机)(101)，所述传感器用于捕获不同分辨率(采样频率、以位表示的样本分辨率、帧尺寸)的媒体(语音、音频、图像、视频)；
b.预处理模块，所述预处理模块包括但不限于：去块滤波器、回声消除、降噪、分析、人员检测/识别、关键字/关键帧检出、讲话者识别(102)，其中所述预处理模块(102)在DSP/VLIW处理器中实施；
c.媒体编解码器编码器模块(103)，所述媒体编解码器编码器模块(103)被配置为将媒体信号进行压缩/编码以通过无线信道进行有效传输，其中，所述实施是在带有SIMD扩展的CPU上执行的，其中，经编码的信号经由网络(105)传输；
d.媒体编解码器解码器模块(106)，所述媒体编解码器解码器模块(106)被配置为：将从网络(105)所接收的经压缩的媒体信号进行解压缩/解码，其中，所述媒体编解码器解码器在带有SIMD扩展的CPU上实施，其中，所述媒体编解码器解码器模块(106)设置于接收端处；
e.后处理模块，所述后处理模块包括但不限于：去块滤波器、降噪、分析、人员检测/识别、关键字检出/识别、讲话者识别、(107)，其中，经解码的媒体样本在DSP/VLIW核上进行处理；
f.SoC被设计为具有：带有SIMD扩展的CPU、和DSP/VLIW处理核，以在所述两个核之间流水线式地实施多媒体信号处理模块；其中，CPU的算术逻辑单元ALU被设计为在关键指令中不饱和，其中，所述关键指令包括但不限于乘法和累加(MAC)以及移位指令；
g.所述CPU与DSP/VLIW核之间的流水线式实施经由异步RPC(非阻塞)机制作用于媒体数据的块或帧级别；和
h.媒体渲染器(108)，所述媒体渲染器(108)被配置为对来自后处理模块(107)的媒体帧样本进行渲染。
2.根据权利要求1所述的系统，其中，所述媒体编解码器模块(103、106)包括但不限于：MPEG-1、MPEG-2、MPEG-4、H.264、H.265、AV1、VP8、VP10标准视频编解码器、AMR-NB、AMR-WB、EVS语音编解码器、mp3、AAC音频编解码器、JPEG图像编解码器。
3.根据权利要求1所述的系统，其中，所述移动设备包括便携式手机、移动手持电话、移动电话、无线电话、蜂窝电话、便携式电话、个人数字助理(PDA)和智能手机。
4.根据权利要求1所述的系统，其中，对功耗进行的所述优化适用于在无传输的回放和记录时的多媒体信号处理。
5.根据权利要求1所述的系统，其中，与在CPU和DSP/VLIW处理器之间具有同步RPC(阻塞模式)的SoC中的CPU和DSP/VLIW处理器上实施的所有的模块(媒体编解码器编码器、媒体编解码器解码器、预处理和后处理)相比，多媒体信号处理的电流消耗减少达50％。
a.一种用于对移动设备的功耗进行优化的方法，所述方法包括以下步骤：
b.集成在所述移动设备中的传感器(麦克风/相机)(101)，所述传感器用于捕获不同分辨率(采样频率、以位表示的样本分辨率、帧尺寸)的媒体(语音、音频、图像、视频)；
c.预处理模块包括但不限于：去块滤波器、回声消除、降噪、分析、人员检测/识别、关键字/关键帧检出、讲话者识别(102)，其中，所述预处理模块(102)在DSP/VLIW处理器中实施；
d.媒体编解码器编码器模块(103)被配置为：将媒体信号进行压缩/编码以通过无线信道进行有效传输，其中，在带有SIMD扩展的CPU上执行所述实施，其中，经编码的信号经由网络(105)传输；
e.媒体编解码器解码器模块(106)被配置为：将从网络(105)所接收的经压缩的媒体信号进行解压缩/解码，其中，所述媒体编解码器解码器在带有SIMD扩展的CPU上实施，其中，所述媒体编解码器解码器模块(106)设置于接收端处；
f.后处理模块包括但不限于：去块滤波器、降噪、分析、人员检测/识别、关键字检出/识别、讲话者识别、(107)，其中，经解码的媒体样本在DSP/VLIW核上进行处理；
g.SoC被设计为具有：带有SIMD扩展的CPU、和DSP/VLIW处理核，以在所述两个核之间流水线式地实施多媒体信号处理模块；其中，CPU的算术逻辑单元ALU被设计为在关键指令中不饱和，其中，所述关键指令包括但不限于乘法和累加(MAC)以及移位指令；
h.所述CPU与DSP/VLIW核之间的流水线式实施经由异步RPC(非阻塞)机制作用于媒体数据的块或帧级别，和
i.媒体渲染器(108)被配置为对来自后处理模块(107)的媒体帧样本进行渲染。
6.根据权利要求5所述的方法，其中，所述媒体编解码器模块(103、106)包括但不限于：MPEG-1、MPEG-2、MPEG-4、H.264、H.265、AVI、VP8、VP10标准视频编解码器、AMR-NB、AMR-WB、EVS语音编解码器、mp3、AAC音频编解码器、JPEG图像编解码器。
7.根据权利要求7所述的方法，其中，所述移动设备包括便携式手机、移动手持电话、移动电话、无线电话、蜂窝电话、便携式电话、个人数字助理(PDA)和智能手机。
CN202110655326.8A 2020-06-15 2021-06-11 优化移动设备中的多媒体信号处理的功耗的系统和方法 Pending CN113810982A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN202041024982 2020-06-15
IN202041024982 2020-06-15

Publications (1)

Publication Number Publication Date
CN113810982A true CN113810982A (zh) 2021-12-17

Family

ID=78826237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110655326.8A Pending CN113810982A (zh) 2020-06-15 2021-06-11 优化移动设备中的多媒体信号处理的功耗的系统和方法

Country Status (2)

Country Link
US (1) US11877237B2 (zh)
CN (1) CN113810982A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874368A (zh) * 2005-05-24 2006-12-06 美国博通公司 一种无线电话机及多层描述无线通信传输系统
CN201114506Y (zh) * 2007-08-01 2008-09-10 联宝盛永电子(深圳)有限公司 一种数字音视频多媒体嵌入式装置
CN102077591A (zh) * 2008-06-25 2011-05-25 思科技术公司 组合的解块和去噪滤波器
CN105304079A (zh) * 2015-09-14 2016-02-03 上海可言信息技术有限公司 一种多方通话的多模式语音合成方法与系统
CN207651168U (zh) * 2017-11-30 2018-07-24 深圳市安佳威视信息技术有限公司 一种超清晰语音传输和识别模块
US20200152177A1 (en) * 2017-07-19 2020-05-14 Tencent Technology (Shenzhen) Company Limited Speech recognition method and apparatus, and storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110070820A1 (en) 2009-09-23 2011-03-24 Qualcomm Incorporated System and apparatus for power-efficiently delivering personalized contents in a broadcast network
US10964000B2 (en) * 2018-07-17 2021-03-30 Nvidia Corporation Techniques for reducing noise in video
US11792412B2 (en) * 2020-04-15 2023-10-17 Qualcomm Incorporated Adaptive loop filtering for color format support

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1874368A (zh) * 2005-05-24 2006-12-06 美国博通公司 一种无线电话机及多层描述无线通信传输系统
CN201114506Y (zh) * 2007-08-01 2008-09-10 联宝盛永电子(深圳)有限公司 一种数字音视频多媒体嵌入式装置
CN102077591A (zh) * 2008-06-25 2011-05-25 思科技术公司 组合的解块和去噪滤波器
CN105304079A (zh) * 2015-09-14 2016-02-03 上海可言信息技术有限公司 一种多方通话的多模式语音合成方法与系统
US20200152177A1 (en) * 2017-07-19 2020-05-14 Tencent Technology (Shenzhen) Company Limited Speech recognition method and apparatus, and storage medium
CN207651168U (zh) * 2017-11-30 2018-07-24 深圳市安佳威视信息技术有限公司 一种超清晰语音传输和识别模块

Also Published As

Publication number Publication date
US20210392577A1 (en) 2021-12-16
US11877237B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
US20230254515A1 (en) Filtering video data using a plurality of filters
US7725516B2 (en) Fast DCT algorithm for DSP with VLIW architecture
US20110249738A1 (en) Moving image encoding apparatus, moving image decoding apparatus, moving image encoding method, moving image decoding method, moving image encoding program, moving image decoding program, and moving image encoding/ decoding system
US20070121733A1 (en) Scaler architecture for image and video processing
US20100316123A1 (en) Moving image coding device, imaging device and moving image coding method
US20130034151A1 (en) Flexible codec switching
WO2007046060A2 (en) Compression and decompression of data vectors
CN103297777A (zh) 一种用于加速视频编码速度的方法及装置
CN103702124A (zh) 一种转码加速方法和转码器
US20080015866A1 (en) Interchangeable noise feedback coding and code excited linear prediction encoders
US20210377868A1 (en) System and method for optimizing power consumption in video communications in mobile devices
CN113810982A (zh) 优化移动设备中的多媒体信号处理的功耗的系统和方法
US11388670B2 (en) System and method for optimizing power consumption in voice communications in mobile devices
US20230144455A1 (en) Method and apparatus for video coding for machine vision
JP2012505607A (ja) ビデオデコーダ中のテクスチャ逆符号化モジュールのバストラフィックを縮小するための方法と装置
US20230376649A1 (en) System and method for optimizing bill of material cost and power performance of platform system-on-chip in mobile devices
US20050281336A1 (en) Motion vector reconstruction in an entropy decoder
US10694216B2 (en) Video coding using separate learning and filtering pathways
US20220417537A1 (en) Unprocessed image coding and decoding
Lim et al. Video streaming on embedded devices through GPRS network
CN104219521A (zh) 降低内存需求的影像压缩架构及方法
Chen et al. A highly efficient rate control algorithm for JPEG2000 images
Wu et al. A novel embedded bandwidth-aware frame compressor for mobile video applications
Kimura et al. A full HD multistandard video codec for mobile applications
Onoye et al. Low-power implementation of H. 324 audiovisual codec dedicated to mobile computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination