JP2021184607A - オーディオデータ処理方法、装置、デバイス、記憶媒体及びプログラム - Google Patents

オーディオデータ処理方法、装置、デバイス、記憶媒体及びプログラム Download PDF

Info

Publication number
JP2021184607A
JP2021184607A JP2021115021A JP2021115021A JP2021184607A JP 2021184607 A JP2021184607 A JP 2021184607A JP 2021115021 A JP2021115021 A JP 2021115021A JP 2021115021 A JP2021115021 A JP 2021115021A JP 2021184607 A JP2021184607 A JP 2021184607A
Authority
JP
Japan
Prior art keywords
voice generation
audio data
application
generation application
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021115021A
Other languages
English (en)
Inventor
シンシュエ レイ
Xinxue Lei
シュービン リウ
Shubin Liu
ウェンホワン ジョウ
Wenhuan Zhou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021184607A publication Critical patent/JP2021184607A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B31/00—Arrangements for the associated working of recording or reproducing apparatus with related apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data
    • G11B2020/10555—Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account
    • G11B2020/10574—Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account volume or amplitude
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data
    • G11B2020/10555—Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account
    • G11B2020/10583—Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account parameters controlling audio interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/01—Input selection or mixing for amplifiers or loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Navigation (AREA)

Abstract

【課題】オーディオ再生の異常の確率を低減し、オーディオ再生の成功率を高め、オーディオフォーカスに対して管理案及び多すぎるフォールトトレランスメカニズムを設定する必要がなく、車両側のオーディオ管理システムの開発の複雑さを簡素化することができるオーディオデータ処理方法、装置、デバイス、記憶媒体及びプログラムを提供する。【解決手段】方法は、複数の音声発生アプリケーションから夫々送信される音声発生要求を受信することと、音声発生アプリケーションに対応するポートにより、音声発生アプリケーションに対応するオーディオデータ及びミキシングパラメータを取得することと、各オーディオデータのミキシングパラメータに基づき、各オーディオデータをミキシングすることにより、再生待ちのオーディオデータを生成することと、を含む。各音声発生要求には、夫々相応する音声発生アプリケーションに対応するポートの情報が含まれる。【選択図】図１

Description

本開示は、データ処理分野に関し、特に、オーディオデータ処理方法、装置、デバイス、記憶媒体及びプログラムに関する。
関連技術においては、車両側に用いられるオーディオ管理システムは、通常、音声発生アプリケーションによりオーディオフォーカスを申請する技術案を用いてオーディオを再生する。具体的には、音声発生アプリケーションが音声発生を発声する際に占有要求をオーディオフォーカスに送信する必要があり、音声発生アプリケーションがオーディオフォーカスを占有している時に相応するオーディオを再生する。複数の音声発生アプリケーションが何れも音声発生を発声するニーズがあるシナリオにおいては、オーディオフォーカスが不法占有されたり、占有された後にオーディオフォーカスが解放されなかったりする等の問題が発生しやすく、再生異常の頻度が比較的高い。
本開示は、オーディオデータ処理方法、装置、デバイス、記憶媒体及びプログラムを提供する。
本開示の１つの側面では、
複数の音声発生アプリケーションからそれぞれ送信される音声発生要求を受信することと、
音声発生アプリケーションに対応するポートにより、音声発生アプリケーションに対応するオーディオデータ及びミキシングパラメータを取得することと、
各オーディオデータのミキシングパラメータに基づき、各オーディオデータをミキシングすることにより、再生待ちのオーディオデータを生成することとを備えるオーディオデータ処理方法が提供される。ここで、各前記音声発生要求には、それぞれ相応する音声発生アプリケーションに対応するポートの情報が含まれる。
本開示のもう１つの側面では、
複数の音声発生アプリケーションからそれぞれ送信される音声発生要求を受信する音声発生要求受信モジュールと、
音声発生アプリケーションに対応するポートにより、音声発生アプリケーションに対応するオーディオデータ及びミキシングパラメータを取得するオーディオデータ及びミキシングパラメータ取得モジュールと、
各オーディオデータのミキシングパラメータに基づき、各オーディオデータをミキシングすることにより、再生待ちのオーディオデータを生成する再生待ちオーディオデータ生成モジュールとを備えるオーディオデータ処理装置が提供される。ここで、各前記音声発生要求には、それぞれ相応する音声発生アプリケーションに対応するポートの情報が含まれる。
本開示の第３の側面では、本開示の実施形態は、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されたメモリとを備える電子デバイスを提供する。メモリは、少なくとも１つのプロセッサによって実行可能な命令を記憶し、命令は、少なくとも１つのプロセッサにより実行されると、少なくとも１つのプロセッサに本開示の任意の１つの実施形態による方法を実行させる。
本開示の第４の側面では、本開示の実施形態は、コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体を提供する。コンピュータ命令は、コンピュータに本開示の任意の１つの実施形態による方法を実行させることに用いられる。
本開示の第５の側面では、本開示の実施形態は、プログラムを提供する。当該プログラムは、プロセッサに実行されると、本開示の任意の１つの実施形態による方法を実現する。
本開示の技術では、関連技術においてオーディオフォーカスの占有問題による高頻度の再生異常という技術問題を解決し、オーディオ再生の異常の確率を低減し、オーディオ再生の成功率を高め、オーディオフォーカスに対して管理案及び多すぎるフォールトトレランスメカニズムを設定する必要がなく、車両側のオーディオ管理システムの開発の複雑さを簡素化することができる。
当該部分に記載の内容は、本開示の実施形態の肝心又は重要な特徴を示すことを意図するものではなく、本開示の範囲を制限しないことが理解されたい。本開示の他の特徴は、以下の説明によりより理解しやすくなる。
添付の図面は、本実施形態をより良く理解するために用いられ、本開示に対する限定を構成するものではない。
本開示によるオーディオデータ処理方法のフローチャート図である。 本開示によるポートを登録する及びバインディングするフローチャート図である。 本開示によるポートを登録するフローチャート図である。 本開示による再生待ちのオーディオデータを生成するフローチャート図である。 本開示によるポートのバインディングをキャンセルするフローチャート図である。 本開示によるオーディオデータ処理装置の模式図である。 本開示の実施形態によるオーディオデータ処理方法を実現するための電子デバイスのブロック図である。 本開示の実施形態によるオーディオデータ処理方法を実現可能なシナリオ図である。
以下、図面を参照しながら、本開示の例示的な実施形態を説明し、理解を助けるために本開示の実施形態の様々な詳細を含んでいるが、これらは、単に例示的なものとみなされるべきである。よって、当業者は、本開示の範囲及び要旨から逸脱することなく、本明細書に記載の実施形態に様々な変更及び修正を加えることができることを識別すべきである。明瞭で且つ簡潔にするために、以下の説明では、周知の機能と構造の説明を省略している。
図１に示すように、本開示の実施形態は、オーディオデータ処理方法を提供する。当該方法は、ステップＳ１０１、ステップＳ１０２及びステップＳ１０３を含んでも良い。
ステップＳ１０１においては、複数の音声発生アプリケーションからそれぞれ送信される音声発生要求を受信する。ここで、各音声発生要求には、それぞれ相応する音声発生アプリケーションに対応するポートの情報が含まれる。
ステップＳ１０２においては、音声発生アプリケーションに対応するポートにより、音声発生アプリケーションに対応するオーディオデータ及びミキシングパラメータを取得する。
ステップＳ１０３においては、各前記オーディオデータのミキシングパラメータに基づき、各前記オーディオデータをミキシングすることにより、再生待ちのオーディオデータを生成する。
本開示の実施形態の上述した方法は、車両側のオーディオ管理システムに適用することができる。具体的には、上述した方法により、車両側のマルチメディアシステムは、複数の音声発生アプリケーションのオーディオデータに対して処理を行い、生成された再生待ちのオーディオデータをスピーカーに送信することができる。ここで、音声発生アプリケーションは、車両側のマルチメディアシステム内にインストールされているデフォルトアプリケーション又はサードパーティアプリケーションであっても良く、例えば、音声発生アプリケーションは、ＦＭ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｉｏｎ、周波数変調）ラジオアプリケーション、ＴＴＳ（Ｔｅｘｔ Ｔｏ Ｓｐｅｅｃｈ、テキスト読み上げ）アプリケーション、レーダーアラームアプリケーション、音楽再生アプリケーション、電話アプリケーション、地図ナビゲーションアプリケーション等のオーディオ再生に係るその他のアプリケーションであっても良い。
例示的に、ステップＳ１０１においては、オーディオセレクタ―により複数の音声発生アプリケーションからそれぞれ送信された音声発生要求を受信することができる。音声発生アプリケーションの対応するポートの情報は、音声発生アプリケーションの対応するポートのポート番号であっても良く、オーディオセレクタ―は、ポートのポート番号により相応するポートを呼び出すことができる。
例示的に、ステップＳ１０２においては、オーディオセレクタ―は、音声発生アプリケーションの対応するポートのポート番号を呼び出すことにより、サウンドプール（Ｓｏｕｎｄ ｐｏｏｌ）から音声発生アプリケーションに対応するオーディオデータ及びミキシングパラメータを取得する。ここで、音声発生アプリケーションに対応するオーディオデータ及びミキシングパラメータは、ロード前（例えば、インストール時）にサウンドプールに予めバッファリングすることができるので、オーディオデータ及びミキシングパラメータの低遅延ロードを実現可能な。
ポートは、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ、伝送制御プロトコル／インターネットプロトコル）を用いるイーサネットポートであっても良い。当業者は、ＴＣＰ／ＩＰとは、複数の異なるネットワーク間の情報伝送を実現可能なプロトコルクラスタを指すことを理解すべきである。例えば、ＴＣＰ／ＩＰは、ＦＴＰ、ＳＭＴＰ、ＴＣＰ、ＵＤＰ、ＩＰ等のプロトコルを含んでも良い。よって、音声発生アプリケーションのオーディオデータ及びミキシングパラメータは、音声発生アプリケーションに対応するポートにより、サウンドプールからオーディオセレクタ―に迅速かつ完全に送信することを保障することができる。
例示的に、ステップＳ１０３においては、サウンドミキサーにより、オーディオセレクタ―から送信された各音声発生アプリケーションのオーディオデータ及びミキシングパラメータを受信し、各音声発生アプリケーションのミキシングパラメータに基づき、各音声発生アプリケーションのオーディオデータに対して処理を行い、ミキシングを行うことによって単一の再生待ちのオーディオデータを生成してスピーカーに送信することができる。ここで、再生待ちのオーディオデータは、各オーディオデータが処理およびミキシングされることによって生成されるミキシングオーディオストリームファイルであっても良い。
なお、関連技術においては、車両側に用いられるオーディオ管理システムは、通常、音声発生アプリケーションによりオーディオフォーカスを申請する技術案を用いてオーディオを再生する。具体的には、音声発生アプリケーションが音声発生を発声する際に占有要求をオーディオフォーカスに送信する必要があり、音声発生アプリケーションがオーディオフォーカスを占有している時に相応するオーディオを再生する。複数の音声発生アプリケーションが何れも音声発生を発声するニーズがあるシナリオにおいては、オーディオフォーカスが不法占有されたり、占有された後にオーディオフォーカスが解放されなかったりする等の問題が発生しやすく、再生異常の頻度が比較的高い。
本開示の実施形態のオーディオデータ処理方法によれば、音声発生アプリケーションから送信された音声発生要求を受信し、音声発生要求の中の音声発生アプリケーションに対応するポートの情報に基づき、対応するポートを呼び出して音声発生アプリケーションのオーディオデータ及びミキシングパラメータを直接に取得し、ミキシングパラメータに基づいてオーディオデータに対して処理及びミキシングすることにより、再生待ちのオーディオデータを取得する。よって、各音声発生アプリケーションのオーディオデータ及びミキシングパラメータは、音声発生アプリケーションに対応するポートにより、サウンドミキサーに迅速かつ完全に送信して処理及びミキシングすることができる。従って、各音声発生アプリケーションの音声発生要求に迅速に応答し、関連技術におけるオーディオフォーカスの占有問題による再生異常が発生することを回避でき、オーディオの再生異常の確率を低減することができる。また、オーディオフォーカスの管理案が比較的複雑であり、多すぎるフォールトトレランスメカニズムを設定する必要がある関連技術に比べ、本開示の実施形態のオーディオデータ処理方法は、オーディオフォーカスに対して管理案及び多すぎるフォールトトレランスメカニズムを設定する必要がなく、車両側のオーディオ管理システムの開発の複雑さを簡素化することができる。
図２に示すように、１つの実施形態においては、複数の音声発生アプリケーションは、第１の音声発生アプリケーションを含む。ステップＳ１０１の前には、当該方法は、ステップＳ２０１、ステップＳ２０２及びステップＳ２０３を更に含む。
ステップＳ２０１においては、第１の音声発生アプリケーションから送信される、第１の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータを含む第１の登録申請を受信する。
ステップＳ２０２においては、第１の音声発生アプリケーションには予め設定されるポートがある場合、第１の音声発生アプリケーションのために予め設定されるポートを割り当て、予め設定されるポートを、第１の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータとバインディングする。
ステップＳ２０３においては、予め設定されるポートの情報を第１の音声発生アプリケーションに戻す。
例示的に、ステップＳ２０１においては、オーディオプールにより、第１の音声発生アプリケーションから送信された第１の登録申請を受信することができる。第１の音声発生アプリケーションは、現在、第１の登録申請を送信している音声発生アプリケーションであると理解しても良い。ここで、第１の音声発生アプリケーションは、複数であっても良く、オーディオプールは、複数の第１の音声発生アプリケーションから送信された第１の登録申請を同時に受信することができる。オーディオプールは、第１の音声発生アプリケーションから送信された標識、オーディオデータ及びミキシングパラメータを受信した後、第１の音声発生アプリケーションから送信された標識、オーディオデータ及びミキシングパラメータをデータパケットの形式でオーディオプールにバッファリングする。ここで、音声発生アプリケーションの標識は、音声発生アプリケーションを特徴付けるＩＤであると理解しても良く、オーディオプールは、標識に基づいて当該標識が送信された対応する音声発生アプリケーションを識別することができる。
ステップＳ２０２においては、第１の音声発生アプリケーションの標識に基づき、第１の音声発生アプリケーションに予め設定されるポートがあるか否かを判断することができる。第１の音声発生アプリケーションと予め設定されるポートの間の対応関係は、予め設定されたものであっても良く、即ち、予め設定されるポートは、予め設定された第１の音声発生アプリケーションのみに登録及び割り当てし、他の音声発生アプリケーションに登録及び割り当てしない。ここで、第１の音声発生アプリケーションは、車両側に予めインストールされているデフォルトアプリケーションであっても良い。例えば、第１の音声発生アプリケーションは、電話アプリケーションであっても良く、電話アプリケーションには、予め設定された第１の予め設定されるポートがある。電話アプリケーションから送信された第１の登録申請が受信されると、電話アプリケーションが、予め設定された第１の予め設定されるポートに登録及び割り当てされる。また、例えば、第１の音声発生アプリケーションは、地図ナビケーションアプリケーションであっても良く、地図ナビケーションアプリケーションには、予め設定された第２の予め設定されるポートがある場合、地図ナビケーションアプリケーションから送信された第１の登録申請が受信されると、地図ナビケーションアプリケーションが予め設定された第２の予め設定されるポートに登録及び割り当てされる。
ステップＳ２０３においては、第１の音声発生アプリケーションは、オーディオプールから戻された予め設定されるポートの情報を受信した後、予め設定されるポートの情報を保存することにより、第１の音声発生アプリケーションは、音声発生要求を送信する際に対応する予め設定されるポートの情報をオーディオセレクタ―に送信する。ここで、予め設定されるポートの情報は、予め設定されるポートのポート番号を含んでも良い。
上述した技術案によれば、第１の音声発生アプリケーションと予め設定されるポートの所定対応関係に基づき、第１の音声発生アプリケーションを、相応する予め設定されるポートに直接に割り当て及び登録することができる。また、予め設定されるポートがある各第１の音声発生アプリケーションに対し、第１の音声発生アプリケーションに対応するミキシングパラメータを一斉に設定し、オーディオプールにバッファリングし、予め設定されるポートとバインディングすることができる。よって、各第１の音声発生アプリケーションの開発プロセスにおいては、相応するミキシングパラメータを個別に編集する必要がなく、各予め設定されるポートに対応する一般的なミキシングパラメータを用いれば良く、各第１の音声発生アプリケーションに対応するミキシングパラメータを統一し、各第１の音声発生アプリケーションの開発の難しさを低減することができる。
図３に示すように、１つの実施形態においては、複数の音声発生アプリケーションは、第２の音声発生アプリケーションを含む。ステップＳ２０１の前には、当該方法は、ステップＳ３０１、ステップＳ３０２及びステップＳ３０３を更に含む。
ステップＳ３０１においては、第２の音声発生アプリケーションから送信される、第２の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータを含む第２の登録申請を受信する。
ステップＳ３０２においては、第２の音声発生アプリケーションに予め設定されるポートがない場合、第２の音声発生アプリケーションのために開放ポートを登録し、開放ポートを、第２の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータとバインディングする。
ステップＳ３０３においては、開放ポートの情報を第２の音声発生アプリケーションに戻す。
例示的に、ステップＳ３０１においては、オーディオプールにより、第２の音声発生アプリケーションから送信された第２の登録申請を受信することができる。第２の音声発生アプリケーションは、複数であっても良く、オーディオプールは、複数の第２の音声発生アプリケーションから送信された第２の登録申請を同時に受信することができる。
ステップＳ３０２においては、第２の音声発生アプリケーションの標識に基づき、第２の音声発生アプリケーションには、予め設定されるポートがあるか否かを判断する。第２の音声発生アプリケーションに予め設定されるポートがない場合、複数の開放ポートのポート番号の昇順に従って開放ポートを順に選択し、当該開放ポートを第２の音声発生アプリケーションに登録及び割り当てする。ここで、第２の音声発生アプリケーションは、後続においてダウンロードされて車両側にインストールされるサードパーティアプリケーションであっても良い。
上述した技術案においては、予め設定されるポートを有しない第２の音声発生アプリケーションに開放ポートを割り当て及びバインディングすることにより、サードパーティアプリケーションのオーディオ再生要求を満たすことができ、適応する範囲が比較的広く、サードパーティアプリケーションに対する車両側の互換性を高め、複数のサードパーティアプリケーションに対するユーザの使用ニーズを満たすことができる。
図４に示すように、１つの実施形態においては、ステップＳ１０３は、ステップＳ４０１及びステップＳ４０２を含んでも良い。
ステップＳ４０１においては、各音声発生アプリケーションに対し、音声発生アプリケーションのミキシングパラメータに基づき、音声発生アプリケーションのオーディオデータに対して処理を行うことにより、音声発生アプリケーションのオーディオストリームを生成する。
ステップＳ４０２においては、各オーディオストリームをミキシングすることにより、再生待ちのオーディオデータを生成する。
例示的に、各音声発生アプリケーションのオーディオデータは、複数のオーディオファイルを含んでも良く、サウンドミキサーは、各音声発生アプリケーションのミキシングパラメータに基づき、オーディオデータの中の複数のオーディオファイルに対してエンコード／デコード及びフォーマット変換を行うことで、統一されたオーディオストリームデータを取得し、次に、複数の音声発生アプリケーションのオーディオストリームデータに対してミキシングし、最終的には、タイムスタンプが整列された合成オーディオストリームデータを取得し、合成オーディオストリームデータを、再生待ちのオーディオデータとしてスピーカーに送信する。
１つの実施形態においては、ミキシングパラメータは、音声発生タイプ、バインディング時間の長さ、音量係数及び付随パラメータの中の少なくとも１つを含む。
例示的に、音声発生タイプは、独占タイプ、共存タイプ、時間制限タイプを含んでも良い。独占タイプとは、当該音声発生アプリケーションの所定再生時間内では、当該音声発生アプリケーションのオーディオソースのみを単独で再生することを指す。例えば、音声発生タイプが独占タイプである音声発生アプリケーションは、電話アプリケーションであっても良い。更に、独占タイプは、その所定再生時間により、長期独占タイプと短期独占タイプに分けることができる。共存タイプとは、当該音声発生アプリケーションの所定再生時間内では、他の音声発生アプリケーションのオーディオソースと同時に再生することができることを指す。例えば、音声発生タイプが共存タイプである音声発生アプリケーションは、音楽再生アプリケーション又は地図ナビケーションアプリケーションであっても良い。
バインディング時間の長さとは、音声発生アプリケーションと対応するポートの登録及びバインディングの時間の長さを指す。ここで、音声発生タイプが長期独占タイプ及び共存タイプである音声発生アプリケーションのバインディング時間の長さは、無限大であり、即ち、音声発生タイプが長期独占タイプ及び共存タイプである音声発生アプリケーションは、常に対応するポートとバインディングする。音声発生タイプが時間制限タイプである音声発生アプリケーションのバインディング時間の長さは、所定値であり、登録及びバインディングがバインディング時間の長さを経過した後に、対応するポートとのバインディング関係をキャンセルする。
音量係数とは、音声発生アプリケーションのオーディオソースが再生される際の音量とスピーカーの最大再生音量の比率を指し、音量係数の数値範囲は、０〜１であっても良く、ここで、０は、ミュートを表し、１は、最大音量を表す。
付随パラメータは、オーディオトラック再生モードを含んでも良い。具体的には、オーディオトラック再生モードは、モノラル、デュアルチャネル及びステレオを含んでも良い。
よって、ミキシングパラメータに基づき、複数の音声発生アプリケーションのオーディオデータを処理及びミキシングすることにより、音声発生タイプ、バインディング時間の長さ、音量係数及び付随パラメータの複数の要素を組み合わせた再生待ちのオーディオデータを取得することができるので、各音声発生アプリケーションの音声発生ソースのミキシングの効果を高めることができる。
図５に示すように、１つの実施形態においては、ステップＳ１０３の後には、当該方法は、ステップＳ５０１を更に含んでも良い。
ステップＳ５０１においては、音声発生アプリケーションの音声発生要求を受信した後の間隔がバインディング時間の長さに達した場合、音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータと対応するポートのバインディングをキャンセルし、音声発生アプリケーションにバインディング解除通知を送信する。
１つの例においては、ある音声発生アプリケーションＡの音声発生要求を受信した後の間隔がバインディング時間の長さに達した場合、当該音声発生アプリケーションＡは、オーディオプールにバインディング解除要求を送信し、以前に登録したポートの情報を削除する。オーディオプールは、バインディング解除要求に基づいて当該音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータと対応するポートのバインディングをキャンセルする。
もう１つの例においては、ある音声発生アプリケーションＢの音声発生要求を受信した後にバインディング時間の長さを経過した場合、オーディオプールは、音声発生アプリケーションＢの標識、オーディオデータ及びミキシングパラメータと対応するポートのバインディングを自発的にキャンセルし、音声発生アプリケーションＢにバインディング解除通知を送信する。音声発生アプリケーションＢは、バインディング解除通知を受信した後に、以前に登録したポートの情報を削除する。
ある音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータと対応するポートのバインディングをキャンセルした後に、当該音声発生アプリケーションに以前にバインディングされていたポートをリセットすることにより、当該ポートを解放し、使われていない状態にすることが理解されたい。
上述した技術案によれば、所定のバインディング時間の長さに基づき、音声発生アプリケーションとポートのバインディング関係を迅速にキャンセルし、ポートを迅速にリセット及び解放し、ポートが長時間占有されることを避けることができる。
以下、図８を参照しながら、本開示による１つの応用シナリオの例を説明する。
図８に示すように、オーディオプールは、各音声発生アプリケーションから送信された登録申請を受信する。オーディオプールは、各登録申請に基づいて相応する各音声発生アプリケーションに対応するポートをそれぞれ割り当て、割り当てられたポートを、音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータとバインディングし、割り当てられたポートの情報を音声発生アプリケーションに戻す。ここで、複数のポートのポート番号は、０１〜２５５であっても良い。ポート０１〜ポート０５は、予め設定されるポートであり、予め設定された音声発生アプリケーションをバインディングするために用いられ、例えば、ポート０１は、ＦＭラジオアプリケーションと登録及びバインディングすることができ、ポート０２は、ＴＴＳアプリケーションと登録及びバインディングすることができ、ポート０３は、音楽再生アプリケーションと登録及びバインディングすることができ、ポート０４は、電話アプリケーションと登録及びバインディングすることができ、ポート０５は、地図ナビゲーションアプリケーションと登録及びバインディングすることができる。ポート０６〜ポート２２５は、開放ポートであり、音声発生再生に係る他のアプリケーションと登録及びバインディングすることに用いられる。
オーディオセレクタ―は、複数の音声発生アプリケーションからそれぞれ送信された音声発生要求を受信し、ここで、各音声発生要求は、何れも相応する音声発生アプリケーションに対応するポートの情報を含む。オーディオセレクタ―は、各ポートの情報に基づいて相応するポートを呼び出し、相応するポートにより、音声発生アプリケーションのオーディオデータ及びミキシングパラメータを取得し、音声発生アプリケーションのオーディオデータ及びミキシングパラメータをサウンドミキサーに伝送する。
サウンドミキサーは、各音声発生アプリケーションのミキシングパラメータに基づき、各音声発生アプリケーションのオーディオデータに対して処理を行うことにより、各音声発生アプリケーションのオーディオストリームを生成し、次に、各音声発生アプリケーションのオーディオストリームをミキシングすることにより、再生待ちのオーディオデータを生成する。車両のスピーカーは、再生待ちのオーディオデータに基づき、各音声発生アプリケーションのオーディオソースを再生する。
図６に示すように、本開示は、オーディオデータ処理装置６００を更に提供する。当該装置は、音声発生要求受信モジュール６０１、オーディオデータ及びミキシングパラメータ取得モジュール６０２及び再生待ちオーディオデータ生成モジュール６０３を含んでも良い。
音声発生要求受信モジュール６０１は、複数の音声発生アプリケーションからそれぞれ送信される音声発生要求を受信することに用いられ、ここで、各前記音声発生要求には、それぞれ相応する音声発生アプリケーションに対応するポートの情報が含まれる。
オーディオデータ及びミキシングパラメータ取得モジュール６０２は、音声発生アプリケーションに対応するポートにより、音声発生アプリケーションに対応するオーディオデータ及びミキシングパラメータを取得することに用いられる。
再生待ちオーディオデータ生成モジュール６０３は、各オーディオデータのミキシングパラメータに基づき、各オーディオデータをミキシングすることにより、再生待ちのオーディオデータを生成することに用いられる。
１つの実施形態においては、複数の音声発生アプリケーションは、第１の音声発生アプリケーションを含み、当該装置６００は、第１の登録申請受信モジュール、予設定ポートバインディングモジュール及び予設定ポート情報戻しモジュールを更に備える。
第１の登録申請受信モジュールは、第１の音声発生アプリケーションから送信される、第１の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータを含む第１の登録申請を受信することに用いられる。
予設定ポートバインディングモジュールは、第１の音声発生アプリケーションに予め設定されるポートがある場合、第１の音声発生アプリケーションのために予め設定されるポートを割り当て、予め設定されるポートを、第１の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータとバインディングすることに用いられる。
予設定ポート情報戻しモジュールは、予め設定されるポートの情報を第１の音声発生アプリケーションに戻すことに用いられる。
１つの実施形態においては、複数の音声発生アプリケーションは、第２の音声発生アプリケーションを更に含む。当該装置６００は、
第２の音声発生アプリケーションから送信される、第２の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータを含む第２の登録申請を受信することと、
第２の音声発生アプリケーションに予め設定されるポートがない場合、第２の音声発生アプリケーションのために開放ポートを登録し、開放ポートを、第２の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータとバインディングすることと、
開放ポートの情報を第２の音声発生アプリケーションに戻すことと、を更に用いられる。
１つの実施形態においては、再生待ちオーディオデータ生成モジュール６０３は、オーディオストリーム生成ユニット及び再生待ちオーディオデータ生成ユニットを備える。
オーディオストリーム生成ユニットは、各音声発生アプリケーションに対し、音声発生アプリケーションのミキシングパラメータに基づき、音声発生アプリケーションのオーディオデータに対して処理を行うことにより、音声発生アプリケーションのオーディオストリームを生成するために用いられる。
再生待ちオーディオデータ生成ユニットは、各オーディオストリームをミキシングすることにより、再生待ちのオーディオデータを生成するために用いられる。
１つの実施形態においては、ミキシングパラメータは、音声発生タイプ、バインディング時間の長さ、音量係数及び付随パラメータの中の少なくとも１つを含む。
１つの実施形態においては、当該装置６００は、バインディング解除モジュールを更に備える。
バインディング解除モジュールは、音声発生アプリケーションの音声発生要求を受信した後の間隔がバインディング時間の長さに達した場合、音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータと対応するポートのバインディングをキャンセルし、音声発生アプリケーションにバインディング解除通知を送信することに用いられる。
本開示の実施形態によれば、本開示は、電子デバイス、可読記憶媒体及びプログラムを更に提供する。
図７は、本開示の実施形態による例示する電子デバイス７００の模式ブロック図である。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータのような様々な形態のデジタルコンピュータ及び他の好適なコンピュータを表すことを目的としている。また、電子デバイスは、また、様々な形態のモバイルデバイス、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の類似のコンピューティングデバイスを表すことができる。本明細書に記載のコンポーネント、それらの接続及び関係、ならびにそれらの機能は、例としてのみ意図されており、本明細書に記載及び／または要求される本開示の実現を限定することを意図するものではない。
図７に示すように、デバイス７００は、読み取り専用メモリ（ＲＯＭ）７０１に記憶されたコンピュータプログラム又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに基づき、様々な適切な動作及び処理を行うことができる計算ユニット７０１を備える。ＲＡＭ７０３においては、デバイス７００の操作に必要な様々なプログラム及びデータを更に記憶することができる。計算ユニット７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４により互いに接続している。入出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。
デバイス７００内の複数の部材は、Ｉ／Ｏインターフェース７０５に接続されており、キーボード、マウス等のような入力ユニット７０６、様々な種類のディスプレイ、スピーカー等のような出力ユニット７０７、ディスク、光ディスク等のような記憶ユニット７０８及びネットワークカード、モデム、無線通信トランシーバ等のような通信ユニット７０９が含まれている。通信ユニット７０９は、デバイス７００がインターネットのコンピュータネットワーク及び／又は様々な電気通信ネットワーク等により他のデバイスと情報／データを交換するようにさせる。
計算ユニット７０１は、処理及び計算能力を有する様々な汎用及び／又は専用処理コンポーネントであっても良い。計算ユニット７０１の幾つかの例は、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）及び任意の適切なプロセッサ、コントローラ、マイクロコントローラ等を含むが、これらに限らない。計算ユニット７０１は、上述した様々な方法及び処理を行い、例えば、オーディオデータ処理方法である。例えば、幾つかの実施形態においては、オーディオデータ処理方法は、コンピュータソフトウェアプログラムとして実現することができ、記憶ユニット７０８のような機械可読媒体に具体的に含まれるコンピュータソフトウェアプログラムとして実現することができる。幾つかの実施形態においては、コンピュータプログラムの一部又は全部は、ＲＯＭ７０２及び／又は通信ユニット７０９を介してデバイス７００にロード及び／又はインストールされても良い。コンピュータプログラムがＲＡＭ７０３にロードされ、計算ユニット７０１により実行されるとき、上述した車両定位方法の１つ又は複数のステップを実行することができる。他の実施形態においては、計算ユニット７０１は、他の任意の適切な方式（例えば、ファームウェアにより）によりオーディオデータ処理方法を実行するように設置されている。
本明細書で説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途用標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、ロードプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実現され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／解釈されることができる。当該プログラマブルプロセッサは、専用又は汎用プログラマブルプロセッサであっても良く、記憶システム、少なくとも１つの入力装置及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該記憶システム、当該少なくとも１つの入力装置及び当該少なくとも１つの出力装置に送信することができる。
本開示の方法を実行するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラに実行されるとき、フローチャート図及び／又はブロック図に指定されている機能／操作が実現される。プログラムコードは、完全に機械で実行されても良く、一部が機械で実行されても良く、独立したソフトウェアパッケージとして、一部が機械で実行され、一部がリモート機械で実行され、又は、完全にリモート機械又はサーバで実行されても良い。
本開示の文脈においては、機械可読媒体は、有形の媒体であっても良く、命令実行システム、装置又はデバイスに用いられる又は命令実行システム、装置又はデバイスと組み合わせて用いられるプログラムを含む又は記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であっても良い。機械可読媒体は、電子、磁気、光学、電磁気、赤外線又は半導体システム、装置又はデバイス又は上述した内容の任意の適切な組み合わせを含んでも良いが、これらに限らない。機械可読記憶媒体のより具体的な例は、１つ又は複数のワイヤに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光ストレージデバイス、磁気ストレージデバイス又は上述した内容の任意の適切な組み合わせを含む。
ユーザとのインタラクティブを提供するために、本明細書に記載されているシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供するためのキーボード及びポインティング装置（例えば、マウスまたはトラックボール）とを有するコンピュータ上に実装されてもよい。他の種類の装置もユーザとのインタラクティブを提供するためにも使用されてもよく、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザからの入力は、任意の形態（音響入力、音声発生入力、または触覚入力を含む）で受信されてもよい。
本明細書に記載されているシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）、ミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、またはフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースまたはウェブブラウザーを備えたユーザコンピューター。当該グラフィカルユーザインターフェースまたは当該ウェブブラウザーを介して、ユーザはここで説明するシステムおよび技術の実装とインタラクティブできる）、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組合せを含むコンピューティングシステムで実装されてもよい。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して相互に接続されていてもよい。通信ネットワークの例としては、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）及びインターネット等がある。
コンピュータシステムは、クライアントとサーバを含むことができる。クライアントとサーバは一般的に互いに遠隔地にあり、通常は、通信ネットワークを介してインタラクティブする。クライアント−サーバ関係は、対応するコンピュータ上で実行され、互いにクライアント−サーバ関係を有するコンピュータプログラムによって生成される。
本開示の実施形態の技術案によれば、各音声発生アプリケーションのオーディオデータ及びミキシングパラメータは、音声発生アプリケーションに対応するポートにより、サウンドミキサーに迅速かつ完全に送信して処理及びミキシングすることができる。従って、各音声発生アプリケーションの音声発生要求に迅速に応答し、関連技術におけるオーディオフォーカスの占有問題による再生異常が発生することを回避でき、オーディオの再生異常の確率を低減することができる。また、オーディオフォーカスの管理案が比較的複雑であり、多すぎるフォールトトレランスメカニズムを設定する必要がある関連技術に比べ、本開示の実施形態のオーディオデータ処理方法は、オーディオフォーカスに対して管理案及び多すぎるフォールトトレランスメカニズムを設定する必要がなく、車両側のオーディオ管理システムの開発の複雑さを簡素化することができる。
上述した処理の様々なプロセスを用い、順序を変えたり、ステップを追加または削除したりすることができることが理解されるべきである。例えば、本開示に記載の各ステップは、並行して実行されてもよく、順次実行されてもよく、異なる順序で実行されてもよく、本開示に開示された技術案の所望の結果が達成される限り、限定されない。
上記の具体的な実施形態は、本開示の保護範囲の制限を構成するものではない。設計要件及び他の要因に応じて、様々な変更、組み合わせ、サブ組み合わせ及び置換えが行われ得ることは、当業者によって理解されるべきである。本開示の要旨及び原則の範囲内で行われる如何なる修正、同等の代替、改良等は、すべて本開示の保護範囲に含まれる。

Claims (15)

  1. 複数の音声発生アプリケーションからそれぞれ送信される音声発生要求を受信することと、
    前記音声発生アプリケーションに対応するポートにより、前記音声発生アプリケーションに対応するオーディオデータ及びミキシングパラメータを取得することと、
    各前記オーディオデータのミキシングパラメータに基づき、各前記オーディオデータをミキシングすることにより、再生待ちのオーディオデータを生成することとを含み、
    各前記音声発生要求には、それぞれ相応する音声発生アプリケーションに対応するポートの情報が含まれる
    ことを特徴とするオーディオデータ処理方法。
  2. 複数の音声発生アプリケーションは、第１の音声発生アプリケーションを含み、複数の音声発生アプリケーションからそれぞれ送信される音声発生要求を受信する前に、
    前記第１の音声発生アプリケーションから送信される、前記第１の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータを含む第１の登録申請を受信することと、
    前記第１の音声発生アプリケーションに予め設定されるポートがある場合、前記第１の音声発生アプリケーションのために前記予め設定されるポートを割り当て、前記予め設定されるポートを、前記第１の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータとバインディングすることと、
    前記予め設定されるポートの情報を前記第１の音声発生アプリケーションに戻すこととを更に含む
    ことを特徴とする請求項１に記載のオーディオデータ処理方法。
  3. 複数の音声発生アプリケーションは、第２の音声発生アプリケーションを含み、複数の音声発生アプリケーションからそれぞれ送信される音声発生要求を受信する前に、
    前記第２の音声発生アプリケーションから送信される、前記第２の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータを含む第２の登録申請を受信することと、
    前記第２の音声発生アプリケーションに予め設定されるポートがない場合、前記第２の音声発生アプリケーションのために開放ポートを登録し、前記開放ポートを、前記第２の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータとバインディングすることと、
    前記開放ポートの情報を前記第２の音声発生アプリケーションに戻すこととを更に含む
    ことを特徴とする請求項１に記載のオーディオデータ処理方法。
  4. 各前記オーディオデータのミキシングパラメータに基づき、各前記オーディオデータをミキシングすることにより、再生待ちのオーディオデータを生成することは、
    各前記音声発生アプリケーションに対し、前記音声発生アプリケーションのミキシングパラメータに基づき、前記音声発生アプリケーションのオーディオデータに対して処理を行うことにより、前記音声発生アプリケーションのオーディオストリームを生成することと、
    各前記オーディオストリームをミキシングすることにより、前記再生待ちのオーディオデータを生成することとを含む
    ことを特徴とする請求項１に記載のオーディオデータ処理方法。
  5. 前記ミキシングパラメータは、音声発生タイプ、バインディング時間の長さ、音量係数及び付随パラメータの中の少なくとも１つを含む
    ことを特徴とする請求項４に記載のオーディオデータ処理方法。
  6. 再生待ちのオーディオデータを生成した後に、
    前記音声発生アプリケーションの音声発生要求を受信した後の間隔が前記バインディング時間の長さに達した場合、前記音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータと対応するポートのバインディングをキャンセルし、前記音声発生アプリケーションにバインディング解除通知を送信することを更に含む
    ことを特徴とする請求項５に記載のオーディオデータ処理方法。
  7. 複数の音声発生アプリケーションからそれぞれ送信される音声発生要求を受信する音声発生要求受信モジュールと、
    前記音声発生アプリケーションに対応するポートにより、前記音声発生アプリケーションに対応するオーディオデータ及びミキシングパラメータを取得するオーディオデータ及びミキシングパラメータ取得モジュールと、
    各前記オーディオデータのミキシングパラメータに基づき、各前記オーディオデータをミキシングすることにより、再生待ちのオーディオデータを生成する再生待ちオーディオデータ生成モジュールとを備え、
    各前記音声発生要求には、それぞれ相応する音声発生アプリケーションに対応するポートの情報が含まれる
    ことを特徴とするオーディオデータ処理装置。
  8. 複数の音声発生アプリケーションは、第１の音声発生アプリケーションを含み、
    前記第１の音声発生アプリケーションから送信される、前記第１の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータを含む第１の登録申請を受信する第１の登録申請受信モジュールと、
    前記第１の音声発生アプリケーションに予め設定されるポートがある場合、前記第１の音声発生アプリケーションのために前記予め設定されるポートを割り当て、前記予め設定されるポートを、前記第１の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータとバインディングする予設定ポートバインディングモジュールと、
    前記予め設定されるポートの情報を前記第１の音声発生アプリケーションに戻す予設定ポート情報戻しモジュールとを更に備える
    ことを特徴とする請求項７に記載のオーディオデータ処理装置。
  9. 複数の音声発生アプリケーションは、第２の音声発生アプリケーションを含み、
    前記オーディオデータ処理装置は、
    前記第２の音声発生アプリケーションから送信される、前記第２の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータを含む第２の登録申請を受信することと、
    前記第２の音声発生アプリケーションに予め設定されるポートがない場合、前記第２の音声発生アプリケーションのために開放ポートを登録し、前記開放ポートを、前記第２の音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータとバインディングすることと、
    前記開放ポートの情報を前記第２の音声発生アプリケーションに戻すことと、を更に用いられる
    ことを特徴とする請求項７に記載のオーディオデータ処理装置。
  10. 再生待ちオーディオデータ生成モジュールは、
    各前記音声発生アプリケーションに対し、前記音声発生アプリケーションのミキシングパラメータに基づき、前記音声発生アプリケーションのオーディオデータに対して処理を行うことにより、前記音声発生アプリケーションのオーディオストリームを生成するオーディオストリーム生成ユニットと、
    各前記オーディオストリームをミキシングすることにより、前記再生待ちのオーディオデータを生成する再生待ちオーディオデータ生成ユニットとを備える
    ことを特徴とする請求項７に記載のオーディオデータ処理装置。
  11. 前記ミキシングパラメータは、音声発生タイプ、バインディング時間の長さ、音量係数及び付随パラメータの中の少なくとも１つを含む
    ことを特徴とする請求項１０に記載のオーディオデータ処理装置。
  12. 前記音声発生アプリケーションの音声発生要求を受信した後の間隔が前記バインディング時間の長さに達した場合、前記音声発生アプリケーションの標識、オーディオデータ及びミキシングパラメータと対応するポートのバインディングをキャンセルし、前記音声発生アプリケーションにバインディング解除通知を送信するバインディング解除モジュールを更に備える
    ことを特徴とする請求項１１に記載のオーディオデータ処理装置。
  13. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されたメモリとを備え、
    前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶し、前記命令は、前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１〜６の何れか１項に記載のオーディオデータ処理方法を実行させる
    ことを特徴とする電子デバイス。
  14. コンピュータに請求項１〜６の何れか１項に記載のオーディオデータ処理方法を実行させるため命令が記憶されていることを特徴とする非一時的なコンピュータ可読記憶媒体。
  15. コンピュータにおいて、プロセッサに実行されると、請求項１〜６の何れか１項に記載のオーディオデータ処理方法を実現することを特徴とするプログラム。
JP2021115021A 2020-12-09 2021-07-12 オーディオデータ処理方法、装置、デバイス、記憶媒体及びプログラム Pending JP2021184607A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011430169.2 2020-12-09
CN202011430169.2A CN112542183B (zh) 2020-12-09 2020-12-09 音频数据处理的方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
JP2021184607A true JP2021184607A (ja) 2021-12-02

Family

ID=75019728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021115021A Pending JP2021184607A (ja) 2020-12-09 2021-07-12 オーディオデータ処理方法、装置、デバイス、記憶媒体及びプログラム

Country Status (5)

Country Link
US (1) US11626140B2 (ja)
EP (1) EP3982645A3 (ja)
JP (1) JP2021184607A (ja)
KR (1) KR102569056B1 (ja)
CN (1) CN112542183B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963722B (zh) * 2021-09-16 2022-11-15 珠海格力电器股份有限公司 控制多个设备同时播放不同音频的方法、装置和终端设备
CN114245036B (zh) * 2021-12-21 2024-03-12 北京达佳互联信息技术有限公司 视频制作方法及装置
CN117032620A (zh) * 2023-06-30 2023-11-10 荣耀终端有限公司 音频焦点控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015012592A (ja) * 2013-07-02 2015-01-19 ヤマハ株式会社 ミキシング管理装置
US20150146881A1 (en) * 2013-11-22 2015-05-28 Qualcomm Incorporated Audio output device to dynamically generate audio ports for connecting to source devices
CN111787462A (zh) * 2020-09-04 2020-10-16 蘑菇车联信息科技有限公司 音频流处理方法及系统、设备、介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7501934B2 (en) * 2004-09-15 2009-03-10 At&T Intellectual Property I, Lp System and methods for vehicle sound font creation, playback, and networking
JP2006137293A (ja) * 2004-11-12 2006-06-01 Alpine Electronics Inc コンテンツ配信装置
US8171177B2 (en) 2007-06-28 2012-05-01 Apple Inc. Enhancements to data-driven media management within an electronic device
US8218792B2 (en) * 2008-03-20 2012-07-10 University Of Florida Research Foundation, Inc. Autonomous mixer for devices capable of storing and playing audio signals
GB201204324D0 (en) 2012-03-12 2012-04-25 Jaguar Cars Audio system
US10419497B2 (en) * 2015-03-31 2019-09-17 Bose Corporation Establishing communication between digital media servers and audio playback devices in audio systems
CN105654970B (zh) * 2015-12-25 2019-01-15 中科创达软件股份有限公司 一种多系统的音频播放控制方法、系统和车载系统
CN105451138A (zh) * 2016-01-27 2016-03-30 胡明寿 一种音频输出方法及装置
CN107967130A (zh) 2016-10-20 2018-04-27 深圳联友科技有限公司 一种车机音频通道的切换方法及装置
CN107911361B (zh) * 2017-11-14 2020-05-08 网易（杭州）网络有限公司 支持多会话的语音管理方法、装置、终端设备及存储介质
CN108235052A (zh) * 2018-01-09 2018-06-29 安徽小马创意科技股份有限公司 基于ios可选择多音频通道硬件混音、采集及播放的方法
CN108766472A (zh) * 2018-05-31 2018-11-06 百度在线网络技术（北京）有限公司 音频播放方法、装置、设备及存储介质
CN111312296A (zh) * 2018-12-12 2020-06-19 上海博泰悦臻电子设备制造有限公司 车辆、车机设备及其车机设备混音播放方法
CN109830248B (zh) * 2018-12-14 2020-10-27 维沃移动通信有限公司 一种音频录制方法及终端设备
CN109996099B (zh) 2019-04-16 2022-11-01 阿波罗智联(北京)科技有限公司 车载系统的音频焦点控制方法、系统以及车载系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015012592A (ja) * 2013-07-02 2015-01-19 ヤマハ株式会社 ミキシング管理装置
US20150146881A1 (en) * 2013-11-22 2015-05-28 Qualcomm Incorporated Audio output device to dynamically generate audio ports for connecting to source devices
CN111787462A (zh) * 2020-09-04 2020-10-16 蘑菇车联信息科技有限公司 音频流处理方法及系统、设备、介质

Also Published As

Publication number Publication date
CN112542183A (zh) 2021-03-23
KR20210150326A (ko) 2021-12-10
US11626140B2 (en) 2023-04-11
KR102569056B1 (ko) 2023-08-21
CN112542183B (zh) 2022-03-18
EP3982645A2 (en) 2022-04-13
US20220020395A1 (en) 2022-01-20
EP3982645A3 (en) 2022-06-08

Similar Documents

Publication Publication Date Title
JP2021184607A (ja) オーディオデータ処理方法、装置、デバイス、記憶媒体及びプログラム
EP3084633B1 (en) Attribute-based audio channel arbitration
CN108257590B (zh) 语音交互方法、装置、电子设备、存储介质
JP2022507383A (ja) 通信方法およびネットワークデバイス
KR101528367B1 (ko) 사운드 제어 시스템 및 사운드 제어 방법
US20120317243A1 (en) Audio processing method and device for remote desktop protocol
JP2022534644A (ja) Ｂｌｕｅｔｏｏｔｈデバイスを操作するための方法
US20150146881A1 (en) Audio output device to dynamically generate audio ports for connecting to source devices
JP2015012612A (ja) 動画マルチメディアを利用した着信通知を提供するための方法およびシステム
JP6706633B2 (ja) 通話音質改善のためのシステムおよび方法
CN115993948A (zh) 音频处理方法、相关设备及存储介质
CN112650879A (zh) 歌曲播放方法、装置、设备、存储介质及计算机程序产品
CN110602338B (zh) 音频处理方法、装置、系统、存储介质以及设备
WO2021147466A1 (zh) 消息处理方法、装置及电子设备
US20170178636A1 (en) Method and electronic device for jointly playing high-fidelity sounds of multiple players
WO2023165320A1 (zh) 播放参数配置方法及装置
KR101402869B1 (ko) 중앙 오디오 허브에서 오디오 신호들을 처리하기 위한 방법 및 시스템
US7403605B1 (en) System and method for local replacement of music-on-hold
CN109375892B (zh) 用于播放音频的方法和装置
JP7333731B2 (ja) 通話品質情報を提供する方法および装置
CN115631758B (zh) 音频信号处理方法、装置、设备和存储介质
CN112000496B (zh) 第三方信源api的接入方法、装置及其实现方法
WO2023131110A1 (zh) 一种进程间通信的方法及装置
CN112688863B (zh) 网关数据处理方法、装置及电子设备
CN111045635B (zh) 音频处理方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220726

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220729

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221201

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230727

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230808

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231102