JP2022093229A - 音声ノイズ除去方法及びシステム - Google Patents

音声ノイズ除去方法及びシステム Download PDF

Info

Publication number
JP2022093229A
JP2022093229A JP2021069324A JP2021069324A JP2022093229A JP 2022093229 A JP2022093229 A JP 2022093229A JP 2021069324 A JP2021069324 A JP 2021069324A JP 2021069324 A JP2021069324 A JP 2021069324A JP 2022093229 A JP2022093229 A JP 2022093229A
Authority
JP
Japan
Prior art keywords
vehicle
target
noise
cut algorithm
model library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021069324A
Other languages
English (en)
Other versions
JP7153759B2 (ja
Inventor
趙瑞文
Ruiwen Zhao
趙帥
Shuai Zhao
劉詩曼
Shiman Liu
王贇芝
Yunzhi Wang
▲タク▼洋
Yang Zhai
陳超
Chao Chen
周博林
Bolin Zhou
孫航
Hang Sun
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Technology & Research Center Co Ltd
China Automotive Technology and Research Center Co Ltd
Automotive Data of China Tianjin Co Ltd
Original Assignee
China Automotive Technology & Research Center Co Ltd
China Automotive Technology and Research Center Co Ltd
Automotive Data of China Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Technology & Research Center Co Ltd, China Automotive Technology and Research Center Co Ltd, Automotive Data of China Tianjin Co Ltd filed Critical China Automotive Technology & Research Center Co Ltd
Publication of JP2022093229A publication Critical patent/JP2022093229A/ja
Application granted granted Critical
Publication of JP7153759B2 publication Critical patent/JP7153759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ノイズ解消の効果を向上させる音声ノイズ除去方法及びシステムを提供する。【解決手段】方法は、自車の走行中のノイズを採集してノイズの特徴情報を抽出することと、自車のオフラインモデルライブラリに特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、目標車両のオフラインモデルライブラリから目標ノイズカットアルゴリズムを要求することと、目標ノイズカットアルゴリズムを受信した場合、目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、目標ノイズカットアルゴリズムをオフラインモデルライブラリに追加することと、を含む。【選択図】図1

Description

本願の実施例は車のインターネット及び音声処理技術に関し、特に音声ノイズ除去方法及びシステムに関する。
自動運転車技術の発展に伴い、運転者は運転任務から徐々に解放され始めている。マンマシンインタラクション方式はこれまでに大きく変化し、音声インタラクションはその特有の利便性により、広く応用されている。
自動運転車両の走行シーンは複雑で、環境ノイズが走行シーンによって大きく異なるため、現在の音声インタラクションには認識率が低く、ハードウェアコストが高く、自動運転車両の環境ノイズ除去効果が悪いなどの一連の問題があり、車両が乗客の音声指令を正確に理解できない恐れがある。
本願の実施例は、車内と車外のシーンによって、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消の効果を高める音声ノイズ除去方法及びシステムを提供する。
第1の態様において、本願の実施例は、車載端末に適用される音声ノイズ除去方法であって、
自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出することと、
自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
前記目標車両のオフラインモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加することとを含み、
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、音声ノイズ除去方法を提供する。
第2の態様において、本願の実施例は、自車、目標車両及びクラウドを含む音声ノイズ除去システムであって、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンするために用いられ、
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、音声ノイズ除去システムをさらに提供する。
第3の態様において、本願の実施例は、自車と、前記自車とは設定距離範囲内にある少なくとも1台の候補車両とを含む音声ノイズ除去システムであって、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得し、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられ、
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、音声ノイズ除去システムをさらに提供する。
本願の実施例では、目標ノイズカットアルゴリズムと特徴情報をオフラインモデルライブラリに記憶することにより、車両の計算資源を節約し、運行速度を速めさせ、また、アルゴリズムと特徴情報のマッチングによって、既存のアルゴリズムを直接に呼び出してノイズ解消を行うことができ、車両のノイズカット集音設備を省略し、コストを低減することができ、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両のオフラインモデルライブラリから目標ノイズカットアルゴリズムを要求することにより、走行環境と車内環境にマッチングする際、ノイズも類似するという特徴に基づいて、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消効果を向上させる。
本願の実施例に係る第1種の音声ノイズ除去方法のフローチャートである。 本願の実施例に係る音声ノイズ除去システムの構造模式図である。 本願の実施例に係る他の音声ノイズ除去システムの構造模式図である。
以下、図面と実施例を参照しながら本願を詳細に説明する。理解されるように、ここで説明される具体的な実施例は、本願を解釈するためのものに過ぎず、本発明に対する限定ではない。なお、説明の便宜上、図面においては、本発明に関連する一部のみを示しており、全ての構造を示すものではない。
本願の実施例は、第1種の音声ノイズ除去方法を提供し、そのフローチャートは図1に示すように、車両走行中に車内のユーザの音声をノイズ除去する場合に適用できる。当該方法は音声ノイズ除去デバイスによって実行されてもよく、当該装置はソフトウェア及び/又はハードウェアで構成されてもよく、かつ一般的に車載端末に集積される。
図1に示すように、本実施例に係る方法は具体的に以下のステップを含む。
S110、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出する。
具体的には、シーンノイズ集音設備により車両の走行中のノイズを採集する。ノイズは走行環境によってもたらされる可能性があり、車内環境によってもたらされる可能性もある。
その後、採集されたノイズに対してデータ処理を行い、当該ノイズの特徴情報、例えばスペクトル特徴を抽出する。
好ましくは、シーンノイズ集音設備によって、車載ネットワーク又はブルートゥース(登録商標)モジュールを介してノイズを特徴抽出モジュールに伝送することで、特徴抽出モジュールによって、前記ノイズの特徴情報を抽出する。
S120、自車のオフラインモデルライブラリに特徴情報にマッチングする目標ノイズカットアルゴリズムが存在するかどうかを判断し、存在する場合、S130に移行し、存在しない場合、S140に移行する。
ここで、自車も目標車両もオフラインモデルライブラリを有し、オフラインモデルライブラリには特徴情報とノイズカットアルゴリズムとの対応関係が記憶されている。以下、オフラインモデルライブラリにおける構築プロセスを詳細に説明する。
ステップ1:シーンノイズ集音設備により異なる走行環境と車内環境でのノイズを採集する。
シーンノイズ集音設備は具体的には車載ノイズ採集モジュールであり、採集したノイズをシーンノイズ採集記憶モジュールに記憶して、シーンノイズデータ管理システムの原始シーン記憶モジュールにアップロードする。
ステップ2:採集された各ノイズに対してデータ処理を行って特徴情報を抽出する。好ましくは、ウェーブレット変換を連続に行うことにより、当該ノイズの特徴情報を得る。
ステップ3:抽出したノイズの特徴情報を分類してオフラインシーンノイズライブラリを構築し、各種類の特徴情報に対応するノイズカットアルゴリズムをオフラインノイズカットアルゴリズムライブラリに記憶する。すなわち、オフラインシーンノイズライブラリとオフラインノイズカットアルゴリズムライブラリは共同でオフラインモデルライブラリを構成する。
好ましくは、自車のオフラインモデルライブラリに特徴情報とマッチングする目標ノイズカットアルゴリズムが存在するかどうかを判断することは、特徴情報をオフラインシーンノイズライブラリにおいて比較することを含む。オフラインシーンノイズライブラリにマッチングする特徴情報がある場合、対応するオフラインノイズカットアルゴリズムにより自車ユーザの音声に対してノイズ除去処理を行う。その後、ノイズ除去処理後の音声に応答することにより、ユーザ指令を実行する。
S130、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行う。今回の操作を終了する。
S140、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。S150を実行し続ける。
具体的に、走行環境は、位置する情報ポイント(Point of Information,POI)、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む。
ここで、自車は駐車場、病院、学校、公園などの異なるPOIにある場合にノイズが異なり、渋滞、ピッチング、順調などの道路状況でノイズが異なり、高速、農村小路、国道などの異なる道路セクションでノイズが異なり、車速が異なる場合にノイズも異なる。一方、自車のエンジン型番、コールドスタート状態、ウィンドウの開閉、音声映像が再生するかどうか及び音量等の違いでノイズも顕著に異なる。しかしながら、同じ走行環境と車内環境にある車両のノイズは類似し、そこで、走行環境と車内環境に応じて適切な目標車両を選択することができる。目標車両では、目標ノイズカットモデルを用いてノイズカットを行われている確率が高い、又はノイズカットを行わなくても、そのオフラインモデルライブラリに目標ノイズカットアルゴリズムを含む可能性が高い。
前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求する具体的な実施形態を下述の実施例で説明する。
S150、前記目標車両のオフラインモデルライブラリにおける目標ノイズカットアルゴリズムを受信したかどうかを判断する。YESであれば、S160に移行し、NOであれば、S170に移行する。
S160、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加する。今回の操作を終了する。
目標車両のオフラインモデルライブラリに目標ノイズカットアルゴリズムが存在する場合、自車は目標車両から送信された目標ノイズカットアルゴリズムを受信する。さらに、ノイズ除去処理と同時にオフラインモデルライブラリを更新する。
S170、クラウドに前記目標ノイズカットアルゴリズムを要求する。ここで、目標ノイズカットアルゴリズムは、予めクラウドに記憶される、又は前記クラウドを介して前記ノイズの特徴情報をノイズ解消して得る。
目標車両のオフラインモデルライブラリに目標ノイズカットアルゴリズムが存在しない場合、目標車両のオフラインモデルライブラリにおける目標ノイズカットアルゴリズムを受信しない。そこで、ノイズカット処理が円滑に進行されることを保証するために、自車はクラウドのアップロードモジュールを介して、採集したノイズの特徴情報と定位情報をクラウドにアップロードする。さらに、自車は目標車両の定位情報を要求して、目標車両の定位情報をクラウドに一括でアップロードする。
クラウドは採集されたノイズの特徴情報をクラウドシーンノイズライブラリで比較し、ここで、クラウドシーンノイズライブラリに複数の種類のノイズの特徴情報が記憶される。マッチングする特徴情報が存在する場合、自車と目標車両の定位情報によって、対応する目標ノイズカットアルゴリズムを自車と目標車両のオフラインモデルライブラリにリターンする。マッチングする特徴情報が存在しない場合、クラウドは前記ノイズの特徴情報にノイズ解消を行い、目標ノイズカットアルゴリズムを得、自車と目標車両の定位情報によって、前記目標ノイズカットアルゴリズムを前記自車と目標車両のオフラインモデルライブラリにリターンする。
S180、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記クラウドによって前記目標ノイズカットアルゴリズムを前記自車と前記目標車両のオフラインモデルライブラリに追加する。
本願の実施例では、目標ノイズカットアルゴリズムと特徴情報をオフラインモデルライブラリに記憶することにより、車両の計算資源を節約し、運行速度を速めさせ、また、アルゴリズムと特徴情報のマッチングによって既存のアルゴリズムを直接呼び出してノイズ解消を行うことができ、車両のノイズカット集音設備を省略し、コストを低減することができ、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両のオフラインモデルライブラリから目標ノイズカットアルゴリズムを要求することにより、走行環境と車内環境にマッチングする際に、ノイズも類似するという特徴に応じて、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消効果を向上させる。
上述の実施例及び下述の実施例では、自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することには、以下の2種類の選択可能な実施形態を含む。
第1種の選択可能な実施形態(クラウドを介して特定する)は以下のとおりである。センサの採集情報及び道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信することにより、前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンする。
ここで、センサはカメラ、車載レーダ及び慣性航法システムを含むが、それらに限定されない。渋滞、ピッチング、順調などの道路状況情報は車載の高精細な地図を介して得られる。採集情報及び道路状況情報を統合して自車の走行環境を得る。車内環境はCAN(Controller Area Network)バスから対応する信号を読み込んで得られる。
クラウドは全ての車両の走行環境及び車内環境をリアルタイムに取得し、自車の走行環境と車内環境にマッチングする目標車両を特定し、且つ前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンする。
第2種の選択可能な実施形態(ポイントツーポイント特定)は以下のとおりである。前記自車とは設定距離範囲内にある少なくとも1台の候補車両を探索し、各前記候補車両と通信接続を確立し、前記通信接続に基づいて各前記候補車両の車内環境を取得し、各前記候補車両の中から、車内環境が自車とマッチングする目標車両を特定し、前記目標車両との通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。
設定距離範囲は通信接続の距離範囲によって特定することができ、通信接続はWIFIとブルートゥースに限定されず、設定距離範囲は例えば10メートル又は20メートルである。説明と区分の便宜上、自車の設定距離範囲内にある車両を候補車両と呼ぶ。距離が近いので、候補車両の走行環境は自車と類似する。これにより、走行環境のマッチングが必要ない。
各候補車両と通信接続を確立した後、前記通信接続に基づいて各候補車両に車内環境の要求情報を送信する。各候補車両は、要求情報に応答し、CAN信号から車内環境を得て、通信接続に基づいて自車にリターンする。さらに、自車は各候補車両の中から、車内環境が自車とマッチングする目標車両を特定し、前記目標車両との通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。
上述の実施例と下述の実施例では、前記の前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行った後、ノイズ除去処理を行った後の音声のSN比及び/又は前記ユーザの評価情報によって、前記目標ノイズカットアルゴリズムのノイズカット効果を特定することと、前記ノイズカット効果が要求を満たす場合、目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信することとをさらに含み、前記プッシュメッセージは前記目標車両の現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替えるようにトリガするために用いられる。
図1を参照すると、ここでの目標ノイズカットアルゴリズムは、自車のオフラインモデルライブラリ、目標車両のオフラインモデルライブラリにある、又はクラウドに由来するものである。これに基づいて、S130、S160及びS180の後、ノイズ除去処理を行った後の音声のSN比及び/又は前記ユーザーの評価情報によって、前記目標ノイズカットアルゴリズムのノイズカット効果を特定する。
具体的には、ノイズ除去後の音声のSN比を算出し、例示的に、SN比が設定閾値を超える場合、目標ノイズカットアルゴリズムのノイズカット効果が優れていると判断し、SN比が設定閾値を超えない場合、目標ノイズカットアルゴリズムのノイズカット効果が悪いと判断する。ユーザが車載端末を介して入力した評価情報、例えば評価点数を受信する評価点数によって、目標ノイズカットアルゴリズムのノイズカット効果が優れているか悪いかを特定する。ノイズカット効果が優れていれば、要求を満たし、目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信する。目標車両は、プッシュメッセージに応答し、現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替える。目標車両の現在のノイズカットアルゴリズムが目標ノイズカットアルゴリズムである場合、目標ノイズカットアルゴリズムを維持すればよい。
本実施例は目標ノイズカットアルゴリズムのプッシュ効果を特定することによって、目標ノイズカットアルゴリズムに自動的に切り替え、ユーザに感知させない。
上述の実施形態では、前記方法は、周期的に前記クラウドにオフラインモデルライブラリのバージョン検出要求を送信することにより、前記クラウドは前記バージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記車載端末に最新バージョンのダウンロードパスをリターンすることと、前記ダウンロードパスに基づいてアップグレードパッケージをダウンロードすることと、前記アップグレードパッケージを実行し、前記オフラインモデルライブラリのバージョンを前記最新バージョンにアップグレードすることとをさらに含む。
好ましくは、クラウドは、自車から送信されたオフラインモデルライブラリのバージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記自車に最新バージョンのダウンロードパスをリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行う。例えば、設定時間の間隔を置いた後、最新バージョンのダウンロードパスを再配布する、又は運営・メンテナンス人員にエラーを報告する。
説明すべきものとして、上述の方法は周期的な操作であり、自車の走行中に操作することができ、自車が静止する時に操作することもできる。周期的にオフラインモデルライブラリのバージョンをアップグレードすることにより、多くの場合直接オフラインモデルライブラリを介して音声ノイズカットを行うことができ、コストを低減させる。
図2は本願の実施例に係る音声ノイズ除去システムの構造模式図であり、自車、目標車両及びクラウドを含む。
自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられる。
前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンするために用いられる。
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む。
好ましくは、前記クラウドは前記ノイズの特徴情報にノイズ解消を行い、目標ノイズカットアルゴリズムを得、前記目標ノイズカットアルゴリズムを前記自車と目標車両のオフラインモデルライブラリにリターンするために用いられる。
好ましくは、前記クラウドは、自車から送信されたオフラインモデルライブラリのバージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記自車に最新バージョンのダウンロードパスをリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行うために用いられる。
図3は本願の実施例に係る他の音声ノイズ除去システムの構造模式図であり、自車と、前記自車とは設定距離範囲内にある少なくとも1台の候補車両とを含む。図3では自車と4台の候補車両は同じ方向の3つの車道に走行している。
前記自車は、自車の走行中のノイズを採集して、前記ノイズの特徴情報を抽出するために用いられ、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得して、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加する。
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられる。
前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む。
上述の音声ノイズ除去システムの説明は上述の各実施例の説明を参照することができるため、ここでは説明を省略する。
なお、上述したのは本願の好ましい実施例及び運用される技術原理に過ぎず。当業者であれば理解されるように、本願はここで述べた特定する実施例に限定されるものではなく、当業者であれば本願の保護範囲から逸脱することなく、様々な明らかな変化、再調整及び代替を行うことができる。したがって、上記実施例によって本願をより詳細に説明したが、本願は上記実施例に限定されるものではなく、本願の構想から逸脱することなく、さらに多くの他の等価実施例を含むことができ、本願の保護範囲は添付する特許請求の範囲によって決定される。

Claims (10)

  1. 車載端末に適用される音声ノイズ除去方法であって、
    自車の走行中のノイズを採集し、前記ノイズの特徴情報を抽出することと、
    自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
    前記目標車両のオフラインモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加することとを含み、
    前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、
    ことを特徴とする音声ノイズ除去方法。
  2. 前記の前記目標車両からノイズカットアルゴリズムを要求した後、
    前記目標車両のオフラインモデルライブラリに前記目標ノイズカットアルゴリズムが存在しない場合、前記目標ノイズカットアルゴリズムをクラウドに要求することと、
    前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記クラウドを介して前記目標ノイズカットアルゴリズムを前記自車と前記目標車両のオフラインモデルライブラリに追加することとをさらに含み、
    前記目標ノイズカットアルゴリズムは、予めクラウドに記憶される、又は前記クラウドにより前記ノイズの特徴情報をノイズ解消して得られる、
    ことを特徴とする請求項1に記載の音声ノイズ除去方法。
  3. 前記自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することは、
    センサの採集情報及び道路状況情報によって、自車の走行環境を特定することと、
    前記車両の走行環境及び車内環境をクラウドに送信することにより、前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンすることとを含む、
    ことを特徴とする請求項1に記載の音声ノイズ除去方法。
  4. 前記の自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することは、
    前記自車とは設定距離範囲内にある少なくとも1台の候補車両を探索し、各前記候補車両と通信接続を確立することと、
    前記通信接続に基づいて各前記候補車両の車内環境を取得し、各前記候補車両の中から車内環境が自車とマッチングする目標車両を特定することと、
    前記目標車両との通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求することとを含む、
    ことを特徴とする請求項1に記載の音声ノイズ除去方法。
  5. 前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行った後、
    ノイズ除去処理を行った後の音声のSN比及び/又は前記ユーザーの評価情報により、前記目標ノイズカットアルゴリズムのノイズカット効果を特定することと、
    前記ノイズカット効果が要求を満たす場合、前記目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信することとをさらに含み、
    前記プッシュメッセージは前記目標車両の現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替えるようにトリガするために用いられる、
    ことを特徴とする請求項1に記載の音声ノイズ除去方法。
  6. 周期的に前記クラウドにオフラインモデルライブラリのバージョン検出要求を送信することにより、前記クラウドは前記バージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記車載端末に最新バージョンのダウンロードパスをリターンすることと、
    前記ダウンロードパスに基づいてアップグレードパッケージをダウンロードすることと、
    前記アップグレードパッケージを実行し、前記オフラインモデルライブラリのバージョンを前記最新バージョンにアップグレードすることとをさらに含む、
    請求項1~5のいずれか1項に記載の音声ノイズ除去方法。
  7. 自車、目標車両及びクラウドを含み、
    前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報により自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
    前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のオフラインモデルライブラリにリターンするために用いられ、
    前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、
    ことを特徴とする音声ノイズ除去システム。
  8. 前記クラウドは前記ノイズの特徴情報に対してノイズ解消を行って目標ノイズカットアルゴリズムを得、前記目標ノイズカットアルゴリズムを前記自車と目標車両のオフラインモデルライブラリにリターンするために用いられる、
    ことを特徴とする請求項7に記載の音声ノイズ除去システム。
  9. 前記クラウドは、自車から送信されたオフラインモデルライブラリのバージョン検出要求に応答し、前記オフラインモデルライブラリのバージョンが最新バージョンではないことを検出した場合、最新バージョンのダウンロードパスを前記自車にリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行うために用いられる、
    ことを特徴とする請求項7又は8に記載の音声ノイズ除去システム。
  10. 自車と、前記自車とは設定距離範囲内にある少なくとも1台の候補車両とを含み、
    前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のオフラインモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得し、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のオフラインモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記オフラインモデルライブラリに追加するために用いられ、
    前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられ、
    前記走行環境は、位置する情報ポイントPOI、道路状況情報、道路セクション情報及び車速の少なくとも1つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも1つを含む、
    ことを特徴とする音声ノイズ除去システム。
JP2021069324A 2020-12-11 2021-04-15 音声ノイズ除去方法及びシステム Active JP7153759B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202011449222.3A CN112735457B (zh) 2020-12-11 2020-12-11 语音去噪方法和系统
CN202011449222.3 2020-12-11

Publications (2)

Publication Number Publication Date
JP2022093229A true JP2022093229A (ja) 2022-06-23
JP7153759B2 JP7153759B2 (ja) 2022-10-14

Family

ID=75599267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021069324A Active JP7153759B2 (ja) 2020-12-11 2021-04-15 音声ノイズ除去方法及びシステム

Country Status (2)

Country Link
JP (1) JP7153759B2 (ja)
CN (1) CN112735457B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113257272A (zh) * 2021-06-29 2021-08-13 深圳小米通讯技术有限公司 语音信号处理方法、装置、电子设备及存储介质
CN113628632A (zh) * 2021-07-26 2021-11-09 北京佳讯飞鸿电气股份有限公司 语音降噪方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372690A1 (en) * 2016-06-24 2017-12-28 GM Global Technology Operations LLC Method, system and apparatus for addressing road noise
JP2019151323A (ja) * 2018-02-28 2019-09-12 ハーマン インターナショナル インダストリーズ インコーポレイテッド 連続的に最適化されるロードノイズキャンセレーションのための方法及び機器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6851310B2 (ja) * 2015-01-20 2021-03-31 ドルビー ラボラトリーズ ライセンシング コーポレイション ドローン推進システム・ノイズのモデル化および削減
US10304329B2 (en) * 2017-06-28 2019-05-28 Zendrive, Inc. Method and system for determining traffic-related characteristics
JP7233035B2 (ja) * 2017-08-30 2023-03-06 パナソニックIpマネジメント株式会社 収音装置、収音方法、及びプログラム
CN110197670B (zh) * 2019-06-04 2022-06-07 大众问问(北京)信息科技有限公司 音频降噪方法、装置及电子设备
CN110223669A (zh) * 2019-07-01 2019-09-10 天津职业技术师范大学(中国职业培训指导教师进修中心) 汽车噪音的处理方法、装置和系统
CN111128192A (zh) * 2019-12-31 2020-05-08 深圳市优必选科技股份有限公司 语音识别降噪方法、系统、移动终端及存储介质
CN112053701A (zh) * 2020-09-11 2020-12-08 北京小米移动软件有限公司 拾音控制方法、装置、系统、设备和介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170372690A1 (en) * 2016-06-24 2017-12-28 GM Global Technology Operations LLC Method, system and apparatus for addressing road noise
JP2019151323A (ja) * 2018-02-28 2019-09-12 ハーマン インターナショナル インダストリーズ インコーポレイテッド 連続的に最適化されるロードノイズキャンセレーションのための方法及び機器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
[初心者向けクラウド講座]クラウドとは?今さら聞けない基本用語を分かりやすく解説, JPN6022018523, 10 August 2020 (2020-08-10), JP, ISSN: 0004774447 *
総務省 安心してインターネットを使うために 国民のための情報セキュリティサイト, JPN6022018525, 9 July 2013 (2013-07-09), JP, ISSN: 0004774446 *

Also Published As

Publication number Publication date
JP7153759B2 (ja) 2022-10-14
CN112735457B (zh) 2022-05-17
CN112735457A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
CN108974009B (zh) 用于自动驾驶控制的方法、介质和系统
US10422649B2 (en) Autonomous driving sensing system and method
US11592570B2 (en) Automated labeling system for autonomous driving vehicle lidar data
EP3667638B1 (en) Traffic lane information management method, running control method, and traffic lane information management device
US10817736B2 (en) System and methods for identifying unoccupied parking positions
JP2016095831A (ja) 運転支援システム及びセンタ
US11042159B2 (en) Systems and methods for prioritizing data processing
JP7153759B2 (ja) 音声ノイズ除去方法及びシステム
WO2023201964A1 (zh) 一种跟车目标确定方法、装置、设备及介质
CN112238862B (zh) 用于自主驾驶平台的开放和安全监视系统
US11361555B2 (en) Road environment monitoring device, road environment monitoring system, and road environment monitoring program
US11409728B2 (en) Map information system
CN107111903A (zh) 远程车辆数据收集系统
US20190385444A1 (en) Vehicle control system, data processing apparatus, and vehicle control method
US11507107B2 (en) Map information system
JP7403629B2 (ja) 通信装置、車両、プログラム、及び通信方法
CN112441013B (zh) 基于地图的车辆超速规避
CN111183463B (zh) 用于处理机动车中的数据以发送至后端的方法、设备和具有指令的计算机可读的存储介质
WO2022147785A1 (zh) 车辆驾驶场景识别方法及装置
JP2015125724A (ja) 運転補助装置、運転特性管理サーバおよび運転補助システム
US20240005672A1 (en) Information collection system, server, and information collection method
US20220351553A1 (en) Indexing sensor data about the physical world
WO2016072082A1 (ja) 運転支援システム及びセンタ
WO2022102202A1 (ja) 遠隔モニタリングシステム、遠隔モニタリング用プログラム、遠隔モニタリング方法、車両側機器、及び、データ処理サーバ
EP4198573A1 (en) System and method for detecting rainfall for an autonomous vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R150 Certificate of patent or registration of utility model

Ref document number: 7153759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150