JP2006270741A - 車載音響処理装置、および、ナビゲーション装置 - Google Patents

車載音響処理装置、および、ナビゲーション装置 Download PDF

Info

Publication number
JP2006270741A
JP2006270741A JP2005088247A JP2005088247A JP2006270741A JP 2006270741 A JP2006270741 A JP 2006270741A JP 2005088247 A JP2005088247 A JP 2005088247A JP 2005088247 A JP2005088247 A JP 2005088247A JP 2006270741 A JP2006270741 A JP 2006270741A
Authority
JP
Japan
Prior art keywords
voice
output
signal
priority
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005088247A
Other languages
English (en)
Other versions
JP4493530B2 (ja
Inventor
Kenji Tokura
健治 都倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2005088247A priority Critical patent/JP4493530B2/ja
Publication of JP2006270741A publication Critical patent/JP2006270741A/ja
Application granted granted Critical
Publication of JP4493530B2 publication Critical patent/JP4493530B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

【課題】 車両内で複数の音声が出力される場合に、これら複数の音声の可聴性を確保し、かつ、車両内の人に音声の干渉による不快感を感じさせないようにする。
【解決手段】 音声信号を出力するラジオ受信部60、音楽ソース70を備えたナビゲーション装置1において、ラジオ受信部60および音楽ソース70から音声信号が入力され、さらに経路案内を行う案内音声の音声信号が音声合成部40から入力される音声コントロール部51は、入力された複数の音声信号間の優先度を決定し、優先度が最も高い音声信号と、優先度が最高でない音声信号に含まれる特定の周波数帯域の信号成分を他の周波数帯域に移動させた新たな音声信号と、を合成することによって、出力用の音声信号を生成する。
【選択図】 図2

Description

本発明は、複数の音源から出力される音声信号を処理する車載音響処理装置、および、ナビゲーション装置に関する。
通常、自動車内で音楽等の音声を出力しているときに、この音声以外の音に注意を向けるべき事態が発生した場合、運転者はオーディオ装置を操作して、音声出力を停止させる等の動作を行う。これは、人間の聞覚特性により、同一周波数帯域の成分を含む複数の音声が重なって干渉した場合に、この周波数帯域の全ての音が聞き取りにくくなる上、各々の音が雑音として聞こえるというマスキング効果が起き、音による情報が得られない上に不快感を催すためである。しかしながら、運転中にオーディオ装置等を操作することは安全性の面で好ましくない。そこで、複数の音声が同時に出力されようとする場合に、予め設定された基準に基づいて1の音声信号を選択し、音声を出力する車載用音響装置統合システムが提案された(例えば、特許文献1参照。)。
特開平7−159190号公報
近年、車両内においては、音楽だけでなく様々な音源からの音声が出力される。この中には、ナビゲーション装置の案内音声やラジオ放送の交通情報等、運転者が注意を向けるべき情報を含み、聞き逃すことのできない重要な音声がある。さらに、これらナビゲーション装置の音声やラジオ放送の音声には、運転者にとって重要な情報と重要でない情報とが混在して含まれるので、その音声を聞くべきか否かはその都度運転者が判断することが最も望ましく、聞く必要があるかどうかを事前に設定しておくことは困難である。従って、複数の音声が重なって聞こえた場合に、ある音声のみを選択して他の音声を出力しないといった方法では、重要な情報を聞き逃してしまう可能性があった。
本発明は、上述した事情に鑑みてなされたものであり、車両内で複数の音声が出力される場合に、これら複数の音声の可聴性を確保し、かつ、車両内の人に音声の干渉による不快感を感じさせないようにすることを目的としている。
上記課題を解決するため、本発明は、車両に搭載された複数の音源から出力される音声信号を処理する車載音響処理装置において、前記複数の音源から各々出力される複数の音声信号について、各音声信号間の相対的な優先度を決定する優先度決定手段と、前記優先度が最も高い音声信号を除く他の音声信号について、特定の周波数帯域の信号成分を他の周波数帯域に移動させて新たな音声信号を生成する音声処理手段と、前記優先度が最も高い音声信号と、前記新たな音声信号とを合成して出力用の音声信号を生成する出力信号生成手段とを備えることを特徴としている。
また、本発明において、前記複数の音源による音声信号の出力の有無を検出する出力検出手段をさらに備え、前記優先度決定手段は、前記出力検出手段により検出された出力状態に基づいて、前記音声信号の優先度を設定するものとしてもよい。
さらに、本発明において、前記優先度決定手段は、前記優先度を決定した後にいずれかの音声信号の出力が有から無に切り替わった場合、切り替わってから所定時間が経過するまでの間は前記優先度を維持し、その後に前記優先度を新たに決定して更新するようにしてもよい。
また、本発明において、前記音声処理手段は、処理対象の音声信号について特定の周波数帯域の信号成分を阻止する帯域阻止手段と、前記処理対象の音声信号から前記特定の周波数帯域の信号成分を取り出す帯域通過手段と、前記帯域通過手段により取り出された信号成分の周波数を、前記特定の周波数帯域外の周波数に変換する周波数変換手段と、前記周波数変換手段により周波数が変換された信号成分と、前記帯域阻止手段により特定の周波数帯域の信号成分が阻止された音声信号とを合成する合成手段とを備える構成としてもよい。
また、本発明において、前記複数の音源には、前記車両の経路案内を行うナビゲーション機能における案内音声を出力する案内音声出力装置、可搬型の記録媒体に記録された音声を再生する再生装置、および、ラジオ放送を受信するラジオ受信装置のうち少なくとも一つが含まれるものとしてもよい。
さらに、本発明において、前記音源として、前記車両内において集音を行って音声信号を出力するマイクをさらに備える構成としてもよい。
本発明は、車両の経路案内を行うための案内音声を出力するナビゲーション装置において、前記案内音声とは別の音声の音声信号を出力する1または複数の音源と、前記音源から出力された音声信号と前記案内音声の音声信号とを含む複数の音声信号間の相対的な優先度を決定する優先度決定手段と、前記優先度が最も高い音声信号を除く他の音声信号について、特定の周波数帯域の信号成分を他の周波数帯域に移動させて新たな音声信号を生成する音声処理手段と、前記優先度が最も高い音声信号と、前記新たな音声信号とを合成して出力用の音声信号を生成する出力信号生成手段とを備えることを特徴としている。
本発明によれば、複数の音源から出力される複数の音声信号について優先度を決定し、この優先度が最も高い音声信号を除く他の音声信号について、特定の周波数帯域の信号成分を他の周波数帯域に移動させて新たな音声信号を生成し、この新たな音声信号と優先度が最も高い音声信号とを合成して出力用の音声信号を生成するので、複数の音源から出力される音声について、特定の周波数帯域において干渉を生じないようにすることができる。これにより、特定の周波数帯域の音声について、マスキング効果が起こらず、不快な雑音を生じない。さらに、出力された音声信号に含まれる一部の周波数帯域の信号成分について周波数を移動させる一方で、信号成分の除去等を行わないので、全ての音声信号について可聴性が確保される。従って、運転者を含む車両内の人は、不快な雑音の無い環境において、同時に出力された音声の内容を全て認識することが可能となり、必要な情報を欠かすことなく入手できる。また、運転中または乗車中の不快感を軽減し、快適な車内環境を実現できる。
以下、図面を参照しつつ本発明の実施形態について説明する。
図1はナビゲーション装置1のフロントパネル1Aの構成を示す正面図である。この図に示すように、ナビゲーション装置1のフロントパネル1Aには、地図やメニュー画面等を表示するディスプレイ32が設けられ、このディスプレイ32の周囲には、ユーザによって操作される複数のキースイッチ81が配設されている。これらのキースイッチ81としては、電源スイッチや音量調整用スイッチ等のほか、AM/FMラジオ受信モード、CD/MD再生モード、TV受信モード、および、ナビゲーション(経路案内)モードの中から動作モードを選択して切り替えるためのスイッチ等が設けられている。
上記動作モードについて概説すると、AM/FMラジオ受信モードはナビゲーション装置1がAM/FMラジオ放送を受信してラジオ放送の音声を車内に出力するモードであり、CD/MD再生モードはナビゲーション装置1がCD或いはMD(登録商標)に記録された音楽を再生するモードである。また、TV受信モードはナビゲーション装置1がTV放送を受信してTV映像をディスプレイ32に表示するとともにTV音声を車内に出力するモードであり、ナビゲーションモードは、ナビゲーション装置1がディスプレイ32に地図を表示して車両の経路案内を実行するモードである。すなわち、本ナビゲーション装置1は、車両のナビゲーション機能のほかにも、ラジオ放送やTV放送の受信、および、CDやMD等の記録媒体に記録された音楽データの再生といったオーディオ機能を有している。
さらに、ナビゲーション装置1は、上記のナビゲーションモードの実行中に、AM/FMラジオ受信モードまたはCD/MD再生モードを同時に実行し、ラジオ放送の音声またはCD或いはMDに記録された音楽を再生出力することが可能である。この場合、通常時はラジオ放送の音声またはCD或いはMDに記録された音楽が出力され、ナビゲーションモードの機能により運転者に報知すべき情報(例えば、自車両が走行する経路、地域または場所に関する情報や渋滞に関する情報等)が発生した場合に、出力中の音楽に重畳させて、ナビゲーションの案内音声が出力される。
図2はナビゲーション装置1の電気的構成を示すブロック図である。この図に示すように、ナビゲーション装置1は、大別すると、制御部10と、記憶部20と、表示部30と、音声合成部40と、音声出力部50と、ラジオ受信部60と、音楽ソース70と、操作部80とを備えている。このうち、音声合成部40(案内音声出力装置)、ラジオ受信部60(ラジオ受信装置)および音楽ソース70の各装置(再生装置)は、本発明の音源として機能する。
制御部10は、本ナビゲーション装置1の各部を中枢的に制御するものであり、ナビゲーションコントロールCPU11とオーディオコントロールCPU12とを備えている。ナビゲーションコントロールCPU11は、主として、ナビゲーションのための地図表示や交通情報表示、音声案内等を制御する。オーディオコントロールCPU12は、ラジオ受信部60および音楽ソース70を制御する。記憶部20は、ナビゲーションコントロールCPU11およびオーディオコントロールCPU12によって実行される各種プログラムや、経路案内に供される地図データや案内音声データ等の各種データを格納するものであり、HDD(Hard Disk Drive)やDVD−ROM等を備えている。すなわち、上記ナビゲーションコントロールCPU11は、経路案内動作時にあっては、例えばGPS(Global Positioning System)受信機やジャイロセンサ等の図示しない自車両位置検出手段から車両の現在位置を順次取得し、この現在位置を含む地図データを記憶部20から読み出して表示部30に出力するとともに、地図に車両位置をマークするための表示データを表示部30に出力する。また、経路案内時にユーザに対して音声により報知すべき事項がある場合、ナビゲーションコントロールCPU11は、記憶部20から案内音声データを読み出して音声合成部40に出力する。
表示部30は、地図やVICS(Vehicle Information and Communication System:道路交通情報通信システム)情報等の各種情報を表示するものであり、描画IC31と、上記ディスプレイ32とを備えている。描画IC31は、制御部10(特にナビゲーションコントロールCPU11)から表示データ(地図やVICS情報等)を受け取り、この表示データを表示すべくディスプレイ32を駆動するものである。ディスプレイ32は、例えば液晶パネルや有機ELパネルといったフラットパネルディスプレイ、或いは、CRT(Cathode Ray Tube)ディスプレイにより構成され、描画IC31により駆動されて各種情報を表示する。
音声合成部40は、制御部10(特に、ナビゲーションコントロールCPU11)から経路案内に供される案内音声データを受け取り、アナログ音声信号に変換して音声出力部50に出力する。
音声出力部50は、車内に経路案内のための案内音声やラジオ音声、音楽等の各種音声を出力するものであり、本発明の車載音響処理装置としての音声コントロール部51と、パワーアンプ52と、スピーカー53とを備えている。音声コントロール部51は、後述するように、音声合成部40、後述するラジオ受信部60或いは音楽ソース70から案内音声や音声信号を受け取り、これらの音声に対する音響効果の付与や音量調整等の信号処理を施し、パワーアンプ52に出力する。パワーアンプ52は、音声コントロール部51から受け取った音声の信号を増幅してスピーカー53に出力する。スピーカー53は、車内に設置され、パワーアンプ52から入力される音声信号に基づいて車内に音声を出力する。なお、図示例では、1つのスピーカー53のみが示されているが、多チャンネル再生を可能とすべく複数のスピーカー53を設けても良い。
ラジオ受信部60は、制御部10の制御の下、ラジオ放送波を受信してラジオ放送の音声信号を音声出力部50に出力するものであり、アンテナ61と、アンテナ分配器62と、FM多重専用チューナー(受信機)63と、AM/FMラジオチューナー(受信機)64と、多重エンコーダー65とを備えている。すなわち、本実施形態では、ラジオ受信部60がFM多重専用チューナー63とAM/FMラジオチューナー64との2つのチューナーを備え、それぞれのチューナー63、64にはアンテナ分配器62を介してアンテナ61により受信された信号が入力されている。これらFM多重専用チューナー63とAM/FMラジオチューナー64とは互いに独立して動作し、互いに異なるラジオ放送を受信する。すなわち、FM多重専用チューナー63は、常時、FM多重放送により放送されているVICS情報のみを受信し、また、AM/FMラジオチューナー64は、本ナビゲーション装置1の動作モードがAM/FMラジオ受信モードである場合に、ユーザが選局したチャンネルの放送波を受信する。
FM多重専用チューナー63は、FM多重放送を受信すると、FM多重信号を多重エンコーダー65に出力する。多重エンコード65は、FM多重信号を復号するものであり、FM多重専用チューナー63から受け取ったFM多重信号を復号してVICS情報を取得し、制御部10のナビゲーションコントロールCPU11に出力する。ナビゲーションコントロールCPU11は、VICS情報を多重エンコーダー65から受け取った場合、当該VICS情報の表示データを描画IC31に出力することで、VICS情報をディスプレイ32に表示する。また、AM/FMラジオチューナー64は、AM/FMラジオ放送を受信した場合、当該AM/FMラジオ放送の音声信号を音声出力部50に出力して、AM/FMラジオ放送の音声を車内に出力させる。
音楽ソース70は、ラジオ音声以外の音楽ソース(音源)であり、CD再生装置71と、MD再生装置72と、TV受信装置73とを備えている。CD再生装置71は、CD(DVD等の他の光ディスクでも良い)に記録された音楽等の音声データを読み取り、音声信号を音声出力部50に出力する。また、MD再生装置72は、MDに記録された音楽等の音声データを読み取り、音声信号を音声出力部50に出力する。TV受信装置73は、TV放送を受信して、TV放送の音声信号を音声出力部50に出力するとともに、制御部10の制御の下、映像信号を表示部30に出力するものである。なお、車両が走行している場合等には、車両走行の安全性を高めるために、TV映像の表示は禁止される。
操作部80は、ユーザの操作入力を検出して、制御部10に出力するものであり、上述した複数のキースイッチ81(図2では1つだけを示す)を備えている。これらキースイッチ81は、上述したように、ナビゲーション装置1のフロントパネル1Aに配設されており、キースイッチ81としては、電源スイッチや音量調整用スイッチ等のほか、AM/FMラジオ受信モード、CD/MD再生モード、TV受信モード、および、ナビゲーション(経路案内)モードの中から動作モードを選択して切り替えるためのスイッチ等が設けられている。
照明デバイス82は、各キースイッチ81の下部に配設されて、制御部10(特に、オーディオコントロールCPU12)の制御の下、点灯或いは点滅して、キースイッチ81を識別可能とするものであり、例えばLEDデバイス等に構成されている。すなわち、制御部10が特定の照明デバイス82を点灯或いは点滅されることで、特定のキースイッチ81をユーザに識別させることが可能となる。
以上のように構成されるナビゲーション装置1において、音声コントロール部51の構成および機能について詳細に説明する。
図3は、音声コントロール部51の機能的構成を示すブロック図である。
図3に示すように、音声コントロール部51は、音声合成部40(図2)により出力されるナビゲーション機能の案内音声を処理するナビ音声処理部501、CD再生装置71(図2)により出力される音声を処理するCD音声処理部502、MD再生装置72(図2)により出力される音声を処理するMD音声処理部503、および、TV受信装置73(図2)により出力される音声を処理するTV音声処理部504の4つの音声処理部(音声処理手段)を備える。また、音声コントロール部51は、ナビ音声処理部501、CD音声処理部502、MD音声処理部503およびTV音声処理部504の各音声処理部に対する入力音声の有無を検出する音声検出部511(出力検出手段)と、音声検出部511の検出状態に基づいて上記各音声処理部の動作を制御する音声制御部512(優先度決定手段)と、上記各音声処理部による処理後の音声をパワーアンプ52(図2)に出力する出力部513(出力信号生成手段)とを備える。
音声検出部511は、音声合成部40による出力音声信号、および、音楽ソース70(図2)の各部から上記各音声処理部に対する音声信号の出力の有無を検出し、検出結果を音声制御部512に出力する。
音声制御部512は、音声検出部511における検出結果に基づいて、各音声処理部501〜504に対し、各音声処理部501〜504が処理する音声の優先度を指示する。詳細には、音声制御部512は、音声合成部40により出力される案内音声と、CD再生装置71から出力される音声と、MD再生装置72から出力される音声と、TV受信装置73から出力される音声との全ての出力音声について、予め設定された優先順位を記憶している。そして、音声制御部512は、複数の出力音声が同時に検出された場合には、これら複数の出力音声の各々について優先度を決定する。この優先度は、例えば2つの出力音声について優先される度合いを相対的に示すものであり、優先すべき側が優先度「高」とされ、他方は優先度「低」とされ、優先度「高」の出力音声はそのまま出力され、その一方で、優先度「低」の出力音声は、後述するように特定の周波数帯域が減衰されるよう処理されて出力される。
図4は、優先度の決定に係る処理の一例を示すタイミングチャートであり、(a)はCD再生装置71の出力音声の有無を示し、(b)は音声合成部40の出力音声の有無を示し、(c)はCD再生装置71の出力音声の優先度を示し、(d)は音声合成部40の出力音声の優先度を示す。
図4には、CD再生装置71の出力音声(以下、CD音声)と、音声合成部40の出力音声(以下、ナビ音声)とが同時に出力される場合において、これら音声の優先度を随時音声制御部512によって決定する例を示す。
ここで、音声制御部512が記憶している優先順位によれば、CD音声に比べてナビ音声が優先されるものとする。ナビ音声はナビゲーション装置1のナビゲーション機能に関わる音声であるから、運転者にとってより重要性が高いと考えられるからである。
まず、時刻T1において、CD再生装置71から音声が出力されると、音声検出部511は、CD音声「有」を検出する。ここで、ナビ音声は出力されていないので、音声制御部512は、CD音声の優先度を「低」とする。
続く時刻T2において、ナビ音声の出力が開始されると、音声制御部512は、ナビ音声の優先度を「低」にし、CD音声の優先度を「高」とする。ここで決定された優先度は、その後の時刻T3において、ナビ音声の出力が停止されるまで継続される。
時刻T2から時刻T3の間において、ナビ音声が一時的に途切れているが、ここでは音声制御部512は優先度を変更しない。これは、優先度が短時間のうちに頻繁に切り替わると、運転者等に煩雑な印象を与える上、音声が聞き取りにくくなること、および、ナビ音声は自車両の位置等に基づいて出力されるものであり、その出力および停止のタイミングが未知であって、短時間で途切れたり再開したりする可能性があることによる。従って、音声制御部512は、ナビ音声の出力が停止してから所定時間が経過するまでの間は、優先度を維持する。
ここで、出力が停止してから優先度を変更するまでの所定時間については、音源の種類および特徴に応じて決定すればよい。
時刻T3においてナビ音声の出力が停止し、その後、時刻T4までナビ音声が「無」の状態が継続されると、音声制御部512は、時刻T4において優先度を変更し、CD音声の優先度を「高」とし、ナビ音声の優先度を「低」として、優先度の更新を行う。
そして、時刻T5においてCD音声の出力が停止されると、ナビゲーション装置1は音声の出力がない無音状態となる。この無音状態に対応して、音声制御部512は、CD音声およびナビ音声の双方について優先度を「OFF(設定なし)」に更新する。
ここで、優先度が「OFF」とされた音声信号は、他の音声信号の優先度や出力状態に関わらず、後述するナビ音声処理部501、CD音声処理部502、MD音声処理部503およびTV音声処理部504において、優先度「高」および「低」の場合にそれぞれ行われる処理が何ら行われない。すなわち、その音声信号は出力出力部513(図3)へ出力されない。これにより、不要な音声信号について処理を行わないようにして、音声コントロール部51の負荷を軽減できる。
続いて、時刻T6においてナビ音声の出力が開始されると、音声制御部512はナビ音声の優先度を「高」とし、CD音声の優先度を「低」とする。その後、時刻T7でナビ音声の出力が停止されるが、ここでは優先度は変更されず、この停止状態が時刻T8まで継続されると、ナビ音声およびCD音声の双方の優先度が「OFF」に更新される。
続いて、ナビ音声処理部501、CD音声処理部502、MD音声処理部503およびTV音声処理部504の各音声処理部501〜504の構成および機能について詳細に説明する。
図5は、ナビ音声処理部501の機能的構成を示すブロック図である。CD音声処理部502、MD音声処理部503およびTV音声処理部504は、いずれも図5のナビ音声処理部501と同一に構成されるので、図示および説明を省略する。
図5に示すように、ナビ音声処理部501は、音声合成部40からのナビ音声が入力される優先度切替回路521と、分配回路522、帯域阻止手段としての帯域阻止フィルタ(BEF:Band Eliminate Filter)523、遅延制御回路524、合成手段としての合成回路525、帯域通過手段としての帯域通過フィルタ(BPF:Band Pass Filter)526、周波数変換手段としての周波数変換回路527、位相制御回路528及び振幅調整回路529からなる優先度「低」用の回路と、優先度「高」のときに使用される遅延制御回路530とを有する。
優先度切替回路521には、図示はしないが音声制御部512からの制御信号が入力されている。優先度切替回路521は、この制御信号に従って、ナビ音声の優先度が「高」であるか「低」であるかを判別する。そして、ナビ音声の優先度が「高」の場合、優先度切替回路521はナビ音声を遅延制御回路530に出力し、優先度が「低」の場合はナビ音声を分配回路522に出力する。ここで、優先度切替回路521から出力されるナビ音声の音声信号を音声信号S1とする。
分配回路522は、優先度切替回路521から入力される音声信号S1を帯域阻止フィルタ523と帯域通過フィルタ526とに分配して出力する。
帯域阻止フィルタ523は、分配回路522から入力される音声信号について、所定の周波数帯域(以下、周波数帯域B1とする)の信号成分を減衰させて、遅延制御回路524に出力する。
遅延制御回路524は、帯域阻止フィルタ523から入力される音声信号を所定時間だけ遅延させて音声信号S2を生成し、合成回路525に出力する。
一方、帯域通過フィルタ526は、分配回路522から入力された音声信号について、周波数帯域B1の信号成分のみを通過させ、音声信号S3として周波数変換回路527に出力する。
周波数変換回路527は、帯域通過フィルタ526から入力される音声信号S3の周波数を変換する処理を行い、変換後の音声信号を位相制御回路528に出力する。本実施形態においては、一例として、周波数変換回路527は、音声信号S3の周波数がもとの周波数の2倍となるよう変換を行う。すなわち、周波数帯域B1(F1[Hz]〜F2[Hz])の音声信号が、周波数帯域B2(2×F1[Hz]〜2×F2[Hz])の音声信号に変換される。
ここで、周波数変換回路527から出力される音声信号は、周波数変換の際に位相が回転している。この回転分を補償するため、位相制御回路528により、周波数変換回路527から入力された音声信号の位相を回転させる処理が行われ、音声信号S4として振幅調整回路529に出力される。
振幅調整回路529は、位相制御回路528から入力される音声信号S4の振幅を、出力時の音量レベルに合わせて調整(増幅または減衰)し、合成回路525へ出力する。
合成回路525は、遅延制御回路524から入力される音声信号S2と、遅延制御回路524から入力される音声信号とを合成して音声信号S5を生成して出力する。なお、位相制御回路528から合成回路525に入力される音声信号は周波数変換等の各種処理に要する時間だけ遅延を生じているが、遅延制御回路524から入力される音声信号S2も遅延制御回路524によって遅延されているので、これら音声信号は同期しており、そのまま重畳して合成できる。そして、合成回路525から出力された音声信号S5は、出力部513(図3)へ出力される。
図6は、音声信号S1〜S5の状態を示す図表であり、(a)は音声信号S1を、(b)は音声信号S2を、(c)は音声信号S3及びS4を、(d)は音声信号S5を示す。
分配回路522から出力される音声信号S1(図6(a))について、帯域阻止フィルタ523によって周波数帯域B1の信号成分を阻止すると、図6(b)に示すように周波数帯B1の信号成分を殆ど含まない音声信号S2となる。
一方、帯域通過フィルタ526は、音声信号S1(図6(a))の周波数帯域B1の信号成分のみを通過させるので、帯域通過フィルタ526から出力される音声信号S3は、図6(c)に示すように、ほぼ周波数帯域B1の信号成分のみからなる信号である。音声信号S3は、周波数変換回路527によって周波数が2倍に変換され、さらに位相制御回路528によって位相が回転されて、図6(c)に示すように、ほぼ周波数帯域B2の信号成分のみからなる音声信号S4となる。この音声信号S4は、音声信号S1の周波数帯域B1の信号成分を取り出して、高周波数側に移動させた信号となっている。
そして、合成回路525によって音声信号S2、S4が合成されることで、図6(d)に示す音声信号S5が生成される。音声信号S5は、音声信号S1について周波数帯域B1の信号成分が除かれた上、この周波数帯域B1の信号成分が異なる周波数帯域B2に付加された信号となっている。
つまり、音声信号S5は、音声信号S1の周波数帯域B1の信号成分を高周波数側に移動させた信号であって、周波数帯域B1の信号成分を含んでいないが、もともと音声信号S1の周波数帯域B1に含まれていた信号成分が失われたわけではない。
図5に戻り、優先度切替回路521に対して、音声制御部512(図3)から、ナビ音声の優先度が「高」であることを示す制御信号が入力された場合、優先度切替回路521は、音声信号S1を遅延制御回路530に出力する。遅延制御回路530は、音声信号S1を遅延させた音声信号を、出力部513(図3)に出力する。
すなわち、ナビ音声の優先度が「高」である場合、ナビ音声は、所定時間遅延されるだけで出力部513に出力される。
なお、遅延制御回路530により音声信号S1を遅延させる時間は、ナビ音声の優先度が「低」であった場合の処理時間に合わせられる。分配回路522、帯域阻止フィルタ523、遅延制御回路524、合成回路525、帯域通過フィルタ526、周波数変換回路527、位相制御回路528および振幅調整回路529の各回路による処理には時間がかかり、この処理を経た信号は遅延を生じている。この優先度「低」の場合に出力される音声信号と、優先度「高」の場合に出力される音声信号とが同期していないと、優先度が切り替えられた場合に音声のずれを生じてしまう。そこで、遅延制御回路530によって音声信号を遅延させることで、音声信号と同期させ、優先度が切り替えられた場合のずれを防止している。
このナビ音声処理部501の動作により、ナビ音声の優先度が「高」の場合、ナビ音声の音声信号が元の波形を維持したまま出力部513へ出力され、ナビ音声の優先度が「低」の場合、ナビ音声の音声信号は、周波数帯域B1の信号成分を周波数帯域B2へ移動させた音声信号に変換されて、出力部513に出力される。
また、上述したように、CD音声処理部502、MD音声処理部503、及びTV音声処理部504の各音声処理部は、いずれもナビ音声処理部501と同一に構成される。従って、これら各音声処理部に入力される音声信号は、いずれも、優先度「高」の場合はそのままの音声として出力され、優先度「低」の場合は、周波数帯域B1の信号成分を周波数帯域B2に移動させた音声として出力される。
ここで、周波数帯域B1が人間の声を含む周波数帯域であれば、優先度「低」の場合に出力される音声信号は、人間の声に相当する信号成分を含まないことになる。このため、優先度「低」の音声を人間の声と重畳させた場合、主な周波数帯域における信号成分が重ならないので、これらの音声は干渉しない。従って、この重畳された音声を聞いた人は、2つの音声を両方とも容易に認識することができる。
例えば、ナビ音声とラジオ放送の音声とが同時に出力され、ナビ音声の優先度が「高」、ラジオ放送の音声の優先度が「低」であった場合、ナビ音声とラジオ放送の音声とを同時に聞いた人は、ラジオで放送された内容を認識することも、ナビ音声の内容を認識することもできる。このため、ナビ音声を聞いて経路に関する情報を得つつ、ラジオで放送される交通情報やニュース等を聞き逃すことがない。
このように、本発明を適用した実施形態に係るナビゲーション装置1によれば、複数の音源からの音声が同時に出力された場合に、音声制御部512により各音声について優先度の高低が決定され、その優先度に応じて、ナビ音声処理部501、CD音声処理部502、MD音声処理部503、及びTV音声処理部504の各音声処理部によって音声信号が処理される。この処理においては、優先度が高い側の音声信号は遅延されるだけで出力され、優先度が低い側の音声信号は、例えば人の声の周波数帯域を含む特定の周波数帯域B1の信号成分を他の周波数帯域B2に移動させることで、周波数帯域B1の信号成分を含まない音声信号にされる。そして、各音声処理部による処理後の音声信号が出力部513によって合成され、この音声信号に基づく音声がスピーカー53から出力される。
これにより、複数の音源からの音声について、優先度が低い側の音声を加工することによって特定の周波数帯域において干渉を生じないように合成されるので、マスキング効果が起こらず、不快な雑音を生じない上に、複数の音源からの音声のいずれについても可聴性が確保される。
従って、運転者を含む車両内の人は、不快な雑音の無い環境において、同時に出力された音声の内容を全て認識することが可能となり、必要な情報を欠かすことなく入手できる。また、運転中または乗車中の不快感を軽減し、快適な車内環境を実現できる。
ここで、優先度が低い側の音声信号に対する処理により、一部の信号成分が異なる周波数帯域に移動されるので、その信号成分については音の高さが変わる。しかしながら、音の高さが変わっても可聴性は確保され、情報を取得するという意味では十分に有用である。また、優先度が高い側の音声は音の高さが変化しないので、優先度が高い側の音声の可聴性が全く変化せず、自然に聞くことができる。
また、音声信号の出力が停止した場合には、停止した音声信号を含めた各音声信号間の優先度が改めて決定され、更新されるので、例えば、優先度が低く音の高さが変えられていた音声信号が、他の音声が停止した後は、もともとの音の高さで出力されるようになる。このため、音の高さの変化を伴う処理が必要最小限に止められることで、車両内の人の違和感を最小限に抑えることができる。
さらに、音声信号の出力が停止した場合、停止後に所定時間が経過するまでは優先度を更新せず維持するので、優先度が頻繁に変更されないようにすることができ、車両内の人に煩雑な印象を抱かせないという効果が得られる。
なお、上述した実施形態は、本発明の一実施態様を示すものであり、本発明の範囲内で任意に変形及び応用可能であることは勿論である。例えば、ナビゲーション装置1にマイクを設け、このマイクから入力された音声と、ナビゲーション装置1が備えるその他の音源の音声とについて優先度に基づく処理を行ってもよい。以下、この場合について変形例として説明する。
[変形例]
図7は、本実施形態の変形例におけるナビゲーション装置1の電気的構成を示すブロック図である。この図7に示す例において、ナビゲーション装置1は、上述した各部のほか、マイク74を備える。マイク74は、車両内において音声を集音し、音声信号を生成して音声コントロール部51に出力する。
また、図8は、本実施形態の変形例における音声コントロール部51の機能的構成を示すブロック図である。この図8に示すように、音声コントロール部51は、マイク74に対応してマイク音声処理部505を備える。マイク音声処理部505は、上述したナビ音声処理部501(図5)と同一に構成され、マイク74から入力される音声信号の優先度が「高」の場合には、そのままの波形で出力部513に出力し、優先度が「低」の場合は、特定の周波数帯域における信号成分を他の周波数帯域に移動させて出力部513に出力する機能を有する。
これら図7及び図8に示す構成によれば、車両内の人が発する音声と、ナビゲーション装置1が備える各音源との優先度に応じて音声信号を処理することにより、ナビゲーション装置1の音源からの音声と、車両内の人が発する音声とが干渉することがなくなり、車両内の人は各音声の内容を容易に認識することができ、快適な車内環境を実現できる。
また、上述した実施形態(変形例を含む)において、その他の構成を任意に変形することが可能である。例えば、上述した実施形態では、音声制御部512によって決定される優先度が「高」と「低」の2段階からなる場合を例示したが、これに限らず、より多くの段階により構成されるものとしてもよい。この場合、優先度が最も高い出力音声を除く全ての出力音声について、上記実施形態で優先度「低」とした場合と同様の処理を行えばよい。さらに、優先度は「高」と「低」の2段階に限定されず、3段階またはそれ以上の数に区分してもよい。この場合、より多数の音源から音声信号が同時に出力された場合に対応できる。
また、上記実施形態においては、CD/MDを再生する音楽ソース70と、優先度に係る音声処理を行う音声コントロール部51とナビゲーション装置1に内蔵された構成を例示したが、本発明はこれに限定されるものではなく、例えば、音声出力部50と、音楽ソース70のCD再生装置71およびMD再生装置72とを、ナビゲーション装置1とは別体として構成しても、本発明を適用することが可能である。
さらに、音楽ソース70において、例えば半導体記憶素子(フラッシュメモリ等)を用いたカード型記憶媒体に対するデータの読み書きが可能な装置を設け、この装置によって、カード型記憶媒体に記憶された音声データに基づいて音楽を再生する構成としてもよいし、ナビゲーション装置1に外部接続された機器を音源として、当該音源から音声コントロール部51に音声信号が入力される構成としてもよい。また、上記実施形態においては、周波数変換回路527(図5)の機能によって、特定の周波数帯域B1における信号成分を2倍の周波数に変換するものとして説明したが、これはあくまで一例であって、周波数帯域B1の信号成分が周波数帯域B1外の周波数の信号成分になればよいので、例えば1/2倍、3倍、4倍等の周波数に変換してもよく、その他の細部構成についても任意に変更可能である。
本発明の実施形態に係るナビゲーション装置1のフロントパネル1Aの構成を示す正面図である。 ナビゲーション装置1の電気的構成を示すブロック図である。 図2の音声コントロール部51の機能的構成を示すブロック図である。 図3の音声制御部512による優先度の決定に係る処理の一例を示すタイミングチャートである。 図3のナビ音声処理部501の機能的構成を示すブロック図である。 図5のナビ音声処理部501において処理される音声信号の状態を例示する図表である。 本発明の実施形態に係るナビゲーション装置1の別の構成例を示すブロック図である。 図7の例における音声コントロール部51の機能的構成を示すブロック図である。
符号の説明
1 ナビゲーション装置
10 制御部
20 記憶部
30 表示部
40 音声合成部(案内音声出力装置)
50 音声出力部
51 音声コントロール部(車載音響処理装置)
60 ラジオ受信部(ラジオ受信装置)
70 音楽ソース
71 CD再生装置(再生装置)
72 MD再生装置(再生装置)
73 TV受信装置(再生装置)
74 マイク
80 操作部
501 ナビ音声処理部(音声処理手段)
502 CD音声処理部(音声処理手段)
503 MD音声処理部(音声処理手段)
504 TV音声処理部(音声処理手段)
511 音声検出部(出力検出手段)
512 音声制御部(優先度決定手段)
513 出力部(出力信号生成手段)
521 優先度切替回路
522 分配回路
523 帯域阻止フィルタ(帯域阻止手段)
524 遅延制御回路
525 合成回路(合成手段)
526 帯域通過フィルタ(帯域通過手段)
527 周波数変換回路(周波数変換手段)
528 位相制御回路
529 振幅調整回路
530 遅延制御回路

Claims (7)

  1. 車両に搭載された複数の音源から出力される音声信号を処理する車載音響処理装置において、
    前記複数の音源から各々出力される複数の音声信号について、各音声信号間の相対的な優先度を決定する優先度決定手段と、
    前記優先度が最も高い音声信号を除く他の音声信号について、特定の周波数帯域の信号成分を他の周波数帯域に移動させて新たな音声信号を生成する音声処理手段と、
    前記優先度が最も高い音声信号と、前記新たな音声信号とを合成して出力用の音声信号を生成する出力信号生成手段と、
    を備えることを特徴とする車載音響処理装置。
  2. 前記複数の音源による音声信号の出力の有無を検出する出力検出手段をさらに備え、
    前記優先度決定手段は、前記出力検出手段により検出された出力状態に基づいて、前記音声信号の優先度を設定することを特徴とする請求項1記載の車載音響処理装置。
  3. 前記優先度決定手段は、前記優先度を決定した後にいずれかの音声信号の出力が有から無に切り替わった場合、切り替わってから所定時間が経過するまでの間は前記優先度を維持し、その後に前記優先度を新たに決定して更新することを特徴とする請求項2記載の車載音響処理装置。
  4. 前記音声処理手段は、
    処理対象の音声信号について特定の周波数帯域の信号成分を阻止する帯域阻止手段と、
    前記処理対象の音声信号から前記特定の周波数帯域の信号成分を取り出す帯域通過手段と、
    前記帯域通過手段により取り出された信号成分の周波数を、前記特定の周波数帯域外の周波数に変換する周波数変換手段と、
    前記周波数変換手段により周波数が変換された信号成分と、前記帯域阻止手段により特定の周波数帯域の信号成分が阻止された音声信号とを合成する合成手段と、を備えることを特徴とする請求項1から3のいずれかに記載の車載音響処理装置。
  5. 前記複数の音源には、前記車両の経路案内を行うナビゲーション機能における案内音声を出力する案内音声出力装置、可搬型の記録媒体に記録された音声を再生する再生装置、および、ラジオ放送を受信するラジオ受信装置のうち少なくとも一つが含まれることを特徴とする請求項1から4のいずれかに記載の車載音響処理装置。
  6. 前記音源として、前記車両内において集音を行って音声信号を出力するマイクをさらに備えることを特徴とする請求項1から5のいずれかに記載の車載音響処理装置。
  7. 車両の経路案内を行うための案内音声を出力するナビゲーション装置において、
    前記案内音声とは別の音声の音声信号を出力する1または複数の音源と、
    前記音源から出力された音声信号と前記案内音声の音声信号とを含む複数の音声信号間の相対的な優先度を決定する優先度決定手段と、
    前記優先度が最も高い音声信号を除く他の音声信号について、特定の周波数帯域の信号成分を他の周波数帯域に移動させて新たな音声信号を生成する音声処理手段と、
    前記優先度が最も高い音声信号と、前記新たな音声信号とを合成して出力用の音声信号を生成する出力信号生成手段と、
    を備えることを特徴とするナビゲーション装置。
JP2005088247A 2005-03-25 2005-03-25 車載音響処理装置、および、ナビゲーション装置 Expired - Fee Related JP4493530B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005088247A JP4493530B2 (ja) 2005-03-25 2005-03-25 車載音響処理装置、および、ナビゲーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005088247A JP4493530B2 (ja) 2005-03-25 2005-03-25 車載音響処理装置、および、ナビゲーション装置

Publications (2)

Publication Number Publication Date
JP2006270741A true JP2006270741A (ja) 2006-10-05
JP4493530B2 JP4493530B2 (ja) 2010-06-30

Family

ID=37206193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005088247A Expired - Fee Related JP4493530B2 (ja) 2005-03-25 2005-03-25 車載音響処理装置、および、ナビゲーション装置

Country Status (1)

Country Link
JP (1) JP4493530B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008135892A (ja) * 2006-11-27 2008-06-12 Sony Computer Entertainment Inc 音声処理装置および音声処理方法
JP2008135891A (ja) * 2006-11-27 2008-06-12 Sony Computer Entertainment Inc 音声処理装置および音声処理方法
JP2013175809A (ja) * 2012-02-23 2013-09-05 Yamaha Corp 音響処理装置
KR101384939B1 (ko) * 2006-11-29 2014-04-11 엘지전자 주식회사 우선순위에 따른 실행파일의 처리방법 및 장치
KR20160054931A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 차량용 통합 사운드 시스템 및 그 제어방법
JP2017099609A (ja) * 2015-12-01 2017-06-08 株式会社三共 遊技機
WO2018040983A1 (zh) * 2016-08-30 2018-03-08 中兴通讯股份有限公司 一种传输导航信息的方法和装置
KR20200012226A (ko) * 2018-07-26 2020-02-05 현대자동차주식회사 차량 및 그 제어방법
CN111032435A (zh) * 2017-08-23 2020-04-17 株式会社电装 车辆用信息提供装置以及车辆用信息提供系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10247094A (ja) * 1997-03-06 1998-09-14 Nippon Telegr & Teleph Corp <Ntt> 声質変形方法
JPH10290498A (ja) * 1998-04-27 1998-10-27 Yamaha Corp 話速変換機能を有する補聴器
JPH11166835A (ja) * 1997-12-03 1999-06-22 Alpine Electron Inc ナビゲーション音声補正装置
JP2001309498A (ja) * 2000-04-25 2001-11-02 Alpine Electronics Inc 音声制御装置
JP2002051392A (ja) * 2000-08-01 2002-02-15 Alpine Electronics Inc 車内会話補助装置
JP2002181568A (ja) * 2000-12-14 2002-06-26 Kenwood Corp ナビゲーション装置
JP2003157092A (ja) * 2001-11-21 2003-05-30 Nissan Motor Co Ltd 車両用音声読上げ装置
JP2004234730A (ja) * 2003-01-29 2004-08-19 Clarion Co Ltd オーディオ装置
JP2005130006A (ja) * 2003-10-21 2005-05-19 Clarion Co Ltd 再生装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10247094A (ja) * 1997-03-06 1998-09-14 Nippon Telegr & Teleph Corp <Ntt> 声質変形方法
JPH11166835A (ja) * 1997-12-03 1999-06-22 Alpine Electron Inc ナビゲーション音声補正装置
JPH10290498A (ja) * 1998-04-27 1998-10-27 Yamaha Corp 話速変換機能を有する補聴器
JP2001309498A (ja) * 2000-04-25 2001-11-02 Alpine Electronics Inc 音声制御装置
JP2002051392A (ja) * 2000-08-01 2002-02-15 Alpine Electronics Inc 車内会話補助装置
JP2002181568A (ja) * 2000-12-14 2002-06-26 Kenwood Corp ナビゲーション装置
JP2003157092A (ja) * 2001-11-21 2003-05-30 Nissan Motor Co Ltd 車両用音声読上げ装置
JP2004234730A (ja) * 2003-01-29 2004-08-19 Clarion Co Ltd オーディオ装置
JP2005130006A (ja) * 2003-10-21 2005-05-19 Clarion Co Ltd 再生装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008135892A (ja) * 2006-11-27 2008-06-12 Sony Computer Entertainment Inc 音声処理装置および音声処理方法
JP2008135891A (ja) * 2006-11-27 2008-06-12 Sony Computer Entertainment Inc 音声処理装置および音声処理方法
US8121714B2 (en) 2006-11-27 2012-02-21 Sony Computer Entertainment Inc. Audio processing apparatus and audio processing method
US8204614B2 (en) 2006-11-27 2012-06-19 Sony Computer Entertainment Inc. Audio processing apparatus and audio processing method
KR101384939B1 (ko) * 2006-11-29 2014-04-11 엘지전자 주식회사 우선순위에 따른 실행파일의 처리방법 및 장치
JP2013175809A (ja) * 2012-02-23 2013-09-05 Yamaha Corp 音響処理装置
KR20160054931A (ko) * 2014-11-07 2016-05-17 현대모비스 주식회사 차량용 통합 사운드 시스템 및 그 제어방법
KR102339513B1 (ko) * 2014-11-07 2021-12-16 현대모비스 주식회사 차량용 통합 사운드 시스템 및 그 제어방법
JP2017099609A (ja) * 2015-12-01 2017-06-08 株式会社三共 遊技機
WO2018040983A1 (zh) * 2016-08-30 2018-03-08 中兴通讯股份有限公司 一种传输导航信息的方法和装置
CN111032435A (zh) * 2017-08-23 2020-04-17 株式会社电装 车辆用信息提供装置以及车辆用信息提供系统
KR20200012226A (ko) * 2018-07-26 2020-02-05 현대자동차주식회사 차량 및 그 제어방법
KR102526081B1 (ko) * 2018-07-26 2023-04-27 현대자동차주식회사 차량 및 그 제어방법

Also Published As

Publication number Publication date
JP4493530B2 (ja) 2010-06-30

Similar Documents

Publication Publication Date Title
JP4493530B2 (ja) 車載音響処理装置、および、ナビゲーション装置
EP1536664A3 (en) Car audio equipment
US20050195998A1 (en) Simultaneous audio playback device
US7742610B1 (en) Automobile audiovisual system
JP4916005B2 (ja) カラオケシステム
JP2007110481A (ja) 音声制御装置、補正装置
US7561703B2 (en) Audio system, audio apparatus, and method for performing audio signal output processing
JP4533696B2 (ja) 報知制御装置、報知制御システム、それらの方法、それらのプログラム、および、それらのプログラムを記録した記録媒体
KR101500177B1 (ko) 외부 음원 연동이 가능한 차량의 오디오 시스템 및 이를 이용한 외부 음원의 음향 출력 방법
JP4618163B2 (ja) 車載オーディオ装置
JPH10274542A (ja) 車載用音響装置
JP2010103756A (ja) 音声出力装置および音声出力方法
WO2006109505A1 (ja) 音出力制御装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
JP2008022353A (ja) 車載用受信装置
JP2006260649A (ja) 音量制御装置
KR20080005036U (ko) 네비게이션과 미디어의 사운드가 동시에 출력 가능한차량용 사운드 시스템
JP2004304808A (ja) デジタル音声受信機
JP4214546B2 (ja) Avシステム
JP2005265460A (ja) カーナビゲーション装置
JPH1028068A (ja) ラジオ装置
JP2988358B2 (ja) 音声合成回路
JP2011061279A (ja) 車載オーディオ装置
JP2005130006A (ja) 再生装置
JPH01259639A (ja) ラジオ受信機
KR101179274B1 (ko) 카스테레오의 난청 해소 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100302

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100406

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees