JP2005236783A - 音声データの非同期通信システムおよびその通信方法 - Google Patents

音声データの非同期通信システムおよびその通信方法 Download PDF

Info

Publication number
JP2005236783A
JP2005236783A JP2004044907A JP2004044907A JP2005236783A JP 2005236783 A JP2005236783 A JP 2005236783A JP 2004044907 A JP2004044907 A JP 2004044907A JP 2004044907 A JP2004044907 A JP 2004044907A JP 2005236783 A JP2005236783 A JP 2005236783A
Authority
JP
Japan
Prior art keywords
communication
voice
voice data
data
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004044907A
Other languages
English (en)
Other versions
JP4562402B2 (ja
Inventor
Kijuro Obata
喜重郎 小幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2004044907A priority Critical patent/JP4562402B2/ja
Priority to EP20050250312 priority patent/EP1575225B1/en
Priority to DE200560002577 priority patent/DE602005002577T2/de
Priority to US11/058,431 priority patent/US7839837B2/en
Publication of JP2005236783A publication Critical patent/JP2005236783A/ja
Application granted granted Critical
Publication of JP4562402B2 publication Critical patent/JP4562402B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2416—Real-time traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/36—Flow control; Congestion control by determining packet size, e.g. maximum transfer unit [MTU]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H04M1/6083—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system
    • H04M1/6091—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle by interfacing with the vehicle audio system including a wireless interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/0231—Traffic management, e.g. flow control or congestion control based on communication conditions
    • H04W28/0236—Traffic management, e.g. flow control or congestion control based on communication conditions radio quality, e.g. interference, losses or delay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/02—Processing of mobility data, e.g. registration information at HLR [Home Location Register] or VLR [Visitor Location Register]; Transfer of mobility data, e.g. between HLR, VLR or external networks
    • H04W8/04—Registration at HLR or HSS [Home Subscriber Server]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W72/00—Local resource management
    • H04W72/50—Allocation or scheduling criteria for wireless resources
    • H04W72/56—Allocation or scheduling criteria for wireless resources based on priority criteria
    • H04W72/563—Allocation or scheduling criteria for wireless resources based on priority criteria of the wireless resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
    • H04W84/10—Small scale networks; Flat hierarchical networks
    • H04W84/12—WLAN [Wireless Local Area Networks]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Small-Scale Networks (AREA)
  • Telephonic Communication Services (AREA)
  • Communication Control (AREA)

Abstract

【課題】 車内においてハンズフリー通話を違和感なく高速で行うことが可能な「音声データの非同期通信システムおよび通信方法」を提供する。
【解決手段】 車載ハンズフリーシステムは、音声データの通信機能を備えた音声通信端末４４と、音声通信端末４４を含む他の電子装置（ＰＤＡ４０、携帯オーディオ４２）と非同期の無線ＬＡＮによる通信を可能とするアクセスポイント１０と、音声通信端末４４による音声データの通信がある場合、他の電子装置の通信すべきデータのパケットサイズを制限させる通信制御部１０２とをを有する。
【選択図】 図１

Description

本発明は、音声データの非同期通信システムおよびその通信方法に関し、特に、車内においてハンズフリー通話を行うための通信システムに関する。
車内において音声通話を行う場合、その利便性からハンズフリー通話が実用化されている。例えば、携帯電話を用いたハンズフリー通話を行う場合、ユーザは、車載オーディオやナビゲーション装置に取り付けられた音声入出力端末を利用したり、あるいはヘッドフォンとマイクが装着されたハンズフリー用端末を利用し、その端末と携帯電話の本体との間で音声データを無線により通信している。
無線通信には、近距離無線データ通信技術として、ブルーツース（BlueTooth）が利用されている。ブルーツースは、携帯電話をはじめ、ノートパソコンやＰＤＡ(携帯情報端末)などの間で音声等のデータの送受信をワイヤレスで行う。使用する周波数帯域は２．４５ＧＨｚのＲＦ（無線周波数）であり、使用可能なエリアは約１０ｍ以内、データの転送レートは約１Ｍｂｐｓである。
ブルーツースのデータ通信速度は、あまり高速ではないため、これに代わる技術として、無線ＬＡＮ（Local Area Network）による通信が使用されつつある。
例えば、特許文献１は、ある車両におけるＡＶ機器を、他の車両においても利用することができるようにするため、車内のＬＡＮシステムに無線ＬＡＮユニットを接続し、無線ＬＡＮユニットを介して各車両間のＬＡＮシステムをリンクすることを開示している。
特開２００１−１３６１９０号
しかしながら、従来の無線を利用した車内ハンズフリー通話には次のような課題がある。ブルーツースは、データ通信用の非同期データチャンネルと、音声通信用の同期チャンネルの双方を備えているため、ハンズフリーのような音声遅延にセンシティブなアプリケーションであっても、問題なく使用することが可能である。しかし、これを無線ＬＡＮに置き換えようとすると、無線ＬＡＮは非同期のデータ通信方式しか持たないため、ハンズフリーのような音声遅延にセンシティブなアプリケーションでは、その最大遅延時間を保証する何らかの仕組みが必要となる。
無線ＬＡＮにより音声データを送信する場合、音声データを音声符号化（ＰＣＭ）し、符号化された音声データをパケット化し、これをアクセスポイントに送信する。また、無線ＬＡＮのアクセス制御方式は、ＣＳＭＡ／ＣＡ（Carrier Sense Multiple Access/Collision Avoidance）が用いられる。この方式では、他の端末が無線ＬＡＮと通信している場合には、当該他の端末の通信が終了するまで、音声データの送信をまたねばならない。すなわち、１つのデータフレーム（パケット）のサイズが大きくなればなるほど、最大待ち時間は大きくなってしまう。
図１０は、無線ＬＡＮ（直接拡散方式）に使用される物理レイヤのフレームフォーマットであり、図１１はＭＰＤＵ（データ）の最大ビット数（６５５３６ビット）であるときの各ビットレートと、そのときの伝送時間との関係を示している。
フレームフォーマットは、装置間の同期を取るためのプリアンブルと、宛先や送信元のアドレスおよび長さに関するヘッダと、可変サイズのデータを含むデータユニット（ＭＰＤＵ）とを有する。データの可変範囲は、４−８１９２バイト（３２―６５５３６ビット）である。また、無線ＬＡＮのビットレートを１Ｍｂｐｓ〜１１Ｍｂｐｓ（５４Ｍｂｐｓも実用化されている）としたとき、一番ビットレートが遅い１Ｍｂｐｓのときに、遅延時間すなわち待ち時間が約６５ｍｓと最大となる。
さらに、送信待ちの端末が複数ある状況も想定されるため（この場合の待ち時間は、６５ｍｓ×フレーム数）、音声データを、一つの端末からのフレームの待ち時間で送信できるという保証はない。例えば、図１２に示すように、車内無線ＬＡＮのアクセスポイントとデータ通信を行う端末が複数ある場合、例えば、ＰＤＡ、携帯オーディオ、携帯電話がある場合、ＰＤＡや携帯オーディオがアクセスポイントにデータを送信している間は、携帯電話機からアクセスポイントに対し音声データＶを送信することはできない。音声データＶを送信するための待ち時間Ｔｍａｘは、上記したように、ＰＤＡや携帯オーディオからのデータサイズ、すなわちパケットサイズに比例し、その間、音声データの送信を待たなければならない。音声データの遅延が一定以上になると、通話品質が劣化し、コミュニケーションを行う相手に対して違和感を与えてしまう。
そこで発明は、上記従来の課題を解決し、音声データの遅延時間を抑止することができる非同期通信システムおよび通信方法を提供することを目的とする。
さらに本発明は、車内においてハンズフリー通話を違和感なく高速で行うことが可能な音声データの非同期通信システムおよび通信方法を提供することを目的とする。
本発明に係る音声データの非同期通信システムは、音声データの通信機能を備えた音声通信端末と、前記音声通信端末を含む他の電子装置と非同期のデータ通信を可能とし、前記音声通信端末による音声データの通信がある場合、他の電子装置の通信すべきデータのパケットサイズを制限させる通信制御手段と、を有する。
さらに本発明に係る音声データの非同期通信システムは、音声データの通信機能を備えた音声通信端末と、前記音声通信端末を含む他の電子装置と非同期のデータ通信を可能とし、音声通信端末へのポーリングを他の電子装置よりも優先させる通信制御手段とを有する。
さらに本発明に係る、音声データの通信機能を備えた音声通信端末および他の電子装置との間でデータを非同期にて通信する方法は、前記音声通信端末による音声データの通信の有無を検出する第１のステップと、音声データの通信があると検出されたとき、他の電子装置の通信すべきデータのパケットサイズを制限させる第２のステップとを有する。
さらに本発明に係る、音声データの通信機能を備えた音声通信端末および他の電子装置との間でデータを非同期にて通信する方法は、前記音声通信端末へのポーリングを他の電子装置へのポーリングよりも優先させるステップを有する。
本発明に係る音声データの非同期通信システムおよび通信方法によれば、他の電子装置との間でデータ通信が存在する場合であっても、音声通信端末による音声データの通信の待ち時間または遅延時間を抑制し、一定の通話品質を保つことができる。本発明を車内の無線ＬＡＮシステムに応用すれば、車載用電子機器とともに使用できるハンズフリーシステムを得ることができる。
本発明に係る音声データの非同期通信システムは、好ましくは、車内無線ＬＡＮを利用したハンズフリーシステムにおいて実施される。以下、車内ハンズフリーシステムの例を図面を参照して説明する。
図１は、本発明の実施例に係る車載ハンズフリーシステムの構成を示すブロック図である。本実施例による車載ハンズフリーシステム１は、無線ＬＡＮのアクセスポイント１０、アクセスポイント１０に接続されたＡＶＮ（オーディオ・ビジュアル・ナビゲーション）装置２０、ＡＶＮ装置２０に接続されたスピーカ３０、マイク３２、ディスプレイ３４、アクセスポイント２０と無線によるデータ通信を行うＰＤＡ４０、携帯用オーディオ４２、ハンズフリー用音声通信端末４４とを備えている。
ハンズフリー用音声通信端末４４は、好ましくは、携帯電話を用いられる。但し、携帯電話以外にも、音声データの通信機能を有する端末を用いることができる。例えば、ユーザからの音声を入力するマイクと音声を出力するスピーカまたはヘッドフォンとを備え、アクセスポイント１０や他の電子機器と無線通信機能を備えるハンズフリー用端末であってもよい。
携帯電話をハンズフリー用音声通信端末４４として用いた場合、車外の携帯電話や一般電話から音声用通信端末４４に受信された音声データは、アクセスポイント１０を介してＡＶＮ装置２０に供給され、スピーカ３０からその音声が出力される。また、マイク３２から入力された音声は、ＡＶＮ装置２０によって音声データに処理され、その音声データはアクセスポイント１０を介してハンズフリー用音声通信端末４４に送信され、さらにそこから車外の携帯電話や一般電話に送信される。
ＡＶＮ装置２０は、ナビゲーション装置とＡＶ機器を融合したものであり、ＤＶＤ、ＣＤ−ＲＯＭあるいはハードディスク等の記憶装置に格納された音楽データや映像データをスピーカ３０やディスプレイ３４において再生したり、ＧＰＳを用いたナビゲーションを行う。ＡＶＮ装置は、ＡＶ機器とナビゲーション装置を一体に構成したものであっても良いし、ＡＶ機器とナビゲーション装置とを接続したシステムであってもよい。
アクセスポイント１０は、クライアント５０と無線ＬＡＮを構成する。クライアント５０は、無線通信機能を備えたＰＤＡ４０、携帯用オーディオ４２、およびハンズフリー用音声通信端末４４等を含む。これらは一例であって、他の電子機器であってもよい。アクセスポイント１０は、例えば、ＩＥＥＥ８０２．１１ａやＩＥＥＥ８０２．１１ｂによる標準化仕様に従い無線通信を行う。
フレームフォーマットは、例えば、図１０に示す構成を用いることができ、アクセス制御方式は、ＣＳＭＡ／ＣＡを用いることができる。変調方式は、ＣＣＫ(Complementary Code keying)やＯＦＤＭ(orthogonal frequency division multiplexing)等を用い、２．４ＧＨｚ帯の電波を用いて通信を行う。
クライアント５０は、送信すべきデータをパケット化し、他の端末が送信中でないことを確認してパケット化されたフレームをアクセスポイント１０に送信する。アクセスポイント１０は、クライアント５０からのフレームを受信したとき、クライアント５０に対し確認応答（ＡＣＫ）を送信する。アクセスポイント１０で受信されたフレームは、ＡＶＮ装置２０に供給され、ここで必要な処理が施される。一方、ＡＶＮ装置２０からアクセスポイント１０へ出力されたデータは、フレーム化されクライアント５０へ無線により送信される。
図２に、ＡＶＮ装置２０の内部構成を示す。ＡＶＮ装置２０は、アクセスポイント１０とデータの送受を行うデータ入出力部１００、アクセスポイント１０の動作を制御する通信制御部１０２、ハンズフリー用音声通信端末４４との間で送受される音声データの処理を行うハンズフリー機能部１０４、音楽や映像の再生等を行うＡＶ機能部１０６、ナビゲーション機能を行うナビゲーション機能部１０８、プログラム、アプリケーションファイル、データベース等を記憶する大容量メモリ１１０、各部を制御する制御部１１２、および各部を接続するバス１１４を含んで構成される。
ハンズフリー機能部１０４は、ハンズフリー用音声通信端末４４からの音声データをスピーカから出力したり、マイク３２から入力された音声を適切に処理（例えばエコーキャンセラー等）する。処理された音声データは、アクセスポイント１０を介して音声通信端末４４に送信される。
次に、本実施例の車載ハンズフリーシステムの動作について説明する。好ましくは、ハンズフリーシステムの動作は、大容量メモリ１１０に格納されたプログラムに従い制御部１１２が各部の動作を制御する。
図３は、ハンズフリーシステムの動作を説明するフローチャートである。通信制御部１０２は、制御部１１２の制御下において、ハンズフリー通話の有無を検出する（ステップＳ１０１）。すなわち、通信制御部１０２は、アクセスポイント１０を介してデータが送信されるとき、フレームのヘッダに含まれる宛先アドレスが音声通信端末４４と一致するか否かを検出する。一致するときは、ハンズフリー通話があると判断する。一方、アクセスポイント１０を介してデータが受信されたとき、フレームのヘッダに含まれる送信元アドレスが音声通信端末４４と一致するか否かを検出する。一致するときは、ハンズフリー通話があると判断する。
ハンズフリー通話がないと検出された場合（ステップＳ１０２）、アクセスポイント１０と、ＰＤＡ４０および携帯用オーディオ４２との間では、通常通りの非同期通信が行われる（ステップＳ１０３）。例えば、図４(ａ)に示すように、ＰＤＡ４０は、他の端末が送信していないことを確認してから、アクセスポイント１０に対してフレームＡ１を送信する。アクセスポイント１０は、フレームＡ１を受信すると、クライアント５０に対して確認応答（ＡＣＫ）を送信する。同様に、携帯用オーディオ４２は、確認応答（ＡＣＫ）を受信後に、フレームＢ１をアクセスポイント１０に送信する。この通信では、フレームサイズを３２ビットから６５５３６ビットの範囲で可変することでき、好ましくは、データ通信効率を上げるために最大のパケットサイズ（６５５３６ビット）で通信を行うことができる。
一方、ハンズフリー通話ありと検出された場合（ステップＳ１０２）、通信制御部１０２は、ハンズフリー通話の最大遅延時間を保証し、音声データの遅延を最小にするため以下のような制御を行う。
従来技術において説明したように、パケットサイズ（データフレーム長）が最大となるとき、音声通信端末４４の最大待ち時間は約６５ｍｓとなる。これを回避するために、各端末が連続して通信することができるパケットサイズを制限させ、ハンズフリー通話の最大待ち時間を短縮させる。アクセスポイント１０は、通信制御部１０２の制御に従い、ＰＤＡ４０、携帯用オーディオ４２に対し、１パケット当たりで送信することが許される最大パケットサイズを規定するパラメータを送信する（ステップＳ１０４）。
ＰＤＡ４０および携帯用オーディオ４２は、パラメータを受信し、このパラメータに規定されたパケットサイズ以下のパケットでフレームを送信すう（ステップＳ１０５）。
図４（ｂ）は、ハンズフリー通話があるときのデータ通信例を示している。音声通信端末４４は、音声データＶ１を送信しようとするとき（図中の破線のタイミング）、仮に、ＰＤＡ４０によるフレームＡ１の送信があるときは、これの終了を待たなければならない。アクセスポイント１０がＰＤＡ４０からのフレームＡ１の受信を確認する確認応答（ＡＣＫ）をクライアント５０に送信すると、音声通信端末４４は、音声データＶ１をアクセスポイント１０へ送信する。このとき、ＰＤＡ４０によるフレームＡ１のパケットサイズが、例えば、最大パケットサイズ（６５５３６ビット）の１／１０であれば、音声データＶ１の最大遅延時間Ｔｍａｘを約６．５ｍｓに保証することができる。
アクセスポイント１０は、音声データＶ１を受信すると、クライアント５０に対して確認応答（ＡＣＫ）を送信する。仮に、携帯用オーディオ４２がフレームＢ１を送信しようとするときは、この確認応答の受信後にフレームＢ１をアクセスポイント１０へ送信する。フレームＢ１の送信が行われている間、音声通信端末４４は、音声データＶ２を送信することができない。音声データＶ２の待ち時間Ｔ１は、データＢ１のパケットサイズに依存する。仮に、フレームＢ１のパケットサイズがフレームＡ１よりも小さければ、Ｔ１＜Ｔｍａｘとなる。
このように、ハンズフリー通話が有る場合には、他の端末のパケットサイズを制限させることで、音声データの待ち時間をできるだけ短縮し、音声通話の品質の劣化を抑制しつつ、音声データを高速で通信できるようにする。
次に、ハンズフリー通話において許容される音声データの遅延時間について説明する。図５は音声遅延量と通話品質との関係を示すグラフである。このグラフは、Jan Janssen et. Al, DELAY AND DISTORTION BOUNDS FOR PACKETIZED VOICE CALLS OF TRADITIONAL PETN QUALITY, proceedings of the 1st IP-Telephony Workshop, GMD Report 95, pp105-110 Berlin, Germany, 12-13 April 2000の文献の図２に開示されている。横軸は、口から耳までの遅延時間（ｍｓ）、縦軸は通話品質を示す評価指標（rating R）である。また、ＥＬは、エコーロスであり、話手から相手へ音声を送ったときの戻り分の損失（ｄＢ）である。
図６は、上記文献の表１に記載された評価指標（R-value range）である。これによれば、評価指標が６０以下では非常に通話品質が悪く、公衆回線を用いた通話であれば、少なくとも評価指標が７０以上であることが望ましいことが報告されている。車室内で携帯電話機をハンズフリーで用いた場合のエコーロスは約４０ｄＢ程度である。このことから、遅延時間を２００ｍｓ以下にしなければならないことが理解される（図５のＥＬが４１ｄＢの曲線を参照）。
図１のハンズフリーシステム１において携帯電話機を利用する場合、すなわち、図７（ａ）に示すように携帯電話機２００（図１のハンズフリー用音声通信端末４４）から携帯電話基地局２２０を介して他の電話機２４０と通話する場合、無線ＬＡＮ側における遅延時間と携帯電話側における遅延時間の合計を２００ｍｓ以内になければならない。
携帯電話機２００の遅延時間は、図７（ｂ）に示すように、無線ＬＡＮモジュール２０２で受信された音声データを音声符号化２０４で要する時間が約２０ｍｓ、符号化された音声データをインターリーブ２０６で要する時間が２０ｍｓ、合計が４０ｍｓとなる。同様に、無線部２０８から受信した音声データをディインターリーブ２１０で要する時間が２０ｍｓ、音声復号化２１２で要する時間が２０ｍｓ、合計が４０ｍｓとなる。
携帯電話基地局２２０による遅延時間は、図７（ｂ）に示すように、無線部２２２からの音声データをディインターリーブ２２４で要する時間が２０ｍｓ、音声復号化２２６で要する時間が２０ｍｓ、合計が４０ｍｓとなる。同様に、公衆回線インターフェース２２８から受信した音声データを、音声符号化２３０、インターリーブ２３２で要するのに合計で４０ｍｓを要する。
携帯電話基地局２２０から公衆回線網（ＰＳＴＮ）を通じて他の電話機２４０までの遅延時間が約２０ｍｓとなる。この結果、携帯電話機２００から他の電話機２４０間の通話に要する遅延時間は合計で約１００ｍｓとなる。
無線ＬＡＮ側の遅延時間は、図１に示すハンズフリー内蔵ＡＶＮ装置２０による入力音声のエコーをキャンセルするためのエコーキャンセラーによる処理に約３０ｍｓを必要とする。従って、無線ＬＡＮの通信において許容される遅延時間は、約７０ｍｓとなる（７０ｍｓ＝２００ｍｓ−１００ｍｓ−３０ｍｓ）。従来の無線ＬＡＮでの最大待ち時間は約６５ｍｓであるが、これは１つのデータフレームまたはパケットの待ち時間であって、連続したデータ通信がある場合には、６５ｍｓ×フレーム数の遅延時間となってしまう。これに対して、本実施例では、ハンズフリー通話があるときに、許容できる最大パケットサイズを１／１０程度に制限させることで、仮に連続したフレームの通信が行われた場合でも、非常に高い頻度で、許容遅延時間７０ｍｓ以内で音声データを通信することができ、通話品質の劣化の抑制を期待することができる。
次に、本発明の第２の実施例の動作について説明する。第２の実施例は、無線ＬＡＮを利用したハンズフリーシステムにポーリング機能を組み合わせたものである。図８にその動作を説明するためのフローチャート示す。
アクセスポイント１０は、ＰＤＡ４０および携帯用オーディオ４２よりも優先的にハンズフリー用音声通信端末４４に対し、送信すべきデータがあるか否かの送信要求を送る（ステップＳ２０１）。
音声通信端末４４は、アクセスポイント１０に対して、送信要求に対する回答を送信する（ステップＳ２０２）。通信制御部１０２は、音声通信端末４４からの回答をチェックし、音声通信用端末４４が送信データを有しているか否かをチェックする（ステップＳ２０３）。音声通信用端末４４が送信すべき音声データを有している場合には、通信制御部１０２はアクセスポイント１０から音声通信端末４４に対し、要求確認を送信する（ステップＳ２０４）。要求確認を受信した音声通信端末４４は、アクセスポイント１０に対して音声データを送信する（ステップＳ２０５）。他の端末は、アクセスポイント１０から要求確認を受信していないのでデータを送信することはできない。
一方、音声通信用端末４４が送信データを有していない場合には（ステップＳ２０３）、通信制御部１０２は、他の端末（ＰＤＡ４０または携帯用オーディオ４２）に対し送信要求を送る（ステップＳ２０６）。他の端末から送信要求に対する回答を受信し（ステップＳ２０７）、他の端末が送信データを有しているか否かをチェックする（ステップＳ２０８）。他の端末が送信データを有している場合、アクセスポイント１０は、他の端末に対して要求確認を送信し（ステップＳ２０９）、他の端末はアクセスポイント１０に対しデータを送信する（ステップＳ２１０）。なお、以上のステップは、ＰＤＡ４０と携帯用オーディオ４２のそれぞれについて実行されるが、いずれを優先するかは予め定めておく必要がある。
第２の実施例によれば、音声通信端末４４へのポーリングを他の端末よりも優先することで、音声通信端末４４による音声データの通信を優先し、待ち時間を短縮することができる。
次に、本発明の第３の実施例による動作を図９のフローチャートを用いて説明する。通信制御部１０２は、第１の実施例と同様に、音声通信端末４４によるハンズフリー通話の検出を行う（ステップＳ３０１）。ハンズフリー通話がありと検出された場合（ステップＳ３０２）、音声通信端末４４へのポーリングを他の端末よりも優先させる（ステップＳ３０３）。例えば、音声通信端末４４へのポーリングを、他の端末へのポーリングよりも頻繁に行うようにする。
ハンズフリー通話が検出されない場合には、すべての端末に対し一定周期でポーリングを行うようにする（ステップＳ３０４）。この場合にも、第２の実施例のように、音声通信端末４４へのポーリングを優先させて行うことができる。
第３の実施例によれば、ハンズフリー通話がある場合に、他の端末よりも音声通信端末４４へのポーリングを優先させることで、音声データの待ち時間を短縮することができる。
上記第２および第３の実施例を、最大パケットサイズを制限する第１の実施例と組み合わせることも可能である。つまり、音声通信端末のポーリングを優先させ、かつ、他の端末のデータのパケットサイズを制限するようにしてもよい。
上記実施例では、無線ＬＡＮを利用したハンズフリーシステムを示したが、これに限らず、有線ＬＡＮを利用したハンズフリーシステムであってもよい。この場合、音声通信端末４４は、ＬＡＮケーブルや車載バス（ＣＡＮ−ＢＵＳ等）などによりＡＶＮ装置２０に接続される。
さらに上記実施例では、車内ハンズフリーシステムを示したがこれに限定されるものではない。例えば、企業におけるコールセンターでハンズフリーシステムを用いてもよい。また上記実施例では、ＡＶＮ装置にハンズフリー機能を内蔵させたが、これ以外にもパーソナルコンピュータ等の電子装置であってもよい。また、携帯電話による通信例を示したがこれ以外にも、例えば、ＴＶ電話やＩＰ電話などの音声通信を用いることも可能である。
以上、本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本発明に係る音声データの非同期通信システムおよびその通信方法は、データをパケット化して非同期通信を行うようなネットワークシステムにおいて利用することができる。好ましくは、無線ＬＡＮを用いた車内ハンズフリーシステムにおいてＡＶＮ装置と併せて利用することができる。
本発明の実施例に係るハンズフリーシステムの構成を示すブロック図である。 ＡＶＮ装置の構成を示すブロック図である。 第１の実施例のハンズフリー動作を説明するフローチャートである。 第１の実施例のハンズフリーシステムにおけるデータの送信例を示す図である。 音声遅延量と通話品質との関係を示すグラフである。 音声品質と評価指標との関係を示す表である。 携帯電話側の遅延時間を説明する図である。 本発明の第２の実施例に係るハンズフリー動作を説明するフローチャートである。 本発明の第３の実施例に係るハンズフリー動作を説明するフローチャートである。 物理レイヤのフレームフォーマットを示す図である。 最大ビット数と伝送時間との関係を示す表である。 従来の音声データを非同期通信するときの課題を説明する図である。
符号の説明
１：車載ハンズフリーシステム
１０：アクセスポイント
２０：ＡＶＮ装置
３０：スピーカ
３２：マイクロフォン
３４：ディスプレイ
４０：ＰＤＡ
４２：携帯用オーディオ
４４：ハンズフリー用音声通信端末
５０：クライアント

Claims (20)

  1. 音声データの通信機能を備えた音声通信端末と、
    前記音声通信端末を含む他の電子装置と非同期のデータ通信を可能とし、前記音声通信端末による音声データの通信がある場合、他の電子装置の通信すべきデータのパケットサイズを制限させる通信制御手段と、
    を有する音声データの非同期通信システム。
  2. 前記通信制御手段は、他の電子装置に対し、通信すべきデータの最大パケットサイズを規定する情報を送信する、請求項１に記載の音声データの非同期通信システム。
  3. 前記通信制御手段は、前記音声通信端末による音声データの通信の有無を検出する検出手段を含み、音声データの通信の検出があったとき、パケットサイズを制限させる、請求項１または２に記載の音声データの非同期通信システム。
  4. 前記検出手段は、ポーリング機能を含み、前記音声通信端末をポーリングした結果、音声通信端末が通信すべき音声データを有していることを検出したとき、パケットサイズを制限させる、請求項３に記載の音声データの非同期通信システム。
  5. 音声データの通信機能を備えた音声通信端末と、
    前記音声通信端末を含む他の電子装置と非同期のデータ通信を可能とし、音声通信端末へのポーリングを他の電子装置よりも優先させる通信制御手段と、
    を有する音声データの非同期通信システム。
  6. 前記通信制御手段は、音声通信端末による音声データの通信を検出する検出手段を含み、音声データの通信が検出されたとき、当該音声通信端末へのポーリングを他の電子装置よりも優先させる、請求項５に記載の音声データの非同期通信システム。
  7. 前記通信制御手段は、前記音声通信端末へのポーリングによるアクセス周期を他の電子装置へのアクセス周期よりも多くする、請求項５または６に記載の音声データの非同期通信システム。
  8. 前記音声通信端末は、ハンズフリーを可能とする携帯端末を含む、請求項１ないし７いずれか１つに記載の音声データの非同期通信システム。
  9. 前記通信制御手段は、オーディオ機能、ビデオ機能およびナビゲーション機能の少なくとも１つの機能を備えた車載用電子装置と接続される、請求項１ないし８いずれか１つに記載の音声データの非同期通信システム。
  10. 前記通信制御手段は、音声通信端末および他の電子装置と無線通信を可能とするアクセスポイントを含む、請求項１ないし９いずれか１つに記載の音声データの非同期通信システム。
  11. 前記通信制御手段は、音声通信端末および他の電子装置と有線ＬＡＮによる通信を可能とする、請求項１ないし９いずれか１つに記載の音声データの非同期通信システム。
  12. 音声データの通信機能を備えた音声通信端末および他の電子装置との間でデータを非同期にて通信する方法であって、
    前記音声通信端末による音声データの通信の有無を検出する第１のステップと、
    音声データの通信があると検出されたとき、他の電子装置の通信すべきデータのパケットサイズを制限させる第２のステップと、
    を有する音声データの非同期通信方法。
  13. 第２のステップは、他の電子装置に対し、通信すべきデータの最大パケットサイズを規定する情報を送信するステップを含み、他の電子装置は前記最大パケットサイズの範囲内でデータを送信する、請求項１２に記載の音声データの非同期通信方法。
  14. 音声データの通信機能を備えた音声通信端末および他の電子装置との間でデータを非同期にて通信する方法であって、
    前記音声通信端末へのポーリングを他の電子装置へのポーリングよりも優先させるステップを有する音声データの非同期通信方法。
  15. 前記ステップは、前記音声通信端末へのポーリングのアクセス頻度を他の電子装置よりも多くする、請求項１４に記載の音声データの非同期通信方法。
  16. 前記通信方法はさらに、音声通信端末による音声データの通信の有無を検出するステップを含み、音声データの通信が検出されたときに、前記音声通信端末へのポーリングを優先させる、請求項１４に記載の音声データの非同期通信方法。
  17. 前記通信方法はさらに、他の電子装置の通信すべきデータのパケットサイズを制限させるステップを含む、請求項１４ないし１６いずれか１つに記載の音声データの非同期通信方法。
  18. 前記音声通信端末および他の電子装置とのデータ通信は、無線通信である、請求項１２ないし１７いずれか１つに記載の音声データの非同期通信方法。
  19. 前記音声通信端末および他の電子装置とのデータ通信は、車内での無線ＬＡＮを利用した通信である、請求項１２ないし１８いずれか１つに記載の音声データの非同期通信方法。
  20. 前記音声通信端末は、ハンズフリー通話のための携帯電話機を含む、請求項１９に記載の音声データの非同期通信方法。
JP2004044907A 2004-02-20 2004-02-20 音声データの非同期通信システムおよびその通信方法 Expired - Fee Related JP4562402B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004044907A JP4562402B2 (ja) 2004-02-20 2004-02-20 音声データの非同期通信システムおよびその通信方法
EP20050250312 EP1575225B1 (en) 2004-02-20 2005-01-21 Asynchronous speech data communication system and communication method therefor
DE200560002577 DE602005002577T2 (de) 2004-02-20 2005-01-21 Asynchrones Sprachdatenkommunikationssystem und Kommunikationsverfahren dafür
US11/058,431 US7839837B2 (en) 2004-02-20 2005-02-15 Asynchronous speech data communication system and communication method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004044907A JP4562402B2 (ja) 2004-02-20 2004-02-20 音声データの非同期通信システムおよびその通信方法

Publications (2)

Publication Number Publication Date
JP2005236783A true JP2005236783A (ja) 2005-09-02
JP4562402B2 JP4562402B2 (ja) 2010-10-13

Family

ID=34824491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004044907A Expired - Fee Related JP4562402B2 (ja) 2004-02-20 2004-02-20 音声データの非同期通信システムおよびその通信方法

Country Status (4)

Country Link
US (1) US7839837B2 (ja)
EP (1) EP1575225B1 (ja)
JP (1) JP4562402B2 (ja)
DE (1) DE602005002577T2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009510942A (ja) * 2005-09-29 2009-03-12 クゥアルコム・インコーポレイテッド テレビ電話のためのビデオパケット整形
US8406309B2 (en) 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US8514711B2 (en) 2005-10-21 2013-08-20 Qualcomm Incorporated Reverse link lower layer assisted video error control
US8537197B2 (en) 2007-01-10 2013-09-17 Qualcomm Incorporated Content- and link-dependent coding adaptation for multimedia telephony
US8548048B2 (en) 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
US8797850B2 (en) 2008-01-10 2014-08-05 Qualcomm Incorporated System and method to adapt to network congestion
US8842555B2 (en) 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040073690A1 (en) 2002-09-30 2004-04-15 Neil Hepworth Voice over IP endpoint call admission
US7359979B2 (en) 2002-09-30 2008-04-15 Avaya Technology Corp. Packet prioritization and associated bandwidth and buffer management techniques for audio over IP
JP2005157494A (ja) * 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
US7978827B1 (en) 2004-06-30 2011-07-12 Avaya Inc. Automatic configuration of call handling based on end-user needs and characteristics
US8340971B1 (en) * 2005-01-05 2012-12-25 At&T Intellectual Property Ii, L.P. System and method of dialog trajectory analysis
DE102005008285B3 (de) * 2005-02-23 2006-09-28 Bury Sp.Z.O.O Navigationseinrichtung für Fahrzeuge
EP1891848B1 (en) 2005-06-13 2015-07-22 Intelligent Mechatronic Systems Inc. Vehicle immersive communication system
US8015010B2 (en) 2006-06-13 2011-09-06 E-Lane Systems Inc. Vehicle communication system with news subscription service
US9976865B2 (en) 2006-07-28 2018-05-22 Ridetones, Inc. Vehicle communication system with navigation
US8364486B2 (en) 2008-03-12 2013-01-29 Intelligent Mechatronic Systems Inc. Speech understanding method and system
US8856009B2 (en) 2008-03-25 2014-10-07 Intelligent Mechatronic Systems Inc. Multi-participant, mixed-initiative voice interaction system
CA2727951A1 (en) 2008-06-19 2009-12-23 E-Lane Systems Inc. Communication system with voice mail access and call by spelling functionality
US9652023B2 (en) 2008-07-24 2017-05-16 Intelligent Mechatronic Systems Inc. Power management system
US8218751B2 (en) 2008-09-29 2012-07-10 Avaya Inc. Method and apparatus for identifying and eliminating the source of background noise in multi-party teleconferences
US8577543B2 (en) 2009-05-28 2013-11-05 Intelligent Mechatronic Systems Inc. Communication system with personal information management and remote vehicle monitoring and control features
WO2010148518A1 (en) 2009-06-27 2010-12-29 Intelligent Mechatronic Systems Vehicle internet radio interface
US9978272B2 (en) 2009-11-25 2018-05-22 Ridetones, Inc Vehicle to vehicle chatting and communication system
US9078125B2 (en) 2013-03-13 2015-07-07 GM Global Technology Operations LLC Vehicle communications system and method
US9665707B2 (en) 2015-01-09 2017-05-30 GM Global Technology Operations LLC Systems and methods for cyber security of intra-vehicular peripherals powered by wire
KR101780286B1 (ko) * 2015-12-09 2017-09-21 현대자동차주식회사 Avn의 동작 방법, avn, 이를 포함하는 차량

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10107818A (ja) * 1996-09-27 1998-04-24 Nec Corp ローカルエリアネットワーク
JPH11266255A (ja) * 1998-03-17 1999-09-28 Sony Corp 無線通信方法、無線通信システム、通信局及び制御局
JP2001136190A (ja) * 1999-11-10 2001-05-18 Sony Corp 車載用ｌａｎ方法および車載用ｌａｎ装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4975906A (en) * 1988-02-15 1990-12-04 Hitachi, Ltd. Network system
EP0828398A4 (en) * 1996-03-08 2005-06-22 Nippon Telegraph & Telephone PACKET DATA TRANSFER METHOD FOR MOBILE RADIO POST COMMUNICATION SYSTEMS
US7046643B1 (en) * 1997-07-30 2006-05-16 Bellsouth Intellectual Property Corporation Method for dynamic multi-level pricing for wireless communications according to quality of service
US6370163B1 (en) * 1998-03-11 2002-04-09 Siemens Information And Communications Network, Inc. Apparatus and method for speech transport with adaptive packet size
US6362730B2 (en) * 1999-06-14 2002-03-26 Sun Microsystems, Inc. System and method for collecting vehicle information
US7224703B2 (en) * 2001-12-12 2007-05-29 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for segmenting a data packet
GB0211644D0 (en) * 2002-05-21 2002-07-03 Wesby Philip B System and method for remote asset management
US7283541B2 (en) * 2002-07-30 2007-10-16 At&T Corp. Method of sizing packets for routing over a communication network for VoIP calls on a per call basis
US20040156350A1 (en) * 2003-01-22 2004-08-12 Waverider Communications Inc. Hybrid polling/contention MAC layer with multiple grades of service
US7046794B2 (en) * 2003-12-12 2006-05-16 Motorola, Inc. Double talk activity detector and method for an echo canceler circuit
US7706399B2 (en) * 2003-12-19 2010-04-27 Intel Corporation Polling in wireless networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10107818A (ja) * 1996-09-27 1998-04-24 Nec Corp ローカルエリアネットワーク
JPH11266255A (ja) * 1998-03-17 1999-09-28 Sony Corp 無線通信方法、無線通信システム、通信局及び制御局
JP2001136190A (ja) * 1999-11-10 2001-05-18 Sony Corp 車載用ｌａｎ方法および車載用ｌａｎ装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009510942A (ja) * 2005-09-29 2009-03-12 クゥアルコム・インコーポレイテッド テレビ電話のためのビデオパケット整形
US8102878B2 (en) 2005-09-29 2012-01-24 Qualcomm Incorporated Video packet shaping for video telephony
US8406309B2 (en) 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US8514711B2 (en) 2005-10-21 2013-08-20 Qualcomm Incorporated Reverse link lower layer assisted video error control
US8842555B2 (en) 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
US8548048B2 (en) 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
US8537197B2 (en) 2007-01-10 2013-09-17 Qualcomm Incorporated Content- and link-dependent coding adaptation for multimedia telephony
US8797850B2 (en) 2008-01-10 2014-08-05 Qualcomm Incorporated System and method to adapt to network congestion

Also Published As

Publication number Publication date
JP4562402B2 (ja) 2010-10-13
DE602005002577T2 (de) 2008-06-19
US20050203746A1 (en) 2005-09-15
EP1575225B1 (en) 2007-09-26
EP1575225A3 (en) 2005-10-05
DE602005002577D1 (de) 2007-11-08
EP1575225A2 (en) 2005-09-14
US7839837B2 (en) 2010-11-23

Similar Documents

Publication Publication Date Title
JP4562402B2 (ja) 音声データの非同期通信システムおよびその通信方法
JP5498332B2 (ja) 車載機
JP5796127B2 (ja) 電子機器
JP4973580B2 (ja) 車載ハンズフリー装置
US20070140187A1 (en) System and method for handling simultaneous interaction of multiple wireless devices in a vehicle
US8620217B2 (en) Short range wireless communication apparatus
US20060040714A1 (en) Handsfree device and mobile phone handset
CN113411793A (zh) 一种蓝牙通信的方法及终端
CN1333603A (zh) 具有短距离移动系统的耳机
CN102833432B (zh) 一种来电转发方法、装置及系统
CN1630216A (zh) 蓝牙终端
EP1653663A1 (en) Providing audio data stored in a mobile audio device to a vehicle audio system
JP5959786B2 (ja) 無線通信装置
JP2006191523A (ja) 通信方法、通信システム、中継装置及びコンピュータプログラム
TWI343196B (en) Bluetooth device and bandwidth manage method thereof
EP3063958B1 (en) A method of extending an intercom communication range and device thereof
JP2009089380A (ja) 音声設備の消音処理を行う方法および装置
JP3936367B2 (ja) メール送信方法、このメール送信方法に用いて好適な移動機及び外部端末
US7912495B2 (en) Fixed bit rate wireless communications apparatus and method
JP2007174441A (ja) ハンズフリーキットシステム
JP5176756B2 (ja) 楽曲データ配信システムおよび楽曲データ配信方法
US9787350B2 (en) Electronic device and system for the point-multipoint transmission of a digital signal over a radio communication network
CN111131591A (zh) 语音输出设备设置方法、hf设备、ag设备和存储介质
JP2005057643A (ja) 無線電話システム
JP2005167751A (ja) 無線ネットワークに接続可能な電子装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100108

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100421

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100727

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4562402

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140806

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees