JP2006503490A - ユーザの選好度によるオーディオ信号適応変換装置、および、その方法 - Google Patents

ユーザの選好度によるオーディオ信号適応変換装置、および、その方法 Download PDF

Info

Publication number
JP2006503490A
JP2006503490A JP2004545045A JP2004545045A JP2006503490A JP 2006503490 A JP2006503490 A JP 2006503490A JP 2004545045 A JP2004545045 A JP 2004545045A JP 2004545045 A JP2004545045 A JP 2004545045A JP 2006503490 A JP2006503490 A JP 2006503490A
Authority
JP
Japan
Prior art keywords
audio signal
audio
user
adaptive conversion
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004545045A
Other languages
English (en)
Other versions
JP4393383B2 (ja
Inventor
ジョン イル ソ
デ ユン ジャン
キョン オク カン
キム ジン ウン
チェトゥク アン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020030071344A external-priority patent/KR100626653B1/ko
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2006503490A publication Critical patent/JP2006503490A/ja
Application granted granted Critical
Publication of JP4393383B2 publication Critical patent/JP4393383B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/007Two-channel systems in which the audio signals are in digital form

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本発明は、オーディオコンテンツを消費するユーザ端末の使用環境を予め記述した情報を用いて、使用環境に符合するようにオーディオコンテンツを適応変換させるオーディオ適応変換装置及びその方法を提供すること。本発明は、単一ソースの複数使用のためのオーディオ信号適応変換装置において、オーディオ信号を消費するユーザ端末からオーディオ使用環境情報を収集して記述し、管理するオーディオ使用環境情報の管理手段と、該オーディオ使用環境情報に符合するオーディオ信号が、前記ユーザ端末に出力されるように、前記オーディオ信号を適応変換させるオーディオ適応変換手段とを含み、前記オーディオ使用環境情報は、前記オーディオ信号に対するユーザの音場の選好度を記述するユーザ特性情報とを含む。

Description

本発明は、オーディオ信号の適応変換装置、および、その方法、さらに詳細には、ユーザの選好度に符合するように、オーディオ信号を適応変換(ADAPTATION)させる装置、および、その方法に関する。
MPEGは、MPEG−21の新しい標準作業項目(STANDARD WORKING ITEM)であるデジタルアイテム適応変換(DIGITAL ITEM ADAPTATION,DIA)を提示した。デジタルアイテム(DIGITAL ITEM,DI)は、標準化された表現、識別及びメタデータを有する構造化されたデジタル客体(STRUCTUURED DIGITAL OBJECT WITH A STANDARD REPRESENTATION,IDENTIFICATION AND METADATA)を意味し、DIAは、DIがリソース適応変換エンジン(RESOURCE ADAPTATION ENGINE)、または記述子適応変換エンジン(DESCRIPTOR ADAPTATION ENGINE)で処理されて適応変換された(ADAPTED)DIを生成する過程を意味する。
ここで、リソース(RESOURCE)とは、ビデオまたはオーディオ、イメージまたはテキスト項目のように個別に識別可能な項目を意味する。記述子(DESCRIPTOR)は、DI内の項目またはコンポーネントに関連した情報を意味する。
また、ユーザは、DIの生産者、権利者、分配者及び消費者などを全て含む。メディアリソース(MEDIA RESOURCE)は、直接デジタル表現が可能なコンテンツを意味する。本明細書でコンテンツという用語は、DI、メディアリソース及びリソースと同じ意味として用いられる。
従来の技術によると、オーディオコンテンツを消費する使用環境(USAGE ENVIRONMENT)、すなわちユーザ特性、ユーザ周辺環境及びユーザ端末能力に対する情報を用いて、1つのオーディオコンテンツを、それぞれ異なる使用環境に符合できるように、適応変換処理ができる単一ソースの複数使用(Single−Source Multi−Use)環境を提供できないという問題点がある。
「単一ソース(Single−Source)」とは、マルチメディアソースから生成された1個のコンテンツを意味し、「複数使用(Multi−Use)」とは、多様な使用環境のユーザ端末が「単一ソース(Single−Source)」を、それぞれの使用環境に合うように消費することを意味する。
単一ソースの複数使用環境の利点は、多様な使用環境に符合するように1つのコンテンツを再加工することによって、相違した使用環境に適応変換された多様な形態のコンテンツを提供でき、また、多様な使用環境に適応変換された単一ソースをユーザ端末に提供することにおいて、ネットワーク帯域幅を効率的に使用するか、または減少させることができるということである。
したがって、コンテンツ提供者の立場では、多様な使用環境にオーディオ信号を符合させるために複数のコンテンツを製作するか、または送信する過程で発生する不必要な費用を節減でき、コンテンツ消費者の立場では、自身が位置した環境の空間的な制約を克服すると同時に、ユーザ自身の聴力特性及び選好度を最大限満足させることができる最適なオーディオコンテンツを消費できるようになる。
しかし、従来の技術によると、単一ソースの複数使用環境を支援できる汎用的マルチメディアアクセス(UNIVERSAL MULTIMEDIA ACCESS,UMA)環境でも、単一ソースの複数使用環境の利点を活用できない。
すなわち、マルチメディアソースは、ユーザ特性、ユーザ周辺環境及びユーザ端末能力と同じ使用環境を考慮せず、一律的にオーディオコンテンツを送信し、WINDOWS(登録商標) MEDIA PLAYER、MP3 PLAYER、RE−AL PLAYERなどのようなオーディオプレーヤアプリケーションが搭載されたユーザ端末は、消費マルチメディアソースから受信した形式そのままのオーディオコンテンツを消費するため、単一ソースの複数使用環境に符合しない。
このような従来の技術の問題点を克服し、単一ソースの複数使用環境を支援するために、マルチメディアソースが多様な使用環境を全て考慮し、マルチメディアコンテンツを提供するようになると、コンテンツの生成及び送信において多くの負担がかかる。
本発明は、上述した従来の技術の問題点を解決するためになされたものであって、その目的とするところは、オーディオコンテンツを消費するユーザ端末の使用環境を予め記述した情報を用いて、使用環境に符合するようにオーディオコンテンツを適応変換させるオーディオ適応変換装置及びその方法を提供することにある。
上記目的を達成するため、本発明は、単一ソースの複数使用のためのオーディオ信号適応変換装置において、オーディオ信号を消費するユーザ端末からオーディオ使用環境情報を収集して記述し、管理するオーディオ使用環境情報の管理手段と、該オーディオ使用環境情報に符合するオーディオ信号が、前記ユーザ端末に出力されるように、前記オーディオ信号を適応変換させるオーディオ適応変換手段とを含み、前記オーディオ使用環境情報は、前記オーディオ信号に対するユーザの音場の選好度を記述するユーザ特性情報を含む
また、前記のような目的を達成するための本発明は、単一ソースの複数使用のためのオーディオ信号適応変換方法において、オーディオ信号を消費するユーザ端末からオーディオ使用環境情報を収集して記述し、管理する第1ステップと、前記オーディオ使用環境情報に符合するオーディオ信号が、前記ユーザ端末に出力されるように、前記オーディオ信号を適応変換させる第2ステップとを含み、前記オーディオ使用環境情報が、前記オーディオ信号に対するユーザの音場の選好度を記述するユーザ特性情報を含む。
本発明によれば、ユーザ信号の音場情報とユーザ音響環境情報を用いて、1つのオーディオコンテンツを、それぞれ異なる使用環境と多様なユーザの特性と趣向に符合できるように適応変換処理ができる単一ソースの複数使用環境を提供できる。
以下の内容は単に本発明の原理を例示する。なお、当業者は、本明細書に明確に説明若しくは図示されてはいないが、本発明の原理を具現し、本発明の概念と範囲に含まれた多様な装置を発明できる。また、本明細書に列挙された全ての条件部用語及び実施例などは原則的に、本発明の概念が理解されるようにするための目的のみに明確に意図され、このように、特別に列挙された実施例及び状態に制限的でないものとして理解しなければならない。
また、本発明の原理、観点及び実施例だけでなく、特定の実施例を列挙する全ての詳細な説明は、このような事項の構造的及び機能的均等物を含むように意図されるものとして理解しなければならない。なお、このような均等物などは、現在公知された均等物だけでなく、将来に開発される均等物、即ち、構造と関係なく、同じ機能を行うように発明された全ての素子を含むものとして理解しなければならない。
従って、例えば、本明細書のブロック図は本発明の原理を具体化する例示的な回路の概念的な観点を表すものとして理解しなければならない。これと同様に、全てのフローチャート、状態変換図、擬似コードなどはコンピュータが読み取り可能な媒体に実質的に表すことができ、コンピュータまたはプロセッサが明確に示されているか否かに関わらず、コンピュータまたはプロセッサにより行われる多様なプロセスを表すものとして理解しなければならない。
プロセッサまたはこれと類似した概念として表示された機能ブロックを含む図面に示された多様な素子の機能は、専用ハードウェアだけでなく、適切なソフトウェアと関連してソフトウェアを実行する能力を有したハードウェアの使用に提供され得る。プロセッサにより提供される時、前記機能は単一専用プロセッサ、単一共有プロセッサ、或いは、複数の個別的プロセッサにより提供されることができ、これらのうち、一部は共有されることができる。
またプロセッサ、制御、またはこれと類似した概念として提示される用語の明確な使用は、ソフトウェアを実行する能力を有したハードウェアを排他的に引用して解析されてはいけないし、制限無しでデジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを格納するためのROM、RAM及び不揮発性メモリを暗示的に含むことと理解しなければならない。また、周知慣用の他のハードウェアも含まれることができる。
本明細書の請求の範囲において、詳細な説明に記載された機能を行うための手段として表現された構成要素は、例えば、前記機能を行う回路素子の組み合わせまたはファームウェア/マイクロコードなどを含む全ての形式のソフトウェアを含む機能を行う全ての方法を含むものとして意図され、上記の機能を行うように、上記ソフトウェアを実行するための適切な回路と組み合わせられる。このような請求の範囲により定義される本発明は、多様に列挙された手段により提供される機能などが結合され、請求項が要求する方式と結合されるため、上記の機能を提供できるいかなる手段も本明細書から把握されるものと均等なものとして理解しなければならない。
上述した目的、特徴及び長所などは、添付された図面と関連した次の詳細な説明を通してより明確になるだろう。まず、各図面の構成要素などに参照番号を付することにおいて、同じ構成要素などに限っては、例え、異なる図面上に表示されても、できるだけ同じ番号を持つようにしていることに留意しなければならない。また、本発明を説明するにおいて、関連した公知技術に対する具体的な説明が本発明の要旨を不必要にする恐れがあると判断される場合、その詳細な説明を省略する。以下、添付された図面を参照して本発明に係る好ましい実施例を詳細に説明する。
以下、本発明のもっとも好ましい実施の形態を添付する図面を参照して説明する。
図1は、本発明の一実施の形態に係るオーディオ適応変換装置を概略的に示すブロック図である。
図1に示しているように、本発明の一実施の形態に係るオーディオ適応変換装置100は、オーディオ適応変換手段103及びオーディオ使用環境情報の管理手段107を含む。オーディオ適応変換手段103及びオーディオ使用環境情報の管理手段107のそれぞれは、相互に独立してオーディオ処理システムに搭載され得る。
オーディオ処理システムは、ラップトップコンピュータ、ノートブックコンピュータ、デスクトップコンピュータ、ワークステーション、メーンフレームまたは、異なる形態のコンピュータを含む。個人携帯情報端末器(PERSONAL DIGITAL ASSISTANT,PDA)、移動通信モバイルステーションのように異なる形態のデータ処理、または信号処理システムもオーディオ処理システムに含まれる。
オーディオ処理システムは、ネットワーク経路を構成する全てのノード、すなわちマルチメディアソースノードシステム、マルチメディアの中継ノードシステム及び最終ユーザ端末(END USER TERMINAL)の中で任意のノードシステムであり得る。最終ユーザ端末は、WINDOWS(登録商標) MEDIAPLAYER、MP3 PLAYER及びREAL PLAYERのようなオーディオプレーヤが搭載されている。
例えば、オーディオ適応変換装置100が、マルチメディアソースノードシステムに搭載されて動作する場合、オーディオコンテンツを消費する使用環境を予め記述した情報を用いて、使用環境に符合するようにオーディオコンテンツを適応変換させるためには、使用環境に対する情報を最終ユーザ端末から受信し、受信された使用環境に基づいて、適応変換されたコンテンツを最終ユーザ端末に送信する。
本発明に係るオーディオ適応変換装置100が、オーディオデータを処理するプロセス、例えばオーディオエンコーディングプロセスに対して、ISO(International Standardization Organization)/IEC(International Electrote−chnical Commission)の技術委員会のISO/IEC標準文書は、本発明の好ましい実施の形態の各構成要素の機能と動作とを説明するのに役に立つ範囲で本明細書の一部として含まれ得る。
オーディオデータソース手段101は、マルチメディアソースから生成されたオーディオデータを受信する。オーディオデータソース手段101は、マルチメディアソースノードシステムに含まれることもでき、マルチメディアソースノードシステムから有/無線ネットワークを通して送信されたオーディオデータを受信するマルチメディアの中継ノードシステム、または最終ユーザ端末に含まれ得る。
オーディオ適応変換手段103は、オーディオデータソース手段101からオーディオデータを受信し、オーディオ使用環境情報の管理手段107が使用環境、すなわちユーザ特性、ユーザ周辺環境及びユーザ端末能力を予め記述した情報を用いて、使用環境に符合するようにオーディオデータを適応変換させる。
ここで、図に示しているオーディオ適応変換手段103の機能が、必ず何れか1つのノードシステムだけに含まれなければならないのではなく、ネットワーク経路を構成するノードシステムに分散できる。例えば、ネットワーク帯域幅と関連しないオーディオボリューム調節機能を有するオーディオ適応変換手段103は、最終ユーザ端末に含まれる反面、ネットワーク帯域幅と関連する、時間領域での特定オーディオ信号強度、すなわちオーディオレベル調節機能を有するオーディオ適応変換手段103は、マルチメディアソースノードシステムに含まれ得る。
オーディオ使用環境情報の管理手段107は、ユーザ、ユーザ端末及び周辺環境から情報を収集して使用環境情報を予め記述し、管理する。
オーディオ適応変換手段103が行う機能に関連した使用環境情報もオーディオ適応変換手段103の場合のようにネットワーク経路を構成するノードシステムに分散できる。
オーディオデータ出力手段105は、オーディオ適応変換手段103によって適応変換されたオーディオデータを出力する。出力されたオーディオデータは、最終ユーザ端末のオーディオプレーヤに送信されることもでき、有/無線ネットワークを通してマルチメディア中継ノードシステム、または最終ユーザ端末に送信されることもできる。
図2は、図1のオーディオ適応変換装置であり、具現可能な一実施の形態を概略的に示すブロック図である。
図2に示しているように、オーディオデータソース手段101は、オーディオメタデータ201及びオーディオコンテンツ203を含むことができる。
オーディオデータソース手段101は、マルチメディアソースから生成されたオーディオコンテンツ及びメタデータを収集して格納する。ここで、オーディオコンテンツ203は、種々の修習の相異なった符号化方式(MP3、AC−3、A−AC、WMA、RA、CELPなど)に格納されるか、またはストリーミング形態で送信される多様なオーディオフォーマットを含む。
オーディオメタデータ201は、オーディオコンテンツの符号化方式、サンプリングレート(Sampling Rate)、チャネル数(例えば、モノ、ステレオ、5.1チャネルなど)、ビットレート(Bit Rate)などのように、対応するオーディオコンテンツに関連した情報であり、XML(eXtensible Markup Language)シェーマ(Schema)によって定義されて記述できる。
オーディオ使用環境情報の管理手段107は、ユーザ特性情報管理部207、ユーザ特性情報入力部217、ユーザ周辺環境情報管理部209、ユーザ周辺環境情報入力部219、オーディオ端末能力情報管理部211及びオーディオ端末能力情報入力部221を含むことができる。
ユーザ特性情報管理部207は、ユーザ特性情報入力部217を通してユーザ端末から聴覚特性、選好音量、選好周波数スペクトル上の等化(Equalizing)パターンなどのようなユーザ特性情報を受信して管理する。
特に、本発明によってユーザ信号の音場情報を受信して管理する。
入力されたユーザ特性情報は、例えばXML形式の機械読み取り可能な言語で管理される。
ユーザ周辺環境情報管理部209は、ユーザ周辺環境情報入力部219を通してオーディオコンテンツが消費される周辺環境(NATURAL ENVIROMENT)情報を受け取って管理する。入力された周辺環境情報は、例えばXML形式の機械読み取り可能な言語で管理される。
ユーザ周辺環境情報入力部219は、特定場所で収集、分析及び処理されるか、または事前に作られた雑音環境分類表によって定義できる雑音環境特性情報をユーザ周辺環境情報管理部209に送信する。
オーディオ端末能力情報管理部211は、オーディオ端末能力情報入力部221を通して端末能力情報を受信して管理する。入力された端末能力情報は、例えばXML形式の機械読み取り可能な言語で管理される。
オーディオ端末能力情報入力部221は、ユーザ端末に予め設定されているか、ユーザによって入力される端末能力情報をオーディオ端末能力情報管理部211に送信できる。
オーディオ適応変換手段103は、オーディオメタデータ適応変換処理部213及びオーディオコンテンツ適応変換処理部215を含むことができる。
オーディオコンテンツ適応変換処理部215は、ユーザ周辺環境情報管理部209で管理されるユーザ周辺環境情報をパーシング(Parsing)した後、雑音環境に持ち堪えられるように、雑音マスキングなどのオーディオ信号処理を通してオーディオコンテンツが周辺環境に適応するように変換処理(transcoding)する。
同様に、オーディオコンテンツ適応変換処理部215は、ユーザ特性情報管理部217及びオーディオ端末能力情報管理部211で管理されるユーザ特性情報及びオーディオ端末能力情報をパーシングした後、オーディオコンテンツがユーザ特性及び端末能力に符合するようにオーディオ信号を適応変換させる。
オーディオメタデータ適応変換処理部213は、オーディオコンテンツ適応変換過程で必要なメタデータを提供し、オーディオコンテンツ適応変換処理の結果によって対応するオーディオメタデータ情報の内容を適応変換させる。
図3は、図1のオーディオ適応変換装置で行われるオーディオ適応変換プロセスを説明するためのフローチャートである。
図3に示しているように、本発明に係るプロセスはオーディオ使用環境情報の管理手段107が、ユーザ、端末及び周辺環境からオーディオ使用環境情報を収集してユーザ特性、ユーザ周辺環境及びユーザ端末能力情報を予め記述することで始まる(S301)。
次いで、オーディオデータソース手段101が、オーディオデータを受信すると(S303)、オーディオ適応変換手段103は、ステップS301で記述した使用環境情報を用いて、ステップS303で受信したオーディオデータを使用環境、すなわちユーザ特性、ユーザ周辺環境及びユーザ端末能力に符合するようにオーディオコンテンツを適応変換させる(S305)。
オーディオデータ出力手段105は、ステップS305で適応変換されたオーディオデータを出力する(S307)。
図4は、図3の適応変換プロセス(S305)を説明するためのフローチャートである。
図4に示しているように、オーディオ適応変換手段103は、オーディオデータソース手段101が受信したオーディオコンテンツ及びオーディオメタデータを確認して(S401)、適応変換の必要があるオーディオコンテンツをユーザ特性、ユーザ周辺環境及びユーザ端末能力に符合するように適応変換させ(S403)、ステップS403のオーディオコンテンツ適応変換処理結果によって対応するオーディオメタデータ情報の内容を適応変換させる(S405)。
以下では、本発明によってオーディオ使用環境情報の管理手段107で管理される記述情報構造が開示される。
本発明によって、オーディオコンテンツを消費するユーザ特性、ユーザ周辺環境及びユーザ端末能力の使用環境を予め記述した情報を用いて、使用環境に符合するようにオーディオコンテンツを適応変換させるためには、ユーザ特性(USER CHARACTERISTICS)、端末能力(TERMINAL CAPABILITIES)及び周辺環境特性(NATURAL ENVIRONMENT CHARACTERISTICS)に対する情報が管理されなければならない。
特に、ユーザ特性に対する情報は、ユーザのオーディオ表示選好度(Audio Presentation Preference)を記述する「AudioPresentationPreference」記述子を含む。
今までMPEG−21に論議された「AudioPresentationPreference」記述子は、「AudioPower」、「Mute」、「FrequencyEqualizer」、「Period」、「Level」、「PresetEqualizer」、「AudibleFreq−uencyRange」及び「AudibleLevelRange」である。
「AudioPower」記述子は、音響の強度に対するユーザの選好度を説明するためのものであり、0から1までの正規化されたパーセント規格(normalized percentagescale)で記述される。
「Mute」記述子は、デジタル機器のオーディオ部分の黙音に対する選好度を説明する。
「FrequencyEqualizer」記述子は、周波数領域と減衰値とを使用した特有な等化概念に対する選好度を説明する。「Period」記述子は、「FrequencyEqualizer」記述子の特質として、ヘルツHzで表示されるイコライジング範囲の最低周波数から、最高周波数(the lower and the upper corner Frequency)を定義する。
「Level」記述子は、「FrequencyEqualizer」記述子の特質として−15から15までのデシベルdBで表示される周波数領域の増幅または減衰値を定義する。
「PresetEqualizer」記述子は、等化フリーセットの言語的な記述を通した特有の等化概念に対する選好度を意味する。前記フリーセットはジャズ、ロック、クラシック及びポップなどと提示される。「AudibleFrequencyRange」記述子は、ユーザの特有な周波数領域に対する選好度を記述する。これは、最低周波数から最高周波数(the lower and the upper corner Frequency)までをヘルツHzと表示する。
「AudibleLevelRange」記述子は、ユーザの特有なレベル範囲に対する選好度を記述する。その最高値と最低値とは、0から1までの間の値に与えられる。
一方、上述した「AudioPresentationPreferen−ce」記述子だけでは、音場に対するユーザの選好度を反映できない。したがって、音場に対するユーザ選好情報を技術できる記述子が必要である。したがって、本発明では、特定の場所の音場に対する選好度をインパルス応答(impulse respond)と知覚パラメーター(perceptual patameter)で記述することを提案する。
例えば、ホールや、教会のような音場をシュミレーションするために、1つ以上のマイクロホンで該当場所のインパルス応答を獲得し、前記インパルス応答を該当オーディオコンテンツとコンボリューション(convolution)させるとホールや教会特性の音場を表現できる。
図5は、オーディオコンテンツとインパルス応答とのコンボリューションを通してユーザ選好の音場の特性が具現されることを説明するための図である。
図5に示しているように、オーディオ適応変換手段201は、インパルス応答とオーディオコンテンツとをコンボリューションさせ、前記オーディオコンテンツにユーザ音場の特性を反映させる。
インパルス応答を使用すると、消費コンテンツに対して最も正確な音場を記述でき、知覚パラメーターは声の温み(SourceWarmth)、声の重さ感(Heavyness)など、ユーザが知覚するオーディオ信号の感じを表現できる。
次いで、図1のオーディオ使用環境情報の管理手段107で管理する使用環境の記述情報構造であり、例示的にXMLシェーマの定義によって、ユーザ信号の音場を表現したシンタクス(Syntax)を示す。
<element name=“SoundFieldGenerator”>
<sequence>
<element name=“ImpulseResponse” minOccurs=“0”>
<complexType>
<sequence maxOccurs=“unbounded”>
<element name=“time” type=“float”/>
<element name=“amplitude” type=“float”/>
</sequence>
</complexType>
</element>
<element name=“PerceptualParameters” minOccurs=“0”>
<sequence>
<element name=“SourcePresence” type=“float”/>
<element name=“SourceWarmth” type=“float”/>
<element name=“SourceBrilliance” type=“float”/>
<element name=“RoomPresence” type=“float”/>
<element name=“Running Reverberance” type=“float”/>
<element name=「Envelopment」 type=“float”/>
<element name“LateReverberance” type=“float”/>
<element name=「Heavyness」 type=“float”/>
<element name=「Liveness」 type=“float”/>
<element name=“RefDistance” type=“float”/>
<element name=「FreqLow」 type=“float”/>
<element name=「FreqHigh」 type=“float”/>
<element name=“Timelimit1” type=“float”/>
<element name=“Timelimit2” type=“float”/>
<element name=“Timelimit3” type=“float”/>
</element>
「ImpulseResponse」記述子と「Perceptual Parameter」記述子とは、それぞれインパルス応答と知覚パラメーターとを記述する。オーディオ適応変換手段103は、「ImpulseResp−onse」記述子と「Perceptual Parameter」記述子に基づいて、ユーザが好む音場の特性に符合するようにオーディオデータを適応変換させる。
上述したXMLコードに示しているように、インパルス応答は連続された時間値と振幅値とを有して表現できる。これとは異なり、記述子のデータ量を考慮してインパルス応答特性情報を有するURI住所を記述して代替できる。
また、URI住所から獲得されるインパルス応答特性と共に、「SamPlingFrequency」、「BitsPerSample」、「NumOfChannel」などの記述子を追加してユーザの音場の選好度を反映できる。知覚パラメーターは、ユーザが好む場面を技術するためのMPEG−4 Advanced AudioBIFSの「PerceptualParameters」記述子を使用する。各記述子に対する詳細な内容は、「ISO/IEC 14496−1:1999」を参照できる。
上述したXMLコードに示しているように、「PerceptualPa−rameters」記述子は「SourcePresence」、「SourceWarmth」、「SourceBrilliance」、「RoomPresence」、「RunningReverberance」、「Envelopment」、「LateReverberance」、「Heavyness」、「Liveness」、「RefDistance」、「FreqLow」、「FreqHigh」、「Timelimit1」、「Timelimit2」及び「Timelimit3」などの細部的な記述子を含む。
図6は、知覚パラメーターの細部の記述子の内容を説明するための図である。
「SourcePresence」記述子は、直接音(directsound)と、初期空間効果(early Room effect)とのエネルギをdBで記述する。「SourceWarmth」記述子は、低い周波数で相対的な初期エネルギ(relative early energy)をdBで記述する。
「SourceBrilliance」記述子は、高い周波数で相対的な初期エネルギ(relative early effect)をdBで記述する。「RoomPresence」記述子は、後期空間効果(late Room effect)のエネルギをdBで記述する。
「RunningReverberance」記述子は、相対的な初期減衰時間(relative early decay time)をms(millesecond)で記述する。「Envelopement」記述子は、直接音に関する初期空間効果(early Room effect)のエネルギをdBで記述する。
「LateReverberance」記述子は、後期減衰時間(late decay time)をmsで記述する。「Heavyness」記述子は、低い周波数で相手減衰時間(relative decay time)を記述する。
「Liveness」記述子は高い周波数で相手減衰時間(relative decay time)を記述する。
「RefDistance」記述子は、知覚パラメーター(PerceptualParameters)を定義する基準距離(reference di−stance)をm(meter)で記述する。「FreqLow」記述子は、図6に示しているように、低い周波数(low Frequency)の限界を Hzで記述する。
「FreqHigh」記述子は、図6で示しているように、高い周波数の限界をHzで記述する。
「Timelimit1」記述子は、図6に示しているように、第1瞬間の限界(l1)をmsで記述する。「Timelimit2」記述子は、図6に示しているように、第2瞬間の限界(l2)をmsで記述する。「Timelimit3」記述子は、図6に示しているように、第3瞬間の限界(l3)をmsで記述する。
インパルス応答の場合のように、オーディオ適応変換手段103は、前記知覚パラメーター(PerceptualParameters)に基づいて、ユーザ選好の音場の特性をオーディオコンテンツに反映する。
上述したインパルス応答特性及び知覚パラメーターと共に3次元音響のための「AuditoriumParameters」記述子を追加できる。
コンテンツを消費する空間は、ユーザごとに異なり得るため、ユーザの選好音場の特性が同じであっても、再生されるコンテンツは異なる音場の特性を有し得る。したがって、オーディオ適応変換手段103は、「Auditorium Parameters」記述子に基づいて、ユーザ音響環境による逆効果を除去する。
次いで、図1のオーディオ使用環境情報の管理手段107で管理する使用環境の記述情報構造であり、例示的にXMLシェーマの定義によって、ユーザ音響環境を示したシンタクスを示す。
<element name=“AuditoriumParameters” minOccurs=”0”>
<sequence>
<element name=“ReverberationTime” type=“float” minOccurs=“0”/>
<element name=「InitialDecayTime」 type=“float” minOccurs=“0”/>
<element name=“RDRation” type=“float” minOccurs=“0”/>
<element name=「Clarity」 type=“float” minOccurs=“0”/>
<element name=「IACC」 type=“float” minOccurs=“0”/>
</sequence>
</element>
「AuditoriumParameters」記述子は、ユーザが聴取する空間の音響学的環境を表現するために、「ReverberationTime」、「InitialDecayTime」、「RDRatio」、 「Clarity」及び「IACC」などの記述子を使用する。
「ReverberationTime」記述子は、残響時間を表現する因子で、サウンドレベルが60デシベルdBだけ減衰するのにかかる時間を、ms単位で記述する。残響時間は、RTまたはT60で表現することもあり、室内音響特性を示す最も基本的な物理量である。
「InitialDecayTime」記述子は、初期遅延時間を表現する因子で、直接音と初期反射音との間の時間差をms単位で記述する。初期遅延時間はホールの親密感(imtimacy)を示す物理量であり、IDTと呼ぶこともある。
「RDRatio」記述子は、直接音と50ms以後の残響音とのエネルギ比を%単位で記述する。「RDRatio」記述子は、単音と残響波形とを示す情報量であり、会話の明瞭度を示す物理量であり、D50と呼ぶこともある。
「Clarity」記述子は、直接音と80ms以後の残響音とエネルギ比を%単位で記述する。「Clarity」記述子は、音楽の明瞭度も示す基本的な物理量であり、C80と呼ぶこともある。
「IACC」記述子は、左耳と右耳とで取得したインパルス応答の相互相関関数を−1msから1ms範囲で求めた時、最大となる値を−1から1までの値で記述する。「IACC」記述子は、聴取者の2つの耳に到達する音の類似度も示し、音の拡散感を示す物理量である。
前記記述子は、ユーザの音響学的な環境の特徴を代表する値である。
尚、本発明は、上記した本実施の形態に限られるものではなく、本発明の技術的思想から逸脱しない範囲内で多様に変更が可能であり、それらも本発明の技術的範囲に属する。
本発明の一実施の形態に係るオーディオ適応変換装置が含まれたユーザ端末を概略的に示すブロック図である。 図1のオーディオ適応変換装置であり、具現可能な一実施の形態を概略的に示すユーザ端末のブロック図である。 図1のオーディオ適応変換装置で行われるオーディオ適応変換プロセスを説明するためのフローチャートである。 図3の適応変換プロセスを説明するためのフローチャートである。 オーディオコンテンツとインパルス応答のコンボリューションのようにユーザ信号の音場特性が具現されるのを説明するための図である。 知覚パラメーターの細部の記述子の内容を説明するための図である。

Claims (18)

  1. 単一ソースの複数使用のためのオーディオ信号適応変換装置において、
    オーディオ信号を消費するユーザ端末からオーディオ使用環境情報を収集して記述し、管理するオーディオ使用環境情報の管理手段と、
    該オーディオ使用環境情報に符合するオーディオ信号が、前記ユーザ端末に出力されるように、前記オーディオ信号を適応変換させるオーディオ適応変換手段と
    を具え、
    前記オーディオ使用環境情報は、前記オーディオ信号に対するユーザの音場の選好度を記述するユーザ特性情報を含むことを特徴とするオーディオ信号適応変換装置。
  2. 前記ユーザ特性情報は、インパルス応答(impulse respons−e)に対する選好度を含み、
    前記オーディオ適応変換手段は、前記インパルス応答に対する選好度に基づいて、オーディオ信号の音場の特性を変化させ、ユーザ端末に送信されるようにオーディオ信号を適応変換させることを特徴とする請求項1記載のオーディオ信号適応変換装置。
  3. 前記インパルス応答は、時間(time)と振幅(amplitude)とで記述されることを特徴とする請求項2記載のオーディオ信号適応変換装置。
  4. 前記ユーザ特性情報は、前記オーディオ信号の知覚パラメーターに対する選好度を含み、
    前記オーディオ適応変換手段は、前記知覚パラメーターに対する選好度に基づいて、オーディオ信号の音場の特性を変化させ、ユーザ端末に送信されるようにオーディオ信号を適応変換させることを特徴とする請求項1記載のオーディオ信号適応変換装置。
  5. 前記ユーザ特性情報は、
    ユーザが聴取する空間の音響環境情報を含み、
    前記オーディオ適応変換手段は、
    前記音響環境情報に基づいて、オーディオ信号の音場の特性のうち、ユーザ音響環境による逆効果を除去し、ユーザ端末に送信されるようにオーディオ信号を適応変換させることを特徴とする請求項1記載のオーディオ信号適応変換装置。
  6. 前記音響環境情報は、前記空間の残響時間の情報を含むことを特徴とする請求項5記載のオーディオ信号適応変換装置。
  7. 前記音響環境情報は、前記空間の初期遅延時間の情報を含むことを特徴とする請求項5記載のオーディオ信号適応変換装置。
  8. 前記音響環境情報は、前記空間の直接音と所定時間後の残響音とのエネルギ比の情報を含むことを特徴とする請求項5記載のオーディオ信号適応変換装置。
  9. 前記音響環境情報は、音の拡散感を示す物理量であり、ユーザの2つの耳に到達する音の類似度の情報を含むことを特徴とする請求項5記載のオーディオ信号適応変換装置。
  10. 単一ソースの複数使用のためのオーディオ信号適応変換方法において、
    オーディオ信号を消費するユーザ端末からオーディオ使用環境情報を収集して記述し、管理する第1ステップと、
    前記オーディオ使用環境情報に符合するオーディオ信号が、前記ユーザ端末に出力されるように、前記オーディオ信号を適応変換させる第2ステップと
    を具え、
    前記オーディオ使用環境情報は、
    前記オーディオ信号に対するユーザの音場の選好度を記述するユーザ特性情報
    を含むことを特徴とするオーディオ信号適応変換方法。
  11. 前記ユーザ特性情報は、
    インパルス応答に対する選好度を含み、
    前記第2ステップは、
    前記インパルス応答に対する選好度に基づいて、オーディオ信号の音場の特性を変化させ、ユーザ端末に送信されるようにオーディオ信号を適応変換させることを特徴とする請求項10記載のオーディオ信号適応変換方法。
  12. 前記インパルス応答は、時間と振幅とで記述されることを特徴とする請求項11記載のオーディオ信号適応変換方法。
  13. 前記ユーザ特性情報は、
    前記オーディオ信号の知覚パラメーターに対する選好度を含み、
    前記第2ステップは、
    前記知覚パラメーターに対する選好度に基づいて、オーディオ信号の音場の特性を変化させ、ユーザ端末に送信されるようにオーディオ信号を適応変換させることを特徴とする請求項10記載のオーディオ信号適応変換方法。
  14. 前記ユーザ特性情報は、
    ユーザが聴取する空間の音響環境情報を含み、
    前記第2ステップは、
    前記音響環境情報に基づいて、オーディオ信号の音場の特性のうち、ユーザ音響環境による逆効果を除去し、ユーザ端末に送信されるようにオーディオ信号を適応変換させることを特徴とする請求項10記載のオーディオ信号適応変換方法。
  15. 前記音響環境情報は、前記空間の残響時間の情報を含むことを特徴とする請求項14記載のオーディオ信号適応変換方法。
  16. 前記音響環境情報は、前記空間の初期遅延時間の情報を含むことを特徴とする請求項14記載のオーディオ信号適応変換方法。
  17. 前記音響環境情報は、前記空間の直接音と所定時間後の残響音とのエネルギ比の情報を含むことを特徴とする請求項14記載のオーディオ信号適応変換方法。
  18. 前記音響環境情報は、音の拡散感を示す物理量であり、ユーザの2つの耳に到達する音の類似度の情報を含むことを特徴とする請求項14記載のオーディオ信号適応変換方法。
JP2004545045A 2002-10-15 2003-10-15 ユーザの選好度によるオーディオ信号適応変換装置、および、その方法 Expired - Fee Related JP4393383B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR20020062956 2002-10-15
KR1020030071344A KR100626653B1 (ko) 2002-10-15 2003-10-14 사용자의 선호도에 따른 오디오 신호 적응 변환 장치 및그 방법
PCT/KR2003/002148 WO2004036954A1 (en) 2002-10-15 2003-10-15 Apparatus and method for adapting audio signal according to user's preference

Publications (2)

Publication Number Publication Date
JP2006503490A true JP2006503490A (ja) 2006-01-26
JP4393383B2 JP4393383B2 (ja) 2010-01-06

Family

ID=32109559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004545045A Expired - Fee Related JP4393383B2 (ja) 2002-10-15 2003-10-15 ユーザの選好度によるオーディオ信号適応変換装置、および、その方法

Country Status (5)

Country Link
US (1) US7698006B2 (ja)
EP (1) EP1552723A4 (ja)
JP (1) JP4393383B2 (ja)
AU (1) AU2003269550A1 (ja)
WO (1) WO2004036954A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008520155A (ja) * 2004-12-23 2008-06-12 クウォン,ダエ−ホーン 聴力図に基づいたイコライゼーション方法及び該装置
JP2023008889A (ja) * 2021-06-28 2023-01-19 ネイバー コーポレーション ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080155624A1 (en) * 2005-01-07 2008-06-26 Kyoung-Ro Yoon Apparatus and Method for Providing Adaptive Broadcast Service Using Classification Schemes for Usage Environment Description
JP4988717B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
EP1899958B1 (en) 2005-05-26 2013-08-07 LG Electronics Inc. Method and apparatus for decoding an audio signal
WO2007032648A1 (en) 2005-09-14 2007-03-22 Lg Electronics Inc. Method and apparatus for decoding an audio signal
US8296155B2 (en) 2006-01-19 2012-10-23 Lg Electronics Inc. Method and apparatus for decoding a signal
CA2636494C (en) 2006-01-19 2014-02-18 Lg Electronics Inc. Method and apparatus for processing a media signal
WO2007083958A1 (en) * 2006-01-19 2007-07-26 Lg Electronics Inc. Method and apparatus for decoding a signal
JP4966981B2 (ja) 2006-02-03 2012-07-04 韓國電子通信研究院 空間キューを用いたマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御方法及びその装置
JP5173840B2 (ja) 2006-02-07 2013-04-03 エルジー エレクトロニクス インコーポレイティド 符号化/復号化装置及び方法
JP5394754B2 (ja) 2006-02-23 2014-01-22 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
JP2009532712A (ja) 2006-03-30 2009-09-10 エルジー エレクトロニクス インコーポレイティド メディア信号処理方法及び装置
KR100810077B1 (ko) * 2006-05-26 2008-03-05 권대훈 표준 청력특성을 이용한 이퀄라이제이션 방법
US20080235006A1 (en) 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
CN101617360B (zh) 2006-09-29 2012-08-22 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
KR100925021B1 (ko) 2007-04-30 2009-11-04 주식회사 크리스틴 청력도 기반 이퀄라이제이션 방법
KR100925022B1 (ko) 2007-04-30 2009-11-04 주식회사 크리스틴 청력도 기반의 음질보정 음향출력장치
JP2009128559A (ja) * 2007-11-22 2009-06-11 Casio Comput Co Ltd 残響効果付加装置
WO2012010929A1 (en) * 2010-07-20 2012-01-26 Nokia Corporation A reverberation estimator
JPWO2016194563A1 (ja) * 2015-06-02 2018-03-22 ソニー株式会社 送信装置、送信方法、メディア処理装置、メディア処理方法および受信装置
US9635638B1 (en) * 2015-12-10 2017-04-25 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Recommending notification sounds that promote user acknowledgment to notifications
US9948256B1 (en) * 2017-03-27 2018-04-17 International Business Machines Corporation Speaker volume preference learning
CN112822330B (zh) * 2019-10-31 2022-06-10 北京小米移动软件有限公司 空间检测方法及装置、移动终端、存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215482A (ja) 1993-01-13 1994-08-05 Hitachi Micom Syst:Kk オーディオ情報記録媒体、およびこのオーディオ情報記録媒体を用いる音場生成装置
JP3280462B2 (ja) 1993-03-26 2002-05-13 マツダ株式会社 車両用振動制御装置
JPH09185383A (ja) 1995-12-31 1997-07-15 Kenwood Corp 適応音場制御装置
US5996022A (en) * 1996-06-03 1999-11-30 Webtv Networks, Inc. Transcoding data in a proxy computer prior to transmitting the audio data to a client
US20020120925A1 (en) * 2000-03-28 2002-08-29 Logan James D. Audio and video program recording, editing and playback systems using metadata
JPH10233058A (ja) 1997-02-19 1998-09-02 Victor Co Of Japan Ltd オーディオ信号の再生方法、エンコード装置、記録媒体及びデコード装置
JPH11262100A (ja) 1998-03-13 1999-09-24 Matsushita Electric Ind Co Ltd オーディオ信号の符号化/復号方法および装置
EP1216444A4 (en) 1999-09-28 2006-04-12 Sound Id INTERNET-BASED HEARING EVALUATION PROCEDURE
EP1216554A4 (en) * 1999-09-28 2005-10-12 Sound Id SYSTEM AND METHOD FOR DELIVERING PERSONALIZED TELEPHONE AUDIO DATA ON PACKET SWITCHED NETWORK
US20030073411A1 (en) * 2001-10-16 2003-04-17 Meade William K. System and method for automatically applying a user preference from a mobile computing device to an appliance
US20030156108A1 (en) * 2002-02-20 2003-08-21 Anthony Vetro Consistent digital item adaptation
US20050180578A1 (en) * 2002-04-26 2005-08-18 Cho Nam I. Apparatus and method for adapting audio signal
KR100571347B1 (ko) 2002-10-15 2006-04-17 학교법인 한국정보통신학원 사용자 선호도 기반의 멀티미디어 컨텐츠 서비스 시스템과방법 및 그 기록 매체
KR20030022838A (ko) 2003-02-24 2003-03-17 학교법인 한국정보통신학원 멀티미디어 컨텐츠 적응/처리를 이용한 사용자 특성 및환경 기반 멀티미디어 서비스 시스템과 방법 및 그 기록매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008520155A (ja) * 2004-12-23 2008-06-12 クウォン,ダエ−ホーン 聴力図に基づいたイコライゼーション方法及び該装置
JP2023008889A (ja) * 2021-06-28 2023-01-19 ネイバー コーポレーション ユーザカスタム型の臨場感を実現するためのオーディオコンテンツを処理するコンピュータシステムおよびその方法

Also Published As

Publication number Publication date
EP1552723A4 (en) 2010-02-17
JP4393383B2 (ja) 2010-01-06
US7698006B2 (en) 2010-04-13
AU2003269550A1 (en) 2004-05-04
EP1552723A1 (en) 2005-07-13
WO2004036954A1 (en) 2004-04-29
US20060233381A1 (en) 2006-10-19

Similar Documents

Publication Publication Date Title
JP4393383B2 (ja) ユーザの選好度によるオーディオ信号適応変換装置、および、その方法
JP4704030B2 (ja) オーディオ信号の適応変換装置及びその方法
JP7053687B2 (ja) ラストマイル等化
Blauert Communication acoustics
CN105814909B (zh) 用于反馈检测的系统和方法
US7844452B2 (en) Sound quality control apparatus, sound quality control method, and sound quality control program
AU2020217377A1 (en) Multimodal transmission of packetized data
US10165382B2 (en) Signal processing device, audio signal transfer method, and signal processing system
KR100626653B1 (ko) 사용자의 선호도에 따른 오디오 신호 적응 변환 장치 및그 방법
WO2022170716A1 (zh) 音频处理方法、装置、设备、介质及程序产品
CN115278456A (zh) 一种音响设备及音频信号处理方法
TWI623930B (zh) 發聲裝置、音訊傳輸系統及其音訊分析之方法
JP7037671B2 (ja) オーディオの提示のための装置および関連する方法
JP4120440B2 (ja) 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム
CN115631758B (zh) 音频信号处理方法、装置、设备和存储介质
CN215527245U (zh) 一种多场景音频处理系统
US20220392460A1 (en) Enabling stereo content for voice calls
JP2012094945A (ja) 音声通信システム、及び、音声通信装置
Atkins et al. Trends and Perspectives for Signal Processing in Consumer Audio
CN114510598A (zh) 音频元数据区块的生成方法、装置、设备及存储介质
CN115938339A (zh) 音频数据的处理方法及系统
Seo et al. Audio contents adaptation using user's preference on sound fields in MPEG-21 DIA
JP2015065551A (ja) 音声再生システム
CN116112736A (zh) 音频处理方法、装置、计算机设备、存储介质
Dipert Now hear this

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080827

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081225

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20090106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090106

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090527

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090629

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090911

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091013

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131023

Year of fee payment: 4

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees