JP2009537876A - プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法 - Google Patents

プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法 Download PDF

Info

Publication number
JP2009537876A
JP2009537876A JP2009511940A JP2009511940A JP2009537876A JP 2009537876 A JP2009537876 A JP 2009537876A JP 2009511940 A JP2009511940 A JP 2009511940A JP 2009511940 A JP2009511940 A JP 2009511940A JP 2009537876 A JP2009537876 A JP 2009537876A
Authority
JP
Japan
Prior art keywords
audio
dimensional
audio signal
scene information
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009511940A
Other languages
English (en)
Other versions
JP5586950B2 (ja
JP2009537876A5 (ja
Inventor
ヨン−ジュ イ
テ−ジン イ
ジェ−ヒョン ユ
ギョン−オク カン
ジン−ウ ホン
イン−ソン チャン
ジョン−イル ソ
デ−ヨン チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060045184A external-priority patent/KR100802179B1/ko
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2009537876A publication Critical patent/JP2009537876A/ja
Publication of JP2009537876A5 publication Critical patent/JP2009537876A5/ja
Application granted granted Critical
Publication of JP5586950B2 publication Critical patent/JP5586950B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86Arrangements characterised by the broadcast information itself
    • H04H20/88Stereophonic broadcast systems
    • H04H20/89Stereophonic broadcast systems using three or more audio channels, e.g. triphonic or quadraphonic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本発明は、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法に関する。本発明は、オブジェクトベースの3次元オーディオサービスをユーザ(視聴者)に提供するにあたり、ユーザ(視聴者)の音源毎のオーディオ信号を制御しなければならないという操作の煩わしさを解消し、ユーザ(視聴者)が容易かつ便利にオブジェクトベースの3次元オーディオサービスを聴取できるようにするための、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法を提供する。本発明は、3次元オーディオサービス提供装置において、オーディオ信号が入力されるオーディオ入力手段と、前記入力されたオーディオ信号からオブジェクトオーディオ信号を抽出し、当該抽出されたオブジェクトオーディオ信号を3次元空間上に配置して各オブジェクトの属性を編集し、1つ以上の3次元オーディオシーン情報を生成するオーディオシーン生成手段と、前記オーディオ信号及びオブジェクト毎のオーディオ信号に関する前記3次元オーディオシーン情報を符号化(多重化)する符号化手段とを備える。

Description

本発明は、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法に関し、より詳細には、ユーザ(視聴者)によりリアリティな放送をサービスするために、3次元オーディオ関連技術を用いてユーザ(視聴者)が直接オーディオシーンを構成できる対話型(双方向)サービスを提供するための、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法に関する。
図1は、従来のオーディオサービスシステムの構成例を示す図である。同図に示すように、従来のオーディオサービス提供装置10は、オーディオ信号(サウンド)を獲得する獲得部11と、オーディオサービス再生装置20に伝送するために獲得されたオーディオ信号(サウンド)を編集及び合成する編集/合成部12と、合成されたオーディオ信号(サウンド)を格納し、これをオーディオサービス再生装置20に伝送する格納/伝送部13とを備える。
また、オーディオサービス再生装置20は、オーディオサービス提供装置10から伝送されたオーディオ信号を受信する受信部21と、受信したオーディオ信号を制御する制御部22と、オーディオ信号を再生する再生部23とを備える。
このような構成を有する従来のオーディオサービスシステムをベースとしてテレビ放送、ラジオ放送、DMB(Digital Multimedia Broadcasting)などのような放送サービスを介して提供される一般的なオーディオ信号は、様々な音源から獲得された複数のオーディオ信号が1つのオーディオ信号として合成されたものである。例えば、サッカー競技を介して提供されるオーディオ信号は、競技場内のノイズ、観衆の喚声、解説者の音声などが1つのオーディオ信号として合成され伝送される。
このとき、ユーザ(視聴者)は、オーディオ信号全体の強度などを調節することは可能であるが、オーディオ信号中に含まれている解説者の音声、競技場内のノイズ、観衆の喚声などといった各々のオブジェクトの強度を調節することは不可能である。その理由は、一般的な放送サービスでは、複数のオーディオ信号を1つのオーディオ信号として予め合成した後に伝送するからである。
しかし、送信装置(オーディオサービス提供装置10)が音源毎のオーディオ信号を合成せずに独立して伝送すれば、受信装置(オーディオサービス再生装置20)は、音源毎のオーディオ信号に対する強度などを制御しながら視聴できるようになる。このように、送信装置が複数のオーディオ信号を独立して伝送し、ユーザ(視聴者)が受信装置で各々のオーディオ信号を適切に制御しながら聴取できるようにするオーディオサービスを、オブジェクトベースのオーディオサービスという。
例えば、サッカー競技を介して提供されるオーディオ信号をオブジェクト毎の3次元オーディオサービスとして提供すれば、ユーザ(視聴者)は、競技場内のノイズ、観衆の喚声、解説者の音声などのオブジェクトをそれぞれ制御して自分の好きなサウンドを聴取することができる。すなわち、競技場内のノイズは大きく、観衆の喚声は小さく、解説者の音声は大きく調節してオーディオ信号を聴取するか、あるいは観衆の喚声は一切聞こえず、競技場内のノイズや解説者の音声だけが聞こえるようにオーディオ信号を制御して聴取することができる。
したがって、デジタル放送、ラジオ放送、DMB、インターネット放送、デジタル映画、DVD(Digital Video Disk)、動画コンテンツなどのように、オーディオが提供される全ての放送サービス及びマルチメディアサービスに適用され、音源毎のオーディオ信号を制御して聴取できるオブジェクトベースの3次元オーディオサービスが受けられるようにする方法が切実に求められる。
先行基準の一例として、「オブジェクトベースの3次元オーディオシステム及びその制御方法」(韓国公開特許10−2004−0037437号(2004年5月7日公開))では、それに関する方法を提示しているが、これは、ユーザ(視聴者)が自分に適したオーディオ信号を設定するために、各々の音源に対するオーディオ信号をいちいち調整しなければならないことから、煩わしいという問題があった。
本発明は、上記の問題を解決するためになされたものであって、その目的は、オブジェクトベースの3次元オーディオサービスをユーザ(視聴者)に提供するにあたり、ユーザ(視聴者)の音源毎のオーディオ信号を制御しなければならないという操作の煩わしさを解消し、ユーザ(視聴者)が容易かつ便利にオブジェクトベースの3次元オーディオサービスを聴取できるようにするための、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法を提供することにある。
本発明の他の目的及び長所は、下記の説明によって理解することができ、本発明の実施例によりさらに明確になるはずである。また、本発明の目的及び長所は、特許請求の範囲に示す手段及びその組み合わせにより実現可能であることが容易に分かるであろう。
上記の目的を達成するための本発明は、3次元オーディオサービス提供装置において、オーディオ信号が入力されるオーディオ入力手段と、前記入力されたオーディオ信号からオブジェクトオーディオ信号を抽出し、当該抽出されたオブジェクトオーディオ信号を3次元空間上に配置して各オブジェクトの属性を編集し、1つ以上の3次元オーディオシーン情報を生成するオーディオシーン生成手段と、前記オーディオ信号及びオブジェクト毎のオーディオ信号に関する前記3次元オーディオシーン情報を符号化(多重化)する符号化手段とを備えてなることを特徴とする。
また、本発明は、3次元オーディオサービス再生装置において、オブジェクトベースの3次元オーディオコンテンツを復号化(逆多重化)する復号化手段と、前記復号化(逆多重化)されたオブジェクトベースの3次元オーディオコンテンツにおける3次元オーディオシーン情報のうち、ユーザ(視聴者)の選択に応じた3次元オーディオシーン情報を構成するオーディオシーン構成手段と、前記構成された3次元オーディオシーン情報に基づき、前記復号化されたオブジェクトベースの3次元オーディオコンテンツにおけるオーディオ信号のオブジェクト毎の属性を制御するオーディオ信号合成手段と、オブジェクト毎の位置/大きさ/方向属性が制御されたオーディオ信号を再生する再生手段とを備えてなることを特徴とする。
一方、本発明は、3次元オーディオサービス提供方法において、オーディオ信号が入力されるステップと、前記入力されたオーディオ信号からオブジェクトオーディオ信号を抽出し、当該抽出されたオブジェクトオーディオ信号を3次元空間上に配置して各オブジェクトの属性を編集し、1つ以上の3次元オーディオシーン情報を生成するオーディオシーン情報生成ステップと、前記オーディオ信号及びオブジェクト毎のオーディオ信号に関する前記3次元オーディオシーン情報を符号化(多重化)するステップとを含んでなることを特徴とする。
また、本発明は、3次元オーディオサービス再生方法において、オブジェクトベースの3次元オーディオコンテンツを復号化(逆多重化)するステップと、前記復号化(逆多重化)されたオブジェクトベースの3次元オーディオコンテンツにおける3次元オーディオシーン情報のうち、ユーザ(視聴者)の選択に応じた3次元オーディオシーン情報を構成するオーディオシーン情報構成ステップと、前記構成された3次元オーディオシーン情報に基づき、前記復号化されたオブジェクトベースの3次元オーディオコンテンツにおけるオーディオ信号のオブジェクト毎の属性を制御するオーディオ信号合成ステップと、オブジェクト毎の位置/大きさ/方向属性が制御されたオーディオ信号を再生するステップとを含んでなることを特徴とする。
上記のような本発明は、デジタル放送、ラジオ放送、DMB、インターネット放送、デジタル映画、DVD、動画コンテンツなどのように、オーディオが提供される全ての放送サービス及びマルチメディアサービスに適用されるオブジェクトベースの3次元オーディオサービスを提供するにあたり、予め生成されたプリセットオーディオシーンをユーザ(視聴者)に提供することにより、ユーザ(視聴者)が音源毎のオーディオ信号を直接制御しなければならないという操作の煩わしさを解消し、ユーザ(視聴者)がより容易かつ便利にオブジェクトベースの3次元オーディオサービスを利用できるようにするという効果がある。
本発明は、デジタル放送、ラジオ放送、DMB、インターネット放送、デジタル映画、DVD、動画コンテンツなどのように、オーディオが提供される放送サービス及びマルチメディアサービスに適用することができ、オーディオが提供される放送またはマルチメディアサービスである限りオブジェクトベースのオーディオコンテンツ(オブジェクトベースの3次元オーディオシーン情報)を伝送または格納する媒体の種類にこだわらない。
上述した目的、特徴及び長所は、添付図面に関する以下の詳細な説明を通じてより明確になるはずであり、それにより、本発明の属する技術分野における通常の知識を有する者が本発明の技術的思想を容易に実施することができる。また、本発明の説明において、本発明に係る公知技術に対する具体的な説明が本発明の要旨を不明瞭にするおそれがあると判断された場合、その詳細な説明を省略する。以下、添付図面を参照して本発明の好ましい実施形態を詳細に説明する。
図2は、本発明の一実施形態に係るプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステムの構成図である。
同図に示すように、オブジェクトベースの3次元オーディオサービスシステムは、多様な入力手段を介してオーディオ信号を受信し、ユーザ(視聴者)の選択可能な1つ以上のオブジェクトベースの3次元オーディオシーン情報を生成してオブジェクトベースの3次元オーディオ再生装置40に伝送するオブジェクトベースの3次元オーディオサービス提供装置30と、オブジェクトベースの3次元オーディオサービス提供装置30とオブジェクトベースの3次元オーディオサービス再生装置40とをネットワーク接続するデジタル放送網またはインターネット網のような伝送媒体50と、オブジェクトベースの3次元オーディオサービス提供装置30から受信したオブジェクトベースの3次元オーディオシーン情報に基づき、1つ以上のオブジェクトベースの3次元オーディオシーンを生成するオブジェクトベースの3次元オーディオサービス再生装置40とを備える。
それでは、本発明に係るプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステムの構成要素について詳細に説明する。
まず、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステムにおけるオブジェクトベースの3次元オーディオサービス提供装置30の構成をみると、多様な入力手段を介してオーディオ信号が入力される入力部31と、入力部31を介して入力されたオーディオ信号からオブジェクトベースのオーディオ信号(オブジェクトオーディオ信号)を抽出し、抽出されたオブジェクトベースのオーディオ信号(オブジェクトオーディオ信号)を3次元空間上に配置して各オブジェクトの位置、大きさ、方向、音場環境などの属性を編集し、1つ以上の3次元オーディオシーン情報を生成するプリセットオーディオシーン生成部32と、入力部31に入力されたオーディオ信号及びプリセットオーディオシーン生成部32によって生成されたオブジェクトベースの3次元オーディオシーン情報をオブジェクトベースの3次元オーディオサービス再生装置40に伝送するために符号化して多重化(例えば、デジタル放送網では、MPEG−4(Moving Picture Experts Group 4)ファイルの形態で多重化)する符号化部33と、符号化部33によって多重化されたオブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)を伝送フォーマットに合わせて変換(例えば、デジタル放送網では、MPEG−2 TS(Transport Stream)に変換)して伝送する伝送部34とを備える。
このとき、変換されたオブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)は、上記のように、伝送部34において伝送媒体を介して伝送することもできるが、格納媒体に格納することもできる。
ここで、伝送部34は、オブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)を、例えば、デジタル放送網(地上波DMBチャネル50)を介してオブジェクトベースの3次元オーディオ再生装置40に伝送することができる。
このとき、プリセットオーディオシーン生成部32は、入力部31に入力されたオーディオ信号の音源が混合音源の場合、「Convolutive Blind Source Separation」技術を用いてオブジェクトオーディオ信号を抽出する。特に、プリセットオーディオシーン生成部32は、ユーザ(編集者)の制御によって設定された「オブジェクト毎のオーディオ信号に関するオーディオシーン情報」に基づき、各オブジェクトの割合を調節して1つ以上のオブジェクトベースの3次元オーディオシーン情報を構成する。
一方、オブジェクトベースの3次元オーディオサービス再生装置40の構成をみると、オブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)を再生させるために復号化(逆多重化)する復号化部42と、復号化部42によって復号化(逆多重化)されたオブジェクトベースの3次元オーディオコンテンツにおけるオブジェクトベースの3次元オーディオシーン情報をユーザ(視聴者)が選択できるようにユーザ(視聴者)に提供し、ユーザ(視聴者)の選択に応じたオブジェクトベースの3次元オーディオシーン情報を構成するオーディオシーン情報構成部43と、オーディオシーン情報構成部43によって構成されたオブジェクトベースの3次元オーディオシーン情報に基づき、復号化部42によって復号化(逆多重化)されたオブジェクトベースの3次元オーディオコンテンツにおけるオーディオ信号のオブジェクト毎の属性(オーディオオブジェクトの位置、方向、大きさ、音場環境を含む)を制御して合成するオーディオ信号合成部44と、オーディオ信号合成部44によって1つのオブジェクトベースの3次元オーディオシーンで合成されたオーディオ信号を再生するオーディオ信号再生部45とを備える。
このとき、前記オブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)は、デジタル放送、ラジオ放送、DMB、インターネット放送、デジタル映画、DVD、動画コンテンツなどのように、オーディオが提供される放送サービス及びマルチメディアサービスを介して提供され得る。したがって、前記オブジェクトベースのオーディオコンテンツは、受信部41を介して受信することもできるが、これに限定されない。すなわち、前記オブジェクトベースのオーディオコンテンツは、オーディオが提供される放送サービス及びマルチメディアサービスの提供が可能な伝送媒体または格納媒体を介して提供され得、その種類に限定されないことに留意しなければならない。
ここで、オーディオシーン情報構成部43は、ユーザ(視聴者)がオーディオオブジェクト毎の属性(オーディオオブジェクトの位置、方向、大きさ、音場環境を含む)を設定できるようにし、ユーザ(視聴者)によって設定されたオブジェクト毎の属性(オーディオオブジェクトの位置、方向、大きさ、音場環境を含む)に応じて新たなオブジェクトベースの3次元オーディオシーン情報を構成することもできる。
このとき、ユーザ(視聴者)は、オーディオシーン情報構成部43を介して初期反射音の大きさ及び遅延時間を制御して3次元空間の残響時間を変更する方法により、3次元オーディオ空間に対する特性を制御することができる。
すなわち、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステムは、一般的に多用されると予想されるオブジェクトベースの3次元オーディオシーンを予め生成してユーザ(視聴者)に提供し、ユーザ(視聴者)が、これらのうち、自分の好きなオーディオシーンを選択して視聴するようにし、ユーザ(視聴者)が簡便に自分の好きなオーディオ信号を視聴できるようにする。
例えば、サッカー競技における競技場内のノイズ、観衆の喚声、解説者の音声を各々の独立したオーディオオブジェクトとして定義し、独立して伝送し、これと共に、競技場内のノイズ、観衆の喚声、解説者の音声の大きさが「1:1:1」に設定されたオーディオシーンと、「1:0.5:1」に設定されたオーディオシーン、「1:0:1」に設定されたオーディオシーンを伝送すると、ユーザ(視聴者)は、上記定義した3つの互いに異なるオーディオシーンのうちの1つを選択して自分の好きな形態でオーディオ信号を聴取できるようになる。
仮に、プリセットされたオーディオシーンのうち、自分の好きなオーディオシーンがない場合は、オブジェクト毎のオーディオ信号を直接制御してオーディオ信号を聴取することができる。しかし、プリセットオーディオシーンを適切な数だけ十分に生成し、ユーザ(視聴者)がオブジェクト毎のオーディオ信号をいちいち制御することなく、予め生成されたオーディオシーンのうちの1つを選択できるようにすることがより好ましい。
図3は、本発明の一実施形態に係るプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供方法を示すフローチャートである。まず、オブジェクトベースの3次元オーディオサービス提供装置30の入力部31は、オブジェクトベースのオーディオ信号を多様な入力手段を介して受信する(S301)。
その後、プリセットオーディオシーン生成部32は、入力部31を介して入力されたオーディオ信号からオブジェクトベースのオーディオ信号(オブジェクトオーディオ信号)を抽出し(S302)、これを3次元空間上に配置してオーディオ信号のオブジェクト毎の属性(オーディオオブジェクトの位置、方向、大きさ、音場環境を含む)を編集し(S303)、1つ以上のオブジェクトベースの3次元オーディオシーン情報を生成する(S304)。また、符号化部33は、入力部31を介して入力されたオーディオ信号及びプリセットオーディオシーン生成部32によって生成されたオブジェクトベースの3次元オーディオシーン情報を符号化して多重化する(S305)。例えば、デジタル放送網において、符号化部33は、符号化されたオブジェクトベースの3次元オーディオシーン情報をMPEG−4ファイルの形態で多重化することができる。
次に、伝送部34は、符号化部33によって多重化されたオブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)を伝送フォーマットに合わせて変換して伝送する(S306)。例えば、デジタル放送網では、MPEG−2 TSに変換して伝送する。
例えば、伝送部34は、変換されたオブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)を、デジタル放送網(地上波DMBチャネル)を介してオブジェクトベースの3次元オーディオ再生装置40に伝送することができる。このとき、変換されたオブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)は、格納媒体に格納されることもあり得る。
図4は、本発明の一実施形態に係るプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生方法を示すフローチャートである。まず、オブジェクトベースの3次元オーディオサービス再生装置40の受信部41は、例えば、デジタル放送網(地上波DMBチャネル50)またはインターネット網などのような伝送媒体を介してオブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)を受信する(S401)。
このとき、前記オブジェクトベースのオーディオコンテンツは、受信部41にオーディオが提供される放送サービス及びマルチメディアサービスの提供が可能な伝送媒体を介して受信することもでき、格納媒体を介して入力されることもあり得る。
その後、復号化部42は、前記受信または入力されたオブジェクトベースのオーディオコンテンツ(オーディオ信号、オブジェクトベースの3次元オーディオシーン情報)を復号化(逆多重化)する(S402)。また、オーディオシーン情報構成部43は、復号化部42によって復号化(逆多重化)されたオブジェクトベースの3次元オーディオコンテンツにおけるオブジェクトベースの3次元オーディオシーン情報をユーザ(視聴者)が選択できるようにユーザ(視聴者)に提供し、ユーザ(視聴者)の選択に応じたオブジェクトベースの3次元オーディオシーン情報を構成する(S403)。
次に、オーディオ信号合成部44は、オーディオシーン情報構成部43によって構成されたオブジェクトベースの3次元オーディオシーン情報に基づき、復号化部42によって復号化(逆多重化)されたオブジェクトベースの3次元オーディオコンテンツにおけるオーディオ信号のオブジェクト毎の属性(オーディオオブジェクトの位置、方向、大きさ、音場環境を含む)を制御して合成する(S404)。最後に、オーディオ信号再生部45は、オーディオ信号合成部44によって1つのオブジェクトベースの3次元オーディオシーンで合成されたオーディオ信号を再生する(S405)。
上述した本発明の方法は、プログラムとして具現され、コンピュータで読み取り可能な記録媒体(CD−ROM、RAM、ROM、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスクなど)に格納され得る。この過程は、本発明の属する技術分野における通常の知識を有する者が容易に実施できるため、これ以上の詳細な説明は省略する。
以上で説明した本発明は、本発明の属する技術分野における通常の知識を有する者にとって、本発明の技術的思想を逸脱しない範囲内で様々な置換、変形及び変更が可能であるため、上述した実施形態及び添付図面によって限定されるものではない。
従来のオーディオサービスシステムの構成例を示す図である。 本発明の一実施形態に係るプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステムの構成図である。 本発明の一実施形態に係るプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供方法を示すフローチャートである。 本発明の一実施形態に係るプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生方法を示すフローチャートである。

Claims (20)

  1. 3次元オーディオサービス提供装置において、
    オーディオ信号が入力されるオーディオ入力手段と、
    前記入力されたオーディオ信号からオブジェクトオーディオ信号を抽出し、当該抽出されたオブジェクトオーディオ信号を3次元空間上に配置して各オブジェクトの属性を編集し、1つ以上の3次元オーディオシーン情報を生成するオーディオシーン生成手段と、
    前記オーディオ信号及びオブジェクト毎のオーディオ信号に関する前記3次元オーディオシーン情報を符号化(多重化)する符号化手段と
    を備えることを特徴とする、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供装置。
  2. 前記符号化(多重化)されたオブジェクトベースの3次元オーディオコンテンツを処理する処理手段をさらに備えることを特徴とする、請求項1に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供装置。
  3. 前記処理手段が、
    前記符号化(多重化)されたオブジェクトベースの3次元オーディオコンテンツを、デジタル放送網を介してオーディオ再生端末に伝送することを特徴とする、請求項2に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供装置。
  4. 前記オーディオ再生端末が、
    前記オーディオ信号を、前記3次元オーディオシーン情報を用いて3次元シーンとして構成し再生することができることを特徴とする、請求項3に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供装置。
  5. 前記オブジェクトの属性が、
    オーディオオブジェクトの位置、方向、大きさ、音場環境のうちの少なくとも1つを含むことを特徴とする、請求項1に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供装置。
  6. 前記オーディオシーン生成手段が、
    入力されたオーディオ信号の音源が混合音源の場合、「Convolutive Blind Source Separation」技術を用いてオブジェクトオーディオ信号を抽出することを特徴とする、請求項1に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供装置。
  7. 前記オーディオシーン生成手段が、
    ユーザ(編集者)の制御によって設定された「オブジェクト毎のオーディオ信号に関するオーディオシーン情報」に基づき、各オブジェクトの割合を調節して少なくとも1つの3次元オーディオシーン情報を生成することを特徴とする、請求項1に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供装置。
  8. 3次元オーディオサービス再生装置において、
    オブジェクトベースの3次元オーディオコンテンツを復号化(逆多重化)する復号化手段と、
    前記復号化(逆多重化)されたオブジェクトベースの3次元オーディオコンテンツにおける3次元オーディオシーン情報のうち、ユーザ(視聴者)の選択に応じた3次元オーディオシーン情報を構成するオーディオシーン構成手段と、
    前記構成された3次元オーディオシーン情報に基づき、前記復号化されたオブジェクトベースの3次元オーディオコンテンツにおけるオーディオ信号のオブジェクト毎の属性を制御するオーディオ信号合成手段と、
    オブジェクト毎の位置、大きさ、方向属性のうちのいずれか1つが制御されたオーディオ信号を再生する再生手段と
    を備えることを特徴とする、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生装置。
  9. 前記オーディオシーン構成手段が、
    ユーザ(視聴者)が設定したオブジェクト毎の属性に応じて3次元オーディオシーン情報を構成する機能をさらに備えることを特徴とする、請求項8に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生装置。
  10. 前記オブジェクト毎の属性が、
    オーディオオブジェクトの位置、方向、大きさ及び音場環境のうちの少なくとも1つを含むことを特徴とする、請求項8に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生装置。
  11. 前記3次元オーディオシーン情報に基づき、初期反射音の大きさ及び遅延時間を制御して3次元空間の残響時間を変更することにより、3次元オーディオ空間の特性を制御することができることを特徴とする、請求項10に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生装置。
  12. 3次元オーディオサービス提供方法において、
    オーディオ信号が入力されるステップと、
    前記入力されたオーディオ信号からオブジェクトオーディオ信号を抽出し、当該抽出されたオブジェクトオーディオ信号を3次元空間上に配置して各オブジェクトの属性を編集し、1つ以上の3次元オーディオシーン情報を生成するオーディオシーン情報生成ステップと、
    前記オーディオ信号及びオブジェクト毎のオーディオ信号に関する前記3次元オーディオシーン情報を符号化(多重化)するステップと
    を含むことを特徴とする、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供方法。
  13. 前記符号化(多重化)されたオブジェクトベースの3次元オーディオコンテンツを処理する処理ステップをさらに含むことを特徴とする、請求項12に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供方法。
  14. 前記処理ステップが、
    前記符号化(多重化)されたオブジェクトベースの3次元オーディオコンテンツを、デジタル放送網を介して伝送することを特徴とする、請求項13に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供方法。
  15. 前記オブジェクトの属性が、
    オーディオオブジェクトの位置、方向、大きさ及び音場環境のうちの少なくとも1つを含むことを特徴とする、請求項12に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供方法。
  16. 前記オーディオシーン情報生成ステップでは、
    ユーザ(編集者)の制御によって設定された「オブジェクト毎のオーディオ信号に関するオーディオシーン情報」に基づき、各オブジェクトの割合を調節して3次元オーディオシーン情報を生成することを特徴とする、請求項12に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス提供方法。
  17. 3次元オーディオサービス再生方法において、
    オブジェクトベースの3次元オーディオコンテンツを復号化(逆多重化)するステップと、
    前記復号化(逆多重化)されたオブジェクトベースの3次元オーディオコンテンツにおける3次元オーディオシーン情報のうち、ユーザ(視聴者)の選択に応じた3次元オーディオシーン情報を構成するオーディオシーン情報構成ステップと、
    前記構成された3次元オーディオシーン情報に基づき、前記復号化されたオブジェクトベースの3次元オーディオコンテンツにおけるオーディオ信号のオブジェクト毎の属性を制御するオーディオ信号合成ステップと、
    オブジェクト毎の位置、大きさ及び方向属性のうちのいずれか1つが制御されたオーディオ信号を再生するステップと
    を含むことを特徴とする、プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生方法。
  18. 前記オーディオシーン構成ステップでは、
    ユーザ(視聴者)が設定したオブジェクト毎の属性に応じて3次元オーディオシーン情報を構成する機能をさらに備えることを特徴とする、請求項17に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生方法。
  19. 前記オブジェクト毎の属性が、
    オーディオオブジェクトの位置、方向、大きさ及び音場環境のうちの少なくとも1つを含むことを特徴とする、請求項17に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生方法。
  20. 前記3次元オーディオシーン情報に基づき、初期反射音の大きさ及び遅延時間を制御して3次元空間の残響時間を変更することにより、3次元オーディオ空間の特性を制御することができることを特徴とする、請求項19に記載のプリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービス再生方法。
JP2009511940A 2006-05-19 2007-05-16 プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法 Active JP5586950B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020060045184A KR100802179B1 (ko) 2005-12-08 2006-05-19 프리셋 오디오 장면을 이용한 객체기반 3차원 오디오서비스 시스템 및 그 방법
KR10-2006-0045184 2006-05-19
PCT/KR2007/002395 WO2007136187A1 (en) 2006-05-19 2007-05-16 Object-based 3-dimensional audio service system using preset audio scenes

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013167817A Division JP2014013400A (ja) 2006-05-19 2013-08-12 オブジェクトベースのオーディオサービスシステム及びその方法

Publications (3)

Publication Number Publication Date
JP2009537876A true JP2009537876A (ja) 2009-10-29
JP2009537876A5 JP2009537876A5 (ja) 2010-07-01
JP5586950B2 JP5586950B2 (ja) 2014-09-10

Family

ID=40210572

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009511940A Active JP5586950B2 (ja) 2006-05-19 2007-05-16 プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法
JP2013167817A Pending JP2014013400A (ja) 2006-05-19 2013-08-12 オブジェクトベースのオーディオサービスシステム及びその方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013167817A Pending JP2014013400A (ja) 2006-05-19 2013-08-12 オブジェクトベースのオーディオサービスシステム及びその方法

Country Status (3)

Country Link
EP (3) EP2369836B1 (ja)
JP (2) JP5586950B2 (ja)
WO (1) WO2007136187A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011510589A (ja) * 2008-01-23 2011-03-31 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
JP2011518353A (ja) * 2008-04-16 2011-06-23 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
US8615316B2 (en) 2008-01-23 2013-12-24 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8615088B2 (en) 2008-01-23 2013-12-24 Lg Electronics Inc. Method and an apparatus for processing an audio signal using preset matrix for controlling gain or panning
JP2014501945A (ja) * 2010-12-03 2014-01-23 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 幾何ベースの空間オーディオ符号化のための装置および方法
JP2015502573A (ja) * 2011-12-02 2015-01-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 幾何学配置に基づく空間オーディオ符号化ストリームを統合する装置および方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2094032A1 (en) * 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
JP5406276B2 (ja) * 2008-04-16 2014-02-05 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
KR102149019B1 (ko) * 2008-04-23 2020-08-28 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
US8265299B2 (en) * 2008-07-29 2012-09-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
JP5635097B2 (ja) 2009-08-14 2014-12-03 ディーティーエス・エルエルシーDts Llc オーディオオブジェクトを適応的にストリーミングするためのシステム
US9026450B2 (en) 2011-03-09 2015-05-05 Dts Llc System for dynamically creating and rendering audio objects
KR102394141B1 (ko) 2011-07-01 2022-05-04 돌비 레버러토리즈 라이쎈싱 코오포레이션 향상된 3d 오디오 오서링과 렌더링을 위한 시스템 및 툴들
WO2013181272A2 (en) 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
US9613660B2 (en) 2013-04-05 2017-04-04 Dts, Inc. Layered audio reconstruction system
RU2701060C2 (ru) 2014-09-30 2019-09-24 Сони Корпорейшн Передающее устройство, способ передачи, приемное устройство и способ приема
CN107533846B (zh) * 2015-04-24 2022-09-16 索尼公司 发送装置、发送方法、接收装置与接收方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236499A (ja) * 2000-12-06 2002-08-23 Matsushita Electric Ind Co Ltd 音楽信号圧縮装置、音楽信号圧縮伸張装置及び前処理制御装置
JP2003299044A (ja) * 2002-03-29 2003-10-17 Mitsubishi Electric Corp マルチメディア情報送受信装置、マルチメディア情報送受信システム、サービス課金サーバ
US20040111171A1 (en) * 2002-10-28 2004-06-10 Dae-Young Jang Object-based three-dimensional audio system and method of controlling the same
JP2004523752A (ja) * 2001-01-30 2004-08-05 トムソン ライセンシング ソシエテ アノニム 幾何学的音源分離による信号処理装置、システムおよび方法
JP2006516164A (ja) * 2002-10-14 2006-06-22 トムソン ライセンシング オーディオシーンにおける音源のワイドネスを符号化および復号化する方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5590207A (en) * 1993-12-14 1996-12-31 Taylor Group Of Companies, Inc. Sound reproducing array processor system
JP3593883B2 (ja) * 1998-05-15 2004-11-24 株式会社日立製作所 映像ストリーム送受信システム
JP2000358294A (ja) * 1999-06-15 2000-12-26 Yamaha Corp オーディオ音響装置
CN1717955B (zh) * 2002-12-02 2013-10-23 汤姆森许可贸易公司 用于描述音频信号的合成的方法
JP2005293623A (ja) * 2004-03-31 2005-10-20 Clarion Co Ltd 車載音響装置、車載音響システム、及び音楽データ記録プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002236499A (ja) * 2000-12-06 2002-08-23 Matsushita Electric Ind Co Ltd 音楽信号圧縮装置、音楽信号圧縮伸張装置及び前処理制御装置
JP2004523752A (ja) * 2001-01-30 2004-08-05 トムソン ライセンシング ソシエテ アノニム 幾何学的音源分離による信号処理装置、システムおよび方法
JP2003299044A (ja) * 2002-03-29 2003-10-17 Mitsubishi Electric Corp マルチメディア情報送受信装置、マルチメディア情報送受信システム、サービス課金サーバ
JP2006516164A (ja) * 2002-10-14 2006-06-22 トムソン ライセンシング オーディオシーンにおける音源のワイドネスを符号化および復号化する方法
US20040111171A1 (en) * 2002-10-28 2004-06-10 Dae-Young Jang Object-based three-dimensional audio system and method of controlling the same

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CSNB200000341001; 三木 弼一 SUKEICHI MIKI: MPEG-4のすべて 初版 第1版, 19980930, p.128-129, 株式会社工業調査会 *
CSNB200100256001; 平田 圭二 KEIJI HIRATA: コンピュータと音楽の世界-基礎からフロンティアまで 初版 Computer & Music 第1版, 19990815, p.90-91, 共立出版株式会社 *
JPN6012030844; 三木 弼一 SUKEICHI MIKI: MPEG-4のすべて 初版 第1版, 19980930, p.128-129, 株式会社工業調査会 *
JPN6012030847; 平田 圭二 KEIJI HIRATA: コンピュータと音楽の世界-基礎からフロンティアまで 初版 Computer & Music 第1版, 19990815, p.90-91, 共立出版株式会社 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011510589A (ja) * 2008-01-23 2011-03-31 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
JP2011511307A (ja) * 2008-01-23 2011-04-07 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
US8615316B2 (en) 2008-01-23 2013-12-24 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8615088B2 (en) 2008-01-23 2013-12-24 Lg Electronics Inc. Method and an apparatus for processing an audio signal using preset matrix for controlling gain or panning
US9319014B2 (en) 2008-01-23 2016-04-19 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US9787266B2 (en) 2008-01-23 2017-10-10 Lg Electronics Inc. Method and an apparatus for processing an audio signal
JP2011518353A (ja) * 2008-04-16 2011-06-23 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
JP2014501945A (ja) * 2010-12-03 2014-01-23 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 幾何ベースの空間オーディオ符号化のための装置および方法
US9396731B2 (en) 2010-12-03 2016-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Sound acquisition via the extraction of geometrical information from direction of arrival estimates
US10109282B2 (en) 2010-12-03 2018-10-23 Friedrich-Alexander-Universitaet Erlangen-Nuernberg Apparatus and method for geometry-based spatial audio coding
JP2015502573A (ja) * 2011-12-02 2015-01-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 幾何学配置に基づく空間オーディオ符号化ストリームを統合する装置および方法
US9484038B2 (en) 2011-12-02 2016-11-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for merging geometry-based spatial audio coding streams

Also Published As

Publication number Publication date
EP2501128B1 (en) 2014-11-12
WO2007136187A9 (en) 2008-11-27
EP2369836A3 (en) 2011-12-14
EP2022263B1 (en) 2012-08-01
JP5586950B2 (ja) 2014-09-10
EP2022263A4 (en) 2010-06-02
EP2501128A1 (en) 2012-09-19
EP2022263A1 (en) 2009-02-11
EP2369836A2 (en) 2011-09-28
WO2007136187A1 (en) 2007-11-29
JP2014013400A (ja) 2014-01-23
EP2369836B1 (en) 2014-04-23

Similar Documents

Publication Publication Date Title
JP5586950B2 (ja) プリセットオーディオシーンを用いたオブジェクトベースの3次元オーディオサービスシステム及びその方法
KR100802179B1 (ko) 프리셋 오디오 장면을 이용한 객체기반 3차원 오디오서비스 시스템 및 그 방법
US8705747B2 (en) Object-based 3-dimensional audio service system using preset audio scenes
JP3892478B2 (ja) 音声再生装置
US9135953B2 (en) Method for creating, editing, and reproducing multi-object audio contents files for object-based audio service, and method for creating audio presets
US8108220B2 (en) Techniques for accommodating primary content (pure voice) audio and secondary content remaining audio capability in the digital audio production process
US6351733B1 (en) Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
JP2009537876A5 (ja)
WO2008006108A2 (en) Systems and methods for multi-dialog surround audio
JPH0955920A (ja) Isdb用送信装置およびその受信装置
KR101114431B1 (ko) 실시간 스트리밍을 위한 오디오 생성장치, 오디오 재생장치 및 그 방법
Grewe et al. MPEG-H Audio System for SBTVD TV 3.0 Call for Proposals
JP2006148839A (ja) 放送装置、受信装置、及びこれらを備えるデジタル放送システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120918

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130812

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20130813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130813

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130902

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20131025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140723

R150 Certificate of patent or registration of utility model

Ref document number: 5586950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250