JP2013037524A - 情報システム、情報再現装置、情報生成方法、およびプログラム - Google Patents

情報システム、情報再現装置、情報生成方法、およびプログラム Download PDF

Info

Publication number
JP2013037524A
JP2013037524A JP2011172948A JP2011172948A JP2013037524A JP 2013037524 A JP2013037524 A JP 2013037524A JP 2011172948 A JP2011172948 A JP 2011172948A JP 2011172948 A JP2011172948 A JP 2011172948A JP 2013037524 A JP2013037524 A JP 2013037524A
Authority
JP
Japan
Prior art keywords
information
reproduction
acquisition
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011172948A
Other languages
English (en)
Other versions
JP5877973B2 (ja
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I Cubed Research Center Inc
Original Assignee
I Cubed Research Center Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011172948A priority Critical patent/JP5877973B2/ja
Application filed by I Cubed Research Center Inc filed Critical I Cubed Research Center Inc
Priority to PCT/JP2012/069543 priority patent/WO2013021881A1/ja
Priority to CN201280038670.1A priority patent/CN103733249B/zh
Priority to US14/237,765 priority patent/US9979766B2/en
Priority to EP12821614.0A priority patent/EP2743917B1/en
Priority to KR1020147001086A priority patent/KR101873086B1/ko
Priority to TW101128178A priority patent/TWI584266B/zh
Publication of JP2013037524A publication Critical patent/JP2013037524A/ja
Application granted granted Critical
Publication of JP5877973B2 publication Critical patent/JP5877973B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0033Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G10H1/0058Transmission between separate instruments or between individual components of a musical system
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/175Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments for jam sessions or musical collaboration through a network, e.g. for composition, ensemble playing or repeating; Compensation of network or internet delays therefor
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325Synchronizing two or more audio tracks or files according to musical features or musical timings
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】従来、1以上の遠隔地から受信した情報にさらに価値を加えた情報を出力できなかった。
【解決手段】再現情報を構成するための情報である再現元情報を格納し得る再現元情報格納部と、1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、取得情報受信部が受信した1以上の情報と、再現元情報とを用いて、再現情報を構成する再現情報取得部と、再現情報取得部が構成した再現情報を、1以上の情報出力装置に送出する再現情報送出部とを具備する情報再現装置により、1以上の遠隔地から受信した情報に、さらに価値を加えた情報を出力できる。
【選択図】図1

Description

本発明は、1以上の遠隔地から受信した情報から新しい情報を構成し、出力する情報システム等に関するものである。
従来、違和感の少ない遠隔地合奏を可能にした電子楽器があった(例えば、特許文献1参照)。本電子楽器は、ネットワークを介して異なる地点で合奏する電子楽器において、人間の動作に基づく入力楽音情報を、上記ネットワークを介して上記異なる地点に送信する送信手段と、上記異なる地点で合奏する電子楽器からの演奏情報を受信する受信手段と、上記入力楽音情報を所定の時間の遅延時間遅らせる遅延手段と、上記遅延手段により遅延された入力楽音情報と、上記受信手段で受信した演奏情報とから楽音信号を生成すると共に混合する楽音生成手段とを具備し、上記演奏情報からの楽音信号に基づく楽音が、上記電子楽器の演奏タイミングを提供することを特徴とする電子楽器である。
特開2007−178860号公報(第1頁、第1図等)
しかしながら、従来の電子楽器においては、1以上の遠隔地から受信した情報に、さらに価値を加えた情報を出力できなかった。
また、遠隔地で情報を作り出している人に対して、視聴者等に対して出力される情報を提示できなかった。そのため、例えば、視聴者から離れた遠隔地で演奏する演奏者は、視聴者に提示されるコンテンツを感じながら演奏できなかった。
本第一の発明の情報システムは、情報を取得する空間である1以上の各取得空間から情報を取得する1以上の情報取得装置と、取得空間とは異なる空間であり、再現する対象の空間である再現空間に対応する再現情報を構成する情報再現装置と、再現情報を出力する空間である1以上の各出力空間において、再現情報を出力する1以上の情報出力装置とを具備する情報システムであって、情報取得装置は、情報を取得する情報取得部と、情報を情報再現装置に送信する取得情報送信部とを具備し、情報再現装置は、再現情報を構成するための情報である再現元情報を格納し得る再現元情報格納部と、1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、取得情報受信部が受信した1以上の情報と、再現元情報とを用いて、再現情報を取得する再現情報取得部と、再現情報取得部が構成した再現情報を、1以上の情報出力装置に送出する再現情報送出部とを具備し、情報出力装置は、情報再現装置から再現情報を受信する第一再現情報受付部と、第一再現情報受付部が受信した再現情報を出力する第一再現情報出力部とを具備する情報システムである。
かかる構成により、1以上の遠隔地から受信した情報に、さらに価値を加えた情報を出力できる。ことができる。
また、本第二の発明の情報システムは、第一の発明に対して、2以上の各取得空間から情報を取得する2以上の情報取得装置を具備する情報システムであって、情報再現装置は、2以上の各情報取得装置から2以上の情報を受信する取得情報受信部と、取得情報受信部が受信した2以上の情報を出力する取得情報出力部と、取得情報出力部が出力した2以上の情報を有する再現情報を取得する再現情報取得部と、再現情報取得部が取得した再現情報を、1以上の情報出力装置に送出する再現情報送出部とを具備する情報システムである。
かかる構成により、2以上の遠隔地から受信した情報を合成した情報を出力できる。
また、本第三の発明の情報システムは、第一または第二の発明に対して、情報取得装置は、情報再現装置から再現情報を受信する第二再現情報受付部と、第二再現情報受付部が受信した再現情報を出力する第二再現情報出力部とをさらに具備し、情報再現装置の再現情報送出部は、再現情報取得部が構成した再現情報を、1以上の情報取得装置および1以上の情報出力装置に送出する情報システムである。
かかる構成により、取得空間において、出力空間において出力される再現情報と同様の情報が出力できる。
また、本第四の発明の情報システムは、第一の発明に対して、2以上の情報取得装置を具備する情報システムであって、再現情報取得部は、取得情報受信部が受信した2以上の情報を合成し、合成情報を取得する情報合成手段と、情報合成手段が取得した合成情報と、再現元情報とを用いて、再現情報を構成する再現情報構成手段とを具備する請求項1から請求項3いずれか記載の情報システムである。
かかる構成により、2以上の遠隔地から受信した情報を合成し、かつ、さらに価値を加えた情報を出力できる。
また、本第五の発明の情報システムは、第一または第二の発明に対して、2以上の情報取得装置、1以上の情報再現装置、一の情報集約装置および1以上の情報出力装置を具備する請求項1または請求項2記載の情報システムであって、情報集約装置は、1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、1以上の情報再現装置から1以上の再現情報を受信する再現情報収集部と、取得情報受信部が受信した1以上の情報と、再現情報収集部が受信した1以上の再現情報とを用いて、出力される再現情報を取得する再現情報取得部と、1以上の情報出力装置、または1以上の情報出力装置および2以上の情報取得装置に、再現情報取得部が構成した再現情報を送信する再現情報送出部とを具備し、1以上の情報再現装置の再現情報送出部は、当該情報再現装置の再現情報取得部が構成した再現情報を情報集約装置に送信する情報システムである。
かかる構成により、2以上の遠隔地から受信した情報を合成し、価値を加えた情報を出力する2以上の装置の情報を、さらに合成した情報を出力できる。
また、本第六の発明の情報システムは、第五の発明に対して、情報集約装置は、再現情報を構成するための情報である再現元情報を格納し得る再現元情報格納部をさらに具備し、情報集約装置の再現情報取得部は、再現元情報と、取得情報受信部が受信した1以上の情報と、再現情報収集部が受信した1以上の再現情報とを用いて、出力される再現情報を構成する情報システムである。
かかる構成により、2以上の遠隔地から受信した情報を合成し、価値を加えた情報を出力する2以上の装置の情報を、さらに合成した情報を出力できる。
また、本第七の発明の情報システムは、第一または第二の発明に対して、2以上の情報取得装置と、2以上の情報再現装置と、情報合成装置と、1以上の情報出力装置とを具備する情報システムであって、情報再現装置の再現情報送出部は、再現情報取得部が構成した再現情報を、情報合成装置に送信し、情報合成装置は、2以上の各情報再現装置から再現情報を受信する再現情報収集部と、再現情報収集部が受信した2以上の再現情報を合成し、出力される再現情報を構成する再現情報合成部と、1以上の情報出力装置、または1以上の情報取得装置および1以上の情報出力装置に、再現情報合成部が構成した再現情報を送出する第三再現情報送出部とを具備する情報システムである。
本発明による情報システムによれば、1以上の遠隔地から受信した情報に、さらに価値を加えた情報を出力できる。
実施の形態1における情報システムの概念図 同情報システムのブロック図 同情報取得装置の動作について説明するフローチャート 同情報再現装置の動作について説明するフローチャート 同再現情報取得処理の第一の例について説明するフローチャート 同再現情報取得処理の第二の例について説明するフローチャート 同再現情報取得処理の第三の例について説明するフローチャート 実施の形態2における情報システムの概念図 同情報システムのブロック図 同情報再現装置の動作について説明するフローチャート 同再現情報合成処理について説明するフローチャート 実施の形態3における情報システムの概念図 同情報システムのブロック図 同情報合成装置の動作について説明するフローチャート 同コンピュータシステムの概観図 同コンピュータシステムのブロック図
以下、情報システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
(実施の形態1)
本実施の形態において、1以上の取得空間で取得された情報を再現空間に送信し、再現空間で、さらに価値を加えて、再現情報を取得し、1以上の出力空間で再現情報を出力する情報システムについて説明する。ここで、空間とは、現実の場所、領域でも良いし、仮想的な空間でも良い。取得空間とは、情報を取得する空間である。取得空間は、楽器が演奏される空間、演劇が行われる空間等、情報が生成される空間であることが好適である。また、再現空間は、出力される情報である再現情報が取得される空間であり、取得空間とは異なる空間であり、仮想的な空間でも良い。再現情報とは、例えば、情報システムの構成者(人)が、再現したいと考える情報である。また、出力空間とは、情報が出力される空間であり、再現情報を視聴する空間の場合には、視聴空間と言っても良い。
図1は、本実施の形態における情報システム1の概念図である。情報システム1は、1以上の情報取得装置11、情報再現装置12、および1以上の情報出力装置13を備える。
図2は、本実施の形態における情報システム1のブロック図である。
情報取得装置11は、情報取得部111、取得情報送信部112、第二再現情報受付部113、および第二再現情報出力部114を備える。なお、情報取得装置11は、第二再現情報受付部113、および第二再現情報出力部114を具備しない場合もあり得る。
情報再現装置12は、再現元情報格納部121、取得情報受信部122、再現情報取得部123、再現情報送出部124、および取得情報出力部125を備える。なお、情報再現装置12は、再現元情報格納部121を具備しない場合もあり得る。
再現情報取得部123は、例えば、情報合成手段1231、および再現情報構成手段1232を備える。なお、再現情報取得部123は、他の構成でも良い。
情報出力装置13は、第一再現情報受付部131、および第一再現情報出力部132を備える。
情報取得装置11を構成する情報取得部111は、情報を取得する。ここで、情報取得部111が取得する情報は、音情報、映像情報、トリガ情報、またはこれらの組み合わせの情報などである。音情報は、例えば、音声、音楽、演奏情報、効果音などである。映像情報は、静止画でも動画でも良い。トリガ情報とは、楽器の演奏内容を示す情報であり、例えば、音識別子とタイミング識別子の集合とからなる情報である。トリガ情報は、さらに楽器識別子を有しても良い。情報取得部111は、マイク、カメラ、ビデオカメラ、楽器の演奏信号を取得する装置などの1以上の組み合わせにより実現され得る。
取得情報送信部112は、情報取得部111が取得した情報を情報再現装置12に送信する。取得情報送信部112は、情報の送信先である情報再現装置12の送信先情報(IPアドレス等)を予め保持している。取得情報送信部112は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
第二再現情報受付部113は、情報再現装置12から再現情報を受信する。再現情報は、情報再現装置12が構成した情報であり、その詳細については、後述する。第二再現情報受付部113は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
第二再現情報出力部114は、第二再現情報受付部113が受信した再現情報を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。第二再現情報出力部114は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。第二再現情報出力部114は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
情報再現装置12を構成する再現元情報格納部121は、再現情報を構成するための情報である再現元情報を格納し得る。再現元情報は、例えば、ルックアップテーブル、映像情報、音情報、これらの組み合わせ等である。
ルックアップテーブルとは、1または2以上の対応情報を有する。対応情報は、1以上の第一の情報(画像や音情報など)の全部または一部分と、1以上の第二の情報(画像や音情報など)の全部または一部分との対応を取るための情報である。ルックアップテーブルが有する対応情報が一つの場合、かかる対応情報は、例えば、情報(画像や音情報など)を変換する演算式や、情報を変換する演算式に与える1以上のパラメータ群である。対応情報は、例えば、時空間ブロックの画素値の中央値を算出する演算式などでも良い。
また、ルックアップテーブルに対応情報が2以上含まれる場合、対応情報は、情報の特徴量の集合である特徴量ベクトルに対応付けられていることは好適である。
前記第二の画像とは、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などのうちの1以上の属性を、前記第一の画像よりもより感じる画像である。なお、属性は画像によって異なる。なお、質感とは、材質感、光沢感、透明感、ふんわり感、しっとり感など、画像に含まれる対象の質感である。また、遠近感とは、解像感、立体感、奥行き感、空気感などとも言える。
前記第二の情報とは、例えば、1以上の第一の情報と異なる環境で取得され得る1以上の情報である。つまり、かかる場合、例えば、1以上の第一の情報と、1以上の第二の情報は、情報を取得する環境が異なる。異なる環境とは、例えば、都市部と郊外(田舎と言っても良い。)である。かかる場合、第一の情報は、雑音の多い都市部の路上で一の曲を演奏した音楽であり、第二の情報は、雑音がほとんどなく、例えば、鳥のさえずりが聞こえるような環境、または1/fのゆらぎの風が吹いているような環境で、前記一の曲を演奏した音楽である。
また、前記第二の情報とは、例えば、1以上の第一の画像と異なる他の環境で撮影され得る1以上の画像である。なお、他環境とは、一の環境とは異なる環境であり、一の環境より目的に合致した画像を撮影できる環境である。他環境とは、例えば、以下の(1)から(9)のような環境である。(1)一の環境より照明(光源)の光量が多い環境、(2)一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、(3)一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、(4)一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、(5)一の環境と照明の色が異なる環境、(6)一の環境と異なる天候の環境、(7)一の環境と異なる温度や湿度の環境、(8)一の環境と異なる被写界深度の環境、(9)一の環境と異なるシャッター速度の環境などである。つまり、かかる場合、一の環境と他環境とでは、例えば、光量、光源の位置、光源の色、カメラの位置、カメラの設定などの撮影環境が異なる。また、環境とは、通常、撮影環境であるが、画像を取得する環境に関するものであれば何でも良い。
再現元情報格納部121は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。再現元情報格納部121に再現元情報が記憶される過程は問わない。例えば、記録媒体を介して再現元情報が再現元情報格納部121で記憶されるようになってもよく、通信回線等を介して送信された再現元情報が再現元情報格納部121で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された再現元情報が再現元情報格納部121で記憶されるようになってもよい。
取得情報受信部122は、1以上の各情報取得装置11から1以上の情報を受信する。取得情報受信部122は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
再現情報取得部123は、取得情報受信部122が受信した1以上の情報と、再現元情報とを用いて、再現情報を取得する。再現情報取得部123は、例えば、1または2以上の対応情報のうちのいずれかの対応情報を用いて、取得情報受信部122が受信した1以上の情報の全部または一部分に対応する1以上の第二の情報の全部または一部分を取得し、取得した1以上の第二の情報の全部または一部分から再現情報を取得する。なお、かかる場合、再現元情報はルックアップデーブルである。再現情報取得部123は、通常、MPUやメモリ等から実現され得る。再現情報取得部123の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
また、再現情報取得部123は、後述する取得情報出力部125が出力した2以上の情報を有する再現情報を取得しても良い。かかる場合、再現情報取得部123は、例えば、マイクとそのドライバーソフトにより実現され得る。
再現情報取得部123を構成する情報合成手段1231は、取得情報受信部122が受信した2以上の情報を合成し、合成情報を取得する。なお、2以上の情報の合成とは、例えば、以下の(1)から(3)等の処理である。(1)2以上の情報がすべて画像である場合、2以上の画像を重ね合わせる処理、2以上の画像の各画像のα値を変更した後に2以上の画像を重ね合わせる処理、2以上の画像から特定のオブジェクト(例えば、人や顔)を認識して抽出し、抽出したオブジェクトを含む画像を構成する処理などである。(2)2以上の情報がすべて音情報である場合、タイミングを合わせて合成する処理等である。(3)2以上の情報が異なる場合、2以上の情報を重畳したり、タイミングを合わせてマルチメディア情報を構成したりする処理等である。
再現情報構成手段1232は、情報合成手段1231が取得した合成情報と、再現元情報とを用いて、再現情報を構成する。
再現情報送出部124は、再現情報取得部123が取得した再現情報を送出する。再現情報送出部124は、再現情報取得部123が取得した再現情報を、1以上の情報出力装置13に送信する。再現情報送出部124は、再現情報取得部123が取得した再現情報を、1以上の情報取得装置11および1以上の情報出力装置13に送信しても良い。再現情報送出部124は、再現情報の送信先を特定する情報(例えば、各装置のIPアドレス等)を保持している、とする。再現情報送出部124は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。また、再現情報送出部124は、再現情報取得部123が取得した再現情報を、1以上の記録媒体(図示しない)に書き込んでも良い。つまり、送出とは、送信、記録媒体への蓄積、他の装置(通常、出力装置)への引き渡し等を含む概念である。
取得情報出力部125は、取得情報受信部122が受信した2以上の情報を出力する。ここでの出力とは、例えば、音出力である。取得情報出力部125は、例えば、スピーカー等により、実現され得る。
情報出力装置13を構成する第一再現情報受付部131は、情報再現装置12から再現情報を受信する。第一再現情報受付部131は、情報再現装置12で取得された再現情報が記録された記録媒体から、再現情報を読み出しても良い。第一再現情報受付部131は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。また、受信とは、前記記録媒体からの読み出しも含む。
第一再現情報出力部132は、第一再現情報受付部131が受信した再現情報を出力する。第一再現情報出力部132は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。第一再現情報出力部132は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、情報システム1の動作について説明する。まず、図3のフローチャートを用いて、情報取得装置11の動作について説明する。
(ステップS301)情報取得部111は、情報を取得する。
(ステップS302)取得情報送信部112は、ステップS301で取得された情報を情報再現装置12に送信する。
(ステップS303)第二再現情報受付部113は、情報再現装置12から再現情報を受信したか否かを判断する。再現情報を受信すればステップS304に行き、再現情報を受信しなければステップS301に戻る。なお、ここで、再現情報を受信しない場合、受信するまでWAITしても良い。
(ステップS304)第二再現情報出力部114は、ステップS303で受信された再現情報を出力する。ステップS301に戻る。
なお、図3のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、図4のフローチャートを用いて、情報再現装置12の動作について説明する。
(ステップS401)取得情報受信部122は、すべての情報取得装置11から情報を受信したか否かを判断する。すべての情報取得装置11から情報を受信すればステップS402に行き、受信しなければステップS401に戻る。
(ステップS402)再現情報取得部123は、再現元情報格納部121から再現元情報を読み出す。
(ステップS403)再現情報取得部123は、ステップS402で読み出した再現元情報と、ステップS401で受信された1以上の情報とを用いて、再現情報を取得する。再現情報を取得する再現情報取得処理について、図5、図6、および図7のフローチャートを用いて説明する。
(ステップS404)再現情報送出部124は、ステップS403で構成された再現情報を1以上の情報取得装置11および1以上の情報出力装置13に送出する。ステップS401に戻る。
なお、図4のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ステップS403の再現情報取得処理の第一の例について、図5のフローチャートを用いて説明する。
(ステップS501)再現情報取得部123は、カウンタiに1を代入する。
(ステップS502)再現情報取得部123は、受信された情報の中に、i番目の情報が存在するか否かを判断する。i番目の情報が存在すればステップS503に行き、i番目の情報が存在しなければステップS508に行く。なお、i番目の情報とは、i番目の情報取得装置11から送信された情報である。
(ステップS503)再現情報取得部123は、i番目の情報の1以上の特徴量を抽出する。なお、情報が画像(動画、静止画の両方を含む)の場合、特徴量は、例えば、1以上の画像の一部の特徴量である近傍特徴量と、1以上の画像全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティ、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ(DR)、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、1または2以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、画像全体の編集に関する情報(PinPであるか否か、PoutPであるか否か、テロップの有無など)、1以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果(顔など)などである。ここで、コンテンツ情報とは、例えば、電子番組表(EPG)が有する番組のジャンル、タイトル、出演者名等である。なお、1以上の特徴量を、適宜、特徴量ベクトルとも言う。
また、情報が音情報(音楽、音声など)の場合、特徴量は、例えば、メル周波数ケプストラム係数 (mel-frequency cepstral coefficient; MFCC) に基づく特徴量、楽音特徴量(音高、強度、発音時刻、音価など)である。
なお、画像や音情報から1以上の特徴量を抽出する技術は公知技術であるので、詳細な説明を省略する。
(ステップS504)再現情報取得部123は、ステップS503で取得した1以上の特徴量(特徴量ベクトル)に最も距離が近い特徴量ベクトルに対応する対応情報を、ルックアップデーブルから取得する。
(ステップS505)再現情報取得部123は、ステップS504で取得した対応情報(例えば、演算式)をi番目の情報に適用し、新しい情報を生成する。
(ステップS506)再現情報取得部123は、ステップS505で生成した情報を、図示しないバッファに一時蓄積する。
(ステップS507)再現情報取得部123は、カウンタiを1、インクリメントする。ステップS502に戻る。
(ステップS508)再現情報取得部123は、バッファに蓄積されている1以上の情報から再現情報を構成する。バッファに蓄積されている情報が2以上の場合、再現情報取得部123は、例えば、2以上の情報を合成し、再現情報を取得する。また、バッファに蓄積されている情報が一つの場合、再現情報取得部123は、バッファに蓄積されている情報を再現情報として取得する。上位処理にリターンする。
次に、ステップS503の再現情報取得処理の第二の例について、図6のフローチャートを用いて説明する。
(ステップS601)再現情報取得部123は、再現元情報格納部121から再現元情報(ルックアップデーブル)を読み出す。
(ステップS602)再現情報取得部123は、n(n>=1)の情報を合成する。なお、「n=1」の場合、再現情報取得部123は、その情報を取得するだけである。また、nの情報とは、n個の情報取得装置11から受信された情報である。
(ステップS603)再現情報取得部123は、ステップS602で取得した情報の1以上の特徴量を取得する。
(ステップS604)再現情報取得部123は、ステップS603で取得した1以上の特徴量(特徴量ベクトル)に最も距離が近い特徴量ベクトルに対応する対応情報を、ルックアップデーブルから取得する。
(ステップS605)再現情報取得部123は、ステップS604で取得した対応情報(例えば、演算式)を、ステップS602で取得した情報に適用し、再現情報を構成する。上位処理にリターンする。
次に、ステップS603の再現情報取得処理の第三の例について、図7のフローチャートを用いて説明する。
(ステップS701)再現情報取得部123は、再現元情報格納部121から再現元情報(例えば、映像)を読み出す。
(ステップS702)再現情報取得部123は、n(n>=1)の情報を合成する。なお、「n=1」の場合、再現情報取得部123は、その情報を取得するだけである。
(ステップS703)再現情報取得部123は、ステップS701で読み出した再現元情報と、ステップS702で取得した情報とからなる再現情報を構成する。上位処理にリターンする。
なお、図7のフローチャートにおいて、1以上の情報取得装置11から送信される情報が同一種類の情報(例えば、音情報)であり、再現元情報が情報取得装置11から送信される情報とは異なる種類の情報(例えば、映像情報)である場合に有効である。
また、再現情報取得処理は、図5から図7のフローチャートを用いて説明した処理に限られない。再現情報取得処理は、取得情報出力部125が出力した2以上の情報を、マイクにより集音する処理等でも良い。
以下、本実施の形態における情報システム1の具体的な動作の例について説明する。情報システム1の概念図は図1である。以下、4つの具体例について説明する。
(具体例1)
今、取得空間は3つであり、それぞれ遠隔地である。また、第一の取得空間では、演奏者1がピアノを演奏し、第一の情報取得装置11は、演奏されたピアノの音楽の音情報を取得するものとする。また、第二の取得空間では、演奏者2がバイオリンを演奏し、第二の情報取得装置11は、演奏されたバイオリンの音楽の音情報を取得するものとする。さらに、第三の取得空間では、演奏者3がトランペットを演奏し、第二の情報取得装置11は、演奏されたトランペットの音楽の音情報を取得するものとする。
また、情報再現装置12の再現元情報格納部121は、音楽情報(音情報の一種)を変換するルックアップテーブルを格納している。このルックアップテーブルは、ある空間で音楽を演奏しているように音楽情報を変換する対応情報の集合である。つまり、ルックアップテーブルを構成する対応情報は、各楽器の低音がより反響する音になるように音情報を変換するための演算式や、演算式に与えるパラメータ群である。ルックアップテーブルは、対応情報と特徴量ベクトルの組を2以上格納している、とする。特徴量ベクトルは、例えば、特徴量「音量」と特徴量「周波数」とを有する。
また、出力空間は3つであり、3人の聴者が3人の演奏が合成された演奏を聴くもの、とする。
かかる状況において、情報再現装置12から、3つの情報取得装置11に、演奏開始のトリガを送信し、情報取得装置11はトリガを受信し、演奏開始の合図を各取得空間に出力する。
そして、演奏者1、演奏者2、および演奏者3は、それぞれ担当の楽器を演奏する。そして、各取得空間の情報取得装置11の情報取得部111は、演奏により発せられた音情報を取得する。次に、各取得空間の情報取得装置11の取得情報送信部112は、音情報を情報再現装置12に送信する。
次に、情報再現装置12の取得情報受信部122は、3つの情報取得装置11から音情報を受信する。
次に、再現情報取得部123は、第一の情報取得装置11から受信した音情報を処理単位(例えば、0.1msの音情報)に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第一の新音情報」という。)を生成する。
また、再現情報取得部123は、第二の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第二の新音情報」という。)を生成する。
次に、再現情報取得部123は、第三の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第三の新音情報」という。)を生成する。
次に、再現情報取得部123は、第一の新音情報と第二の新音情報と第三の新音情報とを、タイミングの同期をとって、合成する。かかる合成により取得された音情報が再現情報である。
次に、情報再現装置12の再現情報送出部124は、取得された再現情報を、3つの情報取得装置11、および3つの情報出力装置13に送出する。
そして、3つの各情報取得装置11の第二再現情報受付部113は、再現情報を受信する。次に、第二再現情報出力部114は、受信された再現情報を出力する。かかる処理により、聴者が聴く音楽を、各々遠隔に居る3人の演奏者が聞きながら、演奏をすることができる。
また、3つの各情報出力装置13の第一再現情報受付部131は、再現情報を受信する。次に、第一再現情報出力部132は、受信された再現情報を出力する。かかる処理により、聴者は、単に合成された音楽情報ではなく、合成された音楽情報にさらに価値が加えられた音楽情報を聴くことができる。
そして、演奏が終了するまで、または、終了の指示が、情報取得装置11または情報再現装置12等から入力されるまで、上記の処理が繰り返される。
(具体例2)
具体例2において、具体例1と比較して、情報再現装置12の再現元情報格納部121には、ルックアップテーブルに加えて、再現空間で撮影した映像が格納されている。そして、再現情報には、合成され、さらに価値が高まった音楽情報に加えて、映像が含まれる。なお、取得空間と出力空間の数は、具体例1と同じである。
かかる状況において、情報再現装置12から、3つの情報取得装置11に、演奏開始のトリガを送信し、情報取得装置11はトリガを受信し、演奏開始の合図を各取得空間に出力する。
そして、演奏者1、演奏者2、および演奏者3は、それぞれ担当の楽器を演奏する。そして、各取得空間の情報取得装置11の情報取得部111は、演奏により発せられた音情報を取得する。次に、各取得空間の情報取得装置11の取得情報送信部112は、音情報を情報再現装置12に送信する。
次に、情報再現装置12の取得情報受信部122は、3つの情報取得装置11から音情報を受信する。
次に、再現情報取得部123は、第一の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第一の新音情報」という。)を生成する。
また、再現情報取得部123は、第二の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第二の新音情報」という。)を生成する。
次に、再現情報取得部123は、第三の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第三の新音情報」という。)を生成する。
次に、再現情報取得部123は、第一の新音情報と第二の新音情報と第三の新音情報とを、タイミングの同期をとって、合成する。かかる合成により取得された音情報が再現情報を構成する。
次に、再現情報取得部123は、再現元情報格納部121に格納されている映像中の一部の映像を取得する。なお、この一部の映像は、合成により取得された音情報と同様の出力時間を有する映像であり、最近に取得された映像の次の映像である。
そして、再現情報取得部123は、合成により取得された音情報と取得した映像とを有する再現情報を構成する。
次に、情報再現装置12の再現情報送出部124は、取得された再現情報を、3つの情報取得装置11、および3つの情報出力装置13に送出する。
そして、3つの各情報取得装置11の第二再現情報受付部113は、再現情報を受信する。次に、第二再現情報出力部114は、受信された再現情報を構成する音情報をスピーカーから出力する。また、第二再現情報出力部114は、受信された再現情報を構成する映像をディスプレイに出力する。かかる処理により、聴者が聴く音楽を、各々遠隔に居る3人の演奏者が聞きながら、かつ、再現空間の雰囲気を感じながら演奏をすることができる。
また、3つの各情報出力装置13の第一再現情報受付部131は、再現情報を受信する。次に、第一再現情報出力部132は、受信された再現情報を構成する音情報をスピーカーから出力する。また、第一再現情報出力部132は、受信された再現情報を構成する映像をディスプレイに出力する。かかる処理により、視聴者は、単に合成された音楽情報ではなく、合成された音楽情報にさらに価値が加えられた音楽情報を聴くことができる。また、視聴者は、再現空間の雰囲気を感じながら演奏を聴くことができる。
そして、演奏が終了するまで、または、終了の指示が、情報取得装置11または情報再現装置12等から入力されるまで、上記の処理が繰り返される。
(具体例3)
具体例3において、各取得空間の情報取得装置11の情報取得部111が取得する情報は、トリガ情報である。ここで、トリガ情報は、楽器の音の大きさ、音の識別情報、音を出力したタイミング情報を有する。また、トリガ情報は、楽器の識別子を有しても良い。
また、情報再現装置12の再現元情報格納部121には、再現空間で撮影した映像が格納されている。
なお、具体例3において、取得空間と出力空間の数は、具体例1と同じである。
かかる状況において、情報再現装置12から、3つの情報取得装置11に、演奏開始のトリガを送信し、情報取得装置11はトリガを受信し、演奏開始の合図を各取得空間に出力する。
そして、演奏者1、演奏者2、および演奏者3は、それぞれ担当の楽器を演奏する。そして、各取得空間の情報取得装置11の情報取得部111は、演奏により発せられた音情報を取得し、当該音情報をトリガ情報に変換する。なお、情報取得部111は、楽器と通信可能であり、直接、楽器からトリガ情報を取得しても良い。次に、各取得空間の情報取得装置11の取得情報送信部112は、トリガ情報を情報再現装置12に送信する。
次に、情報再現装置12の取得情報受信部122は、3つの情報取得装置11からトリガ情報を受信する。
次に、再現情報取得部123は、3つの各情報取得装置11から受信したトリガ情報を音情報に変換し、第一の音情報と第二の音情報と第三の音情報とを得る。
次に、再現情報取得部123は、第一の音情報と第二の音情報と第三の音情報とを、タイミングの同期をとって、合成する。かかる合成により取得された音情報が再現情報を構成する。
次に、再現情報取得部123は、再現元情報格納部121に格納されている映像中の一部の映像を取得する。なお、この一部の映像は、合成により取得された音情報と同様の出力時間を有する映像であり、最近に取得された映像の次の映像である。
そして、再現情報取得部123は、合成により取得された音情報と取得した映像とを有する再現情報を構成する。
次に、情報再現装置12の再現情報送出部124は、取得された再現情報を、3つの情報取得装置11、および3つの情報出力装置13に送出する。
そして、3つの各情報取得装置11の第二再現情報受付部113は、再現情報を受信する。次に、第二再現情報出力部114は、受信された再現情報を構成する音情報をスピーカーから出力する。また、第二再現情報出力部114は、受信された再現情報を構成する映像をディスプレイに出力する。かかる処理により、聴者が聴く音楽を、各々遠隔に居る3人の演奏者が聞きながら、かつ、再現空間の雰囲気を感じながら演奏をすることができる。
また、3つの各情報出力装置13の第一再現情報受付部131は、再現情報を受信する。次に、第一再現情報出力部132は、受信された再現情報を構成する音情報をスピーカーから出力する。また、第一再現情報出力部132は、受信された再現情報を構成する映像をディスプレイに出力する。かかる処理により、視聴者は、単に合成された音楽情報ではなく、合成された音楽情報にさらに価値が加えられた音楽情報を聴くことができる。また、視聴者は、再現空間の雰囲気を感じながら演奏を聴くことができる。
そして、演奏が終了するまで、または、終了の指示が、情報取得装置11または情報再現装置12等から入力されるまで、上記の処理が繰り返される。
(具体例4)
具体例4において、具体例3と比較して、情報再現装置12の再現元情報格納部121には、再現空間で撮影した映像に加えて、ルックアップテーブルが格納されている。このルックアップテーブルには、トリガ情報と取得される音情報との対応を示す対応情報が2以上、格納されている。対応情報は、トリガ情報と取得される音情報の組でも良いし、トリガ情報と、音情報を生成するための演算式でも良い。また、ルックアップテーブルは、2以上の対応情報と、各対応情報に対応するトリガ情報とを有しても良い。なお、対応情報は、音情報の品質を向上する情報である、とする。また、取得空間と出力空間の数は、具体例1と同じである。
かかる状況において、情報再現装置12から、3つの情報取得装置11に、演奏開始のトリガを送信し、情報取得装置11はトリガを受信し、演奏開始の合図を各取得空間に出力する。
そして、演奏者1、演奏者2、および演奏者3は、それぞれ担当の楽器を演奏する。そして、各取得空間の情報取得装置11の情報取得部111は、演奏により発せられた音情報を取得し、当該音情報をトリガ情報に変換する。なお、情報取得部111は、楽器と通信可能であり、直接、楽器からトリガ情報を取得しても良い。次に、各取得空間の情報取得装置11の取得情報送信部112は、トリガ情報を情報再現装置12に送信する。
次に、情報再現装置12の取得情報受信部122は、3つの情報取得装置11からトリガ情報を受信する。
次に、再現情報取得部123は、3つの各情報取得装置11から受信した各トリガ情報をキーとしてルックアップテーブルを検索し、各トリガ情報に対応する対応情報を取得する。そして、再現情報取得部123は、対応情報を用いて、各情報取得装置11からのトリガ情報に対応する音情報を取得する。そして、再現情報取得部123は、第一の音情報と第二の音情報と第三の音情報とを得た、とする。
次に、再現情報取得部123は、第一の音情報と第二の音情報と第三の音情報とを、タイミングの同期をとって、合成する。かかる合成により取得された音情報が再現情報である。
次に、情報再現装置12の再現情報送出部124は、取得された再現情報を、3つの情報取得装置11、および3つの情報出力装置13に送出する。
そして、3つの各情報取得装置11の第二再現情報受付部113は、再現情報を受信する。次に、第二再現情報出力部114は、受信された再現情報を構成する音情報をスピーカーから出力する。かかる処理により、聴者が聴く音楽を、各々遠隔に居る3人の演奏者が聞きながら演奏をすることができる。
また、3つの各情報出力装置13の第一再現情報受付部131は、再現情報を受信する。次に、第一再現情報出力部132は、受信された再現情報を構成する音情報をスピーカーから出力する。かかる処理により、視聴者は、単に合成された音楽情報ではなく、合成された音楽情報にさらに価値が加えられた音楽情報を聴くことができる。
そして、演奏が終了するまで、または、終了の指示が、情報取得装置11または情報再現装置12等から入力されるまで、上記の処理が繰り返される。
以上、本実施の形態によれば、1以上の遠隔地から受信した情報に、さらに価値を加えた情報を出力できる。
また、本実施の形態によれば、取得空間において、出力空間において出力される再現情報と同様の情報が出力できる。その結果、情報を作り出す人(例えば、演奏者)は、最終的に視聴者に対して出力される情報を視聴しながら、情報を作り出す(例えば、演奏する)ことができる。
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報再現装置12を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に再現情報を構成するための情報である再現元情報を格納しており、コンピュータを、前記1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、前記取得情報受信部が受信した1以上の情報と、前記再現元情報とを用いて、再現情報を取得する再現情報取得部と、前記再現情報取得部が取得した再現情報を、前記1以上の情報出力装置に送出する再現情報送出部として機能させるためのプログラム、である。
また、上記プログラムにおいて、前記再現情報送出部は、前記再現情報取得部が取得した再現情報を、前記1以上の情報取得装置および前記1以上の情報出力装置に送出するものとして、コンピュータを機能させることが好適である。
また、上記プログラムにおいて、前記再現情報取得部は、前記取得情報受信部が受信した2以上の情報を合成し、合成情報を取得する情報合成手段と、前記情報合成手段が取得した合成情報と、前記再現元情報とを用いて、再現情報を構成する再現情報構成手段とを具備するものとして、コンピュータを機能させることが好適である。
また、上記プログラムにおいて、前記再現情報取得部は、前記取得情報受信部が受信した1以上の各トリガ情報を出力可能な情報を変換し、当該1以上の変換した情報と、前記再現元情報とを用いて、再現情報を構成するものとして、コンピュータを機能させることが好適である。
また、上記プログラムにおいて、前記再現元情報は、1以上の受信された第一の情報の全部または一部分と、前記第一の情報と同一の対象についての情報である第二の情報の全部または一部分との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルであり、前記再現情報取得部は、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記取得情報受信部が受信した1以上の情報の全部または一部分に対応する1以上の第二の情報の全部または一部分を取得し、当該取得した1以上の第二の情報の全部または一部分から再現情報を取得するものとして、コンピュータを機能させることが好適である。
(実施の形態2)
本実施の形態において、2以上の情報再現装置が存在し、それぞれの情報再現装置で取得された2以上の情報が、一の情報再現装置で混合されて、一の再現情報が構成される取得空間および視聴空間で提示される情報システムについて説明する。
図8は、本実施の形態における情報システム2の概念図である。情報システム1は、2以上の情報取得装置11、1以上の情報再現装置21、一の情報集約装置22、および1以上の情報出力装置13を備える。なお、情報集約装置22は、1以上の情報再現装置21により構成された情報を受信し、出力される再現情報を構成する装置である。
図9は、本実施の形態における情報システム2のブロック図である。
情報再現装置21は、再現元情報格納部121、取得情報受信部122、再現情報取得部123、一時再現情報送出部214および取得情報出力部125を備える。
情報集約装置22は、再現元情報格納部121、取得情報受信部122、再現情報収集部221、再現情報取得部222、再現情報送出部124および取得情報出力部125を備える。なお、情報集約装置22は、再現元情報格納部121を具備しない場合もあり得る。また、ここでの取得情報出力部125は、取得情報受信部122が受信した情報、再現情報収集部221が受信した再現情報を出力する。
情報再現装置21を構成する一時再現情報送出部214は、再現情報取得部123が取得した再現情報を一の情報集約装置22に送信する。一時再現情報送出部214は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
情報集約装置22を構成する再現情報収集部221は、1以上の情報再現装置21から1以上の再現情報を受信する。再現情報収集部221は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
再現情報取得部222は、取得情報受信部122が受信した1以上の情報と、再現元情報格納部121の再現元情報のうちの1種類以上の情報と、再現情報収集部221が受信した1以上の再現情報とを用いて、出力される再現情報を構成する。再現情報取得部222は、取得情報出力部125が出力した2以上の情報を有する再現情報を取得し、当該取得した再現情報と、再現情報収集部221が受信した1以上の再現情報とを用いて、出力される再現情報を構成しても良い。
再現情報取得部222は、例えば、取得情報受信部122が受信した1以上の情報と、再現情報収集部221が受信した1以上の再現情報とを合成し、出力される再現情報を構成する。なお、取得情報受信部122が受信した1以上の情報と、再現情報収集部221が受信した1以上の再現情報とは同種類の情報(例えば、音楽情報)であっても良いし、異種類の情報(例えば、映像と音楽情報)であっても良い。同種類の情報を構成する方法は公知技術が利用できる。また、異種類の情報(例えば、映像と音楽情報)を合成することは、重畳したり、同期をとったマルチメディアデータを構成したりすること等であり、公知技術が利用できる。
また、再現情報取得部222は、例えば、取得情報受信部122が受信した1以上の情報と再現元情報格納部121の再現元情報とを用いて再現情報を構成し、当該構成した再現情報と、受信した1以上の再現情報とを合成しても良い。取得情報受信部122が受信した1以上の情報と再現元情報とを用いて再現情報を構成する処理は上述した。ここで、2以上の再現情報は、(1)同一種の一種類の情報である場合、(2)同一種の2種類以上の情報である場合、(3)異種類であり、各再現情報は一種類の情報である場合、(4)異種類であり、2種類以上の情報を含む再現情報が存在する場合があり得る。(1)の場合は、再現情報取得部222は、同一種の2以上の再現情報を合成する。(2)の場合は、再現情報取得部222は、各種類の情報ごとに、2以上の各再現情報が有する各種類の情報を合成し、取得した2種類以上の情報を重畳したり、同期をとったマルチメディアデータを構成したりすること等により、出力される再現情報を構成する。(3)の場合は、再現情報取得部222は、2種類以上の再現情報を重畳したり、2種類以上の再現情報から同期をとったマルチメディアデータを構成したりすること等により、出力される再現情報を構成する。さらに(4)の場合は、再現情報取得部222は、同一の種類の情報ごとに、同一の種類の情報を各再現情報から取得し、当該取得した情報を合成する。そして、合成して取得した2種類以上の情報を重畳したり、同期をとったマルチメディアデータを構成したりすること等により、出力される再現情報を構成する。
再現情報取得部222は、通常、MPUやメモリ等から実現され得る。再現情報取得部222の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、情報システム2の動作について説明する。まず、情報再現装置21の動作について説明する。情報再現装置21と情報再現装置12との相違は、再現情報を送信する先の相違である。したがって、情報再現装置21の動作は、図4と概ね同様であり、ステップS404において、一時再現情報送出部214が、再現情報を情報集約装置22に送信する点が異なる。
次に、情報集約装置22の動作について、図10のフローチャートを用いて説明する。図10のフローチャートにおいて、図4のフローチャートと同一の処理について説明を省略する。
(ステップS1001)取得情報受信部122は、1以上の情報取得装置11から、情報を受信したか否かを判断する。情報を受信すればステップS1002に行き、受信しなければステップS1001に戻る。なお、取得情報受信部122が受信する情報を送信する1以上の情報取得装置11は、情報集約装置22に対して情報を送信することが予め決められている装置である。また、各情報再現装置21が受信する情報を送信する1以上の情報取得装置11も、予め決められている。
(ステップS1002)再現情報収集部221は、1以上のすべての情報再現装置21から再現情報を受信したか否かを判断する。再現情報を受信すればステップS1003に行き、受信しなければステップS1002に戻る。
(ステップS1003)再現情報取得部222は、2以上の再現情報を合成する。2以上の再現情報を合成する処理について、図11のフローチャートを用いて説明する。なお、2以上の再現情報とは、ステップS403で構成した再現情報と、ステップS1002で受信した1以上の再現情報である。
(ステップS1004)再現情報取得部222は、ステップS1003で構成された再現情報を、2以上の情報取得装置11および1以上の情報出力装置13に送信する。ステップS1001に戻る。
なお、図10のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、ステップS1003の再現情報合成処理について、図11のフローチャートを用いて説明する。
(ステップS1101)再現情報取得部222は、カウンタiに1を代入する。
(ステップS1102)再現情報取得部222は、2以上の再現情報のいずれかに、i番目の種類の情報が存在するか否かを判断する。i番目の種類の情報が存在すればステップS1103に行き、存在しなければステップS1111に行く。
(ステップS1103)再現情報取得部222は、カウンタjに1を代入する。
(ステップS1104)再現情報取得部222は、j番目の再現情報が存在するか否かを判断する。j番目の再現情報が存在すればステップS1105に行き、存在しなければステップS1109に行く。
(ステップS1105)再現情報取得部222は、j番目の再現情報からi番目の種類の情報を取得する。
(ステップS1106)再現情報取得部222は、i番目の種類の情報が取得できたか否かを判断する。i番目の種類の情報が取得できればステップS1107に行き、i番目の種類の情報が取得できなければステップS1108に行く。
(ステップS1107)再現情報取得部222は、取得したi番目の種類の情報を、図示しないバッファに一時蓄積する。
(ステップS1108)再現情報取得部222は、カウンタjを1、インクリメントする。ステップS1104に戻る。
(ステップS1109)再現情報取得部222は、図示しないバッファ内のすべてのi番目の種類の情報を合成する。なお、合成方法は、情報の種類や内容によって異なることは好適である。また、本ステップで、合成により取得された情報を合成情報という。
(ステップS1110)再現情報取得部222は、カウンタiを1、インクリメントする。ステップS1102に戻る。
(ステップS1111)再現情報取得部222は、すべての種類の合成情報から、出力する再現情報を構成する。上位処理にリターンする。
以下、本実施の形態における情報システム2の具体的な動作について説明する。情報システム2の概念図は図8である。
今、取得空間は3つであり、それぞれ遠隔地である。また、第一の取得空間では、演奏者1がピアノを演奏し、第一の情報取得装置11は、演奏されたピアノの音楽の音情報を取得するものとする。また、第二の取得空間では、演奏者2がバイオリンを演奏し、第二の情報取得装置11は、演奏されたバイオリンの音楽の音情報を取得するものとする。さらに、第三の取得空間では、演奏者3がトランペットを演奏し、第三の情報取得装置11は、演奏されたトランペットの音楽の音情報を取得するものとする。
また、情報再現装置21には、第一の情報取得装置11と、第二の情報取得装置11から情報が送信される。そして、情報再現装置21の再現元情報格納部121は、ピアノとバイオリンの音楽情報(音情報の一種)を変換するルックアップテーブルを格納している。
また、情報集約装置22には、第三の情報取得装置11から情報が送信される、とする。そして、情報集約装置22の再現元情報格納部121は、トランペットの音楽情報(音情報の一種)を変換するルックアップテーブルと、再現空間で撮影した映像を格納している、とする。
また、出力空間は3つであり、3人の聴者が3人の演奏が合成された演奏を聴くもの、とする。
かかる状況において、例えば、情報集約装置22から、3つの情報取得装置11に、演奏開始のトリガを送信し、情報取得装置11はトリガを受信し、演奏開始の合図を各取得空間に出力する。
そして、演奏者1、演奏者2、および演奏者3は、それぞれ担当の楽器を演奏する。そして、各取得空間の情報取得装置11の情報取得部111は、演奏により発せられた音情報を取得する。次に、第一および第二の取得空間の情報取得装置11の取得情報送信部112は、音情報を情報再現装置21に送信する。また、第三の取得空間の情報取得装置11の取得情報送信部112は、音情報を情報集約装置22に送信する。
次に、情報再現装置21の取得情報受信部122は、第一および第二の情報取得装置11から音情報を受信する。また、情報集約装置22の取得情報受信部122は、第三の情報取得装置11から音情報を受信する。
次に、情報再現装置21の再現情報取得部123は、第一の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第一の新音情報」という。)を生成する。
また、情報再現装置21の再現情報取得部123は、第二の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、取得した対応情報を適用し、新しい音情報(「第二の新音情報」という。)を生成する。
次に、情報再現装置21の再現情報取得部123は、第一の新音情報と第二の新音情報とを、タイミングの同期をとって、合成する。かかる合成により取得された音情報が、情報集約装置22に送信される再現情報である。
次に、情報再現装置21の一時再現情報送出部214は、取得された再現情報を、情報集約装置22に送信する。
次に、情報集約装置22の再現情報収集部221は、情報再現装置21から再現情報を受信する。
次に、情報集約装置22の再現情報取得部222は、第三の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第三の新音情報」という。)を生成する。
次に、情報集約装置22の再現情報取得部222は、情報再現装置21から受信した再現情報(ピアノとバイオリンの音情報を合成した情報)と、第三の新音情報とを、タイミングの同期をとって合成し、合成音情報を取得する。なお、音情報の合成方法は公知技術である。
次に、情報集約装置22の再現情報取得部222は、再現元情報格納部121に格納されている映像中の一部の映像を取得する。なお、この一部の映像は、合成音情報と同様の出力時間を有する映像であり、最近に取得された映像の次の映像である。
そして、情報集約装置22の再現情報取得部222は、合成音情報と取得した映像とを有する再現情報を構成する。
次に、情報集約装置22の再現情報送出部124は、取得された再現情報を、3つの情報取得装置11、および3つの情報出力装置13に送信する。
そして、3つの各情報取得装置11の第二再現情報受付部113は、再現情報を受信する。次に、第二再現情報出力部114は、受信された再現情報を構成する音情報をスピーカーから出力する。また、第二再現情報出力部114は、受信された再現情報を構成する映像をディスプレイに出力する。かかる処理により、聴者が聴く音楽を、各々遠隔に居る3人の演奏者が聞きながら、かつ、再現空間の雰囲気を感じながら演奏をすることができる。
また、3つの各情報出力装置13の第一再現情報受付部131は、再現情報を受信する。次に、第一再現情報出力部132は、受信された再現情報を構成する音情報をスピーカーから出力する。また、第一再現情報出力部132は、受信された再現情報を構成する映像をディスプレイに出力する。かかる処理により、視聴者は、単に合成された音楽情報ではなく、合成された音楽情報にさらに価値が加えられた音楽情報を聴くことができる。また、視聴者は、再現空間の雰囲気を感じながら演奏を聴くことができる。
そして、演奏が終了するまで、または、終了の指示が、情報取得装置11、または情報再現装置21、または情報集約装置22等から入力されるまで、上記の処理が繰り返される。
以上、本実施の形態によれば、2以上の遠隔地から受信した情報を合成し、価値を加えた情報を出力する2以上の装置の情報を、さらに合成した情報を出力できる。
なお、本実施の形態の具体例において、情報取得装置11が取得する情報の種類や内容、再現元情報の種類や内容、情報の合成方法等は問わない。
さらに、本実施の形態における、情報集約装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、1以上の情報再現装置から1以上の再現情報を受信する再現情報収集部と、取得情報受信部が受信した1以上の情報と、再現情報収集部が受信した1以上の再現情報とを用いて、出力される再現情報を取得する再現情報取得部と、1以上の情報出力装置、または1以上の情報出力装置および2以上の情報取得装置に、再現情報取得部が構成した再現情報を送信する再現情報送出部として機能させるためのプログラム、である。
上記プログラムにおいて、記憶媒体に再現情報を構成するための情報である再現元情報を格納しており、再現情報取得部は、再現元情報と、取得情報受信部が受信した1以上の情報と、再現情報収集部が受信した1以上の再現情報とを用いて、出力される再現情報を構成するものとして、コンピュータを機能させるためのプログラムであることは好適である。
また、情報再現装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に再現情報を構成するための情報である再現元情報を格納しており、コンピュータを、1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、取得情報受信部が受信した1以上の情報と、再現元情報とを用いて、再現情報を取得する再現情報取得部と、再現情報取得部が構成した再現情報を、情報集約装置に送信する再現情報送出部として機能させるためのプログラム、である。
(実施の形態3)
本実施の形態において、2以上の情報再現装置から情報を受信し、当該情報を合成して、出力される再現情報を構成する情報合成装置を有する情報システムについて説明する。
図12は、本実施の形態における情報システム3の概念図である。情報システム3は、2以上の情報取得装置11、2以上の情報再現装置32、情報合成装置34、および1以上の情報出力装置13を備える。
図13は、本実施の形態における情報システム3のブロック図である。
情報再現装置32は、再現元情報格納部121、取得情報受信部122、再現情報取得部123、一時再現情報送出部324、および取得情報出力部125を備える。なお、情報再現装置32は、再現元情報格納部121を具備しない場合もあり得る。
情報合成装置34は、再現情報収集部341、再現情報合成部342、第三再現情報送出部343を備える。
情報再現装置32を構成する一時再現情報送出部324は、再現情報取得部123が構成した再現情報を情報合成装置34に送信する。一時再現情報送出部324は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
情報合成装置34を構成する再現情報収集部341は、2以上の各情報再現装置32から再現情報を受信する。再現情報収集部341は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
再現情報合成部342は、再現情報収集部341が受信した2以上の再現情報を合成し、出力される再現情報を構成する。再現情報の合成方法は、例えば、上記の図11を用いて説明した方法である。再現情報合成部342は、通常、MPUやメモリ等から実現され得る。再現情報合成部342の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
第三再現情報送出部343は、再現情報合成部342が構成した再現情報を、1以上の情報取得装置11および1以上の情報出力装置13に送出する。第三再現情報送出部343は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。また、第三再現情報送出部343から、1以上の情報出力装置13への送出は、1以上の記録媒体に書き込むことで行ってもよい。
次に、情報システム3の動作について説明する。まず、情報再現装置32の動作について説明する。情報再現装置32と情報再現装置12との相違は、再現情報を送信する先の相違である。したがって、情報再現装置32の動作は、図4と概ね同様であり、ステップS404において、一時再現情報送出部324が、再現情報を情報合成装置34に送信する点が異なる。
次に、情報合成装置34の動作について、図14のフローチャートを用いて説明する。図14のフローチャートにおいて、図10のフローチャートと異なるステップについてのみ説明する。
(ステップS1401)再現情報収集部341は、2以上の情報再現装置32から再現情報を受信したか否かを判断する。再現情報を受信すればステップS1003に行き、受信しなければステップS1401に戻る。
なお、図14のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
以下、本実施の形態における情報システム3の具体的な動作について説明する。情報システム3の概念図は、図12である。
今、取得空間は3つであり、それぞれ遠隔地である。また、第一の取得空間では、演奏者1がピアノを演奏し、第一の情報取得装置11は、演奏されたピアノの音楽の音情報を取得するものとする。また、第二の取得空間では、演奏者2がバイオリンを演奏し、第二の情報取得装置11は、演奏されたバイオリンの音楽の音情報を取得するものとする。さらに、第三の取得空間では、演奏者3がトランペットを演奏し、第三の情報取得装置11は、演奏されたトランペットの音楽の音情報を取得するものとする。
また、情報再現装置32は二つである、とする。そして、第一の情報再現装置32には、第一の情報取得装置11と、第二の情報取得装置11とから情報が送信される。そして、第一の情報再現装置32の再現元情報格納部121は、ピアノとバイオリンの音楽情報(音情報の一種)を変換するルックアップテーブルを格納している、とする。
また、第二の情報再現装置32には、第三の情報取得装置11から情報が送信される、とする。そして、第二の情報再現装置32の再現元情報格納部121は、トランペットの音楽情報(音情報の一種)を変換するルックアップテーブルと、再現空間で撮影した映像を格納している、とする。
また、出力空間は3つであり、3人の視聴者が3人の演奏が合成された演奏を聴き、再現空間で撮影した映像を視るもの、とする。
かかる状況において、例えば、情報合成装置34から、3つの情報取得装置11に、演奏開始のトリガを送信し、情報取得装置11はトリガを受信し、演奏開始の合図を各取得空間に出力する。
そして、演奏者1、演奏者2、および演奏者3は、それぞれ担当の楽器を演奏する。そして、各取得空間の情報取得装置11の情報取得部111は、演奏により発せられた音情報を取得する。次に、第一および第二の取得空間の情報取得装置11の取得情報送信部112は、音情報を第一の情報再現装置32に送信する。また、第三の取得空間の情報取得装置11の取得情報送信部112は、音情報を第二の情報再現装置32に送信する。
次に、第一の情報再現装置32の取得情報受信部122は、第一および第二の情報取得装置11から音情報を受信する。また、第二の情報再現装置32の取得情報受信部122は、第三の情報取得装置11から音情報を受信する。
次に、第一の情報再現装置32の再現情報取得部123は、第一の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第一の新音情報」という。)を生成する。
また、第一の情報再現装置32の再現情報取得部123は、第二の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第二の新音情報」という。)を生成する。
次に、第一の情報再現装置32の再現情報取得部123は、第一の新音情報と第二の新音情報とを、タイミングの同期をとって、合成する。かかる合成により取得された音情報が、情報合成装置34に送信される再現情報である。
次に、第一の情報再現装置32の一時再現情報送出部324は、取得された再現情報を、情報合成装置34に送信する。
次に、第二の情報再現装置32の再現情報取得部123は、第三の情報取得装置11から受信した音情報を処理単位に区切り、各処理単位の1以上の特徴量(特徴量ベクトル)を取得する。次に、再現情報取得部123は、取得した各処理単位の特徴量ベクトルに最も距離が近い特徴量ベクトルに対応する対応情報を、処理単位ごとに、ルックアップテーブルから取得する。そして、再現情報取得部123は、処理単位ごとに、各処理単位に対して取得した対応情報を適用し、新しい音情報(「第三の新音情報」という。)を生成する。
次に、第二の情報再現装置32の再現情報取得部123は、第三の新音情報と映像とを有する再現情報を構成する。
次に、第二の情報再現装置32の一時再現情報送出部324は、取得された再現情報を、情報合成装置34に送信する。
次に、情報合成装置34の再現情報収集部341は、2つの情報再現装置32から再現情報を受信する。
そして、情報合成装置34の再現情報合成部342は、2つの再現情報を合成し、出力される再現情報を構成する。なお、再現情報合成部342は、第一の情報再現装置32から送信された再現情報と、第二の情報再現装置32から送信された再現情報の中の音情報とを合成する。そして、合成した音情報(ピアノ、バイオリン、トランペットの演奏を合成した情報)と、第二の情報再現装置32から送信された再現情報の中の映像とを、タイミングをとって、例えば、重畳し、出力する再現情報を構成する。
次に、情報合成装置34の第三再現情報送出部343は、再現情報合成部342が取得した再現情報を、3つの情報取得装置11、および3つの情報出力装置13に送信する。
そして、3つの各情報取得装置11の第二再現情報受付部113は、再現情報を受信する。次に、第二再現情報出力部114は、受信された再現情報を構成する音情報をスピーカーから出力する。また、第二再現情報出力部114は、受信された再現情報を構成する映像をディスプレイに出力する。かかる処理により、聴者が聴く音楽を、各々遠隔に居る3人の演奏者が聞きながら、かつ、再現空間の雰囲気を感じながら演奏をすることができる。
また、3つの各情報出力装置13の第一再現情報受付部131は、再現情報を受信する。次に、第一再現情報出力部132は、受信された再現情報を構成する音情報をスピーカーから出力する。また、第一再現情報出力部132は、受信された再現情報を構成する映像をディスプレイに出力する。かかる処理により、視聴者は、単に合成された音楽情報ではなく、合成された音楽情報にさらに価値が加えられた音楽情報を聴くことができる。また、視聴者は、再現空間の雰囲気を感じながら演奏を聴くことができる。
そして、演奏が終了するまで、または、終了の指示が、情報取得装置11、または情報再現装置32、または情報合成装置34等から入力されるまで、上記の処理が繰り返される。
以上、本実施の形態によれば、2以上の遠隔地から受信した情報を合成し、価値を加えた情報を出力する2以上の装置の情報を、さらに合成した情報を出力できる。
なお、本実施の形態における情報合成装置34を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、2以上の各情報再現装置から再現情報を受信する再現情報収集部と、前記再現情報収集部が受信した2以上の再現情報を合成し、出力される再現情報を構成する再現情報合成部と、前記1以上の情報出力装置、または前記1以上の情報取得装置および前記1以上の情報出力装置に、前記再現情報合成部が構成した再現情報を送信する第三再現情報送出部として機能させるためのプログラム、である。
また、本実施の形態における情報再現装置32を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に再現情報を構成するための情報である再現元情報を格納しており、コンピュータを、前記1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、前記取得情報受信部が受信した1以上の情報と、前記再現元情報とを用いて、再現情報を構成する再現情報取得部と、前記再現情報取得部が構成した再現情報を情報合成装置に送信する再現情報送出部として機能させるためのプログラム、である。
また、上記実施の形態で説明した情報システムは、例えば、遠隔演奏システム、遠隔演劇システム等として応用できる。情報取得装置11が取得する情報が楽器の演奏情報(音情報)である場合、情報システムは、遠隔演奏システムとなり得る。また、情報取得装置11が取得する情報が、演劇者が行う芝居を撮影した映像と、取得した音声である場合、情報システムは、遠隔演劇システムとなり得る。
また、図15は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の情報取得装置、情報再現装置、情報合成装置、および情報出力装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図15は、このコンピュータシステム340の概観図であり、図16は、システム340のブロック図である。
図15において、コンピュータシステム340は、FD(Flexible Disk)ドライブ、CD−ROM(Compact Disk Read Only Memory)ドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344と、マイク345、カメラ346、スピーカー347等を含む。
図16において、コンピュータ341は、FDドライブ3411、CD−ROMドライブ3412に加えて、CPU(Central Processing Unit)3413と、CPU3413、CD−ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM(Read−Only Memory)3415と、CPU3413に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM(Random Access Memory)3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
コンピュータシステム340に、上述した実施の形態の情報システムの機能を実行させるプログラムは、CD−ROM3501、またはFD3502に記憶されて、CD−ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD−ROM3501、FD3502またはネットワークから直接、ロードされても良い。
プログラムは、コンピュータ341に、上述した実施の形態の情報システムの機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信するステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上のように、本発明にかかる情報システムは、1以上の遠隔地から受信した情報に、さらに価値を加えた情報を出力できる、という効果を有し、遠隔演奏システム、遠隔演劇システム等として有用である。
1、2、3 情報システム
11 情報取得装置
12、21、32 情報再現装置
13 情報出力装置
22 情報集約装置
34 情報合成装置
111 情報取得部
112 取得情報送信部
113 第二再現情報受付部
114 第二再現情報出力部
121 再現元情報格納部
122 取得情報受信部
123、222 再現情報取得部
124 再現情報送出部
214、324 一時再現情報送出部
125 取得情報出力部
131 第一再現情報受付部
132 第一再現情報出力部
221、341 再現情報収集部
342 再現情報合成部
343 第三再現情報送出部
1231 情報合成手段
1232 再現情報構成手段

Claims (20)

  1. 情報を取得する空間である1以上の各取得空間から情報を取得する1以上の情報取得装置と、前記取得空間とは異なる空間であり、再現する対象の空間である再現空間に対応する再現情報を構成する情報再現装置と、前記再現情報を出力する空間である1以上の各出力空間において、前記再現情報を出力する1以上の情報出力装置とを具備する情報システムであって、
    前記情報取得装置は、
    情報を取得する情報取得部と、
    前記情報を前記情報再現装置に送信する取得情報送信部とを具備し、
    前記情報再現装置は、
    再現情報を構成するための情報である再現元情報を格納し得る再現元情報格納部と、
    前記1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、
    前記取得情報受信部が受信した1以上の情報と、前記再現元情報とを用いて、再現情報を取得する再現情報取得部と、
    前記再現情報取得部が構成した再現情報を、前記1以上の情報出力装置に送信する再現情報送出部とを具備し、
    前記情報出力装置は、
    前記情報再現装置から再現情報を受信する第一再現情報受付部と、
    前記第一再現情報受付部が受信した再現情報を出力する第一再現情報出力部とを具備する情報システム。
  2. 2以上の各取得空間から情報を取得する2以上の情報取得装置を具備する請求項1記載の情報システムであって、
    前記情報再現装置は、
    前記2以上の各情報取得装置から2以上の情報を受信する取得情報受信部と、
    前記取得情報受信部が受信した2以上の情報を出力する取得情報出力部と、
    前記取得情報出力部が出力した2以上の情報を有する再現情報を取得する再現情報取得部と、
    前記再現情報取得部が取得した再現情報を、前記1以上の情報出力装置に送信する再現情報送出部とを具備する請求項1記載の情報システム。
  3. 前記情報取得装置は、
    前記情報再現装置から再現情報を受信する第二再現情報受付部と、
    前記第二再現情報受付部が受信した再現情報を出力する第二再現情報出力部とをさらに具備し、
    前記情報再現装置の再現情報送出部は、
    前記再現情報取得部が構成した再現情報を、前記1以上の情報取得装置および前記1以上の情報出力装置に送信する請求項1または請求項2記載の情報システム。
  4. 2以上の情報取得装置を具備する請求項1記載の情報システムであって、
    前記再現情報取得部は、
    前記取得情報受信部が受信した2以上の情報を合成し、合成情報を取得する情報合成手段と、
    前記情報合成手段が取得した合成情報と、前記再現元情報とを用いて、再現情報を構成する再現情報構成手段とを具備する請求項1から請求項3いずれか記載の情報システム。
  5. 2以上の情報取得装置、1以上の情報再現装置、一の情報集約装置および1以上の情報出力装置を具備する請求項1または請求項2記載の情報システムであって、
    前記情報集約装置は、
    前記1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、
    前記1以上の情報再現装置から1以上の再現情報を受信する再現情報収集部と、
    前記取得情報受信部が受信した1以上の情報と、前記再現情報収集部が受信した1以上の再現情報とを用いて、出力される再現情報を取得する再現情報取得部と、
    前記1以上の情報出力装置、または前記1以上の情報出力装置および前記2以上の情報取得装置に、前記再現情報取得部が構成した再現情報を送信する再現情報送出部とを具備し、
    前記1以上の情報再現装置の再現情報送出部は、
    当該情報再現装置の再現情報取得部が構成した再現情報を前記情報集約装置に送信する請求項1から請求項4いずれか記載の情報システム。
  6. 前記情報集約装置は、
    再現情報を構成するための情報である再現元情報を格納し得る再現元情報格納部をさらに具備し、
    前記情報集約装置の再現情報取得部は、
    前記再現元情報と、前記取得情報受信部が受信した1以上の情報と、前記再現情報収集部が受信した1以上の再現情報とを用いて、出力される再現情報を構成する請求項5記載の情報システム。
  7. 2以上の情報取得装置と、2以上の情報再現装置と、情報合成装置と、1以上の情報出力装置とを具備する請求項1または請求項2記載の情報システムであって、
    前記情報再現装置の再現情報送出部は、
    前記再現情報取得部が構成した再現情報を、前記情報合成装置に送信し、
    前記情報合成装置は、
    前記2以上の各情報再現装置から再現情報を受信する再現情報収集部と、
    前記再現情報収集部が受信した2以上の再現情報を合成し、出力される再現情報を構成する再現情報合成部と、
    前記1以上の情報出力装置、または前記1以上の情報取得装置および前記1以上の情報出力装置に、前記再現情報合成部が構成した再現情報を送信する第三再現情報送出部とを具備する請求項1から請求項6いずれか記載の情報システム。
  8. 前記情報取得装置が取得する情報は、音情報である請求項1から請求項7いずれか記載の情報システム。
  9. 前記情報取得装置が取得する情報は、映像情報である請求項1から請求項7いずれか記載の情報システム。
  10. 前記情報取得装置が取得する情報は、他の装置を動作させるためのトリガ情報であり、
    前記情報再現装置の再現情報取得部は、
    前記取得情報受信部が受信した1以上の各トリガ情報を出力可能な情報を変換し、当該1以上の変換した情報と、前記再現元情報とを用いて、再現情報を構成する請求項1から請求項7いずれか記載の情報システム。
  11. 前記情報取得装置が取得する情報は、
    音情報、映像情報、トリガ情報のうちの2種類以上の情報である請求項1から請求項7いずれか記載の情報システム。
  12. 前記再現元情報は、
    1以上の受信された第一の情報の全部または一部分と、前記第一の情報と同一の対象についての情報である第二の情報の全部または一部分との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルであり、
    前記再現情報取得部は、
    前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記取得情報受信部が受信した1以上の情報の全部または一部分に対応する1以上の第二の情報の全部または一部分を取得し、当該取得した1以上の第二の情報の全部または一部分から再現情報を構成する請求項1から請求項11いずれか記載の情報システム。
  13. 請求項1から請求項12いずれか記載の情報システムを構成する情報再現装置。
  14. 再現情報を構成するための情報である再現元情報を格納し得る再現元情報格納部と、
    1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、
    前記取得情報受信部が受信した1以上の情報と、前記再現元情報とを用いて、再現情報を取得する再現情報取得部と、
    前記再現情報取得部が取得した再現情報を送出する再現情報送出部とを具備する情報再現装置。
  15. 2以上の各情報取得装置から2以上の情報を受信する取得情報受信部と、
    前記取得情報受信部が受信した2以上の情報を出力する取得情報出力部と、
    前記取得情報出力部が出力した2以上の情報を有する再現情報を取得する再現情報取得部と、
    前記再現情報取得部が取得した再現情報を送出する再現情報送出部とを具備する情報再現装置。
  16. 前記再現情報送出部は、
    前記再現情報取得部が構成した再現情報を、前記1以上の情報取得装置、または前記1以上の情報取得装置および前記1以上の情報出力装置に送信する請求項14または請求項15記載の情報再現装置。
  17. 記録媒体に、
    再現情報を構成するための情報である再現元情報を格納しており、
    取得情報受信部、再現情報取得部、および再現情報送出部により実現される情報生成方法であって、
    前記取得情報受信部が、1以上の各情報取得装置から1以上の情報を受信する取得情報受信ステップと、
    前記再現情報取得部が、前記取得情報受信ステップで受信した1以上の情報と、前記再現元情報とを用いて、再現情報を取得する再現情報取得ステップと、
    前記再現情報送出部が、前記再現情報取得ステップで取得された再現情報を送出する再現情報送出ステップとを具備する情報生成方法。
  18. 取得情報受信部、取得情報出力部、再現情報取得部、および再現情報送出部により実現される情報生成方法であって、
    前記取得情報受信部が、2以上の各情報取得装置から2以上の情報を受信する取得情報受信ステップと、
    前記取得情報出力部が、前記取得情報受信ステップで受信された2以上の情報を出力する取得情報出力部と、
    前記再現情報取得部が、前記取得情報出力ステップで出力された2以上の情報を有する再現情報を取得する再現情報取得ステップと、
    前記再現情報送出部が、前記再現情報取得ステップで取得された再現情報を送出する再現情報送出ステップとを具備する情報生成方法。
  19. 記録媒体に、
    再現情報を構成するための情報である再現元情報を格納しており、
    コンピュータを、
    1以上の各情報取得装置から1以上の情報を受信する取得情報受信部と、
    前記取得情報受信部が受信した1以上の情報と、前記再現元情報とを用いて、再現情報を取得する再現情報取得部と、
    前記再現情報取得部が取得した再現情報を送出する再現情報送出部として機能させるためのプログラム。
  20. コンピュータを、
    2以上の各情報取得装置から2以上の情報を受信する取得情報受信部と、
    前記取得情報受信部が受信した2以上の情報を出力する取得情報出力部と、
    前記取得情報出力部が出力した2以上の情報を有する再現情報を取得する再現情報取得部と、
    前記再現情報取得部が取得した再現情報を送出する再現情報送出部として機能させるためのプログラム。
JP2011172948A 2011-08-08 2011-08-08 情報システム、情報再現装置、情報生成方法、およびプログラム Active JP5877973B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2011172948A JP5877973B2 (ja) 2011-08-08 2011-08-08 情報システム、情報再現装置、情報生成方法、およびプログラム
CN201280038670.1A CN103733249B (zh) 2011-08-08 2012-08-01 信息系统、信息再现装置、信息生成方法及记录介质
US14/237,765 US9979766B2 (en) 2011-08-08 2012-08-01 System and method for reproducing source information
EP12821614.0A EP2743917B1 (en) 2011-08-08 2012-08-01 Information system, information reproducing apparatus, information generating method, and storage medium
PCT/JP2012/069543 WO2013021881A1 (ja) 2011-08-08 2012-08-01 情報システム、情報再現装置、情報生成方法、および記録媒体
KR1020147001086A KR101873086B1 (ko) 2011-08-08 2012-08-01 정보 시스템, 정보 재현 장치, 정보 생성 방법, 및 기록 매체
TW101128178A TWI584266B (zh) 2011-08-08 2012-08-06 An information system, an information reproducing apparatus, an information generating method, and a recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011172948A JP5877973B2 (ja) 2011-08-08 2011-08-08 情報システム、情報再現装置、情報生成方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2013037524A true JP2013037524A (ja) 2013-02-21
JP5877973B2 JP5877973B2 (ja) 2016-03-08

Family

ID=47668391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011172948A Active JP5877973B2 (ja) 2011-08-08 2011-08-08 情報システム、情報再現装置、情報生成方法、およびプログラム

Country Status (7)

Country Link
US (1) US9979766B2 (ja)
EP (1) EP2743917B1 (ja)
JP (1) JP5877973B2 (ja)
KR (1) KR101873086B1 (ja)
CN (1) CN103733249B (ja)
TW (1) TWI584266B (ja)
WO (1) WO2013021881A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9236039B2 (en) * 2013-03-04 2016-01-12 Empire Technology Development Llc Virtual instrument playing scheme
US9872005B2 (en) * 2014-01-21 2018-01-16 Mitsubishi Electric Corporation Moving image reproducing apparatus
CN104811485A (zh) * 2015-04-10 2015-07-29 深圳市金立通信设备有限公司 一种资源分享方法
CN104901945A (zh) * 2015-04-10 2015-09-09 深圳市金立通信设备有限公司 一种终端
US10454982B1 (en) 2016-03-18 2019-10-22 Audio Fusion Systems, Inc. Monitor mixing system that distributes real-time multichannel audio over a wireless digital network
US10182093B1 (en) * 2017-09-12 2019-01-15 Yousician Oy Computer implemented method for providing real-time interaction between first player and second player to collaborate for musical performance over network
CN110460800B (zh) * 2019-08-28 2021-02-23 长沙市回音科技有限公司 远程排演系统和排演方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094683A (ja) * 2002-08-30 2004-03-25 Casio Comput Co Ltd サーバ、通信方法及び観客端末
JP2004325775A (ja) * 2003-04-24 2004-11-18 Kawai Musical Instr Mfg Co Ltd 合奏用ミキシングサーバ及び合奏用演奏装置
JP2007041320A (ja) * 2005-08-03 2007-02-15 Japan Science & Technology Agency ネットワークを用いた遠隔多地点合奏システム
JP2009031357A (ja) * 2007-07-24 2009-02-12 Yamaha Corp 楽曲配信システム、楽曲編集装置、楽曲再生装置、楽曲記憶装置およびプログラム
JP2010113278A (ja) * 2008-11-10 2010-05-20 Yamaha Corp 楽曲処理装置およびプログラム
JP2010128482A (ja) * 2008-12-01 2010-06-10 Yamaha Corp 電子音楽装置及び音楽コンテンツ利用プログラム
JP2011075652A (ja) * 2009-09-29 2011-04-14 Nec Corp 合奏システム、合奏装置および合奏方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10260692A (ja) * 1997-03-18 1998-09-29 Toshiba Corp 音声の認識合成符号化/復号化方法及び音声符号化/復号化システム
US6598074B1 (en) * 1999-09-23 2003-07-22 Rocket Network, Inc. System and method for enabling multimedia production collaboration over a network
US6915261B2 (en) * 2001-03-16 2005-07-05 Intel Corporation Matching a synthetic disc jockey's voice characteristics to the sound characteristics of audio programs
JP4713129B2 (ja) * 2004-11-16 2011-06-29 ソニー株式会社 音楽コンテンツの再生装置、音楽コンテンツの再生方法および音楽コンテンツおよびその属性情報の記録装置
JP4612541B2 (ja) 2005-12-28 2011-01-12 日本電信電話株式会社 遠隔地における合奏方法及びそれに用いる電子楽器及びそのプログラム
US20070260634A1 (en) * 2006-05-04 2007-11-08 Nokia Corporation Apparatus, system, method, and computer program product for synchronizing the presentation of media content
EP2122510A2 (en) * 2007-02-14 2009-11-25 Museami, Inc. Music-based search engine
CN101657816B (zh) 2007-02-14 2012-08-22 缪斯亚米有限公司 用于分布式音频文件编辑的门户网站
US8825468B2 (en) * 2007-07-31 2014-09-02 Kopin Corporation Mobile wireless display providing speech to speech translation and avatar simulating human attributes
EP2141689A1 (en) * 2008-07-04 2010-01-06 Koninklijke KPN N.V. Generating a stream comprising interactive content
JP2010081321A (ja) * 2008-09-26 2010-04-08 Fujitsu Ltd コンテンツの再生を指示するためのコントロール端末、コンテンツ中継装置及びリモートコンテンツ再生システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094683A (ja) * 2002-08-30 2004-03-25 Casio Comput Co Ltd サーバ、通信方法及び観客端末
JP2004325775A (ja) * 2003-04-24 2004-11-18 Kawai Musical Instr Mfg Co Ltd 合奏用ミキシングサーバ及び合奏用演奏装置
JP2007041320A (ja) * 2005-08-03 2007-02-15 Japan Science & Technology Agency ネットワークを用いた遠隔多地点合奏システム
JP2009031357A (ja) * 2007-07-24 2009-02-12 Yamaha Corp 楽曲配信システム、楽曲編集装置、楽曲再生装置、楽曲記憶装置およびプログラム
JP2010113278A (ja) * 2008-11-10 2010-05-20 Yamaha Corp 楽曲処理装置およびプログラム
JP2010128482A (ja) * 2008-12-01 2010-06-10 Yamaha Corp 電子音楽装置及び音楽コンテンツ利用プログラム
JP2011075652A (ja) * 2009-09-29 2011-04-14 Nec Corp 合奏システム、合奏装置および合奏方法

Also Published As

Publication number Publication date
CN103733249A (zh) 2014-04-16
US9979766B2 (en) 2018-05-22
TWI584266B (zh) 2017-05-21
EP2743917A4 (en) 2015-07-08
US20140181273A1 (en) 2014-06-26
JP5877973B2 (ja) 2016-03-08
KR20140058495A (ko) 2014-05-14
TW201320056A (zh) 2013-05-16
WO2013021881A1 (ja) 2013-02-14
CN103733249B (zh) 2016-04-06
EP2743917B1 (en) 2019-03-13
EP2743917A1 (en) 2014-06-18
KR101873086B1 (ko) 2018-06-29

Similar Documents

Publication Publication Date Title
JP5877973B2 (ja) 情報システム、情報再現装置、情報生成方法、およびプログラム
JP7014176B2 (ja) 再生装置、再生方法、およびプログラム
AU756265B2 (en) Apparatus and method for presenting sound and image
JP2007027846A (ja) 動画再生システム及び動画再生方法
KR101235832B1 (ko) 실감 멀티미디어 서비스 제공 방법 및 장치
KR101414217B1 (ko) 실시간 영상합성 장치 및 그 방법
EP1784049A1 (en) A method and system for sound reproduction, and a program product
JP5109496B2 (ja) データ配信装置、データ配信方法およびプログラム
CN114598917B (zh) 显示设备及音频处理方法
KR100912075B1 (ko) 가상현실을 위한 오디오 음상 제어 장치 및 그 방법
JP5454530B2 (ja) カラオケ装置
JP2005086537A (ja) 高臨場音場再現情報送信装置、高臨場音場再現情報送信プログラム、高臨場音場再現情報送信方法および高臨場音場再現情報受信装置、高臨場音場再現情報受信プログラム、高臨場音場再現情報受信方法
KR101193152B1 (ko) 객체 기반 음원간 객체 정합 방법 및 장치
JP2002300434A (ja) 番組送出システム及びこれに用いる番組送出装置
JP2017092832A (ja) 再生方法および再生装置
JP6502728B2 (ja) カラオケシステム及びプログラム
JP2017044765A (ja) 映像提供装置、映像提供システム及びプログラム
JP5510435B2 (ja) カラオケ装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160127

R150 Certificate of patent or registration of utility model

Ref document number: 5877973

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250