JP2003115889A - マルチメディア情報提供方法及び装置 - Google Patents

マルチメディア情報提供方法及び装置

Info

Publication number
JP2003115889A
JP2003115889A JP2001310739A JP2001310739A JP2003115889A JP 2003115889 A JP2003115889 A JP 2003115889A JP 2001310739 A JP2001310739 A JP 2001310739A JP 2001310739 A JP2001310739 A JP 2001310739A JP 2003115889 A JP2003115889 A JP 2003115889A
Authority
JP
Japan
Prior art keywords
data
communication
multimedia information
information providing
identifier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001310739A
Other languages
English (en)
Other versions
JP3888642B2 (ja
Inventor
Mitsuhiro Hasegawa
光洋 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2001310739A priority Critical patent/JP3888642B2/ja
Priority to EP02256176A priority patent/EP1304882A3/en
Priority to US10/259,230 priority patent/US7260108B2/en
Publication of JP2003115889A publication Critical patent/JP2003115889A/ja
Application granted granted Critical
Publication of JP3888642B2 publication Critical patent/JP3888642B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25841—Management of client data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64707—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless for transferring content from a first network to a second network, e.g. between IP and wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

(57)【要約】 【課題】 マルチメディア情報は種々の通信仕様によっ
て送信されているので、同時にこれらを受信して出力す
ることが困難である。 【解決手段】 サーバー１にはテレビ電話Ａ、通信ナビ
Ｂ、パケット通信を行うｉモードＣ、ストリーミングデ
ータとしての動画データＤが入力可能に接続され、これ
らの種々の通信仕様からなるデータを利用するユーザ
は、車両３内の携帯情報端末２でサーバーからこれらの
情報を全て同時に取り込むように通信を行っている。サ
ーバー１では全てのデータを、主としてテレビ電話会議
で使用しているＨ３２３やＨ３２４の仕様に変換し、各
データにＡ〜Ｄの符号を付与し、更に各データ毎に所定
のデータ量で細分化して順に番号を付与する。この細分
化したデータをＡ１、Ｂ１、Ｃ１、Ｄ１、Ａ２、Ｂ２、
Ｃ２、Ｄ２・・・のように並び替えて利用者に送信す
る。利用者側は逆の手順で元の各データに戻して出力す
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、携帯電話を用いた
テレビ電話、インターネット情報や動画データの取り込
みと表示、ナビゲーション用地図データの取り込み等、
データ形式の異なる各種データを並列的に利用者が取り
込むことができるようにしたマルチメディア情報の提供
方法及びその方法を実施する装置に関する。
【０００２】
【従来の技術】近年の通信技術の進歩、及び情報処理装
置の高性能化とその製品が安価に供給されることによ
り、一般家庭において、またオフィスの場において各種
の情報を受けることができるようになっている。特に近
年の携帯電話の普及と技術進歩により、携帯電話は単に
電話をする以外に、簡易インターネットの受信機能、メ
ールの送受信機能、インターネットを介して動画を取り
込みこれを表示する機能、ＭＰ３等で圧縮したオーディ
オデータを取り込みこれを聴く機能、更にはカメラを内
蔵して簡易動画を音声と共に相互に送受信するテレビ電
話機能、等々、種々のマルチメデイア受信、送信機能を
搭載し、利用者は容易にこれを利用することができるよ
うになっている。また、オフィスにおいてもテレビ電話
会議の普及、イントラネットによるデータの共有、メー
ルによる情報の送受信等、種々のマルチメディアが利用
されている。
【０００３】このような携帯電話の普及と各種データ通
信の増大によって、従来から広く用いられている単に周
波数を利用者毎に割り当てるＦＤＭＡ（周波数分割多元
接続）方式はもとより、同一周波数内を時分割するＴＤ
ＭＡ（時分割多元接続）方式でも限界が生じることが明
らかになっている。その対策として、より多くの人が利
用することができるように、各ユーザ毎に拡散符号を割
り振るＣＤＭＡ（符号分割多元接続）方式が用いられよ
うとしている。このＣＤＭＡ方式は各国で既に研究さ
れ、一部利用されており、日本でも携帯電話用に「Wide
−band ＣＤＭＡ」（Ｗ−ＣＤＭＡ）が開発されてい
る。国際的にはＩＴＵ（国際電気通信連合）で世界統一
標準案の作製が進んでおり、この方式によると高速通信
も可能になるため、今後はこのＣＤＭＡ方式が主流とな
ると予想されている。
【０００４】一方、近年の車両にはナビゲーション装置
が普及し、ＤＶＤ等の情報記録媒体に記録された地図情
報、及びレストラン、娯楽施設等の各種施設情報を画像
と共に大量に記録することができるようになっている。
それにより利用者は、自車位置の移動と共に所望の地図
を表示し、予め設定した目的地に対してナビゲーション
装置から提示された誘導経路に沿って走行し、またその
際、右左折交差点の案内を拡大画面、音声案内によって
行い、容易に且つ安全に目的地まで走行することができ
るようになっている。また、その際周辺の施設の検索を
行い、休憩場所やレストランの情報を取り込むこともで
きる。
【０００５】このようなナビゲーション装置において
は、近年は通信機能も備えるようになっており、携帯電
話を接続することにより情報配信センターからドライブ
に関連した各種の情報を取り込むことができ、インター
ネットの種々のサイトも含めて、動画やオーディオデー
タの受信も行う等、更に種々の情報を取り込むことがで
きるようになっている。特にナビゲーション装置は携帯
電話と異なり大型で高精細な画面を備え、且つ比較的高
性能の情報処理装置を備えているので、上記のような通
信機能も含めて、車内におけるマルチメデイア端末機器
として今後無くてはならないものとなることが予想され
ている。
【０００６】ナビゲーション装置においては、上記のよ
うにＤＶＤ等に大量のデータを蓄積することができるよ
うになっているが、そのデータは地図データ及び各種施
設情報が年々変更されるため、本来逐次更新されなけれ
ばならないものである。そのためには、ＤＶＤ−ＲＯＭ
のバージョンアップ版の継続的な購入が必要となり、メ
ンテナンス料がかさむ問題もある。また、装置全体が高
価となり、より安価で同程度の機能を備えたナビゲーシ
ョン装置も希望されている。その解決策の一つとして、
前記のように近年普及している通信技術及び携帯電話を
用いて、従来ＤＶＤ等にデータを記録していた地図情報
や施設情報を公開し、このデータを逐次更新し、更によ
り詳細な情報、また映像やオーディオの配信を行うこと
が考えられており、一部実施されている。
【０００７】このようなデータ配信方式を利用すること
により、利用者は所望の地図をダウンロードして表示
し、目的地を設定してＧＰＳ等の信号による現在地デー
タと共に情報センターにこれを送信し、誘導経路を演算
してもらい、それに沿って走行を行い、走行と共に必要
となる地図データを逐次送信してもらうことができるよ
うになる。このようなナビゲーションシステムは上記以
外に種々の態様が考えられており、これらのシステムを
総称して「通信ナビ」と呼ぶ。
【０００８】上記のように、特に携帯電話の普及と通信
技術の進歩により、種々の一般的な通信態様が行われる
ことが考えられ、その際には例えば図１０（ａ）の一般
通信態様１に示すような回線交換を用いたテレビ電話が
考えられる。即ちこの例においては、ビデオカメラ５０
と通信機能を備えることによりテレビ電話機能を備えた
携帯情報端末装置５１を所有しているＡさんと、ビデオ
カメラ５２が設けられテレビ電話機能を備えた携帯電話
５４を使用しているＡさんの奥さんであるＢさんとがテ
レビ電話を行う状態を示しており、ここでは前記のよう
に今後普及することが予想されているＷ−ＣＤＭＡ方式
の通信網５５を利用し、その際には６４kbpsの回線交換
によって通信を行うこととなる。
【０００９】また、図１０（ｂ）の一般通信態様２に示
すように、前記と同様のＷ−ＣＤＭＡ通信網を用い、種
々の映像を収集するコンテンツプロバイダ５６がケーブ
ルによって映像配信サーバー５７に接続し、映像配信サ
ーバー５７はケーブルによってＷ−ＣＤＭＡ通信網５５
に接続し、このＷ−ＣＤＭＡ通信網５５に接続した携帯
電話５８からの映像配信要求により、コンテンツプロバ
イダ５６が提供する映像を受信する回線交換を用いた映
像配信が考えられる。図示の例においては、コンテンツ
プロバイダ５６の提供する野球の実況中継を携帯電話５
７によりストリーミングで視聴する例を示している。
【００１０】また、図１１（ａ）の一般通信態様３に示
すように、現在も普及している携帯電話の簡易インター
ネット機能であるｉモードを利用したデータ通信は、今
後通常のインターネットと同様の機能を備え、より多く
の情報がより高速で配信されるようになることが考えら
れる。同図に示す例においては、インターネット網６０
に接続しているコンテンツプロバイダ５６が、情報ホル
ダ内に蓄積している映像や音楽を含んだ種々のマルチメ
デイア情報をインターネット網６０を介して配信可能と
し、このインターネット網６０に接続したｉモードセン
ター６１が携帯電話用のデータに変換し、Ｗ−ＣＤＭＡ
通信網５５を介して携帯電話６２に対して前記マルチメ
ディア情報を送信することができるようにしている。図
示の例においては、コンテンツプロバイダー６１が蓄積
している新車発表のデータを、携帯電話６２からの要求
により映像と共に送信している例を示している。
【００１１】更に、図９（ｂ）の一般通信態様４に示す
ように、Ｗ−ＣＤＭＡ通信網５５から携帯電話６３が音
声による通信を行い、それに関連してデータ通信を行う
例を示しており、携帯電話の今後の使用形態としてこの
ような要求が多くなることが考えられる。その際には、
音声通信が回線交換によって行われ、データ通信がパケ
ット交換により行われることとなるため、今後の一般的
な使用形態としては２回線を使用してこの通信を行うこ
ととなる。
【００１２】図１０及び図１１に示す一般通信態様にお
いては、携帯電話そのものの機能を用いて種々の通信を
行い、各種情報を取り込む例を示したが、このことは携
帯電話のみに限らず、前記のような携帯電話と接続する
ナビゲーション装置においても全く同様に行われること
となる。即ち、図１０（ａ）において携帯情報端末装置
５１の代わりに通信機能付きナビゲーション装置が使用
され、そのナビゲーション装置に車内の適所に設けたビ
デオカメラを接続し、ハンズフリーユニット等を用いる
ことにより運転者でも使用が可能となる。また、図１０
（ｂ）のように映像の配信を受け、あるいは図１１
（ａ）のようにパケット通信により各種マルチメディア
情報の提供を受け、更には図１１（ｂ）のように２回線
を使用した通信も同様に可能である。
【００１３】
【発明が解決しようとする課題】特に今後普及が予想さ
れるＷ−ＣＤＭＡ通信網により、携帯電話を初めナビゲ
ーション装置、携帯情報端末装置等の情報機器において
は、多くのマルチメディア情報を、希望するときにいつ
でも手に入れることができるようになる。このことは上
記のようなモバイル型機器に限らず、一般家庭において
通常の電話回線を用いてテレビ画面に各種情報を表示す
る際にも、同様の機能を使用することが可能になる。
【００１４】しかも今後は通信費用の安価な定額化が進
み、通信網に接続したままで必要なときに所望の箇所に
接続し、テレビ電話を初めインターネット等からの情報
取り込みを行い、或いは常時データの取り込みを続けて
必要なときにこれを表示する等の常時接続型の使用形態
が普及することが予想されている。その際には特定の情
報のダウンロードは使用量に対応して料金がかかる従量
制であっても、極めて安価にこれらのマルチメディア情
報を利用することができるようになり、今後更にこのよ
うな使用態様の普及が予想される。
【００１５】上記のようなマルチメディア情報の配信に
際しては、例えば前記図１０（ａ）に示すようなテレビ
電話の回線交換はリアルタイムマルチメディア通信仕様
のＨ３２４の規格によって通信を行い、また、テレビ電
話をパケット交換で行うときにはＨ３２３の規格によっ
て通信を行う。また、ｉモードでパケット交換方式のデ
ータ取り込みやダウンロードしながら視聴するストリー
ミング情報の取り込みはＨＴＴＰの仕様によって行う。
更に、通信ナビで地図等をダウンロードして使用するに
はＷｉｎ Ｓｏｃｋ通信の仕様によって行うこととな
る。
【００１６】このように、各マルチメディア情報の配信
の規格、仕様が異なり、即ちプロトコルが異なってお
り、例えば携帯電話によって、或いはナビゲーション装
置においてこれらの情報の配信を受けるには、各通信規
格や仕様のデータを取り扱うことができる機能が必要と
なる。即ち、従来の情報配信サーバーは、クライアント
から要求のあったデータを予め決められたプロトコルに
従い要求データを配信するだけであり、クライアント
は、クライアントが対応していないプロトコルにより構
成された、或いは配信されるサーバーからの配信情報の
受信、表示を行うことができない。
【００１７】また、サーバーを経由する複数のクライア
ント間の通信においても、例えば回線交換式のテレビ電
話と、パケット通信式のテレビ電話がそのままではつな
がらないように、通信を行うクライアント同士の対応機
能、対応プロトコルが一致していなければ通信を行うこ
とができない。
【００１８】また、情報端末機器においてこのような全
てのマルチメディア情報を取り扱う機能を備えた場合で
あっても、これらの情報を複数利用するには、機器内の
情報処理装置において高速なマルチタスク処理により、
これらのプロトコルを切り替えて受信する必要があり、
そのためには高機能のＣＰＵを用いる必要があり、汎用
型のＣＰＵでは音声、動画像等のリアルタイムデータ
と、インターネット上の画像データやｗｅｂデータの受
信等を同時に行うことはできない。
【００１９】そのため、例えば図１２の一般通信態様５
に示すように、上記のような各種のプロトコルに対応し
て受信できる機能を備えたナビゲーション装置が地図デ
ータをダウンロードして使用する通信ナビであったと
き、例えばＨＴＴＰのプロトコルに従うｉモードブラウ
ザーによりパケット交換式の情報サービスを受けている
とすると、その途中でＨ３２４のプロトコルに従う回線
交換式のリアルタイムテレビ電話が奥さんからかかって
きたとき、このナビゲーション装置ではこれを表示する
ことができず、テレビ電話をかけた人も相手の機器が他
と通信中の案内が行われ、後でかけ直しをしなければな
らないこととなる。
【００２０】また、図示するナビゲーション装置におい
ては、その後Ｗｉｎ Ｓｏｃｋ通信によりデータの送受
信を行う通信ナビのデータの取り込みを行い、それが終
了してからＨＴＴＰのプロトコルに従うストリーミング
の動画や音楽の配信を受け、ここに図示するものは前記
図１０（ｂ）に示すような態様によって野球中継を視聴
している状態を示している。ナビゲーション装置におい
てこれらのデータの受信中には、前記のような奥さんか
らのテレビ電話を受けることができない状態が継続す
る。また、各マルチメディア情報についても、情報端末
機器では利用者の情報取り込み指示に従いプロトコルを
切り換えて処理を行うだけであり、これらの情報を同時
に表示することができないという問題があった。
【００２１】したがって本発明は、通信仕様が異なる種
々のマルチメディア情報でも同時に受信し、同一画面で
表示することができ、また複数の情報の表示の組み合わ
せを任意に切り替えて使用することができるようにした
マルチメディア情報提供方法、及びその方法を実施する
装置を提供することを目的としている。
【００２２】
【課題を解決するための手段】本発明に係るマルチメデ
ィア情報提供方法は、上記課題を解決するため、データ
処理装置において異なる通信仕様の複数のデータを受信
し、受信した各データを同一の通信仕様に変換し、変換
した各データ毎に識別子を付与して分割し、分割したデ
ータを順に配列して送信し、情報端末機器において前記
送信されたデータを受信し、前記分割した態様に再分割
し、再分割したデータを同一識別子のデータ毎に順に配
列し、各識別子毎のデータを出力するようにしたもので
ある。
【００２３】また、本発明に係る他のマルチメディア情
報提供方法は、前記同一の通信仕様をストリーミング・
プロトコルとしたものである。
【００２４】また、他のマルチメディア情報提供方法
は、前記変換した各データ毎に識別子を付与して分割す
るデータには、各識別子毎のシーケンス番号を付与し、
識別子とシーケンス番号によりデータを順に配列するも
のである。
【００２５】また、本発明に係る他のマルチメディア情
報提供方法は、前記異なる通信仕様の複数のデータを、
インターネット、テレビ電話、通信ナビなどのデータと
したものである。
【００２６】また、本発明に係るマルチメディア情報提
供装置は、異なる通信仕様の複数のデータを受信するデ
ータ受信手段と、各データを同一通信仕様に変換するデ
ータ変換手段と、前記変換した各データ毎に識別子を付
与して分割する同一通信仕様データ分割手段と、前記分
割したデータを順に配列する同一通信仕様データ配列手
段と、前記配列したデータを送信するデータ送信手段と
を備えたデータ処理装置を有するものである。
【００２７】また、本発明に係る他のマルチメディア情
報提供装置は、前記同一の通信仕様はストリーミング・
プロトコルであるデータ処理装置を有するものである。
【００２８】また、本発明に係る他のマルチメディア情
報提供装置は、前記同一通信仕様データ配列手段にデー
タ送出優先順位設定手段を備え、該データ送出優先順位
に従ってデータを配列するデータ処理装置を有するもの
である。
【００２９】また、本発明に係る他のマルチメディア情
報提供装置は、前記優先順位を、予め設定されている順
位、利用者が予め設定する順位、送信データの容量によ
り決められる順位、又はユーザの要求に応じて随時変更
される順位のいずれかとしたものである。
【００３０】また、本発明に係る他のマルチメディア情
報提供装置は、前記異なる通信仕様のデータがインター
ネット、テレビ電話、通信ナビなどの通信用データであ
るデータ処理装置を有するものである。
【００３１】また、本発明に係る他のマルチメディア情
報提供装置は、異なる通信仕様の複数のデータを同一通
信仕様に変換し、変換した各データ毎に分割し、再分割
したデータを同一識別子のデータ毎に順に配列し、各識
別子毎のデータを送信するデータ処理装置からのデータ
を受信するデータ受信手段と、前記分割した態様に再分
割する再分割手段と、前記再分割したデータを同一識別
子のデータ毎に順に配列するデータ配列手段と、各識別
子毎のデータを出力するデータ出力手段とを備えた情報
端末機器を有するものである。
【００３２】また、本発明に係る他のマルチメディア情
報提供装置は、前記同一の通信仕様をストリーミング・
プロトコルとした情報端末機器を有するものである。
【００３３】また、本発明に係る他のマルチメディア情
報提供装置は、前記異なる通信仕様のデータをインター
ネット、テレビ電話、通信ナビなどの通信用データとし
た情報端末機器を有するものである。
【００３４】また、本発明に係る他のマルチメディア情
報提供装置は、前記情報端末機器を携帯電話、通信ナビ
ゲーション装置、携帯情報端末装置などの装置としたも
のである。
【００３５】
【発明の実施の形態】本発明の実施の形態を図面に沿っ
て説明する。図１は本発明を実施するマルチメディアサ
ーバーの機能の一例を示しており、図示する例において
はサーバー１はメディアＡとしてテレビ電話を受信し、
メディアＢとして通信ナビの地図データを受信し、メデ
ィアＣとして簡易インターネットであるｉモードを受信
し、メディアＤとしてインターネットからの動画データ
をストリーミングにより受信する態様を示しており、こ
のサーバーに接続する通信機能を備えた携帯情報端末２
からのデータ配信要求に応じてこれらのデータを合成し
て、ＩＭＴ−２０００の通信プロトコルによって配信す
る例を示している。
【００３６】図１において、メディアＡとしてのテレビ
電話は、Ｈ３２４の通信仕様により電話回線交換による
リアルタイムテレビ電話か、或いはＨ３２３の通信仕様
によりパケット交換によるリアルタイムテレビ電話を行
う。図示実施例においては、車両３に乗っている人が、
奥さんと子供が共に映っている映像を含むテレビ電話を
携帯情報端末４から受信する状態を示している。このテ
レビ電話を行うプロトコルは、画像をＭＰＥＧ４、或い
はＨ２６１、Ｈ２６３等によって通信を行い、音声はＣ
ＥＬＰ、或いはＧ７２９、Ｇ７２３等によって通信を行
い、データはＴ１２０の仕様で形成され通信を行う。
【００３７】メディアＢとしての通信ナビは、情報セン
ター等に蓄積された地図データベース５のデータを利用
者の要求により所定の地点を中心とした地図を配信する
態様を示しており、Ｗｉｎ Ｓｏｃｋ方式のプロトコル
で通信を行っている。メディアＣとしてのｉモードで
は、インターネットから情報をパケットにより受信する
例を示し、図示の例においては新車発表の映像付きデー
タを受信している例を示している。メディアＤとしての
動画データは、インターネット網を介して動画をＨＴＴ
Ｐによりストリーミングで送信する例を示し、図示の例
においては野球の実況放送を送信している例を示してい
る。ここでは映像の他に音声も送信され、別途音楽デー
タの送信も行うことができる。
【００３８】サーバー１においては前記各メディアのプ
ロトコルに対応し、かつ多数のメディアを並行して処理
する能力を有する。図示の例においては車両３に乗って
いる利用者が携帯情報端末２を用い、前記Ａ〜Ｄのメデ
ィア選択の指示Ｘ１を制御データＨ２４５の仕様によっ
てサーバー１に送信し、サーバー１はこれを受けてそれ
らのメディアを受信し、ＩＭＴ−２０００の通信プロト
コルであるＨ３２３の仕様に変換し、後述するように各
メディアデータの分解と合成を行って前記利用者の指示
に従ったデータＸ１を利用者の携帯情報端末２に対して
送信する。
【００３９】サーバー１における主な機能は図２（ａ）
に示すように、全体としてマルチメディアプロトコルＨ
３２３のユーザデータを扱うプロトコルスタックに複数
のユーザデータＡ〜Ｎの送信及び受信を行う合成ソフト
ウエアと分解ソフトウエアを搭載しており、またオーデ
ィオデータはオーディオコーディックによって、ビデオ
データはビデオコーディックによって各々処理可能とな
っている。上記のような処理を行うデータは、サーバー
１に入力したデータを全てＨ３２３仕様のデータに変換
した後、後述するようなデータ処理がなされる。
【００４０】ここで用いられるオーディオビジュアル通
信仕様Ｈ３２３のデータは、入力したデータに対して例
えば図２（ｂ）に示すような「データ種別」を示すデー
タを更に付加して処理を行う。このようなデータ構成と
した複数のユーザデータは、各々図２（ｃ）に示すよう
なデータ構成に分解する。この例においては各分解され
たデータ毎にデータ番号、リンクフラッグ、シーケンス
番号、データ数のデータを付与し、必要に応じて最後に
ＣＲＣを付与する。
【００４１】サーバー１において上記のようなデータフ
ォーマットに従って複数のマルチメディアデータを処理
するには、例えば図３に示すように行う。図示の例にお
いては説明の便宜のためユーザデータＡとユーザデータ
Ｂの２つのデータを処理する例を示しており、ユーザデ
ータＡに対しては前記図２（ｂ）のようにデータの前に
データ種別を付与し、従ってこれにはユーザデータＡを
示すデータが付与される。またユーザデータＢに対して
も同様にデータ種別Ｂを示すデータが付与される。この
ようなユーザデータをデータ量に合わせて等間隔に、例
えば２５６バイト単位のパケットに分割する。それによ
り、例えばユーザデータＡはＡ１〜Ａ５のパケットに、
ユーザデータＢはＢ１〜Ｂ４のパケットに分割される。
この例においては、ユーザデータＡの最後のＡ５及びユ
ーザデータＢの最後のＢ４は余りのデータのため、前の
データよりデータ量が少ないことを示している。
【００４２】上記のように分割したユーザデータを前記
図２（ｃ）のようなデータ形式に従い再構成するに際し
て、図３にデータ符号化例として示すように、例えばユ
ーザデータＡにおける「Ａ１」のデータからなる「１番
目のデータ」に対しては、データ番号としてユーザデー
タＡを示す「１」を付し、次いでリンクフラッグとして
このデータ以降に続くデータが存在することを示す
「１」を付し、その後にシーケンス番号としてユーザデ
ータＡにおける分解したデータの順番を示す「Ａ１」の
「１」を記録する。その後にはデータＡ１のデータ数を
示す数字を記録し、その後にデータＡそのものを記録す
る。最後に必要に応じてＣＲＣを付与する。
【００４３】２番目のデータに対しても同様に、データ
番号としてユーザデータＢを示す「２」を付し、次いで
リンクフラッグとして「１」を付し、その後にシーケン
ス番号として「Ｂ１」の「１」を記録し、更にデータＢ
１のデータ数を記録し、その後にデータＢそのものを記
録し最後にＣＲＣを記録する。以降は前記と同様に３番
目〜７番目のデータが構成され、８番目のデータにおい
てはリンクフラッグがデータ種別Ｂのデータ列における
最後のデータであることを示す「０」が記録され、９番
目のデータにおいても同様にデータ種別Ａのデータ列に
おける最後のデータであることを示す「０」が記録され
る。
【００４４】このようにして分解し符号化されて再構成
された各データは、図３の下部に示すように、上記１番
目のデータから９番目のデータまで多重化し、これを順
に送信する。上記の例においては２つのデータを分解し
て多重化し、並列的に送信する例を示したが、ユーザデ
ータの数は必要に応じて任意であり、前記と同様の符号
化処理により、Ｈ３２３のプロトコルに従って送信する
ことができる。
【００４５】また、この送信に際しては、複数のマルチ
メディア情報の送出に優先度をつけ、その決められた優
先度に従って順に複数のサービスデータを送信すること
もできる。このときの優先度としては、予め決められた
データを送出する順番、サービスが使用することができ
る平均伝送容量等によって決めることができ、予め優先
順位を決める際には、ユーザが設定し、またはデフォル
トで固定しておき、或いはサービスのデータ容量、更に
はユーザの要求によりダイナミックに変更する機能を備
えても良い。
【００４６】受信側ではこれを送信側と逆の処理をたど
り、データを分解し、ユーザデータ毎に組み合わせるこ
とにより各々のデータを再生することが可能である。こ
のとき、利用者側の情報端末はマルチメディアのデータ
処理機能としてはＨ３２３のデータの処理機能があれば
全ての種類のマルチメデイア情報を受信することができ
る。ユーザー側の情報端末機器においては、対応してい
るプロトコル、機能をサーバーに通知し、サービス内容
を選択してサーバーに通知し、また、前記のようにユー
ザが情報の送出順を決めるときにはその指示を出力する
機能も備えることとなる。
【００４７】前記のようなサーバーの機能は、例えば図
４に示すようなプロトコル構成により実施することがで
きる。この例においてはＨ３２３を用いてテレビ会議シ
ステムに使用するサーバーの公知の構成例を示し、従来
のシステムにおいてＦＡＸの送信やカメラ移動用データ
の送信等、ユーザの各種のアプリケーションを行うため
の機能出力部分に、前記のようなユーザデータ１〜Ｎの
データを入力して合成するユーザデータ合成部を接続
し、これらのデータをＨ２２５．０仕様のレイヤに出力
している。なお、この例においてはビデオ信号はビデオ
コーデックに、オーディオ信号はオーディオコーディッ
クに入力して図示するような種々の仕様のデータを処理
し、システムコントロールの各種データともにインター
ネット接続用インターフェースを介して出力する例を示
している。
【００４８】また、同図に示すように受信側において
は、前記送信側と逆の作動を行い、ユーザからのＴ１２
０仕様に従ったデータをユーザデータ分配部で各ユーザ
データ１〜Ｎの対応するものに分配する。それにより、
ユーザからのテレビ電話のデータ、通信ナビの送信依頼
データ、コンテンツプロバイダへの送信要求データ等の
出力を行うことができる。
【００４９】上記の例においては、従来から用いられて
いるテレビ電話会議システムのユーザデータ入力部に、
外部から入力した各種ユーザデータを入力するように変
更するのみで、容易に上記のようなデータの送受信が可
能になる。特に、テレビ電話会議システムで用いている
Ｈ３２３の仕様はリアルタイムプロトコルであり、この
発明が対象としている映像や音声を組み合わせて送受信
し、例えば一つの画面に複数表示し、その表示形態を任
意に変更する処理を行うデータとして適している。
【００５０】上記のようなデータ構成、データ処理機
能、データ送受信機能によって、前記図１の実施例にお
いては、サーバー１からＩＭＴ−２０００パケット通信
プロトコルの Real Time Multimedeia 通信仕様のＨ３
２３の仕様によって車３の携帯情報端末２と通信を行
い、この例においては前記のようにＴＶ電話のユーザデ
ータＡ、通信ナビのユーザデータＢ、ｉモードのユーザ
データＣ、動画データのユーザデータＤについて、上記
のように分解し再構成して、Ａ１、Ｂ１、Ｃ１、Ｄ１、
Ａ２、Ｂ２、Ｃ２、Ｄ２・・・・の順序で送信する。携
帯情報端末２においてはこれを再構成し、図示するよう
に形態ナビの地図画面上においてナビゲーション機能に
直接関係ない部分等、任意の位置に他のマルチメディア
情報を表示することができる。
【００５１】このような機能を行う本発明においては、
前記図１０（ａ）（ｂ）図１１（ａ）（ｂ）に示すマル
チメディア情報の一般通信態様とは異なり、例えば図５
（ａ）に示すように、テレビ電話を行いながら通信ナビ
のデータを逐次取り込むことができ、同図（ｂ）に示す
ように、テレビ電話を行いながらｉモードのパケット交
換データを取り込んで表示することができ、同図（ｃ）
に示すように通信ナビで地図データを適宜取り込みなが
らインターネットから動画データをストリーミングで取
り込むことができ、更に同図（ｄ）に示すように通信ナ
ビを行いながら図中相手の２者を表示する多者間のテレ
ビ電話を行うことも可能となる。
【００５２】更に、例えば図６に示すように常時接続で
パケット交換を行うことができる通信システムが構成さ
れ、前記のようなＩＭＴ−２０００オーディオ／ビジュ
アル通信プロトコルの応用によるストリーミング・プロ
トコルとしてのＨ３２３、あるいはＨ３２４の通信仕様
を用いることにより、上記のような各マルチメデイア情
報がユーザの指示により取り込まれ、ユーザ側ではこれ
らのデータの内任意のものを選択して表示することがで
きる。それにより例えば同図に示すように、通信ナビの
画面上にその他の情報を適宜表示しておくこともでき、
更に利用者の選択により全画面の半分を用いてテレビ電
話を拡大表示する事も可能となる。
【００５３】本発明においてはその他、例えば図７に示
すような態様で実施することもできる。この例において
は、サーバー１１に地図データベース１２を備えてお
り、更に前記サーバーと同様にマルチメディアデータを
統合的に通信を行う機能を備え、図示の例においては、
図中上方に示している鈴木さんの車に乗っている第１ユ
ーザーとしての鈴木さんと、図中左下に示している加藤
さんの車に乗っている第２ユーザとしての加藤さんと、
オフィスにいる第３ユーザとしての佐藤さんの３人がテ
レビ電話により連絡をとっている状態を示している。
【００５４】この例においては、サーバー１１はこれに
接続した第１ユーザーの鈴木さんの携帯情報端末１３か
らＧＰＳデータによる現在位置信号を受け取り、その位
置周辺の地図データを所望の時期に送信し、鈴木さんの
携帯情報端末１３ではこの地図を表示し、自車両の位
置、走行方向を表示してナビゲーション機能を行うこと
ができるようになっている。同様にサーバー１１に接続
した第２ユーザーの加藤さんからもＧＰＳ信号を受け取
り、その位置周辺の地図データを出力し、加藤さんの携
帯情報端末１４においても同様に地図を表示し、ナビゲ
ーション機能を行うようにしている。従ってこの例では
地図データベースの共有化が行われる。
【００５５】また、各車両には適宜の位置にビデオカメ
ラが固定され、ハンズフリーセット等によりテレビ電話
機能を行うことができるようになっており、オフィスに
いる第３ユーザの佐藤さんに対しても適宜の位置にビデ
オカメラが設置され、マイクを用いてテレビ電話機能を
行うことができるようにしている。
【００５６】このようなハードウエア環境において、例
えば１５分後にオフィスで打ち合わせの会議が開かれる
ため、オフィス外で作業していた鈴木さんと加藤さんが
車でオフィスに駆けつけようとしているとき、鈴木さん
の携帯情報端末１３には加藤さんのテレビ電話の画面に
より加藤さんとの会話を行うことができ、更に、加藤さ
んの現在地を示す地図が送信され、別途切り替えて、或
いは同時に見ることができる自車両の地図上の位置との
関係を容易に知ることができるようになっている。同様
に加藤さんの携帯情報端末１４には、鈴木さんのテレビ
電話の画面により鈴木さんとの会話を行うことができ、
また鈴木さんの現在地を示す地図が送信され、それによ
り自車両との位置関係を知ることができる。一方、オフ
ィスにいる佐藤さんのパソコン１５の画面には、現在車
で移動中の鈴木さんと加藤さんのテレビ電話の画像が佐
藤さんの指示により表示される。
【００５７】このような通信手段を用い、上記のような
情報表示を行うことにより、加藤さんは後１０分くらい
で到着することができるのに対して、鈴木さんは渋滞に
巻き込まれてあと３０分程度かかりそうであること等が
各人にわかり、例えば佐藤さんが鈴木さんに対して迂回
路の走行等により対処できないかの連絡をとり、必要に
応じてアドバイスをすることも可能となる。また、どう
しても遅くなりそうなときには予め会議開始時間の延期
等の対処を社内で予めとることも可能となる。
【００５８】このシステムにおいては、各人の情報共有
が可能であるので、相互に情報を交換し、多者間のテレ
ビ電話を行うことができ、また個人間の情報交換が可能
となる。更にテレビ会議の通信手段を用いているので、
相手カメラ、モニタ位置制御等の相互機器制御が容易に
行うこともできる。また、これらの情報の表示以外に、
前記の例と同様に種々の情報の取り込みを行うことがで
き、各種データ配信サービスへの展開が可能となる。そ
の際には音楽配信と各車両に対して最適な音場空間を設
定することができるパラメータの配信を行うこともで
き、通信ナビを行うと共に周辺施設情報等の位置関連情
報の配信も可能となる。
【００５９】更に例えば図８に示すように、テレビ電話
のＡとＢが存在し、利用者Ｃが例えばＡと会話を行って
いたとき、Ｂからテレビ電話がかかってきた際には、そ
の画像を表示画面の片隅に表示するキャッチホン機能を
行わせることも、このシステムを用いることにより他の
方式に比べて容易に行うことができるようになる。
【００６０】なお、本発明により各種処理を行うサーバ
ーにおいては、例えば図９に示すようなソフトウエア構
成を採用することができ、特にその中心をなすマルチメ
ディア統合通信アプリケーションとしてマルチメディア
プロトコルのＨ３２３によりデータ処理を行うことがで
きる機能を備え、その他Ｗｉｎ Ｓｏｃｋの処理も行
い、ＨＴＴＰの処理、Mail SMTPの処理も可能としてい
る。これらはマルチメディア統合通信ミドルウエアーと
して、Win−ＣＥを用い、デバイスドライバーを備え、
ＴＣＰ／ＩＰ／ＰＰＰ等で通信可能としている。その
他、ジャバを処理し、プラグイン機能を備え、ブラウザ
ー機能、ＮＡＶＩのアプリケーションを備え、ＭＰ３オ
ーディオの処理も可能としている。これらは本発明の実
施例の一態様であり、本発明の中心となる機能以外の部
分については更に種々の態様で実施することができる。
【００６１】
【発明の効果】本発明に係るマルチメディア情報提供方
法は、データ処理装置において異なる通信仕様の複数の
データを受信し、受信した各データを同一の通信仕様に
変換し、変換した各データ毎に識別子を付与して分割
し、分割したデータを順に配列して送信し、情報端末機
器において前記送信されたデータを受信し、前記分割し
た態様に再分割し、再分割したデータを同一識別子のデ
ータ毎に順に配列し、各識別子毎のデータを出力するよ
うにしたので、通信仕様が異なる種々のマルチメディア
情報でも同時に受信し、同一画面で表示し、或いは同時
に音声出力を行うことができ、また複数の情報の表示の
組み合わせを任意に切り替えて使用することができる。
【００６２】また、本発明に係る他のマルチメディア情
報提供方法は、前記同一の通信仕様をストリーミング・
プロトコルとしたので、これらのリアルタイムプロトコ
ルの特長を生かして、動画のリアルタイム表示を初め、
種々のマルチメデイアデータを容易に取り扱うことがで
き、しかもこの仕様で通信を行っているテレビ電話会議
システムの機能の一部を変更するのみで容易に実施可能
となる。
【００６３】また、他のマルチメディア情報提供方法
は、前記変換した各データ毎に識別子を付与して分割す
るデータには、各識別子毎のシーケンス番号を付与し、
識別子とシーケンス番号によりデータを順に配列するの
で、分割したデータの並び替えを種々変更しても受信側
で容易に元のデータに復元することができる。それによ
り自由な並び替えによる送信が可能となり、データ種別
毎の優先順位に従ったデータ送信等も可能となる。
【００６４】また、本発明に係る他のマルチメディア情
報提供方法は、前記異なるプロトコルの複数のデータ
を、インターネット、テレビ電話、通信ナビなどのデー
タとしたので、広汎に使用されているＨＴＴＰ仕様のイ
ンターネットのデータ、今後広く普及し情報端末装置と
して重要な機能となることが予想されるＨ３２３，Ｈ３
２４仕様のテレビ電話のデータ、ナビゲーション装置に
おいて今後普及が予想されるＷｉｎ Ｓｏｃｋ仕様の通
信ナビのデータを、一つの機器で単一のデータ処理機能
を備えるのみで同時に取り扱うことができるようにな
る。
【００６５】また、本発明に係るマルチメディア情報提
供装置は、異なるプロトコルの複数のデータを受信する
データ受信手段と、各データを同一プロトコルに変換す
るデータ変換手段と、前記変換した各データ毎に識別子
を付与して分割する同一プロトコルデータ分割手段と、
前記分割したデータを順に配列する同一プロトコルデー
タ配列手段と、前記配列したデータを送信するデータ送
信手段とを備えたデータ処理装置を有するので、このデ
ータ処理装置と接続する情報端末装置において、通信仕
様が異なる種々のマルチメディア情報でも同時に受信
し、同一画面で表示し、或いは同時に音声出力を行うこ
とができ、また複数の情報の表示の組み合わせを任意に
切り替えて使用することができる。
【００６６】また、本発明に係る他のマルチメディア情
報提供装置は、前記同一のプロトコルはストリーミング
・プロトコルであるデータ処理装置を有するので、これ
らのプロトコルが備えているリアルタイムでデータを送
受信可能な特長を生かして、動画のリアルタイム表示を
初め、種々のマルチメデイアデータを容易に取り扱うこ
とができ、しかもこのデータ処理装置においては、従来
よりこの仕様で通信を行っているテレビ電話会議システ
ムの機能の一部を変更するのみで容易に実施可能とな
る。
【００６７】また、本発明に係る他のマルチメディア情
報提供装置は、前記同一プロトコルデータ配列手段にデ
ータ送出優先順位設定手段を備え、該データ送出優先順
位に従ってデータを配列するデータ処理装置を有するの
で、各種マルチメディアデータの必要度に応じたデータ
の送信管理を行うことができ、利用者にとって便利なマ
ルチメディア情報提供装置とすることができる。
【００６８】また、本発明に係る他のマルチメディア情
報提供装置は、前記優先順位を、予め設定されている順
位、利用者が予め設定する順位、送信データの容量によ
り決められる順位、又はユーザの要求に応じて随時変更
される順位のいずれかとしたので、利用者の希望に合わ
せて、あるいは機器のデータ処理の必要性に合わせて種
々の優先順位によりデータの送受信を行うことができ、
利用しやすい装置とすることができる。
【００６９】また、本発明に係る他のマルチメディア情
報提供装置は、前記異なるプロトコルのデータがインタ
ーネット、テレビ電話、通信ナビなどの通信用データで
あるデータ処理装置を有するので、広汎に使用されてい
るＨＴＴＰ仕様のインターネットのデータ、今後広く普
及し情報端末装置として重要な機能となることが予想さ
れるＨ３２３，Ｈ３２４仕様のテレビ電話のデータ、ナ
ビゲーション装置において今後普及が予想されるＷｉｎ
Ｓｏｃｋ仕様の通信ナビのデータを、同一機器で自由
に取り扱うことができるようになる。
【００７０】また、本発明に係る他のマルチメディア情
報提供装置は、異なるプロトコルの複数のデータを同一
プロトコルに変換し、変換した各データ毎に分割し、再
分割したデータを同一識別子のデータ毎に順に配列し、
各識別子毎のデータを送信するデータ処理装置からのデ
ータを受信するデータ受信手段と、前記分割した態様に
再分割する再分割手段と、前記再分割したデータを同一
識別子のデータ毎に順に配列するデータ配列手段と、各
識別子毎のデータを出力するデータ出力手段とを備えた
情報端末機器を有するので、通信仕様が異なる種々のマ
ルチメディア情報でも同時に受信し、同一画面で表示
し、或いは同時に音声出力を行うことができ、また複数
の情報の表示の組み合わせを任意に切り替えて使用する
ことができる。
【００７１】また、本発明に係る他のマルチメディア情
報提供装置は、前記同一のプロトコルをストリーミング
・プロトコルとした情報端末機器を有するので、これら
のプロトコルが備えているリアルタイムでデータを送受
信可能な特長を生かして、動画のリアルタイム表示を初
め、種々のマルチメデイアデータを容易に取り込むこと
ができ、しかもこのデータを送信するサーバーとしての
データ処理装置においては、従来よりこの仕様で通信を
行っているテレビ電話会議システムの機能の一部を変更
するのみで容易に実施可能となる。
【００７２】また、本発明に係る他のマルチメディア情
報提供装置は、前記異なるプロトコルのデータをインタ
ーネット、テレビ電話、通信ナビなどの通信用データと
した情報端末機器を有するので、広汎に使用されている
ＨＴＴＰ仕様のインターネットのデータ、今後広く普及
し情報端末装置として重要な機能となることが予想され
るＨ３２３、Ｈ３２４仕様のテレビ電話のデータ、ナビ
ゲーション装置において今後普及が予想されるＷｉｎ
Ｓｏｃｋ仕様の通信ナビのデータを、同一の情報端末機
器で自由に取り扱うことができるようになる。
【００７３】また、本発明に係る他のマルチメディア情
報提供装置は、前記情報端末機器を携帯電話、通信ナビ
ゲーション装、携帯情報端末装置などの装置としたの
で、携帯電話を用いたものにおいては、広く使用されて
いる携帯電話によって、いつでもどこでもあらゆるマル
チメディア情報を同時に利用することができるようにな
る。また通信ナビゲーション装置としたものにおいて
は、随時取り込まれる地図データの受信に影響されず、
種々の情報を同時に利用することができ、比較的大きな
画面を用いて種々のマルチメディア情報を表示すること
ができる。また、携帯情報端末装置としたものにおいて
は、比較的高性能のデータ処理装置を用い、多くのマル
チメディア情報を自由な場所で容易に取り扱うことがで
きる。
【図面の簡単な説明】
【図１】本発明の実施例の機器構成と機能の関連を示し
たシステム概要図である。
【図２】同実施例において用いられるサーバーのデータ
処理手段、及びここで取り扱うデータ構成を示す説明図
である。
【図３】同実施例において取り扱うデータ構成を示す図
である。
【図４】同実施例において用いられるサーバーの機能ブ
ロック図である。
【図５】本発明により表示されるマルチメディア情報受
信表示態様例を示す図である。
【図６】本発明により可能となるマルチメディア統合通
信によるデータストリームと表示例を示す図である。
【図７】本発明の他の実施の態様における機器構成と機
能の関連を示したシステム概要図である。
【図８】本発明により可能となるテレビ電話のキャッチ
ホン表示機能の例を示す図である。
【図９】本発明において用いられるサーバーのソフトウ
エアー構成図である。
【図１０】現在通常考えられる一般通信態様の例を示す
図であり（ａ）は一般通信態様１として２者間でテレビ
電話を行う態様の図であり、（ｂ）は一般通信態様２と
してコンテンツプロバイダからストリーム画像データを
回線交換で受信し携帯電話に表示する態様を示す図であ
る。
【図１１】現在通常考えられる一般通信態様の他の例を
示す図であり（ａ）は一般通信態様３としてコンテンツ
プロバイダからｉモードを利用してパケット交換のデー
タを取り込み携帯電話に表示する態様を示す図であり、
（ｂ）は一般通信態様４としてＷ−ＣＤＭＡ通信網から
回線交換の音声通信とパケット交換のデータ通信を２回
線使用して行う態様を示す図である。
【図１２】一般通信態様５として、単にＩＭＴ−２００
０をそのまま用いて種々のマルチメデイアデータを表示
する際に、シーケンシャルで通信を行わなければならな
い例を示す図である。
【符号の説明】
１ サーバー ２ 利用者の携帯情報端末装置 ３ 利用者の車両 ４ テレビ電話を行う相手の携帯情報端末装置 ５ 地図データベース
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C064 AA01 AB03 AB04 AC04 AC06 AC12 AC16 AD01 AD08 AD13 AD14 5K034 AA19 AA20 FF01 HH01 HH02 HH08 HH12 HH14 HH61 HH63 JJ23 JJ24 MM18 MM25 MM37 MM39 NN16 NN25

Claims (13)

    【特許請求の範囲】
  1. 【請求項１】 データ処理装置において異なる通信仕様
    の複数のデータを受信し、受信した各データを同一の通
    信仕様に変換し、変換した各データ毎に識別子を付与し
    て分割し、分割したデータを順に配列して送信し、 情報端末機器において前記送信されたデータを受信し、
    前記分割した態様に再分割し、再分割したデータを同一
    識別子のデータ毎に順に配列し、各識別子毎のデータを
    出力することを特徴とするマルチメディア情報提供方
    法。
  2. 【請求項２】 前記同一の通信仕様はストリーミング・
    プロトコルであることを特徴とする請求項１記載のマル
    チメディア情報提供方法。
  3. 【請求項３】 前記変換した各データ毎に識別子を付与
    して分割するデータには、各識別子毎のシーケンス番号
    を付与し、識別子とシーケンス番号によりデータを順に
    配列することを特徴とする請求項１記載のマルチメディ
    ア情報提供方法。
  4. 【請求項４】 前記異なる通信仕様の複数のデータは、
    インターネット、テレビ電話、通信ナビなどのデータで
    あることを特徴とする請求項１記載のマルチメディア情
    報提供方法。
  5. 【請求項５】 異なる通信仕様の複数のデータを受信す
    るデータ受信手段と、 各データを同一通信仕様に変換するデータ変換手段と、 前記変換した各データ毎に識別子を付与して分割する同
    一通信仕様データ分割手段と、 前記分割したデータを順に配列する同一通信仕様データ
    配列手段と、 前記配列したデータを送信するデータ送信手段とを備え
    たデータ処理装置を有することを特徴とするマルチメデ
    ィア情報提供装置。
  6. 【請求項６】 前記同一の通信仕様はストリーミング・
    プロトコルであることを特徴とする請求項５記載のデー
    タ処理装置を有するマルチメディア情報提供装置。
  7. 【請求項７】 前記同一通信仕様データ配列手段には、
    データ送出優先順位設定手段を備え、該データ送出優先
    順位に従ってデータを配列することを特徴とする請求項
    ５記載のデータ処理装置を有するマルチメディア情報提
    供装置。
  8. 【請求項８】 前記優先順位は、予め設定されている順
    位、利用者が予め設定する順位、送信データの容量によ
    り決められる順位、又はユーザの要求に応じて随時変更
    される順位のいずれかであることを特徴とする請求項５
    記載のデータ処理装置を有するマルチメディア情報提供
    装置。
  9. 【請求項９】 前記異なる通信仕様のデータはインター
    ネット、テレビ電話、通信ナビなどの通信用データであ
    ることを特徴とする請求項５記載のデータ処理装置を有
    するマルチメディア情報提供装置。
  10. 【請求項１０】 異なる通信仕様の複数のデータを同一
    通信仕様に変換し、変換した各データ毎に分割し、再分
    割したデータを同一識別子のデータ毎に順に配列し、各
    識別子毎のデータを送信するデータ処理装置からのデー
    タを受信するデータ受信手段と、 前記分割した態様に再分割する再分割手段と、 前記再分割したデータを同一識別子のデータ毎に順に配
    列するデータ配列手段と、 各識別子毎のデータを出力するデータ出力手段とを備え
    た情報端末機器を有することを特徴とするマルチメデイ
    ア情報提供装置。
  11. 【請求項１１】 前記同一の通信仕様はストリーミング
    ・プロトコルであることを特徴とする請求項１０記載の
    情報端末機器を有するマルチメディア情報提供装置。
  12. 【請求項１２】 前記異なる通信仕様のデータはインタ
    ーネット、テレビ電話、通信ナビなどの通信用データで
    あることを特徴とする請求項１０記載の情報端末機器を
    有するマルチメディア情報提供装置。
  13. 【請求項１３】 前記情報端末機器は携帯電話、通信ナ
    ビゲーション装置、携帯情報端末装置などの装置である
    ことを特徴とする請求項１０記載のマルチメディア情報
    提供装置。
JP2001310739A 2001-10-05 2001-10-05 マルチメディア情報提供方法及び装置 Expired - Fee Related JP3888642B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001310739A JP3888642B2 (ja) 2001-10-05 2001-10-05 マルチメディア情報提供方法及び装置
EP02256176A EP1304882A3 (en) 2001-10-05 2002-09-06 Multimedia information providing method and apparatus
US10/259,230 US7260108B2 (en) 2001-10-05 2002-09-27 Multimedia information providing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001310739A JP3888642B2 (ja) 2001-10-05 2001-10-05 マルチメディア情報提供方法及び装置

Publications (2)

Publication Number Publication Date
JP2003115889A true JP2003115889A (ja) 2003-04-18
JP3888642B2 JP3888642B2 (ja) 2007-03-07

Family

ID=19129667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001310739A Expired - Fee Related JP3888642B2 (ja) 2001-10-05 2001-10-05 マルチメディア情報提供方法及び装置

Country Status (3)

Country Link
US (1) US7260108B2 (ja)
EP (1) EP1304882A3 (ja)
JP (1) JP3888642B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005013618A1 (ja) * 2003-07-31 2005-02-10 Institute Of Tsukuba Liaison Co.,Ltd. ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
JP2005130150A (ja) * 2003-10-23 2005-05-19 Sony Corp 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム
JPWO2003077553A1 (ja) * 2002-03-08 2005-07-07 三菱電機株式会社 移動体通信装置、移動体通信装置の表示制御方法、並びに、そのプログラム
JP2008017207A (ja) * 2006-07-06 2008-01-24 Kddi Corp 映像信号受信装置
KR100834059B1 (ko) 2006-11-01 2008-06-02 김창모 이동통신단말에서 듀얼모드 비확산통신을 이용하는통화대기음 및 벨소리 서비스 제공 시스템 및 그통화대기음 및 벨소리 서비스 제공 방법
KR100853525B1 (ko) 2006-11-08 2008-08-22 김창모 이동통신단말에서 싱글모드 비확산통신을 이용하는통화대기음 및 벨소리 서비스 제공 시스템 및 그통화대기음 및 벨소리 서비스 제공 방법
WO2011046056A1 (ja) * 2009-10-14 2011-04-21 日本電気株式会社 パケット通信の伝送制御方法及びパケット通信システム
JP2014529112A (ja) * 2011-07-14 2014-10-30 ジョンソン コントロールズ テクノロジー カンパニーＪｏｈｎｓｏｎ Ｃｏｎｔｒｏｌｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｍｐａｎｙ ネットワークベースのコンテンツを車両内テレマティクスシステムに提供するためのシステムおよび方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813690B1 (en) * 2001-06-12 2004-11-02 Network Appliance, Inc. Caching media data using content-sensitive identifiers
US7386627B1 (en) * 2002-01-29 2008-06-10 Network Appliance, Inc. Methods and apparatus for precomputing checksums for streaming media
US7254533B1 (en) 2002-10-17 2007-08-07 Dilithium Networks Pty Ltd. Method and apparatus for a thin CELP voice codec
KR100556911B1 (ko) * 2003-12-05 2006-03-03 엘지전자 주식회사 무선 동영상 스트리밍 서비스를 위한 동영상 데이터의 구조
TWI238663B (en) * 2004-02-13 2005-08-21 Era Digital Media Co Ltd Cross media information integration system
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
US20060075450A1 (en) * 2004-10-06 2006-04-06 David Haas Systems, devices, and methods for providing high-resolution, live, real-time video signal data and other data using low frequency bandwidth
US8443083B2 (en) * 2005-05-04 2013-05-14 Qualcomm Incorporated Arbitration of resources at a wireless device among contending applications
US7646788B2 (en) * 2005-08-03 2010-01-12 The Boeing Company TCP/IP tunneling protocol for link 16
KR101456483B1 (ko) * 2006-08-25 2014-10-31 삼성전자주식회사 데이터를 송수신하는 방법
US20080195978A1 (en) * 2007-02-12 2008-08-14 Garmin Ltd. Method and apparatus for communicating navigation information
TWI376950B (en) * 2007-08-23 2012-11-11 Benq Corp Multimedia effect processing device for videophone and related method
US8761992B2 (en) * 2008-03-27 2014-06-24 At&T Mobility Ii Llc Broadcast of automobile related information
FR2940689B1 (fr) * 2008-12-31 2011-06-03 Cy Play Procede de navigation d'utilisateur d'un terminal mobile sur une application s'executant sur un serveur distant
US20120269239A1 (en) * 2011-04-20 2012-10-25 Mykhaylo Sabelkin Method and Apparatus for Data Transmission Oriented on the Object, Communication Media, Agents, and State of Communication Systems
CN105075281B (zh) * 2013-06-05 2019-01-01 太阳专利托管公司 数据解码方法、数据解码装置及数据发送方法
GB2526245A (en) 2014-03-04 2015-11-25 Microsoft Technology Licensing Llc Sharing content

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0637794A (ja) 1992-07-16 1994-02-10 Matsushita Electric Ind Co Ltd メディア多重化セル構成法
US5522021A (en) * 1994-03-08 1996-05-28 Industrial Technology Research Institute Word boundary parameter evaluation for bit block transfer operation in a computer graphics system
JP3545810B2 (ja) 1994-09-08 2004-07-21 ユニデン株式会社 コードレス電話機
US5533021A (en) * 1995-02-03 1996-07-02 International Business Machines Corporation Apparatus and method for segmentation and time synchronization of the transmission of multimedia data
AU6077196A (en) * 1996-02-01 1997-08-07 Mitsubishi Denki Kabushiki Kaisha Multimedia information processing system
JPH09322078A (ja) 1996-05-24 1997-12-12 Toko Inc 画像伝送装置
US5856973A (en) * 1996-09-10 1999-01-05 Thompson; Kenneth M. Data multiplexing in MPEG server to decoder systems
JP3434653B2 (ja) * 1996-12-05 2003-08-11 富士通株式会社 マルチメディアデータ蓄積伝送方法及び装置
US6067303A (en) * 1997-02-25 2000-05-23 International Business Machines Corporation Method and apparatus for detecting and controlling data stream splicing in ATM networks
US6026097A (en) * 1997-03-13 2000-02-15 8 X 8, Inc. Data processor having controlled scalable input data source and method thereof
US6034968A (en) * 1997-09-22 2000-03-07 Samsung Electronics Co., Ltd. Adaptive multiplexing/demultiplexing method and multiplexer/demultiplexer therefor
US6229819B1 (en) 1997-10-21 2001-05-08 Mci Communications Corporation Advanced intelligent network gateway
US6243129B1 (en) * 1998-01-09 2001-06-05 8×8, Inc. System and method for videoconferencing and simultaneously viewing a supplemental video source
JP3464907B2 (ja) 1998-03-20 2003-11-10 富士通株式会社 プロトコル変換システム
US6839734B1 (en) * 1998-09-21 2005-01-04 Microsoft Corporation Multimedia communications software with network streaming and multi-format conferencing
KR100636110B1 (ko) * 1999-10-29 2006-10-18 삼성전자주식회사 엠펙-4 송수신용 시그널링을 지원하는 단말기
JP2001142800A (ja) 1999-11-17 2001-05-25 Sony Corp 情報処理装置
US6829254B1 (en) * 1999-12-28 2004-12-07 Nokia Internet Communications, Inc. Method and apparatus for providing efficient application-level switching for multiplexed internet protocol media streams
US20010033296A1 (en) * 2000-01-21 2001-10-25 Fullerton Nathan W. Method and apparatus for delivery and presentation of data
US7191242B1 (en) * 2000-06-22 2007-03-13 Apple, Inc. Methods and apparatuses for transferring data
US6919929B1 (en) * 2001-03-29 2005-07-19 National Semiconductor Corporation Method and system for implementing a video and graphics interface signaling protocol

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2003077553A1 (ja) * 2002-03-08 2005-07-07 三菱電機株式会社 移動体通信装置、移動体通信装置の表示制御方法、並びに、そのプログラム
WO2005013618A1 (ja) * 2003-07-31 2005-02-10 Institute Of Tsukuba Liaison Co.,Ltd. ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
JP2005051703A (ja) * 2003-07-31 2005-02-24 Institute Of Tsukuba Liaison Co Ltd ライブストリーミング放送方法、ライブストリーミング放送装置、ライブストリーミング放送システム、プログラム、記録媒体、放送方法及び放送装置
JP2005130150A (ja) * 2003-10-23 2005-05-19 Sony Corp 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム
JP4496755B2 (ja) * 2003-10-23 2010-07-07 ソニー株式会社 通信処理装置、および通信処理方法、並びにコンピュータ・プログラム
JP2008017207A (ja) * 2006-07-06 2008-01-24 Kddi Corp 映像信号受信装置
KR100834059B1 (ko) 2006-11-01 2008-06-02 김창모 이동통신단말에서 듀얼모드 비확산통신을 이용하는통화대기음 및 벨소리 서비스 제공 시스템 및 그통화대기음 및 벨소리 서비스 제공 방법
KR100853525B1 (ko) 2006-11-08 2008-08-22 김창모 이동통신단말에서 싱글모드 비확산통신을 이용하는통화대기음 및 벨소리 서비스 제공 시스템 및 그통화대기음 및 벨소리 서비스 제공 방법
WO2011046056A1 (ja) * 2009-10-14 2011-04-21 日本電気株式会社 パケット通信の伝送制御方法及びパケット通信システム
JP2014529112A (ja) * 2011-07-14 2014-10-30 ジョンソン コントロールズ テクノロジー カンパニーＪｏｈｎｓｏｎ Ｃｏｎｔｒｏｌｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｍｐａｎｙ ネットワークベースのコンテンツを車両内テレマティクスシステムに提供するためのシステムおよび方法
US10284652B2 (en) 2011-07-14 2019-05-07 Visteon Globaltechnologies, Inc. Systems and methods for providing network-based content to an in-vehicle telematics system

Also Published As

Publication number Publication date
JP3888642B2 (ja) 2007-03-07
EP1304882A3 (en) 2005-05-11
EP1304882A2 (en) 2003-04-23
US20030103524A1 (en) 2003-06-05
US7260108B2 (en) 2007-08-21

Similar Documents

Publication Publication Date Title
JP2003115889A (ja) マルチメディア情報提供方法及び装置
US6857024B1 (en) System and method for providing on-line advertising and information
US7079518B2 (en) System and method for providing multimedia service using a mobile communication terminal
EP1343322A1 (en) Broadcast viewing method, broadcast transmitting server, mobile terminal, and multi-location calling/broadcast control viewing apparatus
US7715872B2 (en) Video calling method capable of providing video through third display
CN101485170B (zh) 通过网络呈现用流传输的可重复的数据对象
US20070180135A1 (en) Multimedia content exchange architecture and services
WO2012145340A2 (en) Flow-control based switched group video chat and real-time interactive broadcast
US20040128688A1 (en) Method for providing advertisement VOD services for mobile communication terminal
US20100332590A1 (en) Inheritance communication administrating apparatus
JP4945932B2 (ja) 映像配信システム、呼制御−映像配信連携サーバ及びそれらに用いる映像配信方法並びにそのプログラム
JP2008160301A (ja) コンテンツ配信装置、ネットワーク端末及びコンテンツ配信システム
JP2013531945A (ja) 商業通信システムおよび方法
WO2005050962A1 (ja) 音声通信システムおよびサーバ装置
KR100996241B1 (ko) 동영상 분할 장치 및 그에 따른 동영상 분할 방법
KR100866786B1 (ko) 개인 이동 방송 서비스 방법과 그 시스템
JP2010033477A (ja) シンクライアントシステム、アプリケーションサーバ、デバイス管理装置、端末制御サーバ、通信方法
JP2003281014A (ja) 多地点通信システムおよび中継装置
JP2004112601A (ja) Ｔｖ電話を用いた広告システム
JP2000152201A (ja) 電子通話システム
JP2003023504A (ja) 映像用音声・通話用音声同時配信時の音声制御方法
JP2004356897A (ja) ゲートウェイ装置およびそれを用いた情報提供システム
US20090106106A1 (en) Method and apparatus for transmitting and receiving IP-based two-way advertisement
US20060150070A1 (en) Mobile communication method and system
JP2003046463A (ja) 映像配信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040730

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051201

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060814

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061013

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061125

R150 Certificate of patent or registration of utility model

Ref document number: 3888642

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121208

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131208

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees