JP2006018643A - 映像配信システム - Google Patents

映像配信システム Download PDF

Info

Publication number
JP2006018643A
JP2006018643A JP2004196635A JP2004196635A JP2006018643A JP 2006018643 A JP2006018643 A JP 2006018643A JP 2004196635 A JP2004196635 A JP 2004196635A JP 2004196635 A JP2004196635 A JP 2004196635A JP 2006018643 A JP2006018643 A JP 2006018643A
Authority
JP
Japan
Prior art keywords
distribution
server
video
terminal
distribution server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004196635A
Other languages
English (en)
Inventor
Hiroaki Komine
浩昭 小峰
Kenichi Kuwako
健一 桑子
Koji Tezuka
宏治 手塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2004196635A priority Critical patent/JP2006018643A/ja
Publication of JP2006018643A publication Critical patent/JP2006018643A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】本発明は映像配信を行う複数の配信サーバと端末及び端末からの要求を受ける配信管理サーバとがネットワークに接続された映像配信システムに関し,回線を無駄に使用することなく配信サーバの切り替えを映像の切れ目無く行うことを目的とする。
【解決手段】端末は複数の配信サーバと接続して映像を受信する複数の映像受信部と,複数の映像情報から1つの映像信号を選択して処理して表示部に出力する受信処理部と回線接続制御部とを備え,配信管理サーバは端末からの配信要求を処理する端末要求制御部と配信サーバ管理データベースと配信サーバを決定し,配信サーバに配信指示を出すと共に,配信サーバまたは端末の状態から配信サーバの切替要因の発生を検出すると現在の配信サーバを待機系へ,他の配信サーバを運用系へ切替え,端末に対し切替指示を発生し,配信サーバは映像データベースと,端末への映像の配信の制御を行うよう構成する。
【選択図】図1

Description

本発明は,映像配信を行う複数の配信サーバと多数の端末及び端末からの要求を受けて配信サーバに対して映像の配信を指示する配信管理サーバとがネットワークに接続された映像配信システムに関する。
近年,インターネット等のネットワークに接続された端末に対して映像を配信するための配信サーバを設け,各端末からの映像配信の要求を受け付けて配信サーバに対して映像配信を指示する接続要求分配サーバ(または配信管理サーバと呼ばれる場合もある)を設ける映像配信システムが知られている。
従来のシステム構成の例を図14に示す。図中,80はインターネット等のネットワーク,81,82はネットワーク80に接続された映像等のコンテンツを端末に対して配信する配信サーバ,83はネットワーク80に接続されて端末からの映像配信の要求に対しどの配信サーバへ接続すればよいか判別して端末に通知する接続要求分配サーバ,84−1,84−2はネットワークに接続された複数の端末を表す。このシステムでは,最初に一つの端末84から接続要求分配サーバ83にアクセスして,配信を希望するコンテンツ(映像)を指定すると,その映像を提供できる配信サーバを検索して,検索された一つの配信サーバのアドレスを端末に通知すると,その端末は通知された配信サーバに対してアクセスして,その配信サーバから希望した映像を受け取って視聴する。図14の例では端末84−1が映像1を配信サーバ81から受け取り,端末84−2が映像2を配信サーバ82から受け取っている。なお,接続要求分配サーバ83が検索された一つの配信サーバに対して当該端末に対して接続を行うよう接続要求を発生して,その配信サーバからその端末に接続を行うようにする方法もある。
図15は異常発生時の従来例の説明図であり,図15において,80〜83,84−1の各符号は上記図14と同じである。上記の図14の構成において,端末84−1が配信サーバ81から映像1を受信している時,図15のaに示すように映像の異常または回線品質の劣化が発生すると,bのように配信サーバ81と端末84−1間の回線切断を行う。次にcに示すように端末84−1から接続要求分配サーバ83に対して再接続要求を行うと,接続要求分配サーバ83はdに示すように他の配信サーバ82に対して再接続要求を行う。これに応じて,配信サーバ82から端末84−1に対して再接続を行い,端末84−1は配信サーバ82から改めて希望する映像の配信を受ける。
この上記従来例の方法では最初に映像配信を行った配信サーバ81による映像の異常または回線品質の劣化が発生すると,端末84−1から接続要求分配サーバ83に対し再接続要求を行う等の動作が必要であり,受け取っているストリーミングの映像(動画等)の受信が中断し,再接続した他の配信サーバからの同じ映像を受け取るまでの時間がかかり,更に映像が中断した部分から受信することは複雑な制御を要するため困難であり,短時間で中断した映像を視聴することができなかった。
上記図15に示す従来例の問題を解決する技術として他の方法がある(特許文献1参照)。その方法によれば,最初に,端末(クライアント)から情報提供サーバへ映像(ストリームデータ)の配信を問い合わせると,情報提供サーバから複数の配信サーバのアドレスが端末に送られてくるので,それらを優先順位を付けて端末の管理テーブルに格納し,端末はその管理テーブルに格納した複数の配信サーバ(優先順位の最上位から一定個数の配信サーバ)に対してアクセスする。この時,最も早く応答した配信サーバを選択し,その配信サーバからの映像だけを受信するが,他の配信サーバから応答があった場合は,映像を受信せず,それぞれの配信サーバとの接続を継続する。最初の配信サーバから配信を受けている途中でデータが受信できないと,端末は障害が発生したと判断して配信サーバを変更するため,上記管理テーブルに格納され,接続が継続している他の配信サーバに対してデータ送信要求を行い,早く応答した配信サーバからのデータ受信を行うようにしたものである。
特開2000−99435号公報
上記特許文献1に記載した方法によれば,端末は複数の配信サーバに対してアクセスしてその中の一つの配信サーバから映像を受信しているが,同時に他の配信サーバとの接続を継続(回線を使用する)しており,端末は常時複数の配信サーバと回線により接続するため回線(または帯域)を2倍以上使用とし,回線が無駄に使用され,コストがかかるという問題があった。また,配信サーバを切り替えた場合に,元の配信サーバの画像から切り替え先の配信サーバの画像への切り替え時に映像を切れ目なく切り替えることができないという問題があった。
本発明は回線を無駄に使用することなく配信サーバの切り替えを実現すると共に配信サーバを切り替える時に映像を切れ目無く行うことができる映像配信システムを提供することを目的とする。
図1は本発明の原理構成を示す図である。図中,1は配信管理サーバ,10は利用可能な配信サーバの状態,各配信サーバが備える映像(コンテンツ)のテーブル等の情報が格納された配信サーバ管理データベース(DBで表示),11は利用可能な各配信サーバの状態(正常,障害かの状態,負荷の状態等)の情報を受け取って管理を行うサーバ状態管理部,12は指定した配信サーバに対し,運用系または待機系として指定した端末に配信するよう指示を行ったり,配信サーバからの応答を受け取る制御を行う配信サーバ制御部,13は端末に対して配信サーバを切り替えるよう指示を行うと共に端末からの応答を受け取る端末要求制御部である。2−1,2−2は第1の配信サーバ,第2の配信サーバ,20はストリーミングの映像データを格納した映像データベース(DB),21は配信サーバの状態を監視して配信管理サーバ1に通知するサーバ監視部,22は映像送信部(後述する23)から端末へ送信する映像の配信制御を行う配信制御部,23は映像データベース20からの映像をフレーム単位で送信したり停止する制御を行う映像送信部,3は映像を受け取って表示を行う端末,30−1,30−2は複数の配信サーバからの映像を受信する第1の映像受信部,第2の映像受信部,31−1,31−2は接続回線の回線断,ビット誤り,フレーム損失等の回線状況を監視し,異常や品質劣化を検出する第1の回線品質監視部,第2の回線品質監視部,32は受信処理部,33は回線接続制御部,34は受信した映像を表示する表示部,4はインターネット等のネットワークである。
図1の構成では,端末3から配信管理サーバ1に対し配信要求を行い,配信管理サーバ1で配信サーバ管理DB10を用いて要求された映像を提供できる配信サーバを検出すると共にサーバ状態管理部11が管理する各配信サーバ2−1,2−2の負荷状態を検出して一つの配信サーバまたは複数の配信サーバを選択する。一つの配信サーバを選択した場合,配信サーバ制御部12から選択した配信サーバ(2−1とする)に対して運用系として画像を配信するよう指示し,第1の配信サーバ2−1から応答を受け取ると,配信要求を行った端末3に対して第1の配信サーバ2−1から配信することを表す情報を含む配信要求応答を出力する。端末3はこれを受けると,運用系の第1の配信サーバ2−1への接続要求をネットワーク4を介して第1の配信サーバ2−1に送信すると,第1の配信サーバ2−1から接続要求応答が返ってくる。端末3がこれに対しコンテンツ名(見たい画像)を要求すると,第1の配信サーバ2−1が要求されたコンテンツの送信を行う。第1の配信サーバ2−1はサーバ監視部21で故障や負荷異常を検出すると配信管理サーバ1のサーバ状態管理部11に通知し,端末3でも第1の回線品質監視部31−1(または第2の回線品質監視部31−2)で回線の異常や品質劣化を検出すると,回線接続制御部33を通じて配信管理サーバ1に対して別の配信サーバに要求する。
配信管理サーバ1は第1の配信サーバ2−1に対し運用系から待機系への配信切替指示(コンテンツ名や切替時刻等を含む)を出力し,第1の配信サーバ2−1から配信切替指示応答が返ってくると,配信サーバ管理DB10が保持する情報(コンテンツ情報等)を参照して,切替先となる配信サーバ(2−2とする)を決定し,他の第2の配信サーバ2−2に対して運用系として配信するよう配信切替指示(コンテンツ名,切替のフレーム番号を含む)を出して,第2の配信サーバ2−2から切替指示の応答が返ってくると,端末3に対して第2の配信サーバ2−2への配信切替指示を出力し,端末3からの応答を受け取る。この後端末3から切替先である第2の配信サーバ2−2に対し接続要求を行い,第2の配信サーバ2−2からの応答が返ってくると,コンテンツの映像の切替のフレーム番号前までは第1の配信サーバ2−1(待機系)の映像を選択し,切替のフレーム番号からは第2の配信サーバ2−2(運用系)の映像を選択するよう受信処理部32で処理を行う。
なお,端末3からの最初に配信要求を行った時に,配信管理サーバ1で複数の配信サーバを選択して,一方を運用系,他方を待機系として確保しておくようにすることができる。その場合,配信サーバを切替える必要が生じると,上記の一つの配信サーバだけ選択した場合に比べて,速やかに切替えを行うことが可能となる。
本発明によれば配信サーバからの映像の配信の故障や回線品質の劣化等が発生しても,他の配信サーバから配信される同じ映像に切れ目なく切替えることができ,利用者に違和感なく連続して映像を表示することができる。また,映像を一つの配信サーバだけ選択してそこから映像を配信した場合には,無駄に回線を占有することがない。更に,映像を配信する配信サーバとして最初に複数の配信サーバを選択して指定した場合,故障や回線品質の劣化が発生した場合に速やかに切れ目なく運用系から待機系に切替えることが可能となる。
図2〜図4は,それぞれ上記図1に示す配信管理サーバ1,配信サーバ2及び端末3の実施例の構成を示す。
図2は配信管理サーバ(図1の1)の実施例の構成であり,図中,1,10〜13の各符号は上記図1の同一符号の各部に対応し,1は配信管理サーバ,10は各配信サーバの状態(障害の有無,負荷等の状態),各配信サーバが保持するコンテンツの情報等を格納した配信サーバ管理DB(データベース),11はサーバ状態管理部,13は端末要求制御部である。配信サーバ制御部12の中の,120は各配信サーバと監視,映像管理,映像選択のための通信制御を行う通信制御部,121は各配信サーバの映像管理部に対する映像情報の管理を行う配信サーバ映像情報管理部,122は配信制御部,123は配信サーバ切替の制御を行う配信サーバ切替制御部である。端末要求制御部13内には,端末処理部13が設けられている。
図3は配信サーバ(図1の2−1,2−2)の実施例の構成であり,図中,2,20〜23の各符号は上記図1の同一符号の各部に対応し,2は配信サーバ(図1の2−1,2−2に対応),20は映像DB(データベース),21はサーバ監視部,22は配信制御部,23は映像送信部である。配信制御部22内の220は配信管理サーバとの通信制御を行う管理サーバ通信制御部,221は端末からの映像を要求する接続要求の制御を行う端末接続要求制御部,222は映像の選択制御を行う映像選択制御部である。映像送信部23内の230は映像のフレームを抽出するフレーム抽出部,231はこの配信サーバから端末へ送信する映像(コンテンツの動画等)の開始または終了すべきフレーム番号(配信制御部22の映像選択制御部222から設定)を保持する開始/終了フレーム番号保持部,232はフレーム抽出部230で抽出したフレームの送信制御を行う送信制御部,233は開始/終了フレーム番号保持部231で保持したフレーム番号とフレーム抽出部230で抽出したフレームの番号とを比較して一致すると送信を開始または終了する指示信号を送信制御部232に出力する比較部,234は通信制御部であり,内部に監視フレーム制御部2340を備えている。
図4は端末(図1の3)の実施例の構成であり,図中,3,30−1〜31−2,32,33の各符号は上記図1の同一符号の各部に対応し,3は端末,30−1,30−2はそれぞれ異なる配信サーバからの映像を受信する第1と第2の映像受信部,31−1,31−2は第1と第2の各映像受信部30−1,30−2で受信した映像について回線断や,ビット誤り,フレーム損失等の回線品質を品質閾値設定部310に設定された閾値より劣化したかの監視を行う第1と第2の回線品質監視部,32は受信処理部,33は回線接続制御部である。受信処理部32において,320−1,320−2は受信した各配信サーバからの映像信号を一次保持する第1と第2の受信バッファ,321はフレームカウンタ322のカウント値により第1または第2の受信バッファ320−1,320−2の何れかを選択する制御を行うバッファ制御部,322は受信フレームのフレーム数をカウントして切替るべきカウント数になるとバッファ制御部321に出力を発生するフレームカウンタ,323は第1と第2の受信バッファ320−1,320−2の何れかをバッファ制御部321により選択制御されて入力する出力バッファである。
図5は監視ポイントと監視項目の例を示す。上記図3に示す配信サーバ2及び図4に示す端末3の状態を表す情報は監視情報として図2に示す配信管理サーバで収集され配信管理データベースに格納されるが,監視ポイントは配信サーバが単一の場合は選択された一つの配信サーバで,複数の配信サーバを選択した場合は運用系と待機系の配信サーバの2つの配信サーバと,端末である。
配信サーバはサーバ監視部(図3の21)において監視を行い,監視項目は,サーバ負荷,CPU負荷,ネットワーク負荷及び再送要求数等である。第1の配信サーバ2−1から配信される映像を受信する端末3では,第1及び第2の回線品質監視部(図4の31−1,31−2)で監視を行い,監視項目は,映像到着間隔,到着の統計情報,通信フレーム異常等である。配信サーバ及び端末で得られた各監視項目の監視情報は配信管理サーバにネットワーク4を介して伝送される。
図6は配信管理サーバ内のサーバ状態管理部(図2の11)と端末処理部(図2の13)における監視の処理フローであり,A.は配信サーバ監視情報の処理フロー,B.は端末監視情報の処理フローである。なお,この処理フローは配信サーバから端末へ映像を配信している状況において実行される。
A.の場合,配信サーバからの監視情報を受け取る(図2のサーバ状態管理部11で受信)すると(図6のS1),運用系側サーバの監視項目(上記図5の配信サーバについて記載した項目)に対して予め設定した閾値を超過したか判別し(同S2),超過してないとS1に戻るが,超過していると待機系側サーバ候補が有るか判別する(同S3)。待機系側サーバ候補がないとS1に戻るが,待機系側サーバ候補が有る場合は,待機系側サーバの監視項目について閾値を超過しているか判別し(図6のS4),超過していると更に他の待機系側サーバについて同様の判別をする。待機系側サーバの監視項目が閾値を超過してないと,サーバの切替え(待機系を運用系へ,運用系を待機系への切替え)を行い(同S5),運用系/待機系情報の更新を行い(同S6),S1に戻る。
B.の場合,端末からの監視情報を受け取る(図2の端末処理部13で受信)すると(図6のS10),運用系側監視項目(上記図5の端末側について記載した項目)について予め設定した閾値を超過したか判別し(同S11),超過してなければS10に戻るが,超過していると待機系接続があるか判別し(同S12),待機系がなければS10に戻るが,ある場合は待機系接続(待機系からの配信映像の監視結果)が正常か判別する(同S13)。正常でない場合は,他の待機系サーバ候補分についてS13の処理を繰り返し,待機系サーバが正常であれば端末で受け取る配信サーバをその待機系サーバに切替えさせ(図6のS14),端末の状態情報である運用系/待機系の情報を更新する(同S15)。
図7は本発明のシステムによる1配信サーバ接続の場合の通常シーケンスの例であり,上記図2〜図4に示す配信管理サーバ,配信サーバ及び端末の各実施例により実行される。最初に,端末3の回線接続制御部(図4の33)からネットワーク(図1の4)を介して配信管理サーバ1に対し端末情報と配信を希望するコンテンツ名を送信情報として「配信要求」を行うと(図7のa),配信管理サーバ1は端末要求制御部13(図1,図2)で配信要求を受信すると配信サーバ制御部12(図2)の配信制御部122に配信開始を指示する。配信制御部122は配信サーバ管理DB(図2の10)のコンテンツ情報やサーバ状態を参照して,配信サーバ(2−1とする)を決定し,第1の配信サーバ2−1に対して「配信指示(運用系)」を送信する(図7のb)。この「配信指示(運用系)」には,サーバの運用系/待機系の指定(この場合,運用系指定とする),端末情報,コンテンツ名を送信する。
この「配信指示を(運用系)」を第1の配信サーバ2−1の管理サーバ通信制御部220(図3)で受信すると,指定したコンテンツの配信が可能であれば「配信指示応答」を配信管理サーバに送信し(図7のc),端末からの接続要求待ちとなる。「配信指示応答」を受信した配信管理サーバ1は,端末に対して「配信要求応答」を送信する(図7のd)。この「配信要求応答」の送信情報には,配信サーバ情報(運用系)と配信サーバ情報(待機系)とコンテンツ名が含まれている。1配信サーバ接続(1つの配信サーバの接続)の場合は,配信サーバ(待機系)は指示無しとなる。「配信要求応答」を受信した端末3は,配信サーバ情報(運用系)から第1の配信サーバ2−1に接続要求を出して(図7のe),第1の配信サーバ2−1から接続要求応答を受けて(同f),接続を実行する。この時,配信サーバ情報(待機系)が指示無しのため運用系のみの接続となる。接続完了後に第1の配信サーバ2−1に「コンテンツ要求」を送信する(図7のg)。送信情報としてはコンテンツ名とフレーム番号(以下,フレームNoという) が含まれる。
「コンテンツ要求」を端末接続要求制御部(図3の221)で受信した第1の配信サーバ2−1は,映像選択制御部及び映像送信部に指示して,要求されたコンテンツの送信を開始する(図7のh)。端末ではこれを受信して表示部(図1の34)に表示する。
上記図7に示す1配信サーバ接続の通常シーケンスにおいて,配信サーバの切替要因(運用中の配信サーバに障害発生等)が発生した場合に図8に示す切替の動作シーケンス(1配信サーバ接続時)が実行される。
第1の配信サーバ2−1から端末3にコンテンツが順番に配信されている時,配信管理サーバ1において切替要因発生を検出すると(図8のa),配信管理サーバ1の配信制御部(図3の22)で切替決定が行われ,第1の配信サーバ2−1に対し「配信サーバ切替指示1(待機系)を送信する(図8のb)。この「配信切替指示1(待機系)」には配信サーバ情報(待機系指定)と端末情報,コンテンツ名,フレームNo,配信サーバの切替時刻を送信情報とする。但し,フレームNoは指定無しとする。「配信切替指示1(待機系1)」を受信した第1の配信サーバ2−1は,切替時刻までに端末に配信するフレームNoを「配信切替指示応答」にて配信管理サーバに送信する(図8のc)。
「配信切替指示応答」を受信した配信管理サーバ1は,配信サーバ制御部(図2の12)で配信管理DB(図2の10)のコンテンツ情報やサーバ状態より第2の配信サーバ2−2を決定し,第2の配信サーバ2−2に対し「配信切替指示1(運用系)」を送信する(図8のd)。「配信切替指示1(運用系)」の送信情報には配信サーバ情報(運用系指定)と端末情報,コンテンツ名,フレームNo,切替時刻が含まれる。フレームNoは第1の配信サーバ2−1からの「配信切替指示応答」で通知されたフレームNo+1を指定する。第2の配信サーバ2−2からの「配信切替指示応答」を配信管理サーバ1が受信すると(図8のe),端末に対して「配信切替指示2」を送信する(図8のf)。「配信切替指示2」には,配信サーバ情報(運用系)と配信サーバ情報(待機系)とコンテンツ名を送信情報とする。この例では,配信サーバ情報(運用系)は第2の配信サーバ2−2,配信サーバ情報(待機系)は第1の配信サーバ2−1を指定する。端末はこれを受け取ると「配信切替指示応答」を配信管理サーバ1に送信し(図8のg),続いて端末は,第2の配信サーバ2−2への接続要求を行う(図8のh)。第2の配信サーバ2−2は接続要求応答を端末3に送って(図8のi),その後第2の配信サーバ2−2は,切替時刻になり次第,コンテンツをフレームNo+1から配信を開始する。図8の例では,「フレームNo=999」までは第1の配信サーバ2−1からのコンテンツ(図8のjで示す)で,「フレームNo+1=1000」から第2の配信サーバ2−2からのコンテンツ(図8のkで示す)を選択するよう切替えられる。こうして端末では切替え前後のフレームを切れ目なく(連続して)映像を見ることができる。
図9は本発明のシステムによる複数(この例では2台)の配信サーバ接続の場合の通常シーケンスの例であり,上記図2〜図4に示す配信管理サーバ,配信サーバ及び端末の各実施例により実行される。
端末3の回線接続制御部(図4の33)からネットワーク(図1の4)を介して配信管理サーバ1に対し端末情報と配信を希望するコンテンツ名を送信情報として「配信要求」を送信する(図9のa)。配信管理サーバ1は,端末要求制御部(図2の13)で「配信要求」を受信すると配信制御部(図2の122)に配信開始を指示する。配信制御部は配信サーバ管理DB(図2の10)のコンテンツ情報やサーバ状態から配信サーバとして2つを決定し,第1の配信サーバ2−1に対し「配信指示(運用系)」を送信する(図9のb)。この指示には,サーバの運用系/待機系の指定(この場合運用系指定とする),端末情報,コンテンツ名を送信情報とする。「配信指示(運用系)」を管理サーバ通信制御部(図2の220)で受信した第1の配信サーバ2−1は,指定したコンテンツの配信が可能であれば「配信指示応答」を配信管理サーバに送信し(図9のc),端末からの接続要求待ちとなる。また配信管理サーバ1は,第2の配信サーバ2−2に対し「配信指示(待機系)」を送信する(図9のd)。その送信情報として,サーバの運用系/待機系(この場合待機系指示とする),端末情報,コンテンツ名が含まれる。「配信指示(待機系)」を管理サーバ通信制御部で受信した第2の配信サーバ2−2は,指定したコンテンツの配信が可能であれば「配信指示応答」を配信管理サーバに送信し(図9のe),端末からの接続要求待ちとなる。
「配信指示応答」を受信した配信管理サーバは,端末に対して「配信要求応答」を送信する(図9のf)。「配信要求応答」には,配信サーバ情報(運用系)と配信サーバ情報(待機系)とコンテンツ名を送信情報とする。「配信要求応答」を受信した端末は,配信サーバ情報(運用系)から第1の配信サーバ2−1及び配信サーバ(待機系)から第2の配信サーバ2−2に接続要求を送信する(図9のg,i),それぞれから接続要求応答を受け取る(同h,j)。接続完了後に配信サーバ(運用系)2−1に「コンテンツ要求」を送信する(図9のk)。送信情報としてコンテンツ名とフレームNoが含まれる。「コンテンツ要求」を第1の配信サーバ2−1の端末接続要求制御部(図3の221)で受信すると,映像選択制御部(図3の222)及び映像送信部(図3の23)に指示し,要求されたコンテンツの送信を開始する(コンテンツ(フレームNo 1),コンテンツ(フレームNo 2),……)。
上記図9により複数の配信サーバを接続した場合の配信サーバ切替の動作シーケンスを図10に示す。上記図9の通常動作により第1の配信サーバ2−1(運用系)からのコンテンツを端末3で受信している時,配信管理サーバ1で配信サーバの切替要因(運用中の配信サーバに障害発生等)が発生すると(図10のa),配信管理サーバ1の配信制御部(図3の22)で切替決定が行われ,第1の配信サーバ2−1に対し「配信切替指示1(待機系)」を送信する(同b)。この「配信切替指示1(待機系)」には配信サーバ情報(待機系指定)と端末情報,コンテンツ名,フレームNo(指定無しとする),配信サーバの切替時刻を送信情報とする。但し,フレームNoは指定無しとする。「配信切替指示1(待機系1)」を受信した第1の配信サーバ2−1は,切替時刻までに端末に配信するフレームNoを「配信切替指示応答」にて配信管理サーバに送信する(図10のc)。
「配信切替指示応答」を受信した配信管理サーバ1は,配信サーバ制御部(図2の12)で配信サーバ管理DB(図2の10)のコンテンツ情報やサーバ状態により第2の配信サーバ2−2を決定し,第2の配信サーバ2−2に対し「配信切替指示1(運用系)」を送信する(図10のd)。「配信切替指示1(運用系)」の送信情報には配信サーバ情報(運用系指定)と端末情報,コンテンツ名,フレームNo,切替時刻が含まれる。フレームNoは第1の配信サーバ2−1からの「配信切替指示応答」で通知されたフレームNo+1を指定する。第2の配信サーバ2−2からの「配信切替指示応答」を配信管理サーバ1が受信すると(図10のe),端末に対して「配信切替指示2」を送信する(図10のf)。「配信切替指示2」には,配信サーバ情報(運用系)と配信サーバ情報(待機系)とコンテンツ名を送信情報とする。この例では,配信サーバ情報(運用系)は第2の配信サーバ2−2,配信サーバ情報(待機系)は第1の配信サーバ2−1を指定する。端末はこれを受け取ると「配信切替指示応答」を配信管理サーバ1に送信し(図10のg),続いて端末は,第2の配信サーバ2−2への接続要求を行う(図示省略)。第2の配信サーバ2−2は,端末からの接続要求後,指定された切替時刻になり次第,コンテンツをフレームNo+1から配信を開始する。この例では,「フレームNo=999」まで第1の配信サーバ2−1からのコンテンツ(図10のh)で,「フレームNo+1=1000」から第2の配信サーバ2−2からのコンテンツ(図10のi)を選択するよう切替えられ,連続した画像を端末で見ることができる。
図11は複数配信サーバ接続時のサーバ追加変更の動作シーケンスである。上記図10に示す動作シーケンスにより第1の配信サーバ2−1から2−2への切替が実行された状態において,更に別の配信サーバ(2−3)を追加して配信サーバの切替を可能にする。
配信管理サーバ1において配信サーバの切替要因(運用中の配信サーバに障害発生等)が発生すると(図11のa),配信管理サーバ1の配信制御部(図3の22)で切替決定が行われ,第2の配信サーバ2−2に対し「配信切替指示1(待機系)」を送信する(同b)。この「配信切替指示1(待機系)」には配信サーバ情報(待機系指定)と端末情報,コンテンツ名,フレームNo(指定無しとする),配信サーバの切替時刻を送信情報とする。但し,フレームNoは指定無しとする。「配信切替指示1(待機系1)」を受信した第2の配信サーバ2−2は,切替時刻までに端末に配信するフレームNoを「配信切替指示応答」にて配信管理サーバに送信する(図11のc)。「配信切替指示応答」を受信した配信管理サーバ1は,配信サーバ制御部(図2の12)で配信サーバ管理DB(図2の10)のコンテンツ情報やサーバ状態により配信サーバ2−3を決定し,配信サーバ2−3に対し「配信切替指示1(運用系)」を送信する(図11のd)。この「配信切替指示1(運用系)」の送信情報には配信サーバ情報(運用系指定)と端末情報,コンテンツ名,フレームNo,切替時刻が含まれる。フレームNoは第2の配信サーバ2−2からの「配信切替指示応答」で通知されたフレームNo+1を指定する。配信サーバ2−3からの「配信切替指示応答」を配信管理サーバ1が受信すると(図11のe),端末に対して「配信切替指示2」を送信する(図11のf)。「配信切替指示2」には,配信サーバ情報(運用系)と配信サーバ情報(待機系)とコンテンツ名を送信情報とする。この例では,配信サーバ情報(運用系)は配信サーバ2−3,配信サーバ情報(待機系)は第2の配信サーバ2−2を指定する。
端末がこの「配信切替指示2」を受け取ると,配信管理サーバ1に「配信切替指示応答」を送信するが(図11のg),配信サーバ情報(運用系)及び配信サーバ(待機系)の情報が元の現在の接続情報と異なることから,第1の映像受信部(図4の30−1)と第1の配信サーバ2−1との接続の切断を行うため第1の配信サーバ2−1に対し切断要求を送信し(図11のh),第1の配信サーバ2−1から切断要求応答を受け取ると(同i),第1の映像受信部(図4の30−1)から配信サーバ2−3への接続要求を行う(図11のj)。なお,この時端末の第2の映像受信部(図4の30−2)は第2の配信サーバ2−2からの映像を受信している。
配信サーバ2−3はこれに対し「接続要求応答」を端末に返した後(図11のk),切替時刻になるとコンテンツをフレームNo+1から配信を開始する。端末3では切替時刻になると受信処理部32において,第2の映像受信部(図4の30−2)による第2の配信サーバ2−2からのコンテンツから,第1の映像受信部(図4の30−1)による第1の配信サーバ2−1からのコンテンツに切替える。正確にはNoが「1999」の場合,第2の映像受信部は,フレーム1999まで受信し,第1の映像受信部はフレーム2000以降を受信するので,フレーム2000を境にして切替えられる。
図12は各種制御信号のフレーム構成であり,上記の各動作シーケンスにおいて端末,配信管理サーバ,配信サーバの間で送受信される各種の要求,指示,応答の各種の制御信号のフレーム構成を示す。図12のA.は配信要求であり,端末から配信管理サーバに対して送られ,「配信要求」を表す符号,「端末情報」及び「コンテンツ名」とで構成される。B.は配信要求応答であり,配信管理サーバから端末へ送られ,「配信要求応答」を表す符号,「配信サーバ情報(運用系)」,「配信サーバ情報(待機系)」及び「コンテンツ名」とで構成される。C.は配信指示であり,配信管理サーバから配信サーバへ送られ,「配信指示」を表す符号,「運用系/待機系指定」,「端末情報」及び「コンテンツ名」とで構成される。D.はコンテンツ要求であり,端末から配信サーバに送られ,「コンテンツ要求」を表す符号,「コンテンツ名」及び「フレームNo」とで構成される。E.はコンテンツであり,端末から配信サーバへ送信され,「コンテンツ要求」を表す符号,「コンテンツ名」,「フレームNo」及び「映像フレーム」とで構成される。F.は配信切替指示1で,配信管理サーバから配信サーバへ送られ,「配信切替指示」を表す符号,「運用系/待機系指定」,「端末情報」,「コンテンツ名」,「フレームNo」及び「切替時刻」とで構成される。G.は配信切替指示2であり,配信管理サーバから端末へ送信され,「配信切替指示」を表す符号,「配信サーバ情報(運用系)」,「配信サーバ情報(待機系)」及び「コンテンツ名」とで構成される。
図13はコンテンツフレームの構成を示し,フレームNoとそれに対応する映像フレームとで構成され,配信サーバから配信される。コンテンツは,先頭からフレームNoにより管理され,切替時の配信開始ポインタとして使用される。
(付記1) 映像配信を行う複数の配信サーバと多数の端末及び端末からの要求を受けて配信サーバに対して映像の配信を指示する配信管理サーバとがネットワークに接続された映像配信システムにおいて,前記端末に複数の配信サーバと接続して映像を受信する複数の映像受信部と,前記複数の映像受信部からの映像情報から1つの映像信号として処理して表示部に出力する受信処理部と,前記配信管理サーバ及び配信サーバとの接続制御を行う回線接続制御部とを備え,前記配信管理サーバは,端末からの配信要求を処理する端末要求制御部と,各配信サーバに関する情報を格納した配信サーバ管理データベースと,前記端末要求制御部で配信要求の受付けにより前記配信サーバ管理データベースを参照し,前記端末に割り当てる運用系の配信サーバを決定し,該配信サーバに配信指示を出すと共に前記端末へ映像を配信する配信サーバまたは前記端末の状態から配信サーバの切替要因の発生を検出すると現在の配信サーバを待機系へ,他の配信サーバに対し運用系へそれぞれ切替えるサーバ切替指示を発生し,端末にも切替指示を発生する配信サーバ制御部とを備え,前記配信サーバは,映像情報を格納した映像データベースと,前記配信管理サーバからの指令及び端末からの要求に応じて,端末へ映像の配信の制御を行う配信制御部及び配信制御部の指示により映像の送出開始・停止を制御する映像送信部とを備えることを特徴とする映像配信システム。
(付記2) 付記1において,前記配信サーバ内にサーバの故障状態や負荷状態を監視するサーバ監視部を備え,前記配信管理サーバ内に各配信サーバのサーバ監視部からの情報を収集するサーバ状態管理部を設け,配信サーバが故障したり負荷異常となると前記サーバ状態管理部で検出して前記配信サーバ制御部から他の配信サーバへの切替を指示することを特徴とする映像配信システム。
(付記3) 付記1において,前記端末内に複数の映像受信部に対応する回線品質監視部を設け,各映像受信部に対応する接続回線の回線断,ビット誤り,フレーム損失等の回線状況を監視し,異常や品質劣化発生時に前記回線接続制御部から前記配信管理サーバに対して別の配信サーバへの切替を要求することを特徴とする映像配信システム。
(付記4) 付記3において,前記回線品質監視部に対して,品質劣化の基準となる閾値を設定する品質閾値設定部を設け,回線品質が前記品質閾値設定部の値を越えると配信サーバの切替を要求することを特徴とする映像配信システム。
(付記5) 付記1において,前記配信管理サーバの配信サーバ制御部は,配信サーバの切替要因の発生を検出すると現在の配信サーバに対して待機系に切替えるよう指示すると共に端末情報,コンテンツ名,フレーム番号,切替時刻を含む配信切替指示を発生し,他の配信サーバに対し運用系に切替えるよう指示すると共に端末情報,コンテンツ名,フレーム番号,切替時刻を含む配信切替指示を発生すると共に,映像を受信中の端末に対し映像を受信する配信サーバを切替えることを指示する配信切替指示を送信することを特徴とする映像配信システム。
(付記6) 付記1において,前記配信サーバの前記配信制御部は,前記配信管理サーバからの配信切替要求により送信済フレームの収集と切替時点でのフレーム番号の算出を行い配信管理サーバへ応答する映像選択制御部を備え,前記映像送信部は前記配信制御部から渡された開始・終了のフレーム番号の保持部と,映像情報のフレームから抽出したフレーム番号と前記保持部のフレーム番号を比較し,比較結果により送信の開始・終了を制御する送信制御部を備えることを特徴とする映像配信システム。
本発明の原理構成を示す図である。 配信管理サーバの実施例の構成を示す図である。 配信サーバの実施例の構成を示す図である。 端末の実施例の構成を示す図である。 監視ポイントと監視項目の例を示す図である。 配信管理サーバ内のサーバ状態管理部と端末処理部における監視の処理フローを示す図である。 本発明のシステムによる1配信サーバ接続の場合の通常シーケンスの例を示す図である。 切替の動作シーケンス(1配信サーバ接続時)を示す図である。 本発明のシステムによる複数の配信サーバ接続の場合の通常シーケンスの例を示す図である。 複数の配信サーバを接続した場合の配信サーバ切替の動作シーケンスを示す図である。 複数配信サーバ接続時のサーバ追加変更の動作シーケンスを示す図である。 各種制御信号のフレーム構成を示す図である。 コンテンツフレームの構成を示す図である。 従来のシステム構成を示す図である。 異常発生時の従来例の説明図である。
符号の説明
1 配信管理サーバ
10 配信サーバ管理データベース(DB)
11 サーバ状態管理部
12 配信サーバ制御部
13 端末要求制御部
2−1 第1の配信サーバ
2−2 第2の配信サーバ
20 映像データベース(DB)
21 サーバ監視部
22 配信制御部
23 映像送信部
3 端末
30−1 第1の映像受信部
30−2 第2の映像受信部
31−1 第1の回線品質監視部
31−2 第2の回線品質監視部
32 受信処理部
33 回線接続制御部
34 表示部
4 ネットワーク

Claims (5)

  1. 映像配信を行う複数の配信サーバと多数の端末及び端末からの要求を受けて配信サーバに対して映像の配信を指示する配信管理サーバとがネットワークに接続された映像配信システムにおいて,
    前記端末に複数の配信サーバと接続して映像を受信する複数の映像受信部と,前記複数の映像受信部からの映像情報から1つの映像信号として処理して表示部に出力する受信処理部と,前記配信管理サーバ及び配信サーバとの接続制御を行う回線接続制御部とを備え,
    前記配信管理サーバは,端末からの配信要求を処理する端末要求制御部と,各配信サーバに関する情報を格納した配信サーバ管理データベースと,前記端末要求制御部で配信要求の受付けにより前記配信サーバ管理データベースを参照し,前記端末に割り当てる運用系の配信サーバを決定し,該配信サーバに配信指示を出すと共に前記端末へ映像を配信する配信サーバまたは前記端末の状態から配信サーバの切替要因の発生を検出すると現在の配信サーバを待機系へ,他の配信サーバに対し運用系へそれぞれ切替えるサーバ切替指示を発生し,端末にも切替指示を発生する配信サーバ制御部とを備え,
    前記配信サーバは,映像情報を格納した映像データベースと,前記配信管理サーバからの指令及び端末からの要求に応じて,端末へ映像の配信の制御を行う配信制御部及び配信制御部の指示により映像の送出開始・停止を制御する映像送信部とを備えることを特徴とする映像配信システム。
  2. 請求項1において,
    前記配信サーバ内にサーバの故障状態や負荷状態を監視するサーバ監視部を備え,
    前記配信管理サーバ内に各配信サーバのサーバ監視部からの情報を収集するサーバ状態管理部を設け,配信サーバが故障したり負荷異常となると前記サーバ状態管理部で検出して前記配信サーバ制御部から他の配信サーバへの切替を指示することを特徴とする映像配信システム。
  3. 請求項1において,
    前記端末内に複数の映像受信部に対応する回線品質監視部を設け,各映像受信部に対応する接続回線の回線断,ビット誤り,フレーム損失等の回線状況を監視し,異常や品質劣化発生時に前記回線接続制御部から前記配信管理サーバに対して別の配信サーバへの切替を要求することを特徴とする映像配信システム。
  4. 請求項3において,
    前記回線品質監視部に対して,品質劣化の基準となる閾値を設定する品質閾値設定部を設け,回線品質が前記品質閾値設定部の値を越えると配信サーバの切替を要求することを特徴とする映像配信システム。
  5. 請求項1において,
    前記配信管理サーバの配信サーバ制御部は,配信サーバの切替要因の発生を検出すると現在の配信サーバに対して待機系に切替えるよう指示すると共に端末情報,コンテンツ名,フレーム番号,切替時刻を含む配信切替指示を発生し,他の配信サーバに対し運用系に切替えるよう指示すると共に端末情報,コンテンツ名,フレーム番号,切替時刻を含む配信切替指示を発生すると共に,映像を受信中の端末に対し映像を受信する配信サーバを切替えることを指示する配信切替指示を送信することを特徴とする映像配信システム。
JP2004196635A 2004-07-02 2004-07-02 映像配信システム Pending JP2006018643A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004196635A JP2006018643A (ja) 2004-07-02 2004-07-02 映像配信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004196635A JP2006018643A (ja) 2004-07-02 2004-07-02 映像配信システム

Publications (1)

Publication Number Publication Date
JP2006018643A true JP2006018643A (ja) 2006-01-19

Family

ID=35792852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004196635A Pending JP2006018643A (ja) 2004-07-02 2004-07-02 映像配信システム

Country Status (1)

Country Link
JP (1) JP2006018643A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260334A (ja) * 2005-03-18 2006-09-28 Mitsubishi Electric Information Systems Corp マルチキャスト配信システム
JP2007274635A (ja) * 2006-03-31 2007-10-18 Nec Corp アドレス通知システム、アドレス通知方法
JP2008177950A (ja) * 2007-01-19 2008-07-31 Nec Corp 映像配信システムおよび映像配信方法ならびに配信管理システムおよびプログラム
JP2009017493A (ja) * 2007-07-09 2009-01-22 Brother Ind Ltd ネットワークシステム、情報処理装置及び接続先紹介装置、情報処理方法並びに情報処理装置用プログラム及び接続先紹介装置用プログラム
JP2018160720A (ja) * 2017-03-22 2018-10-11 ブラザー工業株式会社 通信方法及び通信プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09293059A (ja) * 1996-04-25 1997-11-11 Hitachi Ltd 分散システム及びその運用管理方法
JPH11187340A (ja) * 1997-12-22 1999-07-09 Hitachi Ltd 分散型ストリーム処理システム
JP2000099435A (ja) * 1998-09-18 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> サーバ切り替え装置および方法とサーバ切り替えプログラムを記録した記録媒体
JP2000322350A (ja) * 1999-05-11 2000-11-24 Hitachi Ltd クライアント・サーバシステムのサーバ切り替え方式
JP2000332978A (ja) * 1999-05-17 2000-11-30 Nec Corp 画像表示用アダプタを備えた移動端末と回線品質変化対応方法
JP2001045023A (ja) * 1999-08-02 2001-02-16 Matsushita Electric Ind Co Ltd ビデオサーバシステム及びビデオデータ配信方法
JP2001147906A (ja) * 1999-11-22 2001-05-29 Mitsubishi Electric Corp データ領域細分化分散管理システム
JP2004070712A (ja) * 2002-08-07 2004-03-04 Nippon Telegr & Teleph Corp <Ntt> データ配信方法,データ配信システム,分割配信データ受信方法,分割配信データ受信装置および分割配信データ受信プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09293059A (ja) * 1996-04-25 1997-11-11 Hitachi Ltd 分散システム及びその運用管理方法
JPH11187340A (ja) * 1997-12-22 1999-07-09 Hitachi Ltd 分散型ストリーム処理システム
JP2000099435A (ja) * 1998-09-18 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> サーバ切り替え装置および方法とサーバ切り替えプログラムを記録した記録媒体
JP2000322350A (ja) * 1999-05-11 2000-11-24 Hitachi Ltd クライアント・サーバシステムのサーバ切り替え方式
JP2000332978A (ja) * 1999-05-17 2000-11-30 Nec Corp 画像表示用アダプタを備えた移動端末と回線品質変化対応方法
JP2001045023A (ja) * 1999-08-02 2001-02-16 Matsushita Electric Ind Co Ltd ビデオサーバシステム及びビデオデータ配信方法
JP2001147906A (ja) * 1999-11-22 2001-05-29 Mitsubishi Electric Corp データ領域細分化分散管理システム
JP2004070712A (ja) * 2002-08-07 2004-03-04 Nippon Telegr & Teleph Corp <Ntt> データ配信方法,データ配信システム,分割配信データ受信方法,分割配信データ受信装置および分割配信データ受信プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006260334A (ja) * 2005-03-18 2006-09-28 Mitsubishi Electric Information Systems Corp マルチキャスト配信システム
JP4496113B2 (ja) * 2005-03-18 2010-07-07 三菱電機インフォメーションシステムズ株式会社 マルチキャスト配信システム
JP2007274635A (ja) * 2006-03-31 2007-10-18 Nec Corp アドレス通知システム、アドレス通知方法
JP4709055B2 (ja) * 2006-03-31 2011-06-22 Necインフロンティア株式会社 IPテレフォニーシステム、VoIPサービス提供方法
JP2008177950A (ja) * 2007-01-19 2008-07-31 Nec Corp 映像配信システムおよび映像配信方法ならびに配信管理システムおよびプログラム
JP4677992B2 (ja) * 2007-01-19 2011-04-27 日本電気株式会社 映像配信システムおよび映像配信方法ならびに配信管理システムおよびプログラム
JP2009017493A (ja) * 2007-07-09 2009-01-22 Brother Ind Ltd ネットワークシステム、情報処理装置及び接続先紹介装置、情報処理方法並びに情報処理装置用プログラム及び接続先紹介装置用プログラム
JP2018160720A (ja) * 2017-03-22 2018-10-11 ブラザー工業株式会社 通信方法及び通信プログラム
US10462198B2 (en) 2017-03-22 2019-10-29 Brother Kogyo Kabushiki Kaisha Communication method and storage medium storing communication program

Similar Documents

Publication Publication Date Title
US7546355B2 (en) Network architecture for data transmission
JP4930148B2 (ja) 情報処理装置、情報処理方法及び情報処理用プログラム
US7864688B2 (en) Communication system, method of providing information therein and communication device
JP2006018643A (ja) 映像配信システム
JP2008311946A (ja) 多地点映像監視装置
US10320663B2 (en) Communication device, communication system, and computer program product for performing interactive communication via relay servers
JP4984772B2 (ja) ネットワーク接続型分析装置制御システム
JP2007183714A (ja) コンテンツ配信システム、中継サーバ及び中継管理サーバ
JP6249471B2 (ja) 情報収録システム、収録システム用障害対処方法、及びその障害対処プログラム
JP5523287B2 (ja) 監視制御システム
US8825850B2 (en) Information processing apparatus and control method
JP3329265B2 (ja) データ配布方法、クライアント装置、及びデータ配布プログラムを記録した媒体
JP2007128388A (ja) 情報提供システム、情報提供方法及びその切り替え制御方法
CN107749857A (zh) 一种同时查看多路视频的方法、存储介质及客户端
JP2007335979A (ja) テレビ放送録画システム、動作制御方法、および動作制御プログラム
JP2005244822A (ja) 監視映像配信システム
JP4260027B2 (ja) ビデオチャットサービス制御方法およびビデオチャットサービス装置
CN102045183A (zh) 一种用于对网络中的服务中断进行自动恢复的方法和设备
JPH1131135A (ja) クライアント・サーバネットワークシステム
JPH09321759A (ja) マルチ・サーバー・システム
JP2009253909A (ja) 配信システム、中継装置および配信方法
JP2014143566A (ja) データ通信装置、データ通信方法、及びそのプログラム
JP2002232878A (ja) カメラ監視システム
JP2018170559A (ja) 信号制御装置及び信号制御装置の制御方法
JP2010239529A (ja) 負荷分散システム及びコンピュータープログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090804

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20091005

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101228

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110614