JP2014155041A

JP2014155041A - 遠隔映像配信方法及び遠隔映像配信システム

Info

Publication number: JP2014155041A
Application number: JP2013023250A
Authority: JP
Inventors: Hiroyuki Sato; 啓之佐藤; Hitoshi Tsuchikawa; 仁土川; Michio Shimomura; 道夫下村; Noriyasu Arakawa; 則泰荒川; Noriyoshi Uchida; 典佳内田; Naoki Uchida; 直樹内田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2013-02-08
Filing date: 2013-02-08
Publication date: 2014-08-25
Anticipated expiration: 2033-02-08
Also published as: JP5908419B2

Abstract

【課題】遠隔映像配信システムにおける復号処理を軽減化し、かつ利用者の操作に即座に反応した映像の切替えを実現する。
【解決手段】遠隔地装置１０は、撮像した映像を符号化して圧縮映像を生成する。利用者装置３０は、サービス提供装置２０に対して映像の切替え指示を行う。サービス提供装置２０は、遠隔地装置１０から受信した圧縮映像のうち最新のＩフレームを蓄積し、利用者装置３０から受信した映像切替え指示に基づき、切替え先の遠隔地装置１０を決定し、切替え先の遠隔地装置から圧縮映像を取得し、受信した圧縮映像がＩフレームである場合には該圧縮映像を選択し、受信した圧縮映像がＩフレームでない場合にはＩフレーム非圧縮映像を選択する。そして、圧縮映像が選択された場合には該圧縮映像を利用者装置３０に送信し、Ｉフレーム非圧縮映像が選択された場合には該Ｉフレーム非圧縮映像を符号化した圧縮映像を利用者装置３０に送信する。
【選択図】図１

Description

本発明は、複数の遠隔地装置から受信した映像を利用者装置に表示させる遠隔映像配信方法及び遠隔映像配信システムに関するものである。

従来、フレーム間予測を用いた映像符号化技術が知られている（例えば、非特許文献１参照）。遠隔地設置された複数のカメラから映像を受信し、フレーム間予測を用いた映像符号化技術を用いて複数の映像を切替えながら視聴する従来の遠隔視聴システムでは、一旦すべてのフレームを復号化した後に映像の切替えを行っている。

図５は、従来の遠隔映像配信システムの一例を示す図である。フレーム間予測を用いて符号化された映像では、Ｉフレームの間に何枚かのＰフレームが挟まれる構成となっている（例えば、特許文献１参照）。ここで、Ｉフレームとは、フレーム間予測を用いずにフレーム内だけで符号化されるフレームであり、イントラフレームやキーフレームと呼ばれることもある。Ｐフレームとは、前方向予測のみを用いて符号化されるフレームである。

図５に示すように、従来の遠隔映像配信システムでは、映像をいったん映像復号部で復号した後、映像処理を行う。もし復号前のデータを用いると、Ｐフレームが来るタイミングで映像の切替えの要求があった時には差分のみの情報であるＰフレームだけしか手元にないことになり、その前に送られているＩフレームからその時点までのＰフレームがないため、その時点での画像を復元することができず、映像の乱れが生じてしまう。そのため、利用者の操作により、すべての遠隔地装置からの映像を切替える可能性がある場合において、映像の乱れを生じさせないためには、すべての遠隔地装置からの映像を常に復号する必要がある。なお、Ｉフレーム間に、Ｐフレームだけでなく、双方向予測を用いて符号化されるフレームであるＢフレームが挟まれる構成をとる場合についても同様である。

また、視聴者に自然な印象を与えるための映像切替えには、複数映像を一つの画面に表示する際に、各々の表示位置や大きさを変更しながら行う方法がある。図６に、映像拡大の例を示す。他に、複数映像を一つの画面に表示する際に、それぞれの濃度を変更しながら合成する方法もある。図７に、クロスフェードの例を示す。

加えて、映像切替え時に視聴者があたかも左右又は上下に視野方向を変えたような自然な印象を与えるために、複数の映像を左右又は上下に隣接又は重ね合わせて配置し視野を変化させる方向の逆に動かす方法がある。図８に、右方向へパンする例を示す。

特公昭６１−１８３９５号公報

"フレーム間予測"、[online]、［平成２５年１月３０日検索］、インターネット<URL:http://ja.wikipedia.org/wiki/%E3%83%95%E3%83%AC%E3%83%BC%E3%83%A0%E9%96%93%E4%BA%88%E6%B8%AC>

上述のように、遠隔地の映像伝送は、フレーム間予測等を用いて映像データを圧縮することが一般的であり、すべての遠隔地装置からの映像を切替える可能性がある場合において、すべての遠隔地装置からの映像を常に復号する必要がある。このため、Ｉフレームとそれに続くＰフレーム又はＢフレームを蓄積するために大きなメモリ容量が必要となり、また復号処理の負荷が大きくなるという問題があった。これらの蓄積や処理は切替えの頻度が比較的少ないので無駄になる。仮に、復号することなく切替える場合であっても、映像の乱れを防ぐために次のＩフレームの到着まで映像の切替えを遅らせる必要があった。

また、従来の技術において、複数の映像を一つの画面に表示する際も、新たに表示しようとする映像について、同様の問題が生じる。さらには、左右又は上下に、隣接又は重ね合わせて配置し動かす場合にも同様の問題が生じる。

かかる事情に鑑みてなされた本発明の目的は、すべての遠隔地装置からの映像を常に復号する必要がなく、映像復号処理を軽減化し、かつ利用者の操作に即座に反応した映像の切替えを実現することが可能な遠隔映像配信方法及び遠隔映像配信システムを提供することにある。

上記課題を解決するため、本発明に係る第１の態様の遠隔映像配信方法は、遠隔地装置により、撮像した映像を符号化して符号化映像を生成するステップと、利用者装置により、サービス提供装置に対して映像の切替え指示を行うステップと、前記サービス提供装置により、前記遠隔地装置の各々から前記符号化映像を受信するステップと、前記符号化映像の各々のうち最新のＩフレームを蓄積する蓄積ステップと、前記利用者装置から受信した映像切替え指示に基づき、切替え先の遠隔地装置を決定するステップと、前記切替え先の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積ステップにて蓄積されたＩフレームの符号化映像を復号したＩフレーム復号映像を選択する映像選択ステップと、前記映像選択ステップにて、前記符号化映像が選択された場合には該符号化映像を前記利用者装置に送信し、前記Ｉフレーム復号映像が選択された場合には該Ｉフレーム復号映像を符号化した映像を前記利用者装置に送信するステップと、を含むことを特徴とする。

上記課題を解決するため、本発明に係る第２の態様の遠隔映像配信方法は、遠隔地装置により、撮像した映像を符号化して符号化映像を生成するステップと、利用者装置により、サービス提供装置に対して映像の切替え指示を行うステップと、前記サービス提供装置により、前記遠隔地装置の各々から前記符号化映像を受信するステップと、前記符号化映像の各々の最新のＩフレームを蓄積する蓄積ステップと、前記利用者装置から受信した映像切替え指示に基づき、切替え先の遠隔地装置を決定するステップと、切替える前の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積ステップにて蓄積されたＩフレームの符号化映像を選択する第１の映像選択ステップと、前記切替え先の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積ステップにて蓄積されたＩフレームの符号化映像を選択する第２の映像選択ステップと、前記第１の映像選択ステップにて選択された符号化映像、及び前記第２の映像選択ステップにて選択された符号化映像を復号して復号映像を生成する復号ステップと、前記復号ステップにて生成された復号映像を合成した合成映像を生成するステップと、前記合成映像を符号化した映像を前記利用者装置に送信するステップと、を含むことを特徴とする。

また、上記課題を解決するため、本発明に係る第１の態様の遠隔映像配信システムは、複数の遠隔地装置、利用者装置、及びサービス提供装置を備える遠隔映像配信システムであって、前記遠隔地装置は、撮像した映像を符号化して符号化映像を生成する手段を有し、前記利用者端末は、前記サービス提供装置に対して映像の切替え指示を行う手段を有し、前記サービス提供装置は、前記遠隔地装置の各々から前記符号化映像を受信する手段と、前記符号化映像の各々のうち最新のＩフレームを蓄積する蓄積手段と、前記利用者装置から受信した映像切替え指示に基づき、切替え先の遠隔地装置を決定する手段と、前記切替え先の遠隔地装置から符号化映像を受信し、受信した符号化映像がＩフレームである場合には、該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には、前記蓄積手段にて蓄積されたＩフレームを復号したＩフレーム復号映像を選択する映像選択手段と、前記映像選択手段にて、前記符号化映像が選択された場合には該符号化映像を前記利用者装置に送信し、前記Ｉフレーム復号映像が選択された場合には該Ｉフレーム復号映像を符号化した映像を前記利用者装置に送信する手段と、を有することを特徴とする。

また、上記課題を解決するため、本発明に係る第２の態様の遠隔映像配信システムは、複数の遠隔地装置、利用者装置、及びサービス提供装置を備える遠隔映像配信システムであって、前記遠隔地装置は、撮像した映像を符号化して符号化映像を生成する手段を有し、前記利用者端末は、前記サービス提供装置に対して映像の切替え指示を行う手段を有し、前記サービス提供装置は、前記遠隔地装置の各々から前記符号化映像を受信する手段と、前記符号化映像の各々のうち最新のＩフレームを蓄積する蓄積手段と、前記利用者装置から受信した映像切替え指示に基づき、切替え先の遠隔地装置を決定する手段と、切替える前の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積手段にて蓄積されたＩフレームの符号化映像を選択する第１の映像選択手段と、前記切替え先の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積手段にて蓄積されたＩフレームの符号化映像を選択する第２の映像選択手段と、前記第１の映像選択手段にて選択された符号化映像、及び前記第２の映像選択手段にて選択された符号化映像を復号して復号映像を生成する復号手段と、前記復号手段にて生成された復号映像を合成した合成映像を生成する手段と、前記合成映像を符号化した映像を前記利用者装置に送信する手段と、を有することを特徴とする。

本発明によれば、すべての遠隔地装置からの映像を常に復号する必要がなく、映像復号処理を軽減化し、かつ利用者の操作に即座に反応した映像の切替えを実現することができる。

本発明の第１の実施形態に係る遠隔映像配信システムの構成例を示すブロック図である。本発明の第１の実施形態に係る遠隔映像配信方法を示すフローチャートである。本発明の第２の実施形態に係る遠隔映像配信システムの構成例を示すブロック図である。本発明の第２の実施形態に係る遠隔映像配信方法を示すフローチャートである。従来の遠隔映像配信システムの一例を示す図である。従来の遠隔映像配信システムにおける、複数映像を一つの画面に表示する際に各々の表示位置や大きさを変更しながら行う方法を示す図である。従来の遠隔映像配信システムにおける、複数映像を一つの画面に表示する際に各々の濃度を変更しながら合成する方法を示す図である。従来の遠隔映像配信システムにおける、複数の映像を左右又は上下に隣接又は重ね合わせて配置し視野を変化させる方向の逆に動かす方法を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
第１の実施形態では、映像を切替える際に映像の合成などの特別な映像処理を行わない場合について説明する。図１は、第１の実施形態に係る遠隔映像配信システムの構成例を示すブロック図である。図１に示すように、遠隔映像配信システム１は、遠隔地装置１０と、サービス提供装置２０と、利用者装置３０とを備える。

遠隔地装置１０は、撮像装置により撮像した映像を符号化し、符号化映像（圧縮映像）をサービス提供装置２０に送信する。遠隔地装置１０は、映像入力部１０１と、映像符号化部１０２とを有する。

映像入力部１０１は、カメラ等の撮像装置により映像を撮像し、映像符号化部１０２に送信する。

映像符号化部１０２は、映像入力部１０１から受信した映像を、映像データのネットワーク伝送を考慮し、フレーム間予測技術等を用いた映像符号化技術を用いて符号化映像を生成し、サービス提供装置２０に送信する。

サービス提供装置２０は、遠隔地装置１０から符号化映像を受信し、利用者装置３０からの映像切替え指示に基づき映像の切替えを行い、利用者装置３０に映像処理後の映像を送信する。サービス提供装置２０は、映像蓄積部２０１と、映像復号部２０２と、映像処理部２０３と、映像符号化部２０４と、映像選択部２０５とを有する。

映像蓄積部２０１は、各遠隔地装置１０から符号化映像を受信してバッファリングするとともに、符号化映像のうち最新のＩフレームを蓄積する。なお、図１中の点線は、映像蓄積部２０１に蓄積されるＩフレームを意味する。

映像処理部２０３は、利用者装置３０から映像切替え指示を受信する。そして、映像切替え指示に基づき、複数ある遠隔地装置番号のうち予め定められた映像切替え指示と遠隔地装置対応表に基づき、切替え先の遠隔地装置１０の識別子（遠隔地装置番号）を決定し、決定した遠隔地装置番号を映像選択部２０５に送信する。例えば、表１に示すように、横須賀市役所、横須賀市図書館、横須賀市運動公園に配置された遠隔地装置１０に、遠隔地装置番号としてそれぞれ、「１」、「２」、「３」が割り当てられている際に、映像切替え指示により横須賀市役所の映像が指定された場合は、遠隔地装置番号は「１」となる。

映像復号部２０２は、映像処理部２０３から遠隔地装置番号を受信するとともに、該遠隔地装置番号を有する遠隔地装置１０から符号化映像を受信する。ただし、受信し始めた映像がＰフレーム又はＢフレームだった場合は、Ｐフレーム又はＢフレームの代わりに、該遠隔地装置１０に対応する映像蓄積部２０１に蓄積されたＩフレーム（すなわち、直近のＩフレーム）を取得する。そして、当該Ｉフレームが最新のＩフレームに更新された時に、映像蓄積部２０１からのＩフレームの取得を中止し、遠隔地装置１０からの符号化映像を受信する。

映像選択部２０５は、映像処理部２０３から遠隔地装置番号を受信し、切替え先の遠隔地装置１０から受信した符号化映像がＩフレームか否かを判定する。受信した符号化映像がＩフレームである場合には、該符号化映像を映像符号化部２０４に送信する。受信した符号化映像がＩフレームでない場合には、映像復号部２０２から、映像蓄積部２０１に蓄積されたＩフレームを復号した復号映像（Ｉフレーム復号映像）を受信し、該Ｉフレーム復号映像を映像符号化部２０４に送信する。

映像符号化部２０４は、映像選択部２０５からＩフレーム復号映像を受信した場合には、映像データのネットワーク伝送を考慮し、フレーム間予測技術等を用いた映像符号化技術を用いて符号化映像を生成し、利用者装置３０に送信する。映像選択部２０５から符号化映像を受信した場合には、符号化せずにそのまま利用者装置３０に送信する。

利用者装置３０は、利用者からの操作に基づき、指示内容をサービス提供装置２０に送信する。利用者装置３０は、サービス提供装置２０から受信した映像を表示する。利用者装置３０は、表示部３０１と、操作部３０２とを有する。

表示部３０１は、サービス提供装置２０から符号化映像を受信し、復号処理を行った後に表示する。

操作部３０２は、利用者からの画面切替え指示等をカーソルキー又は表示部３０１に付加されているタッチセンサ等により取得する。そして、取得した映像切替え指示等をサービス提供装置２０に送信する。

図２は、第１の実施形態に係る遠隔映像配信方法を示すフローチャートである。以下、図２を参照して、遠隔映像配信システム１における遠隔映像配信方法を説明する。

遠隔地装置１０と１対１で対応付けられた映像蓄積部２０１は、常時、各遠隔地装置１０から送られてくる映像を受信し、映像をバッファリングする（ステップＳ１０１）。そして、受信した映像のフレームがＩフレーム（フレーム内符号化画像）であるか否かを判定し（ステップＳ１０２）、受信した映像がＩフレームである場合にのみ、Ｉフレームを蓄積する（ステップＳ１０３）。バッファリングされる映像、及び蓄積されるＩフレーム画像はともに逐次更新される。映像蓄積部２０１は、サービス提供装置２０の他の部分の動作によらず、常時独立に動作する。

映像処理部２０３では、利用者装置３０からの映像切替え指示を受信する（ステップＳ２０１）。そして、映像切替え指示に基づき、新たに表示すべき場所を撮影している切替え先の遠隔地装置１０の遠隔地装置番号を決定し（ステップＳ２０２）、決定した遠隔地装置番号を映像選択部２０５に送信する（ステップＳ２０３）。

例えば、現在、中心が北の方向を向いたカメラＡの映像が配信されているが、東に４５度回った北東を向いた映像が欲しい、との指示が例えば４５度という方位角で利用者装置３０より指示された場合に、北東側を向いたカメラはカメラＢであることを探し出し、遠隔地装置番号としてカメラＢの遠隔地装置番号を映像選択部２０５に通知する。方位角とその方位を向いたカメラを有する遠隔地装置番号との対応付けは、あらかじめ対応付けを記述したテーブルを参照する方法や、遠隔地装置１０に条件に合った撮影を行っているかを問い合わせて確認する方法などがある。

映像選択部２０５では、映像処理部２０３から遠隔地装置番号を受信し（ステップＳ３０１）、受信した遠隔地装置番号に従い、切替え先の遠隔地装置１０に対応する映像蓄積部２０１にバッファリングされている符号化映像を取得する（ステップＳ３０２）。そして、取得した映像がＩフレームであるか否かを判定する（ステップＳ３０３）。ステップＳ３０３にてＩフレームであると判定した場合には、映像蓄積部２０１にバッファリングされるＩフレーム及び後続するフレームの符号化映像をそのまま（すなわち、復号・符号化処理を施すことなく）送信映像とすることを映像符号化部２０４に通知する。

一方、ステップＳ３０３にてＩフレームでないと判定した場合には、映像蓄積部２０１に蓄積され、映像復号部２０２により復号されたＩフレーム復号映像を受信し（ステップＳ３０４）、該Ｉフレーム復号映像を送信映像とすることを映像符号化部２０４に通知する。そして、映像蓄積部２０１にバッファリングされる映像の現在のフレームがＩフレームになるまで、映像の確認を繰り返す（ステップＳ３０５、ステップＳ３０６）。現在のフレームがＩフレームになったら、映像蓄積部２０１にバッファリングされるＩフレーム及び後続するフレームの符号化映像をそのまま送信映像とすることを映像符号化部２０４に通知する。

映像符号化部２０４では、送るべき映像が映像蓄積部２０１にバッファリングされている映像である場合には（ステップＳ４０１）、該バッファリングされている映像をそのまま送信する（ステップＳ４０２）。

一方、送るべき映像がＩフレーム復号映像である場合には（ステップＳ４０３）、Ｉフレームを符号化し（ステップＳ４０４）、符号化した映像を送信する（ステップＳ４０２）。ここで、映像選択部２０５から送るべき映像がバッファリングされている映像に切り替わる指示が来るまでの間は、動きがないもの（静止画像）としてＩフレームを符号化して送信を続ける。バッファリングされている映像への切替え指示が来たら、送信する映像を映像蓄積部２０１にバッファリングされている映像に切替える。

このように、本発明によれば、複数の遠隔地装置から受信した映像を、利用者が操作により切替えて視聴する映像配信サービスにおいて、切替え先の遠隔地装置１０から受信した符号化映像がＰフレーム又はＢフレームの場合、映像蓄積部２０１に蓄積された直近のＩフレームを用いて映像復号処理を行う。このため、サービス提供装置２０における復号処理を映像切替え時のみとすることができる。また、映像切替え時にＰフレーム又はＢフレームを受信している間においては、予め蓄積された最新のＩフレームに基づく映像を利用者に提示することで、利用者の操作に即座に反応した映像の切替えを実現することができる。

（第２の実施形態）
次に、第２の実施形態として、映像を切替える際に２以上の映像の合成を行う場合について説明する。図３は、第２の実施形態に係る遠隔映像配信システムの構成例を示すブロック図である。以下、第１の実施形態と相違する点を中心に説明し、第１の実施形態と同一の点については説明を省略する。

第２の実施形態に係る遠隔映像配信システム２は、図１に示した第１の実施形態に係る遠隔映像配信システム１と比較して、映像切替え時における映像復号部２０２、映像処理部２０３、映像符号化部２０４、及び映像選択部２０５の動作が異なる。

第２の実施形態では、映像処理部２０３は、利用者装置３０から受信した映像切替え指示に基づき、複数ある遠隔地装置番号のうち予め定められた映像切替え指示と遠隔地装置対応表に基づき、切替え先の遠隔地装置１０の識別子（遠隔地装置番号）を決定し、決定した遠隔地装置番号を映像選択部２０５に送信する。また、映像処理部２０３は、映像切替え時の合成処理方法を決定するとともに、映像復号部２０２により復号された、映像切替え前の復号映像及び映像切替え後の復号映像を受信し、これらの復号映像を合成した合成映像を生成する。

第２の実施形態では、映像選択部２０５は、映像切替え時に、切替える前の遠隔地装置１０から受信した符号化映像がＩフレームか否かを判定する。受信した符号化映像がＩフレームである場合には、該符号化映像を映像符号化部２０４に送信する。受信した符号化映像がＩフレームでない場合には、映像復号部２０２から、映像蓄積部２０１に蓄積されたＩフレームを復号したＩフレーム復号映像を受信し、該Ｉフレーム復号映像を映像符号化部２０４に送信する。また同様に、切替え先の遠隔地装置１０から受信した符号化映像がＩフレームか否かを判定する。受信した符号化映像がＩフレームである場合には、該符号化映像を映像符号化部２０４に送信する。受信した符号化映像がＩフレームでない場合には、映像復号部２０２から、映像蓄積部２０１に蓄積されたＩフレームを復号したＩフレーム復号映像を受信し、該Ｉフレーム復号映像を映像符号化部２０４に送信する。なお、切替え先の遠隔地装置１０が複数あってもよい。

第２の実施形態では、映像復号部２０２は、映像切替え時には、映像を合成するために、切替える前の映像及び切替え先の映像を復号する。切替え前の映像において、受信した映像がＰフレーム又はＢフレームだった場合は、Ｐフレーム又はＢフレームの代わりに、該遠隔地装置１０に対応する映像蓄積部２０１に蓄積されたＩフレームを復号する。そして、当該Ｉフレームが最新のＩフレームに更新された時に、映像蓄積部２０１からのＩフレームの取得を中止し、遠隔地装置１０からの符号化映像を受信して復号する。また同様に、切替え先の映像において、受信した映像がＰフレーム又はＢフレームだった場合は、Ｐフレーム又はＢフレームの代わりに、該遠隔地装置１０に対応する映像蓄積部２０１に蓄積されたＩフレームを復号する。そして、当該Ｉフレームが最新のＩフレームに更新された時に、映像蓄積部２０１からのＩフレームの取得を中止し、遠隔地装置１０からの符号化映像を受信して復号する。

第２の実施形態では、映像符号化部２０４は、映像切替え時には映像処理部２０３から合成映像を受信し、受信した合成映像を符号化して利用者装置３０に送信する。

図４は、第２の実施形態に係る遠隔映像配信方法を示すフローチャートである。以下、図４を参照して、遠隔映像配信システム２における遠隔映像配信方法を説明する。ここでは、表示したい映像が、あるカメラＡの映像から隣のカメラＢの映像に切替わる場合に、切替えの途中で、カメラＡの映像の一部とカメラＢの映像の一部とを並べて表示する場合を例に説明する。

映像蓄積部２０１の動作（ステップＳ１０１〜ステップＳ１０３）は第１の実施形態と同じであるため、説明を省略する。

映像処理部２０３では、利用者装置３０からの映像切替え指示を受信する（ステップＳ５０１）。そして、映像切替え指示に基づき、新たに表示すべき場所を撮影している遠隔地装置１０の遠隔地装置番号を決定し（ステップＳ５０２）、決定した遠隔地装置番号を映像選択部２０５に送信する（ステップＳ５０３）。

例えば、現在、中心が北の方向を向いたカメラＡの映像が配信されているが、東に４５度回った北東を向いたカメラＢの映像にパンしていきたい、といった場合、現在の表示方向０度と、この後に表示したい方向４５度という方位角が利用者装置３０より指示され、それぞれの角度に対応する遠隔地装置番号、すなわち、カメラＡを有する遠隔地の遠隔地装置番号とカメラＢを有する遠隔地の遠隔地装置番号とを映像復号部２０２に通知する。方位角と、その方位を向いたカメラを有する遠隔地の遠隔地装置番号との対応付けは、あらかじめ対応付けを記述したテーブルを参照する方法や、遠隔地装置１０に条件に合った撮影を行っているかを問い合わせて確認する方法などがある。

映像処理部２０３では、映像切替えを行う際の映像合成処理の方法も決定する（ステップＳ５０４）。本例では、今配信されている映像が方位角０度の映像で、切替え先の映像が、それと右側に隣り合う方位角４５度の映像であるので、新しい映像の左端が画面の右端からだんだん領域が広くなるように表示されていき、それにあわせて元の画像をだんだん左側に動かしていく、といった処理方法である。切替えが終わるまでは、２つの映像が一部分ずつ表示されており、カメラＡの映像は、全画面で表示されている状態から、だんだん左側からフレームアウトして動いていき、空いた右側の領域にカメラＢの映像がだんだん入ってくる見え方となる。

また、映像処理部２０３では、映像切替えで合成処理が必要な時間（動かす速度）についても決定する（ステップＳ５０４）。

映像処理部２０３は、映像復号部２０２に通知した２つの遠隔地装置番号に対応した復号映像を受信が始まると（ステップＳ５０５）、合成処理決定で決められた合成方法に従って、所定間隔ごとに合成画像を生成する（ステップＳ５０６）。なお、カメラＡの画像もカメラＢの画像も、それぞれ最初のＩフレーム画像が到着するまでは、映像蓄積部２０１に蓄積されているＩフレーム画像が用いて合成映像を生成することとなる。

映像処理部２０３は、本例において秒１５枚の画像を送信しており、１秒で画面を切替えるのであれば、１枚目はカメラＡの画像の右側の１４／１５が画面の左側に、画面の残りの１／１５の部分にカメラＢの画像の左側から１／１５に配置されるような合成画像を生成し、２枚目は、カメラＡの画像の右側の１３／１５が画面の左側に、画面の残りの２／１５の部分にカメラＢの画像の左側から２／１５に配置されるような合成画像を生成する。このようにして、順次カメラＡの映像が左側から出ていき、カメラＢの映像が右側から入ってくるような合成映像を生成する。なお、合成方法はこれに限られるものではなく、例えば複数映像を一つの画面に表示位置や大きさを変えながら表示したり、複数映像の濃度を変更しながら合成したりしてもよい。

映像選択部２０５は、カメラＡを有する遠隔地装置１０の遠隔地番号を受信し（ステップＳ３０１）、該遠隔地装置１０から受信した映像について、以下に示すステップＳ３０２〜ステップＳ３０６の処理を行う。また、映像選択部２０５は、同様にカメラＢを有する遠隔地装置１０の遠隔地番号を受信し（ステップＳ３０１）、該遠隔地装置１０から受信した映像について、以下に示すステップＳ３０２〜ステップＳ３０６の処理を行う。

次に、映像選択部２０５は、受信した遠隔地装置番号に従い、対応する映像蓄積部２０１にバッファリングされている、現在のフレームの符号化映像を取得する（ステップＳ３０２）。そして、取得した映像がＩフレームであるか否かを判定する（ステップＳ３０３）。ステップＳ３０３にてＩフレームであると判定した場合には、映像蓄積部２０１にバッファリングされる符号化映像を復号するように映像復号部２０２に通知する。

一方、ステップＳ３０３にてＩフレームでないと判定した場合には、映像蓄積部２０１に蓄積されたＩフレームを受信し（ステップＳ３０４）、該符号化映像を復号するように映像復号部２０２に通知する。そして、映像蓄積部２０１にバッファリングされる映像の現在のフレームがＩフレームになるまで、映像の確認を繰り返す（ステップＳ３０５、ステップＳ３０６）。現在のフレームがＩフレームになったら、映像蓄積部２０１にバッファリングされる符号化映像を復号するように映像復号部２０２に通知する。

映像復号部２０２は、映像選択部２０５のステップＳ３０３の判定処理においてＩフレームであると判定された場合、及び映像選択部２０５のステップＳ３０６の判定処理においてＩフレームであると判定された場合には、現在受信しているＩフレーム以降の符号化映像を復号し、映像処理部２０３に送信する（ステップＳ６０１、ステップＳ６０３）。また、映像復号部２０２は、映像選択部２０５のステップＳ３０３の判定処理においてＩフレームでないと判定された場合には、映像蓄積部２０１に蓄積されたＩフレームを復号し、映像処理部２０３に送信する（ステップＳ６０２）。

この復号処理は、映像処理部２０３で合成処理方法を決めた際に定められた、合成処理に必要な時間だけ続けられる。なお、ステップＳ３０６の判定結果がＹｅｓとなるまでに合成処理に必要な時間が経過した場合には、ステップＳ６０３には進まない。

映像符号化部２０４では、映像処理部２０３から合成映像を受信し（ステップＳ７０１）、受信した合成映像を符号化し（ステップＳ７０２）、符号化した合成映像を利用者装置３０に送信する（ステップＳ７０３）。

映像処理部２０３で決めた、合成処理が必要な時間が経過した後は、図４に示すフロー外の通常の処理系において映像が配信される。すなわち、本例では、カメラＢにより撮像された映像を符号化した符号化映像がそのまま復号されることなく利用者装置３０に配信される。

このように、本発明によれば、複数の遠隔地装置から受信した映像を、利用者が操作により切替えて視聴する映像配信サービスにおいて、切替え先の遠隔地装置１０から受信した符号化映像がＰフレーム又はＢフレームの場合、映像蓄積部２０１に蓄積された直近のＩフレームを用いて映像復号処理を行う。このため、映像切替え時に複数の映像を同時に合成表示する場合であっても、サービス提供装置２０における復号処理を映像切替え時のみとすることができる。また、映像切替え時にＰフレーム又はＢフレームを受信している間においては、予め蓄積された最新のＩフレームに基づく映像を利用者に提示することで、複数の映像を同時に合成表示する場合であっても、利用者の操作に即座に反応した映像の切替えを実現することができる。

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成部ブロックを分割したりすることが可能である。

１，２遠隔映像配信システム
１０遠隔地装置
２０サービス提供装置
３０利用者装置
１０１映像入力部
１０２映像符号化部
２０１映像蓄積部
２０２映像復号部
２０３映像処理部
２０４映像符号化部
２０５映像選択部
３０１表示部
３０２操作部

Claims

遠隔地装置により、撮像した映像を符号化して符号化映像を生成するステップと、
利用者装置により、サービス提供装置に対して映像の切替え指示を行うステップと、
前記サービス提供装置により、
前記遠隔地装置の各々から前記符号化映像を受信するステップと、
前記符号化映像の各々のうち最新のＩフレームを蓄積する蓄積ステップと、
前記利用者装置から受信した映像切替え指示に基づき、切替え先の遠隔地装置を決定するステップと、
前記切替え先の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積ステップにて蓄積されたＩフレームの符号化映像を復号したＩフレーム復号映像を選択する映像選択ステップと、
前記映像選択ステップにて、前記符号化映像が選択された場合には該符号化映像を前記利用者装置に送信し、前記Ｉフレーム復号映像が選択された場合には該Ｉフレーム復号映像を符号化した映像を前記利用者装置に送信するステップと、を含むことを特徴とする遠隔映像配信方法。
前記映像選択ステップは、受信した符号化映像がＩフレームでない場合には、Ｉフレームを受信するまでの間、前記Ｉフレーム復号映像を選択することを特徴とする、請求項１に記載の遠隔映像配信方法。
遠隔地装置により、撮像した映像を符号化して符号化映像を生成するステップと、
利用者装置により、サービス提供装置に対して映像の切替え指示を行うステップと、
前記サービス提供装置により、
前記遠隔地装置の各々から前記符号化映像を受信するステップと、
前記符号化映像の各々の最新のＩフレームを蓄積する蓄積ステップと、
前記利用者装置から受信した映像切替え指示に基づき、切替え先の遠隔地装置を決定するステップと、
切替える前の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積ステップにて蓄積されたＩフレームの符号化映像を選択する第１の映像選択ステップと、
前記切替え先の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積ステップにて蓄積されたＩフレームの符号化映像を選択する第２の映像選択ステップと、
前記第１の映像選択ステップにて選択された符号化映像、及び前記第２の映像選択ステップにて選択された符号化映像を復号して復号映像を生成する復号ステップと、
前記復号ステップにて生成された復号映像を合成した合成映像を生成するステップと、
前記合成映像を符号化した映像を前記利用者装置に送信するステップと、を含むことを特徴とする遠隔映像配信方法。
前記第１の映像選択ステップ及び前記第２の映像選択ステップは、受信した符号化映像がＩフレームでない場合には、Ｉフレームを受信するまでの間、前記蓄積ステップにて蓄積されたＩフレームの符号化映像を選択することを特徴とする、請求項３に記載の遠隔映像配信方法。
複数の遠隔地装置、利用者装置、及びサービス提供装置を備える遠隔映像配信システムであって、
前記遠隔地装置は、撮像した映像を符号化して符号化映像を生成する手段を有し、
前記利用者端末は、前記サービス提供装置に対して映像の切替え指示を行う手段を有し、
前記サービス提供装置は、
前記遠隔地装置の各々から前記符号化映像を受信する手段と、
前記符号化映像の各々のうち最新のＩフレームを蓄積する蓄積手段と、
前記利用者装置から受信した映像切替え指示に基づき、切替え先の遠隔地装置を決定する手段と、
前記切替え先の遠隔地装置から符号化映像を受信し、受信した符号化映像がＩフレームである場合には、該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には、前記蓄積手段にて蓄積されたＩフレームを復号したＩフレーム復号映像を選択する映像選択手段と、
前記映像選択手段にて、前記符号化映像が選択された場合には該符号化映像を前記利用者装置に送信し、前記Ｉフレーム復号映像が選択された場合には該Ｉフレーム復号映像を符号化した映像を前記利用者装置に送信する手段と、を有することを特徴とする遠隔映像配信システム。
前記映像選択部は、受信した符号化映像がＩフレームでない場合には、Ｉフレームを受信するまでの間、前記Ｉフレーム復号映像を選択することを特徴とする、請求項５に記載の遠隔映像配信システム。
複数の遠隔地装置、利用者装置、及びサービス提供装置を備える遠隔映像配信システムであって、
前記遠隔地装置は、撮像した映像を符号化して符号化映像を生成する手段を有し、
前記利用者端末は、前記サービス提供装置に対して映像の切替え指示を行う手段を有し、
前記サービス提供装置は、
前記遠隔地装置の各々から前記符号化映像を受信する手段と、
前記符号化映像の各々のうち最新のＩフレームを蓄積する蓄積手段と、
前記利用者装置から受信した映像切替え指示に基づき、切替え先の遠隔地装置を決定する手段と、
切替える前の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積手段にて蓄積されたＩフレームの符号化映像を選択する第１の映像選択手段と、
前記切替え先の遠隔地装置から符号化映像を取得し、受信した符号化映像がＩフレームである場合には該符号化映像を選択し、受信した符号化映像がＩフレームでない場合には前記蓄積手段にて蓄積されたＩフレームの符号化映像を選択する第２の映像選択手段と、
前記第１の映像選択手段にて選択された符号化映像、及び前記第２の映像選択手段にて選択された符号化映像を復号して復号映像を生成する復号手段と、
前記復号手段にて生成された復号映像を合成した合成映像を生成する手段と、
前記合成映像を符号化した映像を前記利用者装置に送信する手段と、を有することを特徴とする遠隔映像配信システム。
前記第１の映像選択手段及び前記第２の映像選択手段は、受信した符号化映像がＩフレームでない場合には、Ｉフレームを受信するまでの間、前記蓄積手段にて蓄積されたＩフレームの符号化映像を選択することを特徴とする、請求項７に記載の遠隔映像配信システム。