JP2013183209A - 多視点映像ストリーム視聴システムおよび方法 - Google Patents

多視点映像ストリーム視聴システムおよび方法 Download PDF

Info

Publication number
JP2013183209A
JP2013183209A JP2012044185A JP2012044185A JP2013183209A JP 2013183209 A JP2013183209 A JP 2013183209A JP 2012044185 A JP2012044185 A JP 2012044185A JP 2012044185 A JP2012044185 A JP 2012044185A JP 2013183209 A JP2013183209 A JP 2013183209A
Authority
JP
Japan
Prior art keywords
viewpoint
video
video stream
stream
viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012044185A
Other languages
English (en)
Other versions
JP5920708B2 (ja
Inventor
Kenji Mase
健二 間瀬
Toshiaki Fujii
俊彰 藤井
Nobufumi Marutani
宜史 丸谷
Yutaka Sakane
裕 坂根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DIGITAL SENSATION CO Ltd
Nagoya University NUC
Original Assignee
DIGITAL SENSATION CO Ltd
Nagoya University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DIGITAL SENSATION CO Ltd, Nagoya University NUC filed Critical DIGITAL SENSATION CO Ltd
Priority to JP2012044185A priority Critical patent/JP5920708B2/ja
Publication of JP2013183209A publication Critical patent/JP2013183209A/ja
Application granted granted Critical
Publication of JP5920708B2 publication Critical patent/JP5920708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】インターネットのストリーミング配信技術を用いて、必要に応じてコンテンツの著作権を保護しつつ多視点を効率よく伝送して、ユーザが自分の見たい視点を自由にかつ手軽に視聴できるインタフェースを用意し、視聴履歴を集約してユーザにフィードバックをかけるサービスを提供する。
【解決手段】５０多視点コンテンツ撮影システムで撮影した映像ファイルを格納する５１ストリーミングサーバ部と、ネットワークを介して多重同期して受け取る５３クライアントＰＣと、それを構成する５５受信部と、前記ストリーミングデータを映像表示する５６映像ストリーム表示部と、これらを制御する５７制御部とを有することを特徴とするシステムと、５７制御部では，さらに、映像ストリームに割り当てる帯域を動的に適応的に割り当てることを特徴とする方法からなる、多視点映像ストリーム視聴システム。
【選択図】 図１

Description

本発明は、自由視点テレビまたは多視点テレビにおける、ネットワークを用いた多視点視聴のための効率的なストリーミングデータ伝送方式およびそのような伝送方式における視聴ユーザインタフェースを備えた、多視点映像ストリーム視聴システムおよび方法に関するものである。
従来、多視点映像のコンテンツを自由な方向から、手軽に視点を選ぶことができる視聴インタフェースとして視対象中心の釘づけ視聴インタフェースをすでに提案している（たとえば非特許文献１）。
図１は、非特許文献１で提案している、視対象中心視聴インタフェースの操作画面である。ここで、画面右欄には、見るべき対象物のリストが提示されており、視聴者（ユーザ）は、このリストから対象物を選ぶことができる。
また一方、下段には、ビデオ再生に用いられるボタンが並んでおり、再生、早送り、ポーズ、停止などができるほか、拡大、カメラ選択の機能が提供されている。このインタフェースを使って、あらかじめ、ローカルコンピュータ上に管理している多視点映像コンテンツを呼び出すと、再生しながら、任意視点方向からの映像をえらぶことができる。
そのため、スポーツコンテンツにおいては、ゲーム鑑賞を楽しみながら注目する選手を自由な角度から見ることができる。また、芸術・技能コンテンツにおいては、作品鑑賞を楽しみながら技を多方向から吟味することができる。しかし、このシステムはインターネットを介したサービスとして実現されていないという問題があった。
一方、３次元テレビのためにマルチビュー符号化（ＭＶＣ）の技術が提案されて、狭視野角画像間の相関を使った符号化をして全部の視点画像を同時に送る方法があるが、視野角が広く画像間の相関が低い場合は、符号化効率が低く、ネットワークの広い帯域を消費することになる。
また、複数のチャネルの映像をストリーミング配信する方法として、ＹｏｕＴｕｂｅのようなサービスが実用化されている。これは、複数のチャネルの存在を紹介するためのアイコンが提示されていて、それを選択するとストリーミングが開始されるため、ストリーミングのためのメタファイルをダウンロードするなど、映像を閲覧できるようになるまでに２秒・３秒かかってしまうという問題があった。
非特許文献２に示すように、マイクロソフト社はそれを解決するため、スムーズ ストリーミング（Ｓｍｏｏｔｈ Ｓｔｒｅａｍｉｎｇ）という技術を発表している。スムーズ ストリーミングでは、伝送帯域幅と ＣＰＵ 条件を動的に検出し、プレーヤが受信するメディア ファイルの映像画質をほぼリアルタイムで透過的に切り替えることを特徴として、なめらかな再生を実現しているが、本発明が対象とする多視点が同期して撮影されているコンテンツについて、多数の視点間を切り替えたときに、遅延なく表示することは困難である。
マイクロソフト社のスムーズ ストリーミングの詳しい動作は次のようである。まず、コンテンツを一定サイズ毎に分割した一連のフラグメントとして、ウェブサーバからクライアント（映像プレイヤー）に配布する。Ｓｉｌｖｅｒｌｉｇｈモジュールのコンポーネントとして提供されるプレイヤ（ＳＳＭＥ： Ｓｍｏｏｔｈ Ｓｔｒｅａｍｉｎｇ Ｍｅｄｉａ Ｅｌｅｍｅｎｔ）は、分割されたフラグメントを順番に要求し、ダウンロードしながら連続再生する。
あらかじめコンテンツを複数のビットレートでエンコードしておくことで、フラグメント単位でのビットレート変更が可能となる。ＳＳＭＥは、ＣＰＵの使用率やネットワーク帯域、コンテンツを表示する画面サイズなどから、最適なビットレートを選択する。
コンテンツが持つビットレートは、コンテンツ製作者が決定でき、ＳＳＭＥが選択するビットレートの幅（上限、下限）は、プログラムから制御できる。しかしながら、この際、供給される通信帯域を最大限利用するように、各チャネルが自律的に動作するので、適切な制御をしないと、再生時刻が同期した多視点映像を効率的に視聴することができなかった。
特許文献１はこのようなコンテンツにおいて、さらに中間的な視点や前後に移動した視点の映像を作る技術とその応用について説明している。たとえば、サッカーやフットボールの試合を、自分の見たい視点から見ることができれば、好きな選手のプレイを自由に鑑賞することができる。しかし、この技術は、インターネットを介したシステムを実現する方法を明示していない。
非特許文献３では、フットボールの試合を多くのロボットアームの先に装着したカメラで撮影し、そのロボットアームを放送番組演出者が操作して、ある選手をすべてのカメラがとらえるように遠隔制御しつつ、あるプレイを多視点から多面的にみる映像をつくり、家庭に放送する実験を行ったことを説明している。
このように多視点から見たいという欲求は多い。しかし、この場合、視点を操作するのは放送局側であり、ユーザが自由に視点を選べるわけではない。
また、非特許文献４および５では、そのような多視点からみるコンテンツを提供するときに、コンピュータグラフィックス技術を使って端末で合成することにより、多くのデータを伝送しなくてもよいようにしているが、臨場感が低いという課題がある。
そのようなスポーツや技能を習得する際に、動作やプレイをあらゆる方向から見ることができると、習得が早いと考えられるが、インターネットを使った簡便なシステムはない。
自由視点や多視点での自由な視聴ができるようになると、便利になる一方で、見る側の自由度が多すぎて、操作が煩雑であり、専門家でなければどこを見たらよいかも解らないことがある。そこで、発明者らは釘付け視聴方式のもとで、見る対象を絞って楽に、見たいものを追跡しながら多様な視点で視聴できるインタフェースを開発した（非特許文献６）。
また、特定の興味があるときに、どの視点がもっとも適切かを計算して、それに基づいて、適切な視点映像を組み合わせて編集する手法を開発している（非特許文献７）。
さらに、視聴者が多視点コンテンツの何をどのように視聴しているかの記録をとり、それを使って視聴推薦する手法も開発している（非特許文献８）。しかしながら、これらはローカルのファイルを視聴している方式であり、ネットワークと結合したシステムではなかった。
特願２００７−５３３１１８号公報
間瀬健二、東海彰吾、川本哲也、藤井俊彰、"多視点画像の釘付け視聴方式と操作インタフェースのデザインに関する考察"、ヒューマンインタフェース学会研究報告集、Vol.11、No.1、pp.7-12、 2009.3.10-11 . IIS Smooth Streaming Technical Overview、 Microsoft 、 March 2009 Kanade、 T. and Narayanan、 P.: Virtualized Reality: Perspectives on 4D Digitiza-tion of Dynamic Events、 IEEE Computer Graphics and Applications、 Vol.27、 pp.32[40 (2007). Moezzi、 S.、 Katkere、 A.、 Kuramura、 D.Y. and Jain、 R.: Immersive Video、 Virtual Reality Annual International Symposium、 Vol. 0、 Los Alamitos、 CA、 USA、 IEEE Computer Society、 p.17 (1996). Ohta、 Y. et.al、 Live 3D Video in Soccer Stadium、 IJCV、 75(1)、 pp.173-187、 2007. Shoichiro Sumiya、 Yu Enokibori、 Takafumi Marutani and Kenji Mase、 "Automatic Movie Generating Method from Multi-view Video using Multi Sensor Target Tracking"、 IWAIT2012、 Ho Chi Minh City、 Vietnam、 2012.1. 間瀬健二、 永井有希、 丹羽宏介、 藤井俊彰、 丸谷宜史、 川本哲也、 "視聴者の興味モデリングを用いた多視点映像視聴インタフェース"、 情報処理学会HCI研究会研究報告、名古屋大学 2011.5. Kenji Mase、 Kosuke Niwa、 Takafumi Marutani、 "Socially-assisted Multi-view Video Viewer"、 pp.319-322 、 ICMI2011、 Alicante、 Spain、 2011.10.
以上のように、多視点映像や自由視点テレビが実現されるとユーザが好む視点からの映像を視聴し鑑賞できるようになる。しかしながら、一般に広い帯域の映像伝送が必要になる。
そこで、ローカルコンピュータのファイルシステムに蓄積したデータからの再生か、通信・放送を使って送信元での映像選択を行いユーザは視点選択しないか、あるいは、多数のチャンネルを使って同時に多視点映像を送り、その中からユーザが映像をえらぶか、いずれかの方法が用いられてきた。
すなわち、インターネットをもちいてリモートのコンテンツを視聴でき、かつユーザが自ら視点を選択して視聴でき、かつ伝送回線を効率よく使うことのできる方式が求められている。
また、その際に、自由視点や多視点の視聴が可能になってもユーザの操作性が悪くてはコンテンツを楽しむことができないため、手軽に興味のある対象を見続けることができるインタフェースが求められている。
さらに、データをローカルに置くサービスは、データの著作権侵害の心配があり、手軽なコピーや再流通ができない仕組みが求められる。さらに、ネットワークサービスであれば、大勢が視聴した履歴を集約して再利用することができるが、現在のところそのようなサービスはない。
本発明は、こうした問題に鑑みなされたもので、インターネットのストリーミング配信技術を用いて、必要に応じてコンテンツの著作権を保護しつつ多視点を効率よく伝送して、ユーザが自分の見たい視点を自由にかつ手軽に視聴できるインタフェースを用意し、視聴履歴を集約してユーザにフィードバックをかけるサービスを提供することを目的とする。
上記「発明が解決しようとする課題」において述べた問題を解決するためになされた請求項１に記載の発明は、多視点で撮影した映像コンテンツを自由な視点から視聴するための多視点映像ストリーム視聴システムであって、複数の視点の映像ファイルを格納するサーバ部と、映像ファイルをネットワークを介して受信するクライアントＰＣを備え、クライアントＰＣは、複数の映像ファイルをストリーミングデータとしてネットワークを介して多重同期して受け取る受信部と、受信部で多重受信した各ストリーミングデータを制御して映像表示する映像ストリーム表示部と、これらを制御する制御部と、を備え、制御部は、サーバ部に格納した複数の視点映像のうち１つの視点の映像のみを可視として、その他を非可視として映像の時間的な流れを保持しつつ、動的かつ瞬時の視点の切り替えを行い、さらに、可視の視点の映像ストリームには広帯域を、非可視の視点の映像ストリームには低帯域を適応的および動的に割り当てる方法を備えることを特徴とする多視点映像ストリーム視聴システムである。
請求項２に記載のシステムは、請求項１に記載の多視点映像ストリーム視聴システムにおいて、サーバ部は、各視点の映像ファイルをあらかじめ多重帯域符号化して格納し、あるいは、さらに帯域間差分ファイルを含む多重階層構造として格納する機能を備え、映像ストリーム表示部は、多視点のそれぞれの視点について異なる帯域のストリーム映像の送信要求を送る一方で受信した映像ストリームデータを，あらかじめ決められた時間順序どおりに映像として復号して表示する機能を備え、制御部は、可視の視点には広帯域のストリームファイルを伝送させ、一方、不可視の視点には低帯域のストリームファイルを伝送されるようにし、さらに、可視の視点から不可視の視点に切り替える確率に基づき可視と不可視の視点の伝送すべきストリームファイルの帯域をそれぞれ定め、確率分布の変更は、可視の視点の変化に合わせて動的に行う機能を備えることを特徴とする多視点映像ストリーム視聴システムである。
請求項３に記載のシステムは、請求項1又は請求項２に記載の多視点映像ストリーム視聴システムにおいて、映像ストリーム表示部は、各ストリームファイルに合わせて、映像中の対象物の識別名とフレーム毎の画像座標列を同時に受信部からダウンロードし、対象物が選ばれると、その画像座標に従ってストリーム映像のディスプレイ上の表示位置を制御し、さらに映像中の対象物が選ばれて視点が変更されると、視点変更の前後で、対象物の画像座標を用いて、対象物が近傍に表示されるようディスプレイ上のストリーム映像の表示位置を制御し、制御部は、映像中の対象物の選択および視点の変更の記録、映像の再生、早送り、スロー再生、後退再生、停止およびズームの操作記録をクライアントＰＣで記録し、またはその一部あるいは全部をサーバに送って記録し、記録した操作を再生して同じように視聴できる機能を制御することを特徴とする多視点映像ストリーム視聴システムである。
請求項４に記載のシステムは、請求項１〜請求項３のいずれか1項に記載の多視点映像ストリーム視聴システムにおいて、制御部は、同じ多視点映像ストリームコンテンツに対し1人以上の操作記録を集めて、視点と時間にもとづく視聴累積頻度をとり、あるいは、映像中の対象物の動き、動作、位置関係、映像が写している場の状況を、視点と時間に基づく状況関数として表し、それらのいずれかを視聴者に可視化して提示し、さらにその視聴累積頻度や状況関数から、最頻値や最小値などの数量パラメータを計算し、視聴すべき視点系列を提示し、推薦し、あるいは、それに従って映像ストリームを自動再生するよう映像ストリーム表示部を制御し、さらに、映像中の対象物として複数の対象物の組を含めその位置は組の性質にしたがって決定し与え、目的の対象物が含まれる視点映像ストリームが限られるときには、対象物が含まれない視点には帯域の小さいストリームファイルを受け取るよう映像ストリーム表示部を制御し、さらに、その映像ストリームの視点には切り替えないよう視点選択を制限し、さらに、対象物の位置情報は３次元世界座標系におけるカメラ座標の位置と物体の位置を保持し、それをもとに対象物の画像座標を逐次計算してディスプレイ上の表示位置の制御をするよう映像ストリーム表示部を制御することを特徴とする多視点映像ストリーム視聴システムである。
請求項５に記載のシステムは、請求項１〜請求項４のいずれか1項に記載の多視点映像ストリーム視聴システムにおいて、制御部は、可視の映像としての注目視点の映像のほかに、不可視とした映像も別ディスプレイに表示させ、サーバ部は、実映像のみならず、コンピュータグラフィックス技術により生成された映像、あるいは、複数の実映像から自由視点テレビ技術を使って生成された別の視点の映像を格納し、映像ストリーム表示部は、別ディスプレイに表示させる映像生成を行うことを特徴とする多視点映像ストリーム視聴システムである。
請求項６に記載の方法は、多視点で撮影した映像コンテンツを自由な視点から視聴するための多視点映像ストリーム視聴方法であって、サーバ部に複数の視点の映像ファイルを格納する格納工程と、受信部において、複数の映像ファイルをストリーミングデータとしてネットワークを介して多重同期して受け取る受信工程と、映像ストリーム表示部に受信部で多重受信した各ストリーミングデータを制御して映像表示する表示工程と、サーバ部に格納した複数の視点映像のうち１つの視点の映像のみを可視として、その他を非可視として映像の時間的な流れを保持しつつ、動的かつ瞬時の視点の切り替えを行い、さらに、可視の視点の映像ストリームには広帯域を、非可視の視点の映像ストリームには低帯域を適応的および動的に割り当てる制御工程と、を備えることを特徴とする多視点映像ストリーム視聴方法である。
請求項７に記載の方法は、請求項６に記載の多視点映像ストリーム視聴方法において、格納工程は、サーバ部に、各視点の映像ファイルをあらかじめ多重帯域符号化して格納し、あるいは、さらに帯域間差分ファイルを含む多重階層構造として格納し、表示工程は、映像ストリーム表示部に、多視点のそれぞれの視点について異なる帯域のストリーム映像の送信要求を送る一方で受信した映像ストリームデータを適切に復号して表示させ、制御工程は、可視の視点には広帯域のストリームファイルを伝送させ、一方、不可視の視点には低帯域のストリームファイルを伝送されるようにし、さらに、可視の視点から不可視の視点に切り替える確率に基づき可視と不可視の視点の伝送すべきストリームファイルの帯域をそれぞれ定め、確率分布の変更は、可視の視点の変化に合わせて動的に行う機能を備えることを特徴とする多視点映像ストリーム視聴方法である。
請求項８に記載の方法は、請求項６又は請求項７に記載の多視点映像ストリーム視聴方法において、表示工程は、映像ストリーム表示部に、各ストリームファイルに合わせて、映像中の対象物の識別名とフレーム毎の画像座標列を同時に受信部からダウンロードし、対象物が選ばれると、その画像座標に従ってストリーム映像のディスプレイ上の表示位置を制御し、さらに映像中の対象物が選ばれて視点が変更されると、視点変更の前後で、対象物の画像座標を用いて、対象物が近傍に表示されるようディスプレイ上のストリーム映像の表示位置を制御し、制御工程は、映像中の対象物の選択および視点の変更の記録、映像の再生、早送り、スロー再生、後退再生、ズームなどの操作記録をクライアントＰＣで記録し、またはその一部あるいは全部をサーバに送って記録し、記録した操作を再生して同じように視聴できる機能を制御することを特徴とする多視点映像ストリーム視聴方法である。
請求項９に記載の方法は、請求項６〜請求項８のいずれか1項に記載の多視点映像ストリーム視聴方法において、制御工程は、同じ多視点映像ストリームコンテンツに対し1人以上の操作記録を集めて、視点と時間にもとづく視聴累積頻度をとり、あるいは、映像中の対象物の動き、動作、位置関係、映像が写している場の状況を、視点と時間に基づく状況関数として表し、それらのいずれかを視聴者に可視化して提示し、さらにその視聴累積頻度や状況関数から、最頻値や最小値などの数量パラメータを計算し、視聴すべき視点系列を提示し、推薦し、あるいは、それに従って映像ストリームを自動再生するよう映像ストリーム表示部を制御し、さらに、映像中の対象物として複数の対象物の組を含めその位置は組の性質にしたがって決定し与え、目的の対象物が含まれる視点映像ストリームが限られるときには、対象物が含まれない視点には帯域の小さいストリームファイルを受け取るよう映像ストリーム表示部を制御し、さらに、その映像ストリームの視点には切り替えないよう視点選択を制限し、さらに、対象物の位置情報は３次元世界座標系におけるカメラ座標の位置と物体の位置を保持し、それをもとに対象物の画像座標を逐次計算してディスプレイ上の表示位置の制御をするよう映像ストリーム表示部を制御することを特徴とする多視点映像ストリーム視聴方法である。
請求項１０に記載の方法は、請求項６〜請求項９のいずれか1項に記載の多視点映像ストリーム視聴方法において、制御工程は、可視の映像としての注目視点の映像のほかに、不可視とした映像も別ディスプレイに表示させ、格納工程は、サーバ部において、実映像のみならず、コンピュータグラフィックス技術により生成された映像、あるいは、複数の実映像から自由視点テレビ技術を使って生成された別の視点の映像を格納し、表示工程は、映像ストリーム表示部において、別ディスプレイに表示させる映像生成を行うことを特徴とする多視点映像ストリーム視聴方法である。
以上のような多視点映像ストリーム視聴システムおよび方法により、釘付け視聴方式をネットワーク（インターネット）経由で実現することができるようになり、データをダウンロードするのではなく、ストリーミングデータとして配信を受ける方式において、多視点のストリーミングデータを多重同期して同時に受信し、希望の視点のチャネルだけを切り替え表示することで、別の視点への瞬時の切り替え視聴を実現可能にしたことを特徴とするものである。既存技術の釘付け視聴方式と組み合わせることによって、コンテンツ内の対象を選択する機能と、ある視点の映像を視聴しているときには、その広帯域符号化データを優先的にストリーミング配信し、他の表示されていない映像には狭帯域符号化データを常時ストリーミング配信しておくように、各チャネルへの伝送帯域の割り当てを適応的に行うことが実現でき、ネットワーク効率のよい多視点映像の視聴を可能となる。また、視聴履歴をネットワーク経由で保存する機能により、大勢の視聴傾向を利用した視聴推薦も実現可能となる。
本発明の多視点映像ストリーム視聴システムおよび方法は、ストリーミングデータを多重同期して受信し希望の視点のチャネルを可視にし、ほかのチャネルを非可視にする機能を実現することによって、瞬時の視点移動効果をもたらす画像転換が可能になり、あたかも視聴の視点を切り替えているかのような効果を得ることができる。
その際に、視聴対象の映像中の座標を用いることによって、チャネルの切り替え時に視聴対象の位置が切り替え前後で大きく移動しないようにすることで、自然な多視点切り替え視聴の効果を得ることができる。
また、可視のチャネルでは高解像度のデータを配信し、非可視のチャネルでは低解像度のデータを配信する機能を実現することで、全体として同期再生を維持しながら、過剰なデータ伝送を必要としない効果を得ることができる。
さらに、非可視のチャネルにおいて、可視のチャネルからの遷移確率が高いチャネルには、確率に応じて高い解像度のデータ配信を行うことによって、視点の切り替えの際に、高画質の画像を継続して視聴できるという効果を得ることができる。
また、本システムおよび方法によれば、視対象を選択する機能、視聴の際の操作履歴、視聴のフレームや対象物の視聴履歴などを記録し、それをユーザに提示する機能を実現することによって、自己の視聴を振り返ったり、他者と視聴履歴を交換・共有することにより、多角的な視聴体験の効果を得ることができる。
さらに、視聴履歴の集約機能により、人気の視聴系列の推薦や要約が可能になるという効果を得ることができる。これは、スポーツ鑑賞や自分の技能の振り返りや習得に有効であり、インターネットのサービスとして提供されると多数の利用者がコンテンツをアップし自己のためや他者と共有してサービスを享受できる。本発明の利用には、Ｗｉｎｄｏｗｓ上の一般的に流通しているブラウザがあれば十分であり、利用における困難もほとんどない。
このような多視点での視聴は、プラントの安全監視、街の社会的安全監視などにも利用できる。
は、本発明のシステムの構成図である。 は、多視点視聴を効率よく行うための視対象中心視聴インタフェースの画面例である。 は、本発明の概念を示す図である。 は、本発明の映像ストリーミングによる多視点視聴方式を、３視点の場合を例に、詳しく説明する図である。 は、本発明の多視点映像ストリーム視聴システムおよび方法を実現するクライアント上のソフトウェアの動作を説明する図である。 は、本発明の、図５の４１８視点切り替え制御モジュールの動作を説明するフローチャートである。 は、本発明のユーザインタフェースとストリーミング表示制御の流れを説明するフローチャートである。である。 は、本発明の、請求項４の視聴累積頻度を説明する図である。 は、本発明の、請求項３の対象物の識別名とフレーム毎の画像座標列（ペグ点リスト）の表の例である。 は、本発明の、請求項４の対象物の３次元位置情報リスト（ペグ点リスト）を説明する図である。 は、本発明の、請求項５のうち非可視とした画像を表示する方法を説明する図である。 は、本発明の、請求項１および請求項３における、各視点ストリームファイルへの帯域割り当てを説明する図である。
以下、本発明が適用された実施形態について図面を用いて説明する。なお、本発明の実施の形態は、下記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。なお、本実施形態の説明において、図中に示す符号を構成要素の先頭に付して説明する。
図１は、本実施形態におけるシステムの構成を示す図である。
本実施形態のシステムは、５１ストリーミングサーバと５３クライアントＰＣからなり、５３クライアントＰＣ内は、５５受信部、５６映像ストリーム表示部および５７制御部からなる。本システムは５２インターネットを介して５１ストリーミングサーバと５３クライアントＰＣを結合し、ストリーミングデータの送受信を行う。５３クライアントＰＣはユーザの操作に従って、５４ディスプレイに多視点映像を表示する。５１ストリーミングサーバ内には、たとえば、５０多視点コンテンツ撮影システムで撮影した多視点映像が格納されて、その映像をユーザは視聴する。
５３クライアントＰＣ内の動作は以下のようである。５５受信部は、５１ストリーミングサーバに映像データの伝送を要求し、多重同期して送られた映像データを５６映像ストリーム表示部に送る。
５６映像ストリーム表示部は、５７制御部の制御に従って、各視点のストリームについての映像ファイルの帯域を制御して５１ストリーミングサーバからデータを受け取る一方で、５７制御部の制御に従って、５４ディスプレイに視点映像を表示する。５７制御部は、視聴者ユーザの指示を受け取り、５５受信部と５６映像ストリーム表示部を制御する。
図２は、本発明の、多視点映像ストリーム視聴システムおよび方法における、ユーザの視聴インタフェースの操作イメージを説明する図である。
視聴者はインターネットにつながった５３クライアントＰＣの５４ディスプレイのブラウザ上で、これに例示されるインタフェース画面を提示され、それを使って操作する。構成要素としては、１０１映像視聴ウィンドウと、１０２ビデオ操作ピクトボタン、１０３ズーム倍率調整バー、１０４カメラ視点選択リスト、１０５の対象点選択リストなどである。１０１映像視聴ウィンドウには、視聴者が１０４カメラ視点選択リストから選んだ視点の映像ストリームが常に表示されている。ボタンやリストはマウスで選択する。
１０４カメラ視点選択リストで別の視点を選ぶと別の視点の映像ストリームに切り替わる。映像ストリームの再生などの制御は１０２ビデオ操作ピクトボタンで行うことができる。
ここで、１０５対象点選択リストから一つ注目したい対象物につけられた釘付け点（ペグ点）を選ぶと、その対象物（人物）が、たとえば常に画面の中央に表示されるように、ストリーム映像のウィンドウ内で表示位置が制御される。この制御は、１０４カメラ視点選択リストで他の視点を選んでも、また１０２ビデオ操作ピクトボタンで再生、早送りなどをしても有効なため、目的の対象を多様な角度から鑑賞することができる。
１０２ビデオ操作ピクトボタンには、記録ボタンも含まれ、記録ボタンが押されてから、再度記録ボタンが押されるまでのインタフェース画面上のすべての操作が記録される。この記録操作は、当該のコンピュータのファイルとして記録することもできるし、インターネットを介して、指定したサーバに記録することもできる。
記録した操作は、１０６操作記録リストに一覧として表示され、それを選択して再生すると過去の操作と同じ再生が行われる。このとき、サーバに記録され、さらに公開された操作記録は、他者と共有でき、他者の操作記録により再生をすることもできる。
操作記録の形式は、記録開始時点から終了時点まで［視点番号、再生フレーム時刻、操作コマンド名、操作コマンドパラメータ］の組で表現され、操作のつど、ファイルに追記される。
図３は、本発明における多視点コンテンツのストリーミングデータの制御の概念を示す図である。あらかじめ２０３多視点コンテンツ撮影システムを用いて用意した多視点映像を、２０１ストリーミングサーバに格納し、２０２インターネット回線を介して２０４多視点視聴クライアントコンピュータ（ＰＣ）に接続して、当該ＰＣに多視点映像を配信する。当該の用意する多視点コンテンツは、２台以上のビデオカメラで撮影する。
ここで、２０５視聴者は、前述の図２のごとき１０７視聴中のウィンドウ画面に表示された多視点ストリーム映像を鑑賞できる。２０６ストリーミングデータは、ユーザからの要求により、複数の視点の映像が同時に転送される。２０６ストリーミングデータは、視点によって、広帯域を必要とする高解像度のファイルと低帯域で足りる低解像度のファイルがそれぞれ伝送される。
また、請求項５の作用として、２０３他視点コンテンツ撮影システムの代わりにコンピュータグラフィックスにより多視点の映像を生成してもよい。Ｎ台のビデオカメラで撮影して、Ｍ視点（ＭはＮより大）となるように自由視点テレビの技術を利用して中間視点の映像を生成して用いてもよい。
図４は、本発明における可視視点と非可視視点のストリーミングファイルの選択および表示動作および作用を、３視点の場合を例に、詳しく説明する図である。
図３と同様に、３０１映像源で多視点の映像を取得し、前述の２０１ストリーミングサーバに格納する。２０１ストリーミングサーバは、複数の３０２多重解像度化部と複数の３０３多重解像度ストリーミングファイルを格納するファイルシステム、そして複数の３０４多重解像度選択部から構成される。
２０１ストリーミングサーバは、各視点の映像を３０１映像源から入手すると、３０２多重解像度化部で、映像ファイルを３０３多重解像度ストリーミングファイルに符号化する。
ここで、たとえば２Ｍｂｐｓのビットレートで撮影されたＹｏｕＴｕｂｅのＨＤビデオであれば、２Ｍｂｐｓ、１Ｍｂｐｓ、３８４Ｋｂｐｓ， ５０Ｋｂｐｓのように３〜５個の異なるビットレートのストリーミング用ファイル群を符号化生成する。地上デジタル放送ハイビジョンクラスの高解像度映像であれば、１５Ｍｂｐｓ， １．５Ｍｂｐｓ， ３８４Ｋｂｐｓ， ５０Ｋｂｐｓのように生成する。
また、請求項２の帯域間差分ファイルによる多重階層符号化技術によれば、７６８Ｋｂｐｓと１．５Ｍｐｂｓのビットレートの差分ファイルを生成し、７６８Ｋｂｐｓの伝送中に１．５Ｍｂｐｓの伝送要求があった場合は、その差分ファイルを伝送し、かかる差分ファイルと７６８Ｋｂｐｓのファイルから、１．５Ｍｂｐｓ相当の映像を復号し表示することで、少量の追加ファイルの伝送で高画質の映像を速やかに表示することを可能にする。
３０４多重解像度選択部は、１０５視聴者ユーザからの送信要求と、１０４クライアントＰＣの表示性能に関する情報と、１０４クライアントＰＣと２０１ストリーミングサーバ間の１０２インターネット接続状況によるデータ転送能力をもとに、最適なビットレートのストリーミングファイルを選別し、クライアントに送出する。３０５選択されたストリーミングファイルは、視点映像ごとにビットレートが異なるものである。
３０６ユーザ視聴ウィンドウには、基本的に１つの視点の映像のみがユーザの選択によって表示される。前述のとおり、ユーザの送信要求は、上記の視点選択にもとづき、それに関連する複数の視点についての３０５ストリーミングファイルに対して行われ、２０４クライアントＰＣでは、かかる複数のストリーミングファイルから、最もユーザが必要とする３１０可視視点映像のみが３０６ユーザ視聴ウィンドウに表示される。
そして、それ以外の送信された３０５ストリーミングファイルは、３０８および３０９非可視視点映像として２０４クライアントＰＣ内で、レンダリング処理される。ただし最終的な画面表示は、たとえばＺバッファ法により非可視として視聴ユーザの視覚には入らないようにする。ここで、３０８および３０９非可視視点映像が、３１０可視視点映像と同期して再生を続けることを可能にした点が、本特許の重要な特徴である。
３０８および３０９非可視視点映像は、ユーザの眼には届かないが、３１０可視視点映像と同期して準備しているため、ユーザが急遽、たとえば、３０９非可視視点映像を視聴したいと３０７可視視点選択スイッチにより操作したとき、３０９非可視視点映像だったそれは、今度は視聴ユーザが見えるように表示され、それまで可視であった、３１０可視視点映像が非可視になる。
３０９非可視視点映像は、それまで３１０可視視点映像と同期して再生していたため、同じ映像時刻の画像から表示でき、かつ別の視点であるという利点がこのようにして実現できる。この３０７スイッチは、プログラム制御によるもので、マウスなどのインタフェースによる視点制御と連動している。
一般に、可視視点映像になったときには３０４多重解像度選択部には、より高いビットレートのストリーミングファイルの伝送を要求し、その他の非可視視点映像は、より低いビットレートのストリーミングファイルの伝送を要求するように３０７可視視点選択スイッチの指示を２０４多視点視聴クライアントＰＣ上のプログラムは計算し、２０１ストリーミングサーバに指示する。
言い換えると、本実施形態の多視点映像ストリーム視聴システムおよび方法は、図４のように、視聴中の視点映像のほかに他の視点の映像を低いビットレートで常時配信しておき、可視視点映像を広帯域伝送しつつ、表示ビューを高速にスイッチングして視点切り替えをスムーズに行うアーキテクチャである。
符号化技術としては、データの先読みを視点間で行うタイプに相当する。多重ビデオ符号化が複数視点の映像を同時に符号化して転送・復号化してから端末側で視点を選ぶため複数視点分を常に全帯域で送信する必要があるのに対し、本手法では副チャネルの通信帯域を制御することで、全体としてネットワーク帯域を有益に使える可能性がある。
さらに、本実施形態のシステムは、コンテンツが持つ視点数と同じ数のクライアント上のプレイヤソフトウェア（ＳＳＭＥ、後述）をクライアントＰＣ内部に起動し、すべての映像ストリームを同時にダウンロード・再生する。
画面に表示する可視映像は、視聴者が選択した１つとしているが、非可視映像を含む複数の映像をディスプレイに表示してもよい（請求項５に記載）。バックグラウンドですべての映像を同時再生しておくことで、スムーズな視点切り替えを実現している。また、次に遷移する可能性の高い視点映像に対し、あらかじめ高い帯域を割り当てることで、スムーズな視点切り替えを実現する。
図５は、本発明のクライアントＰＣ内での動作モジュール構成と作用を説明するためのブロック図である。
４０１がクライアントコンピュータ内部であり、４０６ディスプレイと４０７マウスがつながり、一方、４０３ネットワーク制御部を介して４０２ネットワークをとおして、サーバと接続される。４０４ＳＳＭＥと４０５グラフィックスモジュールおよび４１７オーディオモジュールは、５６映像ストリーム表示部の詳細である。４０３ネットワーク制御部は５５受信部の内容である。
４０８ＧＵＩ制御モジュール、４１１ビデオ制御、４１２ペグ点制御、４１３コンテンツ選択部による、コンテンツ選択メニュー、４１４記録再生部、４１５視聴履歴制御部、４１６ユーザ操作・視聴履歴は、および４１８視点切り替え制御モジュールは、５５制御部の詳細内部である。
大まかなデータの流れは、４０４ＳＳＭＥがサーバから、４０９マニフェストファイルと４１０ストリームファイルの送信要求をだして、受信する。ここで、４０４ＳＳＭＥは複数が同時に立ち上がり、異なる視点のファイル群をそれぞれ管理する。
４０４ＳＳＭＥは受け取ったファイルから映像を生成し４０５のグラフィックスモジュールに送信し、最終的な４０６ディスプレイ画面上での表示窓の位置や可視・不可視を制御したのちに、表示する。図中の太い線は映像信号の流れ、細い線は制御信号の流れを表す。
ユーザは、４０６ディスプレイに４０８ＧＵＩ制御モジュールが生成したメニューやコンテンツのアイコンを４０７マウスで選択し、本発明の多視点映像ストリーム視聴システムおよび方法の操作を行い、多視点映像を視聴する。
４１８視点切り替え制御モジュールは、ユーザのメニュー選択により選ばれた視点について、最適なストリーミングファイル転送がなされるように４０４ＳＳＭＥと４０５グラフィックスモジュールに制御信号を送る。
動作の詳細は図６の説明で後述する。ＧＵＩのメニューとしては、４１１ビデオ制御による、再生、停止、早送り、巻き戻しの選択、４１２ペグ点制御による、視聴注目対象となるオブジェクトに紐付されたペグ点の制御、４１３コンテンツ選択部による、コンテンツ選択メニュー、４１４記録再生部による、視聴操作の記録と、記録した視聴操作による視聴行動の再生がある。
視聴操作の記録は、４１５視聴履歴制御部を通じて、ローカルの４１６ユーザ操作・視聴履歴に蓄積したり、４０３ネットワーク制御部を介して、サーバに蓄積され、ユーザの了解のもと、他者との共用に用いられる。
なお、映像の再生に同期して、４１７オーディオモジュールにより音声や音楽が再生される。このとき、可視の視点映像に関連付けられたオーディオファイルを、オーディオモジュールで再生することで、視点変更に同期して音声チャネルを選べる。また、オーディオのチャネル切り替え時のずれやノイズをさけるためには、視点変更に同期せずに、特定の視点映像の音声を常に再生する方法もある。
図６は、本発明の５６映像ストリーム表示部と５７制御部の動作を説明する図である。
５０１視点設定でどの視点を可視または非可視にするかのユーザ指示をうけると、５０２可視・非可視制御では、多数の視点のうち、１以上を可視とし、その他を非可視とする制御をグラフィックスモジュールに対して行う。
またその際に、５０７ペグ点情報として、ユーザが選択した対象物について、対象物の識別名と、その対象物の現フレームにおける画像座標を計算し、それを５０３ビュー位置制御におくり、対象物の表示座標が、表示ウィンドウの任意の位置になるようにビューの表示位置を平行移動させる。この位置は、たとえばウィンドウの中心とする。
次に、現フレームの可視視点と、各非可視視点にどれだけのストリームファイル転送帯域を割り当てるかを計算する。
ここで、５０８確率分布は、現可視視点から他の非可視視点への遷移確率分布を使って、５０４帯域分配設定を行う。また、５０４帯域分配設定では、５１０ＮＷ・ＣＰＵ等監視により、接続中のインターネット回線経由でのサーバからの実行伝送帯域と、クライアントのＣＰＵのストリーミングに費やすことができる処理能力、そして、クライアントの表示能力をあらかじめ、あるいは動的に調べ、全体として利用できるインターネット帯域と、クライアント上で表示できる最適なストリーム映像の解像度などを計算し、各視点映像ごとの帯域分配を動的に決定する。
このとき、５０８確率分布は、可視視点を中心とする正規分布形状、三角分布形状、一定幅の一様分布形状などをコンテンツの種類にしたがって遷移確率分布の基本を作る。または、遷移確率分布は、あらかじめ採取した視聴履歴から計算することや、視聴対象となる対象物の映像シーン内での出現確率から計算することも行うことができる。
５０８確率分布の実現方法としては、まず、視点間の切り替えの遷移予測確率密度分布をあらかじめ次式で与える方法がある。
ｐ（ｘt+1｜ｘt） （式１）
ここで、ｘt は時刻ｔ における視点ｘ の確率密度変数で、
Σｘt+1 ｐ（ｘt+1｜ｘt）＝ １．０ （式２）
とする。
ここで、ｐ（ｘt+1｜ｘt） は、時刻ｔ のときの視点ｘt が、時刻ｔ ＋ １ で視点ｘt+1 に遷移（移動）する確率を表す。視点ｘ（１ ≦ ｘ ≦ Ｎ） は、多視点における視点数Ｎに対応した整数値をとるとする。 具体的なｐ（ｘt+1｜ｘt）の分布の形としては、まず、ｘt+1 の位置に依存しないガウス分布、３ 角分布、一様分布、またはそれらの組み合わせなどを考慮する。ｘの範囲外は便宜上ゼロとする。ガウス分布の場合は、同じ視点から見続ける確率が最大で、近傍の視点に移動する確率がそれに続き、離れた視点にジャンプする確率はごく低くなる。
本実施形態の方法では、この確率密度分布を用いて、視聴中のマルチビューストリーミングの各ストリーミングに割り当てる帯域幅（ビットレート）を決めて、それを各プレイヤであるＳＳＭＥに設定する。
具体的には、各視点ｘ のビットレートの最小値と最大値の組（ｂmin（ｘ）；ｂmax（ｘ）） を次式で計算する。
ｂmin（ｘt）＝（ｐ（ｘt+1｜ｘt）−ｍｌ）Ｂ（ｔ） （式３）
ｂmax（ｘt）＝（ｐ（ｘt+1｜ｘt）＋ｍｕ）Ｂ（ｔ） （式４）
ここで、Ｂ（ｔ） は時刻ｔ における利用可能なリソースから割り出した、標準的なインターネット通信の最大総ビットレートであり、ｍｌ とｍｕ は、帯域の下限と上限を決めるマージンである。
また、コンテンツ内の視対象Ｏ に関して、視聴者の過去の視聴履歴や視対象の出現確率が、次式のような視点ｘ、 時刻ｔ に関する事前確率として与えられる場合がある。
ｈ（ｘ，ｔ，Ｏ） （式５）
そのときの計算方法を次に示す。帯域幅は次式で計算する。
ｂmin（ｘt）＝（ｐ（ｘt+1｜ｘt）−ｍｌ）ｈ（ｘt+1,ｔ，Ｏ）Ｂ（ｔ） （式６）
ｂmax（ｘt）＝（（ｐ（ｘt+1｜ｘt）＋ｍｕ））ｈ（ｘt+1，ｔ，Ｏ）Ｂ（ｔ） （式７）
この事前確率ｈ は、具体的には、視聴者の視聴履歴をヒストグラムとして集約して求めることができる。
図７は、本発明の実施形態の図１の５７制御部がシステム全体を制御する際のユーザインタフェースとデータの流れを説明する図である。 ユーザは、まず、６０１コンテンツ選択のメニューで、コンテンツ（番組）を選ぶ。すると、６０２初期データ取得の動作に入り、コンテンツのデータ送信を６０３サーバに要求し、６０４ファイル管理・送出の動作を行う。
初期データを受け取ると６０５の表示設定を行うとともに、視点、ペグ点、ビデオ操作などのデフォルト値を設定して、６１１ストリーミング表示を開始する。６１１ストリーミング表示は、時系列にそってブロック分割（フラグメント分割）されたファイルを順次６０３サーバに要求して、動画表示を行う。
コンテンツが終了すれば、６１２視聴終了になるか、繰り返し再生の設定が６０８ビデオ操作でなされていれば、繰り返し再生が行われる。６０８ビデオ操作は、再生、早送りの速度設定、一時停止、逆再生、ズームなどの操作ができ、それにそって、６１１ストリーミング表示が制御される。
６０９履歴記録のＯＮ／ＯＦＦで、それ以降の操作を記録したり、記録解除することができる。また、６１０の履歴再生では、６０９履歴記録で記録された操作履歴に基づいて、操作が再生される。
図８は、本発明の、視聴累積頻度の利用方法を説明する図である。視聴履歴は、この図の表のように、各視点および各時刻（映像のフレーム番号）の欄に１回の視聴について「１」だけ数値を加える操作を基本とする。一人の視聴者が何度も同じコンテンツを視聴し、それを記録していれば、このような表ができあがる。
ここで、この７０１視聴累積頻度表をインターネットを介してサーバに送り、複数の視聴者の視聴履歴を合算すると、視聴者群の視聴履歴ができあがる。表７０１にあるように、頻度の高い点を結んだ７０２最頻値経路は、視聴すべき視点系列として表示して、視聴者に推薦したり、あるいは、この視点系列を操作記録としてもちいて自動再生することができる。この推薦視点系列の計算には、 上記の最頻値を用いる例のほか、最小値を用いることも可能である。また、この視聴累積頻度表は、ペグ点を選択した視聴対象ごとに作成しておくことで、視聴対象ごとの推薦をすることも、あるいは、すべての視聴対象の視聴累積頻度を合算して、当該コンテンツに対する視聴系列推薦をすることも可能である。
また、ペグ点には、これまで視聴対象のみを考えており、人物やボールといった個別の物体を前提に作用を説明したが、このペグ点としては、対象物の動線、対象物の動作などの振る舞い、複数物体の相対的位置関係など、さまざまな場の状況記述を用いることが可能である。たとえば、「サッカーのゴール」の振る舞いについてペグ点を打つと、ゴールの瞬間の映像のみについて視聴頻度記録を集めることが可能となる。
図９は、本発明の、ペグ点のデータ形式を説明する図で、対象物の識別名とフレーム毎の画像座標列の表として例示している。８０１の視点映像１のペグ点座標表、８０２の視点映像２のペグ点座標表のように、それぞれの視点映像について、対象物の表示座標が格納されている。
この表示座標は、請求項３または４においては、対象物ではなく、対象物の振る舞いや、複数の対象物の位置関係ごとに、適宜、振る舞いや複数の対象物の位置の重心などの座標を計算し、表が用意される。
図１０は、本発明の、図９を補足して、対象物の位置情報を逐次計算する方法を説明する図である。
対象物の９０１位置情報（ｘ，ｙ，ｚ）は３次元世界座標系で表されており、９０５の３次元世界座標系における物体ごとの各時刻フレームに対する位置情報リストとしてコンピュータ内で保持される。それに対して各視点映像を撮影したカメラを模した計算機内部の９０２カメラモデルのカメラの外部パラメータを適用することで、９０３画像座標系上の物体位置（Ｘ，Ｙ）を逐次計算し、対象物の表示座標を計算することによって、９０４の各視点映像の対象物の「計算された」２次元位置情報リストを求めることができるので、図９で説明したのと同様の動作が実現できる。
一般に回転、平行移動、伸縮を考慮すると、（ｘ，ｙ，ｚ）から（Ｘ，Ｙ）を求める式は、同次座標変換の式により（Ｘ，Ｙ，１）T＝Ｍ（ｘ，ｙ，ｚ，１） Tで与えられ、大きさ４ｘ３の透視投影変換行列Ｍは、６点以上の３次元座標と２次元画像座標の対応があれば、計算できる。なお（）Tは、行列・ベクトルの転置を表す。
図１１は、複数のディスプレイに表示するしくみを説明する図であり、図５の４０１クライアントＰＣを１００１クライアントＰＣとして，またその内部の４０５グラフィックスモジュールを１００２グラフィックスモジュールとしてその周りを再掲している。
まず複数の１００５ディスプレイを用意し、１００２グラフィックスモジュールに接続する。１００２グラフィックスモジュールは、内部にディスプレイ信号のソフト的あるいはハード的な１００４マルチプレクサを備え、入力映像信号のどれをどの１００５ディスプレイに送るか制御できる。
こうして、可視の映像を１つに限定せず、複数映像を同時に表示することが可能となる。この表示方法のときは、伝送帯域の割り当て方法もディスプレイの数だけ、広帯域のストリームの転送要求をサーバに送る。
複数の１００５ディスプレイは、中心視点画像用と周辺（上下左右）画像用、に配置して、多視点の一覧性を高めるような配置を用いる。１００３ＳＳＭＥ、 １００６視点切り替え制御モジュールは図５と基本的に同じ動作をするが、１００６視点切り替えモジュールは、可視視点のみでなく、非可視視点としていたものから、あらかじめ決めた基準（隣接視点など）により、可視の処理により１００５ディスプレイに映像信号を送る。
また、これまで、伝送する映像は、実画像撮影を前提に説明をしたが、コンピュータグラフィックス（ＣＧ）で生成した多視点映像でもなんら不都合なく、多視点を伝送できる。全画像をサーバでＣＧ画像を生成するか、一部をＣＧ画像で生成して、実画像にはめ込むことによって、効果的な映像提示が可能である。
また、特許文献１の自由視点映像生成技術により、限定された視点映像から、無限の自由位置の映像をサーバで生成することにより、未撮影の位置からの映像も視聴可能な多視点映像ストリーム視聴システムおよび方法が実現できる。
図１２は、本発明の、各視点ストリームファイルへの帯域割り当てを説明する図である。
１１０１の表は、時刻ごとの各視点ストリームファイルの１００２帯域を「最小帯域・最大帯域」の組で「１０００−２０００」のように、ｋｂｐｓの単位で記載してある。１１０３視聴経路は実際に視聴した経路の例で、１１０５の時刻Ｔ４視点２を現在、可視視点として視聴していることを示す。
途中、Ｔ１からＴ４までの時刻にそって、可視視点が視点３から順次きりかわるにつれて、各視点ストリームファイルへの帯域割り当てが変化している。また、各時刻の可視視点がもっとも帯域が高く、その両隣接の視点が次に高くなっており、遠い視点には、低い帯域の割り当てがされている。
このように帯域をわりあてる作用により、たとえば、時刻Ｔ２からＴ３に移るときに、視点３から視点２に視点を切り替えたときに、視点２が高い帯域のストリームファイルを伝送しているため、解像度の高い映像を瞬時に見ることが可能となる。
一方、他の視点１や視点５のようにすぐに移る可能性（確率）の低い視点については、低い帯域の映像をダウンロードしているため、余分なネットワーク帯域の消費をせず、しかし、視点間の時刻同期をとることができるという特徴がある。
現時刻Ｔ４からＴ５に移るときの例では、１１０４視点４かつＴ５の帯域が高く、１１０７視点３かつＴ５の帯域が狭くなっている。これは、視点３のＴ５では、現在着目している対象物（ペグ点）については、映像に映っていないか、視聴履歴によりごく低い遷移確率であることがわかっているので、１１０７の値を低くし、代わりに１１０４の値が大きくなっている。
このように、現在の可視視点、対象物の選択状況、および視聴履歴を反映して帯域のわりあてを動的に行うことで、適切な視聴体験を実現できる。
１１０５可視視点に隣接する視点の帯域の設定は、本提示例のように正規分布または三角分布による場合と、一様分布による場合と、それらと、視聴履歴の積から計算する場合がある。また、遷移確率がごく低い視点に対しては、視点選択の対象から除外することも行われる。
５０ 多視点コンテンツ撮影システム
５１ ストリーミングサーバ
５２ インターネット
５３ クライアントＰＣ
５４ ディスプレイ
５５ 受信部
５６ 映像ストリーム表示部
５７ 制御部
１０１ 映像ストリームが表示される映像視聴ウィンドウで、この位置に、多様な視点からの映像が表示される。
１０２ 通常のビデオ視聴ツールと同様の、再生、早送り、巻き戻し、倍速、くりかえしなどのビデオ操作操作ピクトボタン。
１０３ １０１の画面をズームアップするズーム倍率調整バー。
１０４ 多視点コンテンツにおける、カメラ視点の選択リストである。図のようにカメラ配置を模す場合と文字列で表す。
１０５ 対象点選択リストから一つ注目したい対象物につけられた釘付け点（ペグ点）を選ぶためのインタフェース。
２０１ 多視点映像をストリーミング配信するストリーミングサーバであり、映像データと視聴記録を保持している。
２０２ 多視点映像を伝送するインターネット回線。
２０３ 多視点コンテンツ撮影システム。たとえば、複数台のカメラを同期して撮影する。
２０４ 視聴者であるユーザが本発明の方式を利用して視聴するときに用いる、インターネットに接続した多視点視聴クライアントコンピュータ（ＰＣ）。
２０５ 本方式を享受する視聴者
２０６ 本方式で、視聴するストリーミングデータが２０１サーバから２０２インターネットを介してユーザの２０４クライアントＰＣにとどく様子を模している。
２０７ 転送された多視点の図１０の１０６ストリーミングデータのうち可視のものだけが視聴中の画面ウィンドウに表示され、その他の非可視のデータは原則的には表示しない。
３０１ 多視点コンテンツを撮影するシステムの映像源を表すビデオカメラ。
３０２ 各３０１映像源の動画を本方式で用いるために異なる帯域に合わせた多重解像度のビデオに変換する多重解像度化部
３０３ ３０２多重解像度化部で生成された多重解像度のストリーミングファイルで、各３０１映像源に対して生成されてストリーミングサーバ（図３の２０１）に保存される。
３０４ ３０３のファイルのなかから一種類の解像度ファイルを選ぶモジュール
３０５ 伝送路上を流れるストリームデータの概念図。図形の大きさがファイルの帯域の大きさを模している。
３０６ ユーザが図２の２０６クライアントＰＣ上で視聴しているユーザ視聴ウィンドウ
３０７ ユーザの視点操作に伴って可視（表示）させるストリームを選ぶ可視視点選択スイッチ。実装はソフトゥエアで行われる。
３０８ 非可視視点映像の例、図３の２０６クライアントＰＣまでは伝送されているが、３０６ユーザ視聴ウィンドウには表示されない。
３０９ 非可視視点映像の例、図３の２０６クライアントＰＣまでは伝送されているが、３０６ユーザ視聴ウィンドウには表示されない。
３１０ 可視視点映像の例、図３の２０６クライアントＰＣまで伝送されて、かつ３０６ユーザ視聴ウィンドウに表示される。
４０１ クライアント（端末）となるコンピュータ。
４０２ インターネット
４０３ コンピュータのネットワーク制御部。４０２インターネットとのデータの送受を管理する。
４０４ スムーズストリーミングメディアエレメント（ＳＳＭＥ）は映像プレイヤで、４１０ストリームファイルを、４０２インターネットを介してサーバに要求し、受信したストリームファイルを順次再生し、４０５グラフィックスライブラリを通して、４０６ディスプレイに表示する。また、４１７オーディオモジュールに音声信号を送り、音楽や音声を出力する
４０５ グラフィックスライブラリで、描画命令をうけて映像や動画をディスプレイメモリに書き込み４０６ディスプレイに表示する。
４０６ ディスプレイで、映像やＧＵＩのメニューなどを表示する。
４０７ マウス
４０８ ＧＵＩ制御モジュール。マウスなどの入力デバイスからのイベントを取り込み、コンピュータの各制御を行う。４０６ディスプレイ上のメニュー表示と連動する。
４０９ ４０４ ＳＳＭＥがストリームファイルを要求すると一緒に送られるマニュフェストファイル。
４１０ 映像データのストリームファイル。４０４ ＳＳＭＥが要求すると送られる。
４１１ ビデオ制御部。ユーザからの映像再生、停止、早送りなどの要求をうけとり、表示を制御する。
４１２ ペグ点制御部。ユーザが興味をもった対象として指定するペグ点の管理、ユーザ指示の受付を行う。
４１３ コンテンツ選択部。どの番組を見るかユーザが指示するための、番組メニューの提示、ユーザからの指示の受付、番組データの送信要求などを制御する。
４１４ 記録再生部。ユーザの操作を記録し、また記録された操作のメニューをユーザに提示し、指示に従って再生する。
４１５ 視聴履歴制御部。ユーザの操作・視聴履歴にしたがって、全体の表示を制御する。また個人の履歴をインターネットを経由して共有サーバに送信したり、共有サーバから希望の履歴を受け取る。
４１６ ユーザ操作・視聴履歴。ユーザの操作・視聴履歴をローカルに蓄積したり、共有の履歴を読み込む場所。
４１７ オーディオモジュール。ＳＳＭＥが生成する音楽・音声を音波に変換し、ラウドスピーカに送って音を鳴らす。
４１８ 視点切り替えモジュール。ユーザの視点操作にしたがって、ＳＳＭＥからの再生信号の表示・非表示をコントロールする。また、ＳＳＭＥにどの帯域のストリームファイルを受け取るかを指示する。
５０１ ユーザの指示または、推薦機構により、可視にする視点を選ぶ
５０２ 可視の視点映像を表示し、そのほか（非可視）の視点映像は表示しないように制御する
５０３ 可視の映像中のペグ点で指示された点の座標を表示画面のほぼ中央になるように制御する。
５０４ ５０８確率分布と５１０ＮＷ・ＣＰＵ監視のデータを参照しながら、各視点ストリームに割り当てる帯域を計算する。
５０５ 視点ごとのＳＳＭＥに割り当て帯域を設定する各視点帯域設定部。
５０６ 各視点に対応するＳＳＭＥによる視点ごとのストリーミングファイルダウンロードをする視点ｎストリーミング部。差分映像ファイルを送受する多重階層構造の場合には、差分ファイルを受け取り、低帯域映像ファイルから広帯域映像ファイルを復号する処理も含む。
５０７ ペグ点の名称から、表示映像フレーム中の該当するペグ点の画像座標情報を置いておき、ストリーミン表示タイミングに合わせて呼び出す。
５０８ 可視の視点映像を中心とするある視点範囲で、遷移確率を計算して非可視ごとの遷移確率の計算にもちいる確率分布。
５０９ 各視点に対応するＳＳＭＥの画像出力のうち、可視視点の映像のみをディスプレイに表示する。可視視点が複数あるときは、それらを別々のウィンドウに表示する。
６０１ どの番組を選ぶかのコンテンツ選択のメニュー選択部。
６０２ 選ばれたコンテンツの初期データ（マニュフェストと各視点の映像ストリームの最初のファイル）の送信要求をサーバに出して、受け取る。
６０３ サーバ側の処理
６０４ サーバ内での、ファイル送信要求にこたえてストリームファイルを送出し、また、全ストリームファイルを管理する
６０５ 受け取ったストリームの初期値、表示するウィンドウ設定、ペグ点リストの展開とメニュー化、各種ＧＵＩの設定を行う。
６０６〜６１０ ＧＵＩで示されるメニューにしたがって、ユーザが選択する、６０６視点位置、６０７ペグ点位置、６０８ビデオの再生、停止、早送り、逆戻し、ズームなどの処理、６０９（操作）履歴記録、６１０（操作）履歴再生、の各機能である。
６１１ ストリーミング表示の制御
６１２ 全ストリーミングファイル表示が終わったら、番組視聴は一旦終了
７０１ 視聴累積頻度表
７０２ 最頻値経路
８０１ 視点映像１の対象物の位置情報リスト（ペグ点リスト）
８０２ 視点映像２の対象物の位置情報リスト（ペグ点リスト）
９０１ １つの対象物例とその３次元位置情報
９０２ １つの視点映像を撮影しているカメラのモデル
９０３ ９０１の対象物例を９０２カメラモデルで撮影したときの、カメラ画像とその９０１対象物の画像座標
９０４ ９０１対象物例の計算された画像座標列
９０５ ９０１対象物例の３次元位置座標列
１００１ クライアントＰＣ
１００２ グラフィックスモジュール
１００３ スムーズストリーミングメディアエレメント（ＳＳＭＥ）
１００４ マルチプレクサ
１００５ 複数のディスプレイ
１００６ 視点切り替え制御モジュール
１１０１ 帯域割り当て表
１１０２ 割り当て帯域
１１０３ 視聴経路の例
１１０４ 視点４時刻Ｔ５の帯域値
１１０５ 現在時刻Ｔ４の可視視点２の帯域値
１１０６ 視点２時刻Ｔ５の帯域値
１１０７ 視点３時刻Ｔ５の帯域値

Claims (10)

  1. 多視点で撮影した映像コンテンツを自由な視点から視聴するための多視点映像ストリーム視聴システムであって、
    複数の視点の映像ファイルを格納するサーバ部と、
    前記映像ファイルをネットワークを介して受信するクライアントＰＣを備え、
    前記クライアントＰＣは、
    前記複数の映像ファイルをストリーミングデータとしてネットワークを介して多重同期して受け取る受信部と、
    前記受信部で多重受信した各ストリーミングデータを制御して映像表示する映像ストリーム表示部と、
    これらを制御する制御部と、
    を備え、
    前記制御部は、
    前記サーバ部に格納した複数の視点映像のうち１つの視点の映像のみを可視として、その他を非可視として映像の時間的な流れを保持しつつ、動的かつ瞬時の視点の切り替えを行い、さらに、可視の視点の映像ストリームには広帯域を、非可視の視点の映像ストリームには低帯域を適応的および動的に割り当てる方法を備えることを特徴とする多視点映像ストリーム視聴システム。
  2. 請求項１に記載の多視点映像ストリーム視聴システムにおいて、
    前記サーバ部は、各視点の映像ファイルをあらかじめ多重帯域符号化して格納し、あるいは、さらに帯域間差分ファイルを含む多重階層構造として格納する機能を備え、
    前記映像ストリーム表示部は、前記多視点のそれぞれの視点について異なる帯域のストリーム映像の送信要求を送る一方で受信した映像ストリームデータを、あらかじめ決められた時間順序どおりに映像として復号して表示する機能を備え、
    前記制御部は、可視の視点には広帯域のストリームファイルを伝送させ、一方、不可視の視点には低帯域のストリームファイルを伝送されるようにし、さらに、可視の視点から不可視の視点に切り替える確率に基づき可視と不可視の視点の伝送すべきストリームファイルの帯域をそれぞれ定め、確率分布の変更は、可視の視点の変化に合わせて動的に行う機能を備えることを特徴とする多視点映像ストリーム視聴システム。
  3. 請求項1又は請求項２に記載の多視点映像ストリーム視聴システムにおいて、
    前記映像ストリーム表示部は、
    各ストリームファイルに合わせて、映像中の対象物の識別名とフレーム毎の画像座標列を同時に前記受信部からダウンロードし、対象物が選ばれると、その画像座標に従ってストリーム映像のディスプレイ上の表示位置を制御し、さらに映像中の対象物が選ばれて視点が変更されると、視点変更の前後で、対象物の画像座標を用いて、対象物が近傍に表示されるようディスプレイ上のストリーム映像の表示位置を制御し、
    前記制御部は、前記映像中の対象物の選択および視点の変更の記録、映像の再生、早送り、スロー再生、後退再生、停止およびズームの操作記録をクライアントＰＣで記録し、またはその一部あるいは全部をサーバに送って記録し、記録した操作を再生して同じように視聴できる機能を制御することを特徴とする多視点映像ストリーム視聴システム。
  4. 請求項１〜請求項３のいずれか1項に記載の多視点映像ストリーム視聴システムにおいて、
    前記制御部は、同じ多視点映像ストリームコンテンツに対し1人以上の操作記録を集めて、視点と時間にもとづく視聴累積頻度をとり、あるいは、映像中の対象物の動き、動作、位置関係、映像が写している場の状況を、視点と時間に基づく状況関数として表し、それらのいずれかを視聴者に可視化して提示し、
    さらにその視聴累積頻度や状況関数から、最頻値や最小値などの数量パラメータを計算し、視聴すべき視点系列を提示し、推薦し、あるいは、それに従って映像ストリームを自動再生するよう前記映像ストリーム表示部を制御し、
    さらに、映像中の対象物として複数の対象物の組を含めその位置は組の性質にしたがって決定し与え、目的の対象物が含まれる視点映像ストリームが限られるときには、対象物が含まれない視点には帯域の小さいストリームファイルを受け取るよう前記映像ストリーム表示部を制御し、
    さらに、その映像ストリームの視点には切り替えないよう視点選択を制限し、
    さらに、前記対象物の位置情報は３次元世界座標系におけるカメラ座標の位置と物体の位置を保持し、それをもとに対象物の画像座標を逐次計算してディスプレイ上の表示位置の制御をするよう前記映像ストリーム表示部を制御することを特徴とする多視点映像ストリーム視聴システム。
  5. 請求項１〜請求項４のいずれか1項に記載の多視点映像ストリーム視聴システムにおいて、
    前記制御部は、可視の映像としての注目視点の映像のほかに、不可視とした映像も別ディスプレイに表示させ、
    前記サーバ部は、実映像のみならず、コンピュータグラフィックス技術により生成された映像、あるいは、複数の実映像から自由視点テレビ技術を使って生成された別の視点の映像を格納し、
    前記映像ストリーム表示部は、別ディスプレイに表示させる前記映像生成を行うことを特徴とする多視点映像ストリーム視聴システム。
  6. 多視点で撮影した映像コンテンツを自由な視点から視聴するための多視点映像ストリーム視聴方法であって、
    サーバ部に複数の視点の映像ファイルを格納する格納工程と、
    受信部において、前記複数の映像ファイルをストリーミングデータとしてネットワークを介して多重同期して受け取る受信工程と、
    映像ストリーム表示部に前記受信部で多重受信した各ストリーミングデータを制御して映像表示する表示工程と、
    前記サーバ部に格納した複数の視点映像のうち１つの視点の映像のみを可視として、その他を非可視として映像の時間的な流れを保持しつつ、動的かつ瞬時の視点の切り替えを行い、さらに、可視の視点の映像ストリームには広帯域を、非可視の視点の映像ストリームには低帯域を適応的および動的に割り当てる制御工程と、
    を備えることを特徴とする多視点映像ストリーム視聴方法。
  7. 請求項６に記載の多視点映像ストリーム視聴方法において、
    前記格納工程は、前記サーバ部に、各視点の映像ファイルをあらかじめ多重帯域符号化して格納し、あるいは、さらに帯域間差分ファイルを含む多重階層構造として格納し、
    前記表示工程は、映像ストリーム表示部に、前記多視点のそれぞれの視点について異なる帯域のストリーム映像の送信要求を送る一方で受信した映像ストリームデータを適切に復号して表示させ、
    前記制御工程は、可視の視点には広帯域のストリームファイルを伝送させ、一方、不可視の視点には低帯域のストリームファイルを伝送されるようにし、さらに、可視の視点から不可視の視点に切り替える確率に基づき可視と不可視の視点の伝送すべきストリームファイルの帯域をそれぞれ定め、確率分布の変更は、可視の視点の変化に合わせて動的に行う機能を備えることを特徴とする多視点映像ストリーム視聴方法。
  8. 請求項６又は請求項７に記載の多視点映像ストリーム視聴方法において、
    前記表示工程は、前記映像ストリーム表示部に、各ストリームファイルに合わせて、映像中の対象物の識別名とフレーム毎の画像座標列を同時に前記受信部からダウンロードし、対象物が選ばれると、その画像座標に従ってストリーム映像のディスプレイ上の表示位置を制御し、さらに映像中の対象物が選ばれて視点が変更されると、視点変更の前後で、対象物の画像座標を用いて、対象物が近傍に表示されるようディスプレイ上のストリーム映像の表示位置を制御し、
    前記制御工程は、前記映像中の対象物の選択および視点の変更の記録、映像の再生、早送り、スロー再生、後退再生、ズームなどの操作記録をクライアントＰＣで記録し、またはその一部あるいは全部をサーバに送って記録し、記録した操作を再生して同じように視聴できる機能を制御することを特徴とする多視点映像ストリーム視聴方法。
  9. 請求項６〜請求項８のいずれか1項に記載の多視点映像ストリーム視聴方法において、
    前記制御工程は、同じ多視点映像ストリームコンテンツに対し1人以上の操作記録を集めて、視点と時間にもとづく視聴累積頻度をとり、あるいは、映像中の対象物の動き、動作、位置関係、映像が写している場の状況を、視点と時間に基づく状況関数として表し、それらのいずれかを視聴者に可視化して提示し、
    さらにその視聴累積頻度や状況関数から、最頻値や最小値などの数量パラメータを計算し、視聴すべき視点系列を提示し、推薦し、あるいは、それに従って映像ストリームを自動再生するよう前記映像ストリーム表示部を制御し、
    さらに、映像中の対象物として複数の対象物の組を含めその位置は組の性質にしたがって決定し与え、目的の対象物が含まれる視点映像ストリームが限られるときには、対象物が含まれない視点には帯域の小さいストリームファイルを受け取るよう前記映像ストリーム表示部を制御し、
    さらに、その映像ストリームの視点には切り替えないよう視点選択を制限し、
    さらに、前記対象物の位置情報は３次元世界座標系におけるカメラ座標の位置と物体の位置を保持し、それをもとに対象物の画像座標を逐次計算してディスプレイ上の表示位置の制御をするよう前記映像ストリーム表示部を制御することを特徴とする多視点映像ストリーム視聴方法。
  10. 請求項６〜請求項９のいずれか1項に記載の多視点映像ストリーム視聴方法において、
    前記制御工程は、可視の映像としての注目視点の映像のほかに、不可視とした映像も別ディスプレイに表示させ、
    前記格納工程は、サーバ部において、実映像のみならず、コンピュータグラフィックス技術により生成された映像、あるいは、複数の実映像から自由視点テレビ技術を使って生成された別の視点の映像を格納し、
    前記表示工程は、映像ストリーム表示部において、別ディスプレイに表示させる前記映像生成を行うことを特徴とする多視点映像ストリーム視聴方法。
JP2012044185A 2012-02-29 2012-02-29 多視点映像ストリーム視聴システムおよび方法 Active JP5920708B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012044185A JP5920708B2 (ja) 2012-02-29 2012-02-29 多視点映像ストリーム視聴システムおよび方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012044185A JP5920708B2 (ja) 2012-02-29 2012-02-29 多視点映像ストリーム視聴システムおよび方法

Publications (2)

Publication Number Publication Date
JP2013183209A true JP2013183209A (ja) 2013-09-12
JP5920708B2 JP5920708B2 (ja) 2016-05-18

Family

ID=49273609

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012044185A Active JP5920708B2 (ja) 2012-02-29 2012-02-29 多視点映像ストリーム視聴システムおよび方法

Country Status (1)

Country Link
JP (1) JP5920708B2 (ja)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015159487A1 (ja) * 2014-04-14 2015-10-22 パナソニックＩｐマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
JP2015201243A (ja) * 2014-04-07 2015-11-12 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ マルチトラックビデオコンテンツを提供するためのマルチトラックビデオコンテンツサービス方法およびシステム
JP2015225529A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2016010145A (ja) * 2014-06-23 2016-01-18 パナソニックＩｐマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
JP2016220113A (ja) * 2015-05-22 2016-12-22 株式会社ソシオネクスト 映像配信装置、映像配信方法、及び映像配信システム
WO2017022641A1 (ja) * 2015-07-31 2017-02-09 カディンチェ株式会社 動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置
JP2017085566A (ja) * 2015-10-26 2017-05-18 ノキア テクノロジーズ オサケユイチア 没入コンテンツの優れたストリーミングのための方法および装置
KR20170075347A (ko) * 2015-12-23 2017-07-03 주식회사 케이티 셋톱 박스에서 수행되는 블링킹(blinking) 이슈 해소 방법, 셋톱 박스 및 컴퓨팅 장치
JP2017518663A (ja) * 2014-04-07 2017-07-06 ノキア テクノロジーズ オサケユイチア 立体ビューイング
KR20170081361A (ko) * 2016-01-04 2017-07-12 주식회사 케이티 셋톱 박스에서 수행되는 영상 처리 방법, 셋톱 박스 및 영상 처리 시스템
WO2017142175A1 (ko) * 2016-02-19 2017-08-24 서울과학기술대학교 산학협력단 자유 시점 방송의 송수신 장치 및 방법
JP2017175369A (ja) * 2016-03-23 2017-09-28 日本放送協会 視聴量解析装置およびプログラム
KR101804364B1 (ko) * 2014-12-30 2017-12-04 한국전자통신연구원 초다시점 영상 시스템 및 이의 구동방법
WO2018199052A1 (ja) * 2017-04-25 2018-11-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法及び画像表示装置
JP6433559B1 (ja) * 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム
JP2019033362A (ja) * 2017-08-07 2019-02-28 日本放送協会 配信装置、受信装置及びプログラム
WO2019064853A1 (ja) 2017-09-26 2019-04-04 キヤノン株式会社 情報処理装置、情報提供装置、制御方法、及びプログラム
JP2019057845A (ja) * 2017-09-21 2019-04-11 株式会社風神企画 選択再生システム
US10271082B2 (en) 2014-04-14 2019-04-23 Panasonic Intellectual Property Management Co., Ltd. Video distribution method, video reception method, server, terminal apparatus, and video distribution system
CN109792554A (zh) * 2016-10-06 2019-05-21 索尼公司 再现装置、再现方法和程序
WO2019142658A1 (ja) * 2018-01-18 2019-07-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2019169935A (ja) * 2018-03-21 2019-10-03 スンヒュン キム 消費者志向型マルチカメラ撮影映像の選択視聴サービスシステム
CN110741648A (zh) * 2017-06-29 2020-01-31 4D自由视角公司 用于多频道画像的传输系统及其控制方法、多频道画像的播放方法及其装置
CN111183649A (zh) * 2017-12-27 2020-05-19 多玩国株式会社 服务器以及程序
CN111698520A (zh) * 2020-06-24 2020-09-22 北京奇艺世纪科技有限公司 一种多视角视频的播放方法、装置、终端及存储介质
WO2020235034A1 (ja) * 2019-05-22 2020-11-26 日本電信電話株式会社 映像配信装置、映像配信方法及びプログラム
WO2021152758A1 (ja) * 2020-01-30 2021-08-05 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
US11089213B2 (en) 2015-08-03 2021-08-10 Sony Group Corporation Information management apparatus and information management method, and video reproduction apparatus and video reproduction method
CN114207562A (zh) * 2020-02-29 2022-03-18 近江数码制造株式会社 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构
KR102392908B1 (ko) * 2021-01-13 2022-04-29 서울여자대학교 산학협력단 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템
WO2023281863A1 (ja) 2021-07-09 2023-01-12 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
JP7445976B2 (ja) 2019-11-06 2024-03-08 Ｍｉｌ株式会社 動画表示システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109891904B (zh) 2016-10-20 2022-03-01 三星电子株式会社 图像显示方法及其电子装置
KR101973190B1 (ko) * 2017-12-12 2019-08-26 포디리플레이코리아 주식회사 다채널 영상을 위한 전송 시스템 및 이의 제어 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191261A (ja) * 1996-12-20 1998-07-21 Nippon Telegr & Teleph Corp <Ntt> 多視点映像再生方法
JPH10322680A (ja) * 1997-05-16 1998-12-04 Nippon Telegr & Teleph Corp <Ntt> 連鎖型多視点映像再生方法
JP2003309836A (ja) * 2002-04-16 2003-10-31 Nippon Telegr & Teleph Corp <Ntt> 動画像データ提供システム、動画像データ提供方法、動画像データ提供プログラム、このプログラムを記録した記録媒体
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
US6762789B1 (en) * 1999-06-25 2004-07-13 Matsushita Electric Industrial Co., Ltd. Omnidirectional video output method and apparatus
JP2007281868A (ja) * 2006-04-06 2007-10-25 Nippon Hoso Kyokai <Nhk> 送信装置及び受信装置
US20100254670A1 (en) * 2009-04-06 2010-10-07 International Buisness Machines Corporation Content Recorder Multi-Angle Viewing and Playback
JP2011151566A (ja) * 2010-01-21 2011-08-04 Sharp Corp 放送システムおよび放送信号送受信装置および放送信号送信方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191261A (ja) * 1996-12-20 1998-07-21 Nippon Telegr & Teleph Corp <Ntt> 多視点映像再生方法
JPH10322680A (ja) * 1997-05-16 1998-12-04 Nippon Telegr & Teleph Corp <Ntt> 連鎖型多視点映像再生方法
US6762789B1 (en) * 1999-06-25 2004-07-13 Matsushita Electric Industrial Co., Ltd. Omnidirectional video output method and apparatus
JP2003309836A (ja) * 2002-04-16 2003-10-31 Nippon Telegr & Teleph Corp <Ntt> 動画像データ提供システム、動画像データ提供方法、動画像データ提供プログラム、このプログラムを記録した記録媒体
JP2004072694A (ja) * 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
JP2007281868A (ja) * 2006-04-06 2007-10-25 Nippon Hoso Kyokai <Nhk> 送信装置及び受信装置
US20100254670A1 (en) * 2009-04-06 2010-10-07 International Buisness Machines Corporation Content Recorder Multi-Angle Viewing and Playback
JP2011151566A (ja) * 2010-01-21 2011-08-04 Sharp Corp 放送システムおよび放送信号送受信装置および放送信号送信方法

Cited By (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11575876B2 (en) 2014-04-07 2023-02-07 Nokia Technologies Oy Stereo viewing
JP2017518663A (ja) * 2014-04-07 2017-07-06 ノキア テクノロジーズ オサケユイチア 立体ビューイング
US10999610B2 (en) 2014-04-07 2021-05-04 Naver Corporation Service method and system for providing multi-track video contents
US10645369B2 (en) 2014-04-07 2020-05-05 Nokia Technologies Oy Stereo viewing
JP2015201243A (ja) * 2014-04-07 2015-11-12 ネイバー コーポレーションＮＡＶＥＲ Ｃｏｒｐｏｒａｔｉｏｎ マルチトラックビデオコンテンツを提供するためのマルチトラックビデオコンテンツサービス方法およびシステム
US10455221B2 (en) 2014-04-07 2019-10-22 Nokia Technologies Oy Stereo viewing
US10271082B2 (en) 2014-04-14 2019-04-23 Panasonic Intellectual Property Management Co., Ltd. Video distribution method, video reception method, server, terminal apparatus, and video distribution system
WO2015159487A1 (ja) * 2014-04-14 2015-10-22 パナソニックＩｐマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
JP2015225529A (ja) * 2014-05-28 2015-12-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2016010145A (ja) * 2014-06-23 2016-01-18 パナソニックＩｐマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
KR101804364B1 (ko) * 2014-12-30 2017-12-04 한국전자통신연구원 초다시점 영상 시스템 및 이의 구동방법
JP2016220113A (ja) * 2015-05-22 2016-12-22 株式会社ソシオネクスト 映像配信装置、映像配信方法、及び映像配信システム
US10686985B2 (en) 2015-07-31 2020-06-16 Kadinche Corporation Moving picture reproducing device, moving picture reproducing method, moving picture reproducing program, moving picture reproducing system, and moving picture transmission device
JPWO2017022641A1 (ja) * 2015-07-31 2017-08-03 カディンチェ株式会社 パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
WO2017022641A1 (ja) * 2015-07-31 2017-02-09 カディンチェ株式会社 動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置
US11089213B2 (en) 2015-08-03 2021-08-10 Sony Group Corporation Information management apparatus and information management method, and video reproduction apparatus and video reproduction method
JP2017085566A (ja) * 2015-10-26 2017-05-18 ノキア テクノロジーズ オサケユイチア 没入コンテンツの優れたストリーミングのための方法および装置
KR20170075347A (ko) * 2015-12-23 2017-07-03 주식회사 케이티 셋톱 박스에서 수행되는 블링킹(blinking) 이슈 해소 방법, 셋톱 박스 및 컴퓨팅 장치
KR102002032B1 (ko) * 2015-12-23 2019-07-19 주식회사 케이티 셋톱 박스에서 수행되는 블링킹(blinking) 이슈 해소 방법, 셋톱 박스 및 컴퓨팅 장치
KR20170081361A (ko) * 2016-01-04 2017-07-12 주식회사 케이티 셋톱 박스에서 수행되는 영상 처리 방법, 셋톱 박스 및 영상 처리 시스템
KR102212588B1 (ko) * 2016-01-04 2021-02-05 주식회사 케이티 셋톱 박스에서 수행되는 영상 처리 방법, 셋톱 박스 및 영상 처리 시스템
WO2017142175A1 (ko) * 2016-02-19 2017-08-24 서울과학기술대학교 산학협력단 자유 시점 방송의 송수신 장치 및 방법
JP2017175369A (ja) * 2016-03-23 2017-09-28 日本放送協会 視聴量解析装置およびプログラム
CN109792554A (zh) * 2016-10-06 2019-05-21 索尼公司 再现装置、再现方法和程序
US11102520B2 (en) 2017-04-25 2021-08-24 Panasonic Intellectual Property Corporation Of America Image display method and image display apparatus
WO2018199052A1 (ja) * 2017-04-25 2018-11-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法及び画像表示装置
JP7079242B2 (ja) 2017-04-25 2022-06-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像表示方法及び画像表示装置
JPWO2018199052A1 (ja) * 2017-04-25 2020-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像表示方法及び画像表示装置
CN110741648A (zh) * 2017-06-29 2020-01-31 4D自由视角公司 用于多频道画像的传输系统及其控制方法、多频道画像的播放方法及其装置
JP2020524450A (ja) * 2017-06-29 2020-08-13 ４ディーリプレー コリア，インコーポレイテッド 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
JP2019033362A (ja) * 2017-08-07 2019-02-28 日本放送協会 配信装置、受信装置及びプログラム
US11750786B2 (en) 2017-09-19 2023-09-05 Canon Kabushiki Kaisha Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
US11196973B2 (en) 2017-09-19 2021-12-07 Canon Kabushiki Kaisha Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
JP2019054488A (ja) * 2017-09-19 2019-04-04 キヤノン株式会社 提供装置および提供方法、プログラム
CN109525831A (zh) * 2017-09-19 2019-03-26 佳能株式会社 提供装置、提供方法和计算机可读存储介质
US10757388B2 (en) 2017-09-19 2020-08-25 Canon Kabushiki Kaisha Providing apparatus, providing method and computer readable storage medium for performing processing relating to a virtual viewpoint image
JP6433559B1 (ja) * 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム
JP6990545B2 (ja) 2017-09-21 2022-02-03 株式会社風神企画 選択再生システム
JP2019057845A (ja) * 2017-09-21 2019-04-11 株式会社風神企画 選択再生システム
WO2019064853A1 (ja) 2017-09-26 2019-04-04 キヤノン株式会社 情報処理装置、情報提供装置、制御方法、及びプログラム
US11356648B2 (en) 2017-09-26 2022-06-07 Canon Kabushiki Kaisha Information processing apparatus, information providing apparatus, control method, and storage medium in which virtual viewpoint video is generated based on background and object data
KR20200053588A (ko) 2017-09-26 2020-05-18 캐논 가부시끼가이샤 정보 처리 장치, 정보 제공 장치, 제어 방법, 및 컴퓨터 판독가능 저장 매체
CN111183649B (zh) * 2017-12-27 2021-07-23 多玩国株式会社 服务器以及计算机可读存储介质
CN111183649A (zh) * 2017-12-27 2020-05-19 多玩国株式会社 服务器以及程序
US11240546B2 (en) 2017-12-27 2022-02-01 Dwango Co., Ltd. Server and program
WO2019142658A1 (ja) * 2018-01-18 2019-07-25 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2019169935A (ja) * 2018-03-21 2019-10-03 スンヒュン キム 消費者志向型マルチカメラ撮影映像の選択視聴サービスシステム
JPWO2020235034A1 (ja) * 2019-05-22 2020-11-26
JP7259947B2 (ja) 2019-05-22 2023-04-18 日本電信電話株式会社 映像配信装置、映像配信方法及びプログラム
WO2020235034A1 (ja) * 2019-05-22 2020-11-26 日本電信電話株式会社 映像配信装置、映像配信方法及びプログラム
US11849159B2 (en) 2019-05-22 2023-12-19 Nippon Telegraph And Telephone Corporation Video distribution apparatus, video distribution method and program
JP7445976B2 (ja) 2019-11-06 2024-03-08 Ｍｉｌ株式会社 動画表示システム
KR102638162B1 (ko) * 2020-01-30 2024-02-20 아마텔러스 인크. 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램
JP2022075940A (ja) * 2020-01-30 2022-05-18 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
KR20220123061A (ko) * 2020-01-30 2022-09-05 아마텔러스 인크. 영상 배신 장치, 영상 배신 시스템, 영상 배신 방법 및 프로그램
WO2021152758A1 (ja) * 2020-01-30 2021-08-05 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
JP7365076B2 (ja) 2020-01-30 2023-10-19 Ａｍａｔｅｌｕｓ株式会社 映像配信装置、映像配信システム、映像配信方法、及びプログラム
CN114207562A (zh) * 2020-02-29 2022-03-18 近江数码制造株式会社 运动图像分发方法、运动图像再现方法、运动图像分发装置以及分发数据结构
CN111698520A (zh) * 2020-06-24 2020-09-22 北京奇艺世纪科技有限公司 一种多视角视频的播放方法、装置、终端及存储介质
KR102392908B1 (ko) * 2021-01-13 2022-04-29 서울여자대학교 산학협력단 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템
WO2023281863A1 (ja) 2021-07-09 2023-01-12 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
JP5920708B2 (ja) 2016-05-18

Similar Documents

Publication Publication Date Title
JP5920708B2 (ja) 多視点映像ストリーム視聴システムおよび方法
US20200236278A1 (en) Panoramic virtual reality framework providing a dynamic user experience
US20200221153A1 (en) Dynamic video image synthesis using multiple cameras and remote control
US9661275B2 (en) Dynamic multi-perspective interactive event visualization system and method
JP6049456B2 (ja) 双方向テレビに対しハイパーリンクされた３ｄビデオインサート
JP7217713B2 (ja) バーチャル・リアリティ・データをカスタマイズするための方法及びシステム
US10531158B2 (en) Multi-source video navigation
US20150124048A1 (en) Switchable multiple video track platform
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
KR20170015938A (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
CA2930498A1 (en) A video broadcast system and a method of disseminating video content
US20160330408A1 (en) Method for progressive generation, storage and delivery of synthesized view transitions in multiple viewpoints interactive fruition environments
WO2019054360A1 (ja) 画像表示方法、画像配信方法、画像表示装置及び画像配信装置
JP2019054488A (ja) 提供装置および提供方法、プログラム
CN112738495B (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
TW201816726A (zh) 影像處理
TWI824016B (zh) 用於產生及演現視訊串流之設備及方法
JP7237538B2 (ja) 情報処理装置、それを含むシステム、情報処理方法、およびプログラム
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
JP7144452B2 (ja) 画像処理装置およびシステム
US20180227504A1 (en) Switchable multiple video track platform
JP7083361B2 (ja) 画像処理装置およびシステム
Song et al. Free-Viewpoint Relationship Description Based Streaming Systems for Arbitrary View Switching
JP5940999B2 (ja) 映像再生装置、映像配信装置、映像再生方法、映像配信方法及びプログラム
Wijnants et al. An optimized adaptive streaming framework for interactive immersive video experiences

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20150224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160401

R150 Certificate of patent or registration of utility model

Ref document number: 5920708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250