JP2000236535A - 動画像情報処理方法および装置ならびに動画像情報配信方法 - Google Patents

動画像情報処理方法および装置ならびに動画像情報配信方法

Info

Publication number
JP2000236535A
JP2000236535A JP11035449A JP3544999A JP2000236535A JP 2000236535 A JP2000236535 A JP 2000236535A JP 11035449 A JP11035449 A JP 11035449A JP 3544999 A JP3544999 A JP 3544999A JP 2000236535 A JP2000236535 A JP 2000236535A
Authority
JP
Japan
Prior art keywords
image information
moving image
dimensional moving
dimensional
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11035449A
Other languages
English (en)
Inventor
Kenji Iwata
憲治 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
P I II KK
Original Assignee
P I II KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by P I II KK filed Critical P I II KK
Priority to JP11035449A priority Critical patent/JP2000236535A/ja
Publication of JP2000236535A publication Critical patent/JP2000236535A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 【課題】 動画像の視聴者における臨場感を向上させ
る。 【解決手段】 複数のカメラ1から得られる複数の動画
像情報から、アラインメント処理部2、コレスポンダン
ス処理部3、三角法処理部4、ボクセル処理部5、等で
実映像の三次元動画像情報を構築し、この三次元動画像
情報に基づいて、操作I/F7を介して外部から指定さ
れた任意の視点の二次元動画像情報を新画像生成部6に
て生成し、画像エンコーダ8にてNTSCやMPEG等
の任意の形式で通信媒体9や蓄積媒体10に出力する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像情報処理技
術および動画像情報配信技術に関し、特に、映像放送等
に適用して有効な技術に関する。
【0002】
【従来の技術】たとえば、現在のテレビジョン放送等で
は、中継現場や撮影現場に設置された複数のカメラから
の視点の異なる複数の映像の一つを、局内の副調整室等
で適宜選択してオン・エアしている。
【0003】
【発明が解決しようとする課題】このため、放送を受信
する視聴者側では、映像を選択する自由がなく、臨場感
に乏しいという技術的課題がある。すなわち、たとえば
実際の競技場等でスポーツ観戦等を行う場合、観客は自
由に視野を移動させて競技場内の任意の場所を見たり、
任意のプレーヤーを注視したりする等の自由度がある
が、現在のテレビジョン放送等では、これらの自由は全
くなく、臨場感に乏しいものとならざるを得ない。
【0004】また、放送する側においても、中継画像の
視点は、現場に設置されたカメラの視点に制約され、視
点を多様化するためには、カメラの台数を増やすしかな
く、コスト高になる、という技術的課題がある。
【0005】本発明の目的は、視聴者に十分な臨場感を
与えることが可能な動画像情報処理技術および動画像情
報配信技術を提供することにある。
【0006】本発明の他の目的は、撮影コストを増大さ
せることなく、多様な視点からの動画像情報の取得や配
信を実現することが可能な動画像情報処理技術および動
画像情報配信技術を提供することにある。
【0007】本発明の他の目的は、視聴者側の意図に応
じた多様な視点での映像配信が可能な動画像情報配信技
術を提供することにある。
【0008】
【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。
【0009】本発明の動画像情報処理方法は、視点の異
なる複数のカメラにて撮影された対象物の複数の第1の
二次元動画像情報に基づいて対象物の三次元動画像情報
を生成するステップと、三次元動画像情報に基づいて、
指定された任意の視点から見た対象物の第2の二次元動
画像情報を生成するステップと、を含むものである。
【0010】また、本発明の動画像情報処理装置は、複
数の異なる視点から対象物の複数の第1の二次元動画像
情報を撮影するカメラと、複数の第1の二次元動画像情
報に基づいて対象物の三次元動画像情報を生成する第1
の画像処理手段と、三次元動画像情報に基づいて、指定
された任意の視点から見た対象物の第2の二次元動画像
情報を生成する第2の画像処理手段と、を含む構成とし
たものである。
【0011】また、本発明の動画像情報配信方法は、視
点の異なる複数のカメラにて対象物の複数の第1の二次
元動画像情報を撮影するステップと、複数の第1の二次
元動画像情報の各々から静止画像情報を抽出するステッ
プと、複数の第1の二次元動画像情報の各々から抽出さ
れた複数の静止画像情報を、互いに他の第1の二次元動
画像情報の各々に併合して複数の第2の二次元動画像情
報を生成するステップと、複数の第2の二次元動画像情
報の少なくとも一つを選択して配信するステップと、配
信された第2の二次元動画像情報から第1の二次元動画
像情報と、複数の静止画像情報を分別して視聴者に提示
するステップと、必要に応じて、提示された複数の静止
画像情報の中の一つの選択操作によって当該静止画像情
報に対応した第1の二次元動画像情報を含む第2の二次
元動画像情報の配信を要求するステップと、を含むもの
である。
【0012】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照しながら詳細に説明する。
【0013】(実施の形態1)図1は、本発明の一実施
の形態である動画像情報処理方法および動画像情報配信
方法を実施する動画像情報処理装置の構成の一例を示す
概念図である。
【0014】本実施の形態の動画像情報処理装置は、た
とえば競技場等の撮影現場に設置された複数のカメラの
捕らえた映像から、実際には存在しない任意の視点から
の動画像を生成するバーチャライズド・リアリティを実
現する。これは、コンピュータ・グラフィックスで作成
した「人形のプレーヤー」を配置するVirtualR
eplay法等とは根本的に異なり、任意の視点からの
実世界の映像そのものをつくり出すものである。
【0015】すなわち、本実施の形態の動画像情報処理
装置は、一例として、競技場等の撮影現場に設置された
ビデオカメラ等の複数のカメラ1、アラインメント処理
部2、コレスポンダンス処理部3、三角法処理部4、ボ
クセル処理部5、新画像生成部6、操作I/F7、画像
エンコーダ8、等で構成されている。
【0016】なお、アラインメント処理部2、コレスポ
ンダンス処理部3、三角法処理部4、ボクセル処理部
5、新画像生成部6、操作I/F7、等の構成要素は、
たとえば、図3に例示されるように、安価で高性能のパ
ーソナルコンピュータであるハイエンドPC13、等で
構成することができる。
【0017】すなわち、ハイエンドPC13は、複数の
CPU13a、このCPU13aにて、アラインメント
処理部2、コレスポンダンス処理部3、三角法処理部
4、ボクセル処理部5、新画像生成部6、操作I/F
7、の各々における後述のような機能を実現するための
ソフトウェア等が実装される主記憶13b、カメラ1を
介して取り込まれた二次元動画像データおよび処理後の
二次元動画像データ等がそれぞれ格納される複数のフレ
ームバッファ13cおよびフレームバッファ13d等で
構成されている。
【0018】以下、本実施の形態の動画像情報処理方法
および動画像情報配信方法を実施する動画像情報処理装
置の作用の一例を説明する。
【0019】複数のカメラ1の各々は、撮影した二次元
動画像を任意の解像度のピクセル情報として、アライン
メント処理部2、コレスポンダンス処理部3、に出力す
る。個々のカメラ1は、撮影中の視野移動やズームを任
意に行ってよい。
【0020】アラインメント処理部2は、撮影開始前
に、複数のカメラ1の各々の間のピクセルの対応と、カ
メラ設置場所の三次元空間の点との対応を取るアライン
メント情報2aの初期化を行った後、任意のカメラ1が
動いても、各カメラ1の撮影画像から当該カメラの変位
を計算し、上述の対応関係を動的に維持してアラインメ
ント情報2aを出力する処理を行う。
【0021】コレスポンダンス処理部3は、アラインメ
ント情報2aと、各カメラ1で撮影される二次元動画像
のパターンから、隣り合ったカメラ1の撮影画像間のピ
クセルの対応関係を調べてコレスポンダンス情報3aと
して出力する。
【0022】三角法処理部4は、各ピクセルのコレスポ
ンダンス情報3aから、三角法で三次元位置を求め、三
次元位置情報4aとして出力する。
【0023】ボクセル処理部5は、各ピクセルの三次元
位置情報4aから、三次元ボクセル・モデルを求め、三
次元ボクセル・モデル情報5aとして出力する。
【0024】新画像生成部6は、操作I/F7を介して
外部から指定される視点情報に応じて、ボクセル処理部
5から入力される三次元ボクセル・モデル情報5aに基
づいて、所定の解像度で三次元物体の表面形状を構成す
るポリゴン化した後、各ポリゴンに原画像情報の色や明
暗等の状態を対応させるテクスチャマッピングを行い、
さらに当該三次元物体を指定された方向から見た二次元
動画像を構成するレンダリング等により、指定された新
視点から見えるべき二次元動画像を動的に計算し、二次
元動画像データ6aとして出力する。
【0025】画像エンコーダ8は、新画像生成部6から
出力される二次元動画像データ6aを、たとえばNTS
C、PAL等の汎用的なテレビジョン放送規格や、MP
EG等のカラー動画像蓄積/通信規格等の任意の動画像
符号化規格に準拠して符号化し、符号化データ8aとし
て、通信媒体9、あるいは蓄積媒体10に送出する。
【0026】このように、本実施の形態の動画像情報処
理方法および動画像情報配信方法を実施する動画像情報
処理装置によれば、複数のカメラ1から得られた動画像
情報から、実際には存在しない任意の視点からの多様な
実世界の二次元動画像を生成して、視聴者に提示できる
ので、視聴者の臨場感を向上させることが可能になる。
たとえば、視点の設定例しては、競技中の特定の選手の
動画像をトレースする等の設定が考えられる。さらに、
別の視点の設定例としては、たとえば、本来存在しな
い、競技中の特定の選手(たとえばサッカーゲームのゴ
ールキーパー、人気選手)等の視点からの映像を創り出
すこともできる。
【0027】たとえば、通信媒体9として双方向通信媒
体を採用し、任意視点での二次元動画像データ6aの配
信を通信媒体9を介して行うとともに、受信者の側から
の任意の視点の指示を通信媒体9を経由して操作I/F
7に入力することにより、視聴者の意図のままの任意の
視点での動画像の中継や再生が可能になり、視聴者の臨
場感や利便性の向上を実現できる。
【0028】また、カメラ1の台数を必要以上に増やす
ことなく、任意の視点での動画像情報をつくり出すこと
ができ、動画像情報の撮影や中継コストの大幅な削減を
実現することが可能になる。
【0029】なお、任意の視点での動画像情報の視聴者
への配信や提示方法としては、たとえば、図4に例示さ
れるように、ボクセル処理部5までの処理を、放送局や
配信センタ等の配信元14で行い、三次元ボクセル・モ
デル情報5aを通信媒体9を介して配信し、受信側で
は、新画像生成部6、操作I/F7、画像エンコーダ8
等の機能を備えたセット・トップ・ボックス15を介し
てテシビジョン端末16に出力する構成としてもよい。
この場合には、通信媒体9は一方向通信でよく、かつ視
聴者の側でセット・トップ・ボックス15に備えられた
図示しないリモートコントローラ等の操作I/F7を操
作することにより、任意の視点での動画像情報を視聴す
ることが可能になる。
【0030】なお、上述の説明では、複数のカメラ1か
ら撮影された二次元動画像情報を実時間で処理する例を
示しているが、これに限らず、たとえば複数のカメラ1
から撮影された二次元動画像情報や、カメラ1の位置関
係等の情報を任意の媒体に記録し、この媒体から撮影済
の複数の二次元動画像情報を読出してアラインメント処
理部2以降の処理を実行することで、任意の視点の二次
元動画像情報を生成してもよい。この場合には、たとえ
ば、複数のカメラ1を用いて記録されている過去の映像
データ等のソフトウェア資産を活用して、より臨場感等
の良好な付加価値の高い映像ソフトウェアを創出でき
る、という効果がある。
【0031】(実施の形態2)図2は、本発明の他の実
施の形態である動画像情報処理方法および動画像情報配
信方法を実施する動画像情報処理装置の構成の一例を示
す概念図である。
【0032】上述の実施の形態1では、複数のカメラ1
で得られた二次元動画像情報から、一旦、三次元ボクセ
ル・モデル情報5aを生成し、この三次元ボクセル・モ
デル情報5aから任意の視点の二次元動画像情報を生成
する場合について例示したが、以下のように、複数のカ
メラ1で得られた二次元動画像情報から、直接的に実時
間で任意の視点の二次元動画像情報を生成するオムニ・
ビデオを実現することもできる。
【0033】この実施の形態2では、複数のカメラ1か
らコレスポンダンス処理部3までの構成は共通に用いる
ことができ、コレスポンダンス処理部3から出力される
コレスポンダンス情報3aに基づいて各ピクセルの移動
距離を求めるデスクレパンシ処理部11と、隣り合った
カメラ1の間のどこに視点があり、どれだけズームする
か、等の情報に基づいて新しい視点の二次元動画像情報
12aを生成する新画像生成部12とを備える。
【0034】画像エンコーダ8は、上述の実施の形態1
と共通のものを用いることができる。
【0035】この実施の形態2の場合にも、たとえば実
況中継等において、複数のカメラ1から得られるビデオ
データに基づいて、実時間で視点を変えて放送すること
が可能になり、視聴者側における臨場感や利便性の向上
を実現できるとともに、放送する側においては、カメラ
1の台数を必要以上に増やすことなく、より多様な視点
からの中継が可能になり、放送コストの削減や放送の付
加価値の向上を実現できる。
【0036】なお、この実施の形態2のオムニ・ビデオ
の場合も、上述1の実施の形態1の場合と同様に、デス
クレパンシ処理部11の出力をDVD等の任意の媒体に
格納して流通させ、この媒体を入手したユーザのパーソ
ナルコンピュータ等で、新画像生成部12以降の処理を
行うようにしてもよい。
【0037】(実施の形態3)図5は、本発明の一実施
の形態である動画像情報配信方法が実施される動画像情
報配信システムの構成の一例を示す概念図であり、図6
は、本実施の形態の動画像情報配信システムでの情報の
流れの一例を示す概念図、図7は、本実施の形態の動画
像情報配信システムでの末端ユーザでの利用状況の一例
を示す概念図である。
【0038】本実施の形態では、中継現場に設置された
複数のカメラの映像を、受信する側で任意に切り替えて
視聴することを可能にするカメラ・オン・デマンドを実
現する動画像情報配信システムについて説明する。
【0039】本実施の形態の動画像情報配信システム
は、二次元動画像情報を撮影するテレビカメラ等からな
る複数のカメラ21と、個々のカメラ21から出力され
るNTSC等の汎用のアナログテレビジョン信号を、イ
ンターネット等のディジタル情報ネットワークでの通信
や蓄積等に適合したMPEG等の第1ビットストリーム
に変換するビデオエンコーダ22、個々のカメラ21の
前記アナログテレビジョン信号から、所望の周期で、J
PEG等のカラー静止画像情報を生成するとともに、後
述のように、当該カメラ21の位置や姿勢等の情報を割
り出して第2ビットストリームとして出力する処理を行
うトラッキング部23、複数のカメラ21の各々に対応
したビデオエンコーダ22およびトラッキング部23か
ら出力される上述の第1および第2ビットストリーム
を、個々のカメラ21に対応した一つの第1ビットスト
リームと、他のカメラ21の第2ビットストリームとを
併合して、複数のカメラ21の数だけの第3ビットスト
リームとして出力するマルチプレクサ24、TCP/I
P等のプロトコルにより、複数の第3ビットストリーム
を外部からの要求に応じて出力するインターネット・サ
ーバ25(CODサーバ)、インターネット、ケーブル
テレビジョン等の情報ネットワーク26を介してインタ
ーネット・サーバ25に接続される視聴者端末27、等
で構成される。
【0040】図6に例示されるように、ビデオエンコー
ダ22およびトラッキング部23は、たとえば、汎用の
パーソナルコンピュータ等で構成することができる。マ
ルチプレクサ24およびインターネット・サーバ25
は、同様に汎用のワークステーション等のコンピュータ
で構成することができる。また、視聴者端末27は、た
とえば汎用のパーソナルコンピュータで構成することが
できる。
【0041】また、視聴者端末27には、たとえば、動
画像放送受信用のソフトウェアとして、動画像放送受信
機能を備えたWEBブラウザ等からなり、後述のように
して複数のカメラ21の動画像データを切り替えて視聴
する機能を備えたCODブラウザ27a(スイッチャ)
等のソフトウェアが実装される。
【0042】以下、本実施の形態の動画像情報配信シス
テムの作用の一例について説明する。
【0043】個々のカメラ21につらなるビデオエンコ
ーダ22では、当該カメラ21から入力されるNTSC
等のアナログテレビジョン信号を、フルフレームレート
のMPEG等のディジタル形式に変換し、第1ビットス
トリームを生成する。ビデオエンコーダ22としては、
たとえばパーソナルコンピュータ用の市販のMPEGエ
ンコーダ等を利用することができる。同様にトラッキン
グ部23では、カメラ21から入力される画像情報に基
づいて、当該カメラ21の位置および方向を背景から割
り出すとともに、縮小サイズで、低フレームレートのJ
PEG等の静止画データを含む第2ビットストリームを
生成する。
【0044】マルチプレクサ24では、各カメラ21に
対応したビデオエンコーダ22およびトラッキング部2
3の出力である第1および第2ビットストリームから、
主たるカメラ21に対応したMPEGの第1ビットスト
リームと、他のカメラ21のJPEGデータおよびカメ
ラ位置情報を含む第2ビットストリームを、TCP/I
Pパケット内に重合させる。
【0045】インターネット・サーバ25は、マルチプ
レクサ24から受けた複数のTCP/IPストリーム
を、視聴者端末27から要求に応じて切り替えて送出す
る。
【0046】視聴者端末27では、CODブラウザ27
aが、現在受信中のTCP/IPストリームから、一つ
のカメラ21のMPEGストリームと、他の複数のカメ
ラ21の複数のJPEGおよびカメラ位置情報に分け、
MPEGストリームを動画像として動画像ウィンドウ2
7bに表示し、定期的に更新される複数のJPEGの静
止画像を、複数の小さな静止画像ウィンドウ27cに表
示し、カメラ位置情報を、撮影現場の中での複数のカメ
ラ21の位置関係を示すようにトラッキングウィンドウ
27d(図7の例では、カメラ21の位置が●で示さ
れ、撮影方向が矢印で示されている)に表示する。トラ
ッキングウィンドウ27dは、複数のカメラ21の位置
や撮影方向の変化に従って変化する。
【0047】そして、視聴者は、これらのウィンドウを
見ながら、必要に応じて、複数の小さな静止画像ウィン
ドウ27cをクリックすることにより、当該静止画像ウ
ィンドウ27cに対応したカメラ21の動画像の配信を
インターネット・サーバ25に要求して受信すること
で、複数のカメラ21の動画像情報から任意の一つを選
択して、動画像ウィンドウ27bに表示させるととも
に、他のカメラ21の画像を静止画像ウィンドウ27c
に表示させる。
【0048】このように、本実施の形態の動画像情報配
信方法が実施される動画像情報配信システムによれば、
競技場等の撮影現場に設置された複数のカメラ21の動
画像情報の中から、個々の視聴者端末27の視聴者が、
好みのカメラ21の映像を選択して随意に切り替えなが
ら受信することが可能になり、視聴者における臨場感や
利便性等を向上させることができる、という利点があ
る。
【0049】以上本発明者によってなされた発明を実施
の形態に基づき具体的に説明したが、本発明は前記実施
の形態に限定されるものではなく、その要旨を逸脱しな
い範囲で種々変更可能であることはいうまでもない。
【0050】
【発明の効果】本願において開示される発明のうち、代
表的なものによって得られる効果を簡単に説明すれば、
以下のとおりである。
【0051】本発明の動画像情報処理方法および装置に
よれば、視聴者に十分な臨場感を与えることができる、
という効果が得られる。
【0052】また、本発明の動画像情報処理方法および
装置によれば、撮影コストを増大させることなく、多様
な視点からの動画像データの取得や配信を実現すること
ができる、という効果が得られる。
【0053】また、本発明の動画像情報処理方法および
装置によれば、視聴者側の意図に応じた多様な視点での
映像配信ができる、という効果が得られる。
【0054】本発明の動画像情報配信方法によれば、視
聴者に十分な臨場感を与えることができる、という効果
が得られる。
【0055】また、本発明の動画像情報配信方法によれ
ば、撮影コストを増大させることなく、多様な視点から
の動画像情報の取得や配信を実現することができる、と
いう効果が得られる。
【0056】また、本発明の動画像情報配信方法によれ
ば、視聴者に十分な臨場感を与えることができる、とい
う効果が得られる。
【図面の簡単な説明】
【図1】本発明の一実施の形態である動画像情報処理方
法および動画像情報配信方法を実施する動画像情報処理
装置の構成の一例を示す概念図である。
【図2】本発明の他の実施の形態である動画像情報処理
方法および動画像情報配信方法を実施する動画像情報処
理装置の構成の一例を示す概念図である。
【図3】本発明の一実施の形態である動画像情報処理方
法および動画像情報配信方法を実施する動画像情報処理
装置の実装例を示す概念図である。
【図4】本発明の一実施の形態である動画像情報処理方
法および動画像情報配信方法を実施する動画像情報処理
装置の実装例を示す概念図である。
【図5】本発明の一実施の形態である動画像情報配信方
法が実施される動画像情報配信システムの構成の一例を
示す概念図である。
【図6】本発明の一実施の形態である動画像情報配信シ
ステムでの情報の流れの一例を示す概念図である。
【図7】本発明の一実施の形態である動画像情報配信シ
ステムでの末端ユーザでの利用状況の一例を示す概念図
である。
【符号の説明】
1 カメラ 2 アラインメント処理部 2a アラインメント情報 3 コレスポンダンス処理部 3a コレスポンダンス情報 4 三角法処理部 4a 三次元位置情報 5 ボクセル処理部 5a 三次元ボクセル・モデル情報 6 新画像生成部 6a 二次元動画像データ 7 操作I/F 8 画像エンコーダ 8a 符号化データ 9 通信媒体 10 蓄積媒体 11 デスクレパンシ処理部 12 新画像生成部 13 ハイエンドPC 13a CPU 13b 主記憶 13c フレームバッファ 13d フレームバッファ 14 配信元 15 セット・トップ・ボックス 16 テシビジョン端末 21 カメラ 22 ビデオエンコーダ 23 トラッキング部 24 マルチプレクサ 25 インターネット・サーバ 26 情報ネットワーク 27 視聴者端末 27a CODブラウザ 27b 動画像ウィンドウ 27c 静止画像ウィンドウ 27d トラッキングウィンドウ

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 視点の異なる複数のカメラにて撮影され
    た対象物の複数の第1の二次元動画像情報に基づいて前
    記対象物の三次元動画像情報を生成するステップと、 前記三次元動画像情報に基づいて、指定された任意の視
    点から見た前記対象物の第2の二次元動画像情報を生成
    するステップと、 を含むことを特徴とする動画像情報処理方法。
  2. 【請求項2】 視点の異なる複数のカメラにて撮影され
    た対象物の複数の第1の二次元動画像情報に基づいて、
    指定された任意の視点から見た前記対象物の第2の二次
    元動画像情報を実時間で生成することを特徴とする動画
    像情報処理方法。
  3. 【請求項3】 請求項1または2記載の動画像情報処理
    方法において、 前記第2の二次元動画像情報を視聴する側からの指定に
    基づいて当該第2の二次元動画像情報の視点を動的に変
    化させることを特徴とする動画像情報処理方法。
  4. 【請求項4】 複数の異なる視点から対象物の複数の第
    1の二次元動画像情報を撮影するカメラと、 複数の前記第1の二次元動画像情報に基づいて前記対象
    物の三次元動画像情報を生成する第1の画像処理手段
    と、 前記三次元動画像情報に基づいて、指定された任意の視
    点から見た前記対象物の第2の二次元動画像情報を生成
    する第2の画像処理手段と、 を含むことを特徴とする動画像情報処理装置。
  5. 【請求項5】 複数の異なる視点から対象物の複数の第
    1の二次元動画像情報を撮影するカメラと、 複数の前記第1の二次元動画像情報に基づいて、指定さ
    れた任意の視点から見た前記対象物の第2の二次元動画
    像情報を生成する画像処理手段と、 を含むことを特徴とする動画像情報処理装置。
  6. 【請求項6】 請求項4または5記載の動画像情報処理
    装置において、 前記第2の二次元動画像情報を視聴する側からの指定に
    基づいて当該第2の二次元動画像情報の視点を動的に変
    化させることを特徴とする動画像情報処理装置。
  7. 【請求項7】 視点の異なる複数のカメラにて対象物の
    複数の第1の二次元動画像情報を撮影するステップと、 複数の前記第1の二次元動画像情報の各々から静止画像
    情報を抽出するステップと、 複数の前記第1の二次元動画像情報の各々から抽出され
    た複数の前記静止画像情報を、互いに他の前記第1の二
    次元動画像情報の各々に併合して複数の第2の二次元動
    画像情報を生成するステップと、 複数の前記第2の二次元動画像情報の少なくとも一つを
    選択して配信するステップと、 配信された前記第2の二次元動画像情報から前記第1の
    二次元動画像情報と、複数の前記静止画像情報を分別し
    て視聴者に提示するステップと、 必要に応じて、提示された複数の前記静止画像情報の中
    の一つの選択操作によって当該静止画像情報に対応した
    前記第1の二次元動画像情報を含む前記第2の二次元動
    画像情報の配信を要求するステップと、 を含むことを特徴とする動画像情報配信方法。
  8. 【請求項8】 請求項7記載の動画像情報配信方法にお
    いて、 複数の前記静止画像情報の各々から、個々の前記静止画
    像情報を撮影した個々の前記カメラの位置および方向を
    割り出し、カメラ情報として前記第2の二次元動画像情
    報に併合し、前記第2の二次元動画像情報の配信先に
    て、前記カメラ情報に基づいて複数の前記カメラの位置
    関係を前記視聴者に提示することを特徴とする動画像情
    報配信方法。
JP11035449A 1999-02-15 1999-02-15 動画像情報処理方法および装置ならびに動画像情報配信方法 Pending JP2000236535A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11035449A JP2000236535A (ja) 1999-02-15 1999-02-15 動画像情報処理方法および装置ならびに動画像情報配信方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11035449A JP2000236535A (ja) 1999-02-15 1999-02-15 動画像情報処理方法および装置ならびに動画像情報配信方法

Publications (1)

Publication Number Publication Date
JP2000236535A true JP2000236535A (ja) 2000-08-29

Family

ID=12442138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11035449A Pending JP2000236535A (ja) 1999-02-15 1999-02-15 動画像情報処理方法および装置ならびに動画像情報配信方法

Country Status (1)

Country Link
JP (1) JP2000236535A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012161A (ja) * 2004-06-28 2006-01-12 Microsoft Corp 対話式視点ビデオシステムおよびプロセス
JP2019036790A (ja) * 2017-08-10 2019-03-07 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP2019115035A (ja) * 2018-10-25 2019-07-11 キヤノン株式会社 表示制御装置、表示制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006012161A (ja) * 2004-06-28 2006-01-12 Microsoft Corp 対話式視点ビデオシステムおよびプロセス
KR101203243B1 (ko) 2004-06-28 2012-11-20 마이크로소프트 코포레이션 상호작용적 시점 비디오 시스템 및 프로세스
JP2019036790A (ja) * 2017-08-10 2019-03-07 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP7033865B2 (ja) 2017-08-10 2022-03-11 キヤノン株式会社 画像生成装置、画像生成方法、及びプログラム
JP2019115035A (ja) * 2018-10-25 2019-07-11 キヤノン株式会社 表示制御装置、表示制御方法

Similar Documents

Publication Publication Date Title
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US11044455B2 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
Lou et al. A real-time interactive multi-view video system
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
CN101002471B (zh) 对图像编码的方法和设备及对图像数据解码的方法和设备
JP2023181217A (ja) 情報処理システム、情報処理方法、および情報処理プログラム
Ahmad Multi-view video: get ready for next-generation television
KR20160143746A (ko) 스테레오 뷰잉
WO2015025309A1 (en) System and method for real-time processing of ultra-high resolution digital video
KR102640664B1 (ko) Vr 디바이스 및 vr 디바이스 제어 방법
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US20190320156A1 (en) Multiple-viewpoints related metadata transmission and reception method and apparatus
KR101739220B1 (ko) 게임 플레이 상황에 대한 특수 영상 생성 시스템
Heymann et al. Representation, coding and interactive rendering of high-resolution panoramic images and video using MPEG-4
JP2000236535A (ja) 動画像情報処理方法および装置ならびに動画像情報配信方法
Kim et al. A novel test-bed for immersive and interactive broadcasting production using augmented reality and haptics
JP4330494B2 (ja) ブロードキャスト番組参加システム、及び方法
Price et al. Real-time production and delivery of 3D media
JP2023132320A (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
CN113194326A (zh) 全景直播方法、装置、计算机设备及计算机可读存储介质
Shum et al. Compression of Dynamic Image-based Representations
Yang et al. 51.4: 3D Video Framework Design for FVV Realization