JP2003115050A - 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム - Google Patents
映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラムInfo
- Publication number
- JP2003115050A JP2003115050A JP2001308522A JP2001308522A JP2003115050A JP 2003115050 A JP2003115050 A JP 2003115050A JP 2001308522 A JP2001308522 A JP 2001308522A JP 2001308522 A JP2001308522 A JP 2001308522A JP 2003115050 A JP2003115050 A JP 2003115050A
- Authority
- JP
- Japan
- Prior art keywords
- data
- rectangular plane
- image
- video
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
- 238000000034 method Methods 0.000 title claims description 168
- 238000003860 storage Methods 0.000 title claims description 29
- 238000004590 computer program Methods 0.000 title claims description 9
- 238000012545 processing Methods 0.000 claims description 112
- 238000009826 distribution Methods 0.000 claims description 59
- 238000003672 processing method Methods 0.000 claims description 26
- 230000006835 compression Effects 0.000 claims description 23
- 238000007906 compression Methods 0.000 claims description 23
- 238000009877 rendering Methods 0.000 claims description 21
- 230000009467 reduction Effects 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 9
- 239000012634 fragment Substances 0.000 claims description 6
- 238000010030 laminating Methods 0.000 claims description 2
- 238000011946 reduction process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 35
- 230000008859 change Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000003825 pressing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002079 cooperative effect Effects 0.000 description 2
- 238000002716 delivery method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23602—Multiplexing isochronously with the video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4342—Demultiplexing isochronously with video sync, e.g. according to bit-parallel or bit-serial interface formats, as SDI
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4347—Demultiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/02—Bodies
- G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 複数台のカメラによる撮影映像からなる全方
位映像を受信機側でシームレスに切り換えていくことが
できるように配信する。 【解決手段】 元は各カメラ１１Ａ〜１１Ｈの映像フレ
ームを円筒側面上に配置されてなるパノラマ映像を、２
等分して、後半のフレーム分割部分を前半のフレーム分
割部分の下部に配置する。さらに、分割された一方の端
縁に隣接するカメラの映像フレームを余分に貼り合わ
せ、全方位映像の両端縁付近では、貼り付けられたカメ
ラの映像フレームが重複するように再配置して、カメラ
ＤとカメラＥの映像フレームにまたがる領域をシームレ
スに切り換えることを可能にする。
位映像を受信機側でシームレスに切り換えていくことが
できるように配信する。 【解決手段】 元は各カメラ１１Ａ〜１１Ｈの映像フレ
ームを円筒側面上に配置されてなるパノラマ映像を、２
等分して、後半のフレーム分割部分を前半のフレーム分
割部分の下部に配置する。さらに、分割された一方の端
縁に隣接するカメラの映像フレームを余分に貼り合わ
せ、全方位映像の両端縁付近では、貼り付けられたカメ
ラの映像フレームが重複するように再配置して、カメラ
ＤとカメラＥの映像フレームにまたがる領域をシームレ
スに切り換えることを可能にする。
Description
【０００１】
【発明の属する技術分野】本発明は、カメラによって撮
影された映像を配信するための映像データ処理装置及び
映像データ処理方法、データ配信装置及びデータ配信方
法、データ受信装置及びデータ受信方法、並びに記憶媒
体に係り、特に、空間中のある１つの点が視点として周
囲の画像を撮影するように複数台のカメラが設置して構
成される全方位カメラにより撮影した映像を配信するた
めの映像データ処理装置及び映像データ処理方法、デー
タ配信装置及びデータ配信方法、データ受信装置及びデ
ータ受信方法、並びに記憶媒体に関する。
影された映像を配信するための映像データ処理装置及び
映像データ処理方法、データ配信装置及びデータ配信方
法、データ受信装置及びデータ受信方法、並びに記憶媒
体に係り、特に、空間中のある１つの点が視点として周
囲の画像を撮影するように複数台のカメラが設置して構
成される全方位カメラにより撮影した映像を配信するた
めの映像データ処理装置及び映像データ処理方法、デー
タ配信装置及びデータ配信方法、データ受信装置及びデ
ータ受信方法、並びに記憶媒体に関する。
【０００２】更に詳しくは、本発明は、複数台のカメラ
による撮影映像からなる撮影映像を受信機側において任
意の場所の映像が選択できるように配信するための映像
データ処理装置及び映像データ処理方法、データ配信装
置及びデータ配信方法、データ受信装置及びデータ受信
方法、並びに記憶媒体に係り、特に、複数台のカメラに
よる撮影映像からなる撮影映像を受信機側でシームレス
に切り換えていくことができるように配信するための映
像データ処理装置及び映像データ処理方法、データ配信
装置及びデータ配信方法、データ受信装置及びデータ受
信方法、並びに記憶媒体に関する。
による撮影映像からなる撮影映像を受信機側において任
意の場所の映像が選択できるように配信するための映像
データ処理装置及び映像データ処理方法、データ配信装
置及びデータ配信方法、データ受信装置及びデータ受信
方法、並びに記憶媒体に係り、特に、複数台のカメラに
よる撮影映像からなる撮影映像を受信機側でシームレス
に切り換えていくことができるように配信するための映
像データ処理装置及び映像データ処理方法、データ配信
装置及びデータ配信方法、データ受信装置及びデータ受
信方法、並びに記憶媒体に関する。
【０００３】
【従来の技術】ユーザの周囲の風景画像を提供する装置
として全方位カメラが知られている。この種の周囲カメ
ラ・システムは、例えば、空間中のある１つの点が視点
として周囲の画像を撮影するように複数台のカメラが設
置して構成される。複数のカメラからなる周囲カメラ・
システム又は全方位カメラ・システムは、隣り合うカメ
ラの撮像画像の境界同士をうまく接続することによっ
て、個々のカメラの視野よりもはるかに広い領域の画像
を、あたかも単一の広角度カメラで撮像したかのような
画像を生成する画像処理を行う。
として全方位カメラが知られている。この種の周囲カメ
ラ・システムは、例えば、空間中のある１つの点が視点
として周囲の画像を撮影するように複数台のカメラが設
置して構成される。複数のカメラからなる周囲カメラ・
システム又は全方位カメラ・システムは、隣り合うカメ
ラの撮像画像の境界同士をうまく接続することによっ
て、個々のカメラの視野よりもはるかに広い領域の画像
を、あたかも単一の広角度カメラで撮像したかのような
画像を生成する画像処理を行う。
【０００４】視野角の広いレンズを用いればカメラは広
範囲を撮像することができるが、その分だけ解像度が低
下して細部が見えづらくなる。これに対し、周囲カメラ
・システムによれば、広範囲の撮像画像を高解像度のま
ま提供することができる。
範囲を撮像することができるが、その分だけ解像度が低
下して細部が見えづらくなる。これに対し、周囲カメラ
・システムによれば、広範囲の撮像画像を高解像度のま
ま提供することができる。
【０００５】他方、情報通信技術の発達に伴い、カメラ
の撮影映像を、各種の配信媒体を介して遠隔地に配信す
るという要望がある。
の撮影映像を、各種の配信媒体を介して遠隔地に配信す
るという要望がある。
【０００６】地上波放送、衛星放送、ケーブル・テレビ
放送、ハイビジョン放送など従来の放送技術では、受信
する映像は基本的には１つのチャンネルにつき１つの映
像となっている。また、映像の画角も、あらかじめ送出
側で収録する時点で決められてしまうもので、受信して
いるユーザ側で任意の場所の映像を選択することはでき
ない。
放送、ハイビジョン放送など従来の放送技術では、受信
する映像は基本的には１つのチャンネルにつき１つの映
像となっている。また、映像の画角も、あらかじめ送出
側で収録する時点で決められてしまうもので、受信して
いるユーザ側で任意の場所の映像を選択することはでき
ない。
【０００７】このため、複数台のカメラ映像からなる全
方位映像のうち任意の画角を受信側で選択できるように
するためには、それぞれ１台のカメラ映像からなる複数
のチャンネルを同時に受信する必要がある。しかしなが
ら、これを実現するためには、受信機側でもコストを要
するハードウェアの改造が必要となる。
方位映像のうち任意の画角を受信側で選択できるように
するためには、それぞれ１台のカメラ映像からなる複数
のチャンネルを同時に受信する必要がある。しかしなが
ら、これを実現するためには、受信機側でもコストを要
するハードウェアの改造が必要となる。
【０００８】また、ハードウェアの改造により受信機側
で複数の映像を同時に見ることができるようになったと
しても、隣接するカメラの撮影映像間をシームレスに切
り換えていくことは困難である。
で複数の映像を同時に見ることができるようになったと
しても、隣接するカメラの撮影映像間をシームレスに切
り換えていくことは困難である。
【０００９】また、実験的に複数のチャンネルでマルチ
アングル映像を流して、受信機側でチャンネル切り換え
を行って放送することも可能であるが、この場合であっ
ても、各カメラの映像をシームレスに切り換えることは
困難であり、送信側でも高い制作コストを強いることに
なる。
アングル映像を流して、受信機側でチャンネル切り換え
を行って放送することも可能であるが、この場合であっ
ても、各カメラの映像をシームレスに切り換えることは
困難であり、送信側でも高い制作コストを強いることに
なる。
【００１０】
【発明が解決しようとする課題】本発明の目的は、空間
中のある１つの点が視点として周囲の映像を撮影するよ
うに複数台のカメラが設置して構成される全方位カメラ
により撮影した映像を好適に配信することができる、優
れた映像データ処理装置及び映像データ処理方法、デー
タ配信装置及びデータ配信方法、データ受信装置及びデ
ータ受信方法、並びに記憶媒体を提供することにある。
中のある１つの点が視点として周囲の映像を撮影するよ
うに複数台のカメラが設置して構成される全方位カメラ
により撮影した映像を好適に配信することができる、優
れた映像データ処理装置及び映像データ処理方法、デー
タ配信装置及びデータ配信方法、データ受信装置及びデ
ータ受信方法、並びに記憶媒体を提供することにある。
【００１１】本発明の更なる目的は、複数台のカメラに
よる撮影映像からなる撮影映像を受信機側において任意
の場所の映像が選択できるように配信することができ
る、優れた映像データ処理装置及び映像データ処理方
法、データ配信装置及びデータ配信方法、データ受信装
置及びデータ受信方法、並びに記憶媒体を提供すること
にある。
よる撮影映像からなる撮影映像を受信機側において任意
の場所の映像が選択できるように配信することができ
る、優れた映像データ処理装置及び映像データ処理方
法、データ配信装置及びデータ配信方法、データ受信装
置及びデータ受信方法、並びに記憶媒体を提供すること
にある。
【００１２】本発明の更なる目的は、複数台のカメラに
よる撮影映像からなる全方位映像を受信機側でシームレ
スに切り換えていくことができるように配信することが
できる、優れた映像データ処理装置及び映像データ処理
方法、データ配信装置及びデータ配信方法、データ受信
装置及びデータ受信方法、並びに記憶媒体を提供するこ
とにある。
よる撮影映像からなる全方位映像を受信機側でシームレ
スに切り換えていくことができるように配信することが
できる、優れた映像データ処理装置及び映像データ処理
方法、データ配信装置及びデータ配信方法、データ受信
装置及びデータ受信方法、並びに記憶媒体を提供するこ
とにある。
【００１３】
【課題を解決するための手段及び作用】本発明は、上記
課題を参酌してなされたものであり、その第１の側面
は、空間中のある１つの点を視点として周囲の画像を撮
影するように視線方向が１つの水平面上で所定角度間隔
で設置された複数台のカメラからの映像データを処理す
る映像データ処理装置又は映像データ処理方法であっ
て、各カメラによる映像データをカメラを設置した順番
に従って貼り合わせて第１の長方形平面の映像を生成す
る手段又はステップと、前記第１の長方形平面を等分割
して分割された各断片を上から順に配置して第２の長方
形平面を生成する手段又はステップと、前記各断片の左
右一方の端縁から所定面積の領域を当該端縁と接続する
他方の断片の端縁に複製して、第３の長方形平面を生成
する手段又はステップと、前記第３の長方形平面が所定
の符号化方式に収容するサイズとなるように縮小処理し
て第４の長方形平面を生成する手段又はステップと、前
記第４の長方形平面が前記所定の画像圧縮方式に適合す
るように未使用領域にダミー・データを付加して第５の
長方形平面を生成する手段又はステップと、を具備する
ことを特徴とする映像データ処理装置又は映像データ処
理方法である。
課題を参酌してなされたものであり、その第１の側面
は、空間中のある１つの点を視点として周囲の画像を撮
影するように視線方向が１つの水平面上で所定角度間隔
で設置された複数台のカメラからの映像データを処理す
る映像データ処理装置又は映像データ処理方法であっ
て、各カメラによる映像データをカメラを設置した順番
に従って貼り合わせて第１の長方形平面の映像を生成す
る手段又はステップと、前記第１の長方形平面を等分割
して分割された各断片を上から順に配置して第２の長方
形平面を生成する手段又はステップと、前記各断片の左
右一方の端縁から所定面積の領域を当該端縁と接続する
他方の断片の端縁に複製して、第３の長方形平面を生成
する手段又はステップと、前記第３の長方形平面が所定
の符号化方式に収容するサイズとなるように縮小処理し
て第４の長方形平面を生成する手段又はステップと、前
記第４の長方形平面が前記所定の画像圧縮方式に適合す
るように未使用領域にダミー・データを付加して第５の
長方形平面を生成する手段又はステップと、を具備する
ことを特徴とする映像データ処理装置又は映像データ処
理方法である。
【００１４】ここで、前記符号化方式は、ハイビジョン
放送用の放送波として映像データを搬送するためのＨＤ
（High Definition）−ＭＰＥＧ２（Moving Picture Ex
perts Group 2）方式である。
放送用の放送波として映像データを搬送するためのＨＤ
（High Definition）−ＭＰＥＧ２（Moving Picture Ex
perts Group 2）方式である。
【００１５】また、本発明の第１の側面に係る映像デー
タ処理装置又は映像データ処理方法は、第５の長方形平
面が時系列的に配列されたビットマップ連番ファイルの
データをレンダリングする手段又はステップや、所定の
出力信号に変換し、前記符号化方式により符号化圧縮し
て、トランスポート・ストリーム・データを生成する手
段又はステップをさらに備えていていもよい。
タ処理装置又は映像データ処理方法は、第５の長方形平
面が時系列的に配列されたビットマップ連番ファイルの
データをレンダリングする手段又はステップや、所定の
出力信号に変換し、前記符号化方式により符号化圧縮し
て、トランスポート・ストリーム・データを生成する手
段又はステップをさらに備えていていもよい。
【００１６】また、本発明の第２の側面は、空間中のあ
る１つの点を視点として周囲の画像を撮影するように視
線方向が１つの水平面上で所定角度間隔で設置された複
数台のカメラからの映像データを受信機側で自由に視点
を切り換えられるように配信するデータ配信装置又はデ
ータ配信方法であって、各カメラによる映像データをカ
メラを設置した順番に従って貼り合わせて第１の長方形
平面の映像を生成する手段又はステップと、前記第１の
長方形平面を等分割して分割された各断片を上から順に
配置して第２の長方形平面を生成する手段又はステップ
と、前記各断片の左右一方の端縁から所定面積の領域を
当該端縁と接続する他方の断片の端縁に複製して、第３
の長方形平面を生成する手段又はステップと、前記第３
の長方形平面が所定の符号化方式に収容するサイズとな
るように縮小処理して第４の長方形平面を生成する手段
又はステップと、前記第４の長方形平面が前記所定の画
像圧縮方式に適合するように未使用領域にダミー・デー
タを付加して第５の長方形平面を生成する手段又はステ
ップと、第５の長方形平面が時系列的に配列されたビッ
トマップ連番ファイルのデータをレンダリングする手段
又はステップと、レンダリングされたビットマップ連番
ファイルのデータを、所定の出力信号に変換し、前記符
号化方式により符号化圧縮して、トランスポート・スト
リーム・データを生成する手段又はステップと、トラン
スポート・ストリーム・データを送出する手段又はステ
ップと、を具備することを特徴とするデータ配信装置又
はデータ配信方法である。
る１つの点を視点として周囲の画像を撮影するように視
線方向が１つの水平面上で所定角度間隔で設置された複
数台のカメラからの映像データを受信機側で自由に視点
を切り換えられるように配信するデータ配信装置又はデ
ータ配信方法であって、各カメラによる映像データをカ
メラを設置した順番に従って貼り合わせて第１の長方形
平面の映像を生成する手段又はステップと、前記第１の
長方形平面を等分割して分割された各断片を上から順に
配置して第２の長方形平面を生成する手段又はステップ
と、前記各断片の左右一方の端縁から所定面積の領域を
当該端縁と接続する他方の断片の端縁に複製して、第３
の長方形平面を生成する手段又はステップと、前記第３
の長方形平面が所定の符号化方式に収容するサイズとな
るように縮小処理して第４の長方形平面を生成する手段
又はステップと、前記第４の長方形平面が前記所定の画
像圧縮方式に適合するように未使用領域にダミー・デー
タを付加して第５の長方形平面を生成する手段又はステ
ップと、第５の長方形平面が時系列的に配列されたビッ
トマップ連番ファイルのデータをレンダリングする手段
又はステップと、レンダリングされたビットマップ連番
ファイルのデータを、所定の出力信号に変換し、前記符
号化方式により符号化圧縮して、トランスポート・スト
リーム・データを生成する手段又はステップと、トラン
スポート・ストリーム・データを送出する手段又はステ
ップと、を具備することを特徴とするデータ配信装置又
はデータ配信方法である。
【００１７】本発明の第２の側面に係るデータ配信装置
又はデータ配信方法は、トランスポート・ストリーム・
データが視点自由形である旨を示す情報を付加する手段
又はステップをさらに備えていてもよい。
又はデータ配信方法は、トランスポート・ストリーム・
データが視点自由形である旨を示す情報を付加する手段
又はステップをさらに備えていてもよい。
【００１８】本発明の第１の側面に係る映像データ処理
装置又は映像データ処理方法、並びに、第２の側面に係
るデータ配信装置およびデータ配信方法によれば、空間
中のある１つの点を視点とするように複数のカメラで撮
影された全方位映像は、ＨＤ−ＭＰＥＧなどの放送用の
符号化方式のサイズに適合するように、貼り合わせ、等
分割、配置、並びに縮小処理が行われるとともに、未使
用領域にはダミー・データが付加される。さらに、受信
機側では映像データの中から任意の視点をシームレスに
切り出して表示できるように、全方位映像の両端縁付近
では、貼り付けられたカメラの映像フレームが重複する
ように再配置するようにした。
装置又は映像データ処理方法、並びに、第２の側面に係
るデータ配信装置およびデータ配信方法によれば、空間
中のある１つの点を視点とするように複数のカメラで撮
影された全方位映像は、ＨＤ−ＭＰＥＧなどの放送用の
符号化方式のサイズに適合するように、貼り合わせ、等
分割、配置、並びに縮小処理が行われるとともに、未使
用領域にはダミー・データが付加される。さらに、受信
機側では映像データの中から任意の視点をシームレスに
切り出して表示できるように、全方位映像の両端縁付近
では、貼り付けられたカメラの映像フレームが重複する
ように再配置するようにした。
【００１９】したがって、このようなトランスポート・
ストリームを受信する受信機側では、視点自由形の受信
を行うことができる。すなわち、全方位映像フレームの
中から視聴ユーザが指定する任意の画角をシームレスに
切り出して表示することができる。視聴ユーザは、表示
中の映像が全方位カメラのどのカメラの映像フレームに
よるものかをまったく意識する必要がない。
ストリームを受信する受信機側では、視点自由形の受信
を行うことができる。すなわち、全方位映像フレームの
中から視聴ユーザが指定する任意の画角をシームレスに
切り出して表示することができる。視聴ユーザは、表示
中の映像が全方位カメラのどのカメラの映像フレームに
よるものかをまったく意識する必要がない。
【００２０】また、本発明の第３の側面は、空間上に配
置された被写体を複数台のカメラで取り囲んで被写体を
複数の視野角から撮影したマルチアングル映像データを
処理する映像データ処理装置又は映像データ処理方法で
あって、各カメラによる映像データをカメラを設置した
順番に従って貼り合わせて第１の長方形平面の映像を生
成する手段又はステップと、前記第１の長方形平面が所
定の符号化方式に収容するサイズとなるように縮小処理
して第２の長方形平面を生成する手段又はステップと、
前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成する手段又はステップと、を具備す
ることを特徴とする映像データ処理装置又は映像データ
処理方法である。
置された被写体を複数台のカメラで取り囲んで被写体を
複数の視野角から撮影したマルチアングル映像データを
処理する映像データ処理装置又は映像データ処理方法で
あって、各カメラによる映像データをカメラを設置した
順番に従って貼り合わせて第１の長方形平面の映像を生
成する手段又はステップと、前記第１の長方形平面が所
定の符号化方式に収容するサイズとなるように縮小処理
して第２の長方形平面を生成する手段又はステップと、
前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成する手段又はステップと、を具備す
ることを特徴とする映像データ処理装置又は映像データ
処理方法である。
【００２１】ここで、前記符号化方式は、ハイビジョン
放送用の放送波として映像データを搬送するためのＨＤ
（High Definition）−ＭＰＥＧ２（Moving Picture Ex
perts Group 2）方式である。
放送用の放送波として映像データを搬送するためのＨＤ
（High Definition）−ＭＰＥＧ２（Moving Picture Ex
perts Group 2）方式である。
【００２２】また、本発明の第３の側面に係る映像デー
タ処理装置又は映像データ処理方法は、第３の長方形平
面が時系列的に配列されたビットマップ連番ファイルの
データをレンダリングする手段又はステップや、所定の
出力信号に変換し、前記符号化方式により符号化圧縮し
て、トランスポート・ストリーム・データを生成する手
段又はステップをさらに備えていていもよい。
タ処理装置又は映像データ処理方法は、第３の長方形平
面が時系列的に配列されたビットマップ連番ファイルの
データをレンダリングする手段又はステップや、所定の
出力信号に変換し、前記符号化方式により符号化圧縮し
て、トランスポート・ストリーム・データを生成する手
段又はステップをさらに備えていていもよい。
【００２３】また、本発明の第４の側面は、空間上に配
置された被写体を複数台のカメラで取り囲んで被写体を
複数の視野角から撮影したマルチアングル映像データを
受信機側で自由に視点を切り換えられるように配信する
データ配信装置又はデータ配信方法であって、各カメラ
による映像データをカメラを設置した順番に従って貼り
合わせて第１の長方形平面の映像を生成する手段又はス
テップと、前記第１の長方形平面が所定の符号化方式に
収容するサイズとなるように縮小処理して第２の長方形
平面を生成する手段又はステップと、前記第２の長方形
平面が前記所定の画像圧縮方式に適合するように未使用
領域にダミー・データを付加して第３の長方形平面を生
成する手段又はステップと、第３の長方形平面が時系列
的に配列されたビットマップ連番ファイルのデータをレ
ンダリングする手段又はステップと、レンダリングされ
たビットマップ連番ファイルのデータを、所定の出力信
号に変換し、前記符号化方式により符号化圧縮して、ト
ランスポート・ストリーム・データを生成する手段又は
ステップと、トランスポート・ストリーム・データを送
出する手段又はステップと、を具備することを特徴とす
るデータ配信装置又はデータ配信方法である。
置された被写体を複数台のカメラで取り囲んで被写体を
複数の視野角から撮影したマルチアングル映像データを
受信機側で自由に視点を切り換えられるように配信する
データ配信装置又はデータ配信方法であって、各カメラ
による映像データをカメラを設置した順番に従って貼り
合わせて第１の長方形平面の映像を生成する手段又はス
テップと、前記第１の長方形平面が所定の符号化方式に
収容するサイズとなるように縮小処理して第２の長方形
平面を生成する手段又はステップと、前記第２の長方形
平面が前記所定の画像圧縮方式に適合するように未使用
領域にダミー・データを付加して第３の長方形平面を生
成する手段又はステップと、第３の長方形平面が時系列
的に配列されたビットマップ連番ファイルのデータをレ
ンダリングする手段又はステップと、レンダリングされ
たビットマップ連番ファイルのデータを、所定の出力信
号に変換し、前記符号化方式により符号化圧縮して、ト
ランスポート・ストリーム・データを生成する手段又は
ステップと、トランスポート・ストリーム・データを送
出する手段又はステップと、を具備することを特徴とす
るデータ配信装置又はデータ配信方法である。
【００２４】本発明の第４の側面に係るデータ配信装置
又はデータ配信方法は、トランスポート・ストリーム・
データが視点自由形である旨を示す情報を付加する手段
又はステップをさらに備えていてもよい。
又はデータ配信方法は、トランスポート・ストリーム・
データが視点自由形である旨を示す情報を付加する手段
又はステップをさらに備えていてもよい。
【００２５】本発明の第３の側面に係る映像データ処理
装置又は映像データ処理方法、並びに、第４の側面に係
るデータ配信装置およびデータ配信方法によれば、空間
上に配置された被写体を複数台のカメラで取り囲んで被
写体を複数の視野角から撮影したマルチアングル映像デ
ータは、ＨＤ−ＭＰＥＧなどの放送用の符号化方式のサ
イズに適合するように、貼り合わせ、配置、並びに縮小
処理が行われるとともに、未使用領域にはダミー・デー
タが付加される。
装置又は映像データ処理方法、並びに、第４の側面に係
るデータ配信装置およびデータ配信方法によれば、空間
上に配置された被写体を複数台のカメラで取り囲んで被
写体を複数の視野角から撮影したマルチアングル映像デ
ータは、ＨＤ−ＭＰＥＧなどの放送用の符号化方式のサ
イズに適合するように、貼り合わせ、配置、並びに縮小
処理が行われるとともに、未使用領域にはダミー・デー
タが付加される。
【００２６】したがって、このようなトランスポート・
ストリームを受信する受信機側では、視点自由形の受信
を行うことができる。すなわち、マルチアングル映像フ
レームの中から視聴ユーザが指定する任意の画角を切り
出して表示することができる。視聴ユーザは、表示中の
映像がマルチアングル・カメラのどのカメラの映像フレ
ームによるものかをまったく意識する必要がない。
ストリームを受信する受信機側では、視点自由形の受信
を行うことができる。すなわち、マルチアングル映像フ
レームの中から視聴ユーザが指定する任意の画角を切り
出して表示することができる。視聴ユーザは、表示中の
映像がマルチアングル・カメラのどのカメラの映像フレ
ームによるものかをまったく意識する必要がない。
【００２７】また、本発明の第５の側面は、空間中のあ
る１つの点を視点として周囲の画像を撮影するように視
線方向が１つの水平面上で所定角度間隔で設置された複
数台のカメラからの映像データの処理をコンピュータ・
システム上で実行するように記述されたコンピュータ・
ソフトウェアをコンピュータ可読形式で物理的に格納し
た記憶媒体であって、前記コンピュータ・ソフトウェア
は、各カメラによる映像データをカメラを設置した順番
に従って貼り合わせて第１の長方形平面の映像を生成す
るステップと、前記第１の長方形平面を等分割して分割
された各断片を上から順に配置して第２の長方形平面を
生成するステップと、前記各断片の左右一方の端縁から
所定面積の領域を当該端縁と接続する他方の断片の端縁
に複製して、第３の長方形平面を生成するステップと、
前記第３の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第４の長方形平面を生成
するステップと、前記第４の長方形平面が前記所定の画
像圧縮方式に適合するように未使用領域にダミー・デー
タを付加して第５の長方形平面を生成するステップと、
を具備することを特徴とする記憶媒体である。
る１つの点を視点として周囲の画像を撮影するように視
線方向が１つの水平面上で所定角度間隔で設置された複
数台のカメラからの映像データの処理をコンピュータ・
システム上で実行するように記述されたコンピュータ・
ソフトウェアをコンピュータ可読形式で物理的に格納し
た記憶媒体であって、前記コンピュータ・ソフトウェア
は、各カメラによる映像データをカメラを設置した順番
に従って貼り合わせて第１の長方形平面の映像を生成す
るステップと、前記第１の長方形平面を等分割して分割
された各断片を上から順に配置して第２の長方形平面を
生成するステップと、前記各断片の左右一方の端縁から
所定面積の領域を当該端縁と接続する他方の断片の端縁
に複製して、第３の長方形平面を生成するステップと、
前記第３の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第４の長方形平面を生成
するステップと、前記第４の長方形平面が前記所定の画
像圧縮方式に適合するように未使用領域にダミー・デー
タを付加して第５の長方形平面を生成するステップと、
を具備することを特徴とする記憶媒体である。
【００２８】また、本発明の第６の側面は、空間上に配
置された被写体を複数台のカメラで取り囲んで被写体を
複数の視野角から撮影したマルチアングル映像データの
処理をコンピュータ・システム上で実行するように記述
されたコンピュータ・ソフトウェアをコンピュータ可読
形式で物理的に格納した記憶媒体であって、前記コンピ
ュータ・ソフトウェアは、各カメラによる映像データを
カメラを設置した順番に従って貼り合わせて第１の長方
形平面の映像を生成するステップと、前記第１の長方形
平面が所定の符号化方式に収容するサイズとなるように
縮小処理して第２の長方形平面を生成するステップと、
前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成するステップと、を具備することを
特徴とする記憶媒体である。
置された被写体を複数台のカメラで取り囲んで被写体を
複数の視野角から撮影したマルチアングル映像データの
処理をコンピュータ・システム上で実行するように記述
されたコンピュータ・ソフトウェアをコンピュータ可読
形式で物理的に格納した記憶媒体であって、前記コンピ
ュータ・ソフトウェアは、各カメラによる映像データを
カメラを設置した順番に従って貼り合わせて第１の長方
形平面の映像を生成するステップと、前記第１の長方形
平面が所定の符号化方式に収容するサイズとなるように
縮小処理して第２の長方形平面を生成するステップと、
前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成するステップと、を具備することを
特徴とする記憶媒体である。
【００２９】本発明の第５及び第６の各側面に係る記憶
媒体は、例えば、さまざまなプログラム・コードを実行
可能な汎用コンピュータ・システムに対して、コンピュ
ータ・ソフトウェアをコンピュータ可読な形式で提供す
る媒体である。このような媒体は、例えば、ＣＤ（Comp
act Disc）やＦＤ（Floppy Disc）、ＭＯ（Magneto-Opt
ical disc）などの着脱自在で可搬性の記憶媒体であ
る。ここで言う記憶媒体は、パッケージ・メディアのみ
ならず、プログラムが一時的若しくは永続的に格納され
る半導体メモリや磁気ディスクなどで実現してもよい。
あるいは、ネットワーク（ネットワークは無線、有線の
区別を問わない）などの伝送媒体などを経由してコンピ
ュータ・ソフトウェアを特定のコンピュータ・システム
に提供することも技術的に可能である。
媒体は、例えば、さまざまなプログラム・コードを実行
可能な汎用コンピュータ・システムに対して、コンピュ
ータ・ソフトウェアをコンピュータ可読な形式で提供す
る媒体である。このような媒体は、例えば、ＣＤ（Comp
act Disc）やＦＤ（Floppy Disc）、ＭＯ（Magneto-Opt
ical disc）などの着脱自在で可搬性の記憶媒体であ
る。ここで言う記憶媒体は、パッケージ・メディアのみ
ならず、プログラムが一時的若しくは永続的に格納され
る半導体メモリや磁気ディスクなどで実現してもよい。
あるいは、ネットワーク（ネットワークは無線、有線の
区別を問わない）などの伝送媒体などを経由してコンピ
ュータ・ソフトウェアを特定のコンピュータ・システム
に提供することも技術的に可能である。
【００３０】このようなプログラム記憶媒体は、コンピ
ュータ・システム上で所定のコンピュータ・ソフトウェ
アの機能を実現するための、コンピュータ・ソフトウェ
アと記憶媒体との構造上又は機能上の協働的関係を定義
したものである。換言すれば、本発明の第５及び第６の
側面に係る記憶媒体を介して所定のコンピュータ・ソフ
トウェアをコンピュータ・システムにインストールする
ことによって、コンピュータ・システム上では協働的作
用が発揮され、本発明の第１及び第３の各側面に係る映
像データ処理装置又は映像データ処理方法と同様の作用
効果を得ることができる。
ュータ・システム上で所定のコンピュータ・ソフトウェ
アの機能を実現するための、コンピュータ・ソフトウェ
アと記憶媒体との構造上又は機能上の協働的関係を定義
したものである。換言すれば、本発明の第５及び第６の
側面に係る記憶媒体を介して所定のコンピュータ・ソフ
トウェアをコンピュータ・システムにインストールする
ことによって、コンピュータ・システム上では協働的作
用が発揮され、本発明の第１及び第３の各側面に係る映
像データ処理装置又は映像データ処理方法と同様の作用
効果を得ることができる。
【００３１】また、本発明の第７の側面は、空間中のあ
る１つの点を視点として周囲の画像を撮影するように視
線方向が１つの水平面上で所定角度間隔で設置された複
数台のカメラからの映像データの処理をコンピュータ・
システム上で実行するように記述されたコンピュータ・
プログラムであって、各カメラによる映像データをカメ
ラを設置した順番に従って貼り合わせて第１の長方形平
面の映像を生成するステップと、前記第１の長方形平面
を等分割して分割された各断片を上から順に配置して第
２の長方形平面を生成するステップと、前記各断片の左
右一方の端縁から所定面積の領域を当該端縁と接続する
他方の断片の端縁に複製して、第３の長方形平面を生成
するステップと、前記第３の長方形平面が所定の符号化
方式に収容するサイズとなるように縮小処理して第４の
長方形平面を生成するステップと、前記第４の長方形平
面が前記所定の画像圧縮方式に適合するように未使用領
域にダミー・データを付加して第５の長方形平面を生成
するステップと、を具備することを特徴とするコンピュ
ータ・プログラムである。
る１つの点を視点として周囲の画像を撮影するように視
線方向が１つの水平面上で所定角度間隔で設置された複
数台のカメラからの映像データの処理をコンピュータ・
システム上で実行するように記述されたコンピュータ・
プログラムであって、各カメラによる映像データをカメ
ラを設置した順番に従って貼り合わせて第１の長方形平
面の映像を生成するステップと、前記第１の長方形平面
を等分割して分割された各断片を上から順に配置して第
２の長方形平面を生成するステップと、前記各断片の左
右一方の端縁から所定面積の領域を当該端縁と接続する
他方の断片の端縁に複製して、第３の長方形平面を生成
するステップと、前記第３の長方形平面が所定の符号化
方式に収容するサイズとなるように縮小処理して第４の
長方形平面を生成するステップと、前記第４の長方形平
面が前記所定の画像圧縮方式に適合するように未使用領
域にダミー・データを付加して第５の長方形平面を生成
するステップと、を具備することを特徴とするコンピュ
ータ・プログラムである。
【００３２】また、本発明の第８の側面は、空間上に配
置された被写体を複数台のカメラで取り囲んで被写体を
複数の視野角から撮影したマルチアングル映像データの
処理をコンピュータ・システム上で実行するように記述
されたコンピュータ・プログラムであって、各カメラに
よる映像データをカメラを設置した順番に従って貼り合
わせて第１の長方形平面の映像を生成するステップと、
前記第１の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第２の長方形平面を生成
するステップと、前記第２の長方形平面が前記所定の画
像圧縮方式に適合するように未使用領域にダミー・デー
タを付加して第３の長方形平面を生成するステップと、
を具備することを特徴とするコンピュータ・プログラム
である。
置された被写体を複数台のカメラで取り囲んで被写体を
複数の視野角から撮影したマルチアングル映像データの
処理をコンピュータ・システム上で実行するように記述
されたコンピュータ・プログラムであって、各カメラに
よる映像データをカメラを設置した順番に従って貼り合
わせて第１の長方形平面の映像を生成するステップと、
前記第１の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第２の長方形平面を生成
するステップと、前記第２の長方形平面が前記所定の画
像圧縮方式に適合するように未使用領域にダミー・デー
タを付加して第３の長方形平面を生成するステップと、
を具備することを特徴とするコンピュータ・プログラム
である。
【００３３】本発明の第７及び第８の各側面に係るコン
ピュータ・プログラムは、コンピュータ・システム上で
所定の処理を実現するようにコンピュータ可読形式で記
述されたコンピュータ・プログラムを定義したものであ
る。換言すれば、本発明の第７及び第８の各側面に係る
コンピュータ・プログラムをコンピュータ・システムに
インストールすることによって、コンピュータ・システ
ム上では協働的作用が発揮され、本発明の第１及び第２
の各側面に係る本発明の第１及び第３の各側面に係る映
像データ処理装置又は映像データ処理方法と同様の作用
効果を得ることができる。
ピュータ・プログラムは、コンピュータ・システム上で
所定の処理を実現するようにコンピュータ可読形式で記
述されたコンピュータ・プログラムを定義したものであ
る。換言すれば、本発明の第７及び第８の各側面に係る
コンピュータ・プログラムをコンピュータ・システムに
インストールすることによって、コンピュータ・システ
ム上では協働的作用が発揮され、本発明の第１及び第２
の各側面に係る本発明の第１及び第３の各側面に係る映
像データ処理装置又は映像データ処理方法と同様の作用
効果を得ることができる。
【００３４】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。
【００３５】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施形態について詳解する。
の実施形態について詳解する。
【００３６】Ａ．３６０度映像視点自由型放送
まず、本発明の１つの実施形態として、空間上のある１
つの点を視点としてその周囲の全方位映像を同時に撮影
するタイプの全方位カメラによる３６０度映像を、視点
自由型映像として送信する例について説明する。後述す
るように、この実施形態によれば、受信機ユーザ側で
は、全方位映像の中から任意の視点の映像フレームを切
り出して視聴することができる。
つの点を視点としてその周囲の全方位映像を同時に撮影
するタイプの全方位カメラによる３６０度映像を、視点
自由型映像として送信する例について説明する。後述す
るように、この実施形態によれば、受信機ユーザ側で
は、全方位映像の中から任意の視点の映像フレームを切
り出して視聴することができる。
【００３７】図１には、本実施形態に適用される、空間
中のある１つの点を視点としてその３６０度の全方位映
像を同時に撮影するタイプの全方位カメラ１０の構成を
示している。
中のある１つの点を視点としてその３６０度の全方位映
像を同時に撮影するタイプの全方位カメラ１０の構成を
示している。
【００３８】同図に示すように、全方位カメラ１０は、
所定の円周方向に略等間隔に配列された８台のカメラ１
１Ａ〜１１Ｈと、各カメラ１１Ａ…毎にその視線方向に
配設された８枚の平面鏡が８角錐上に配設された反射部
１２とで構成される。ここで、各カメラ１１Ａ〜１１Ｈ
の投影中心が全方位カメラ１０の中央付近で一致するよ
うに、且つ、各カメラ１１Ａ〜１１Ｈの視線方向が１つ
の水平面上で所定角度間隔を置くように、各カメラ１１
Ａ〜１１Ｈが設置されている。
所定の円周方向に略等間隔に配列された８台のカメラ１
１Ａ〜１１Ｈと、各カメラ１１Ａ…毎にその視線方向に
配設された８枚の平面鏡が８角錐上に配設された反射部
１２とで構成される。ここで、各カメラ１１Ａ〜１１Ｈ
の投影中心が全方位カメラ１０の中央付近で一致するよ
うに、且つ、各カメラ１１Ａ〜１１Ｈの視線方向が１つ
の水平面上で所定角度間隔を置くように、各カメラ１１
Ａ〜１１Ｈが設置されている。
【００３９】各カメラ１１Ａ…が対応する平面鏡で反射
された周囲の情景を撮影することにより、全方位カメラ
１０全体としては、水平方向３６０度の映像の鏡像を撮
影することができる。
された周囲の情景を撮影することにより、全方位カメラ
１０全体としては、水平方向３６０度の映像の鏡像を撮
影することができる。
【００４０】各カメラ１１Ａ…にそれぞれＶＴＲを接続
することにより、合計８本の映像（及び音声）ストリー
ムを記録することができる。また、各カメラ１１Ａ…で
記録された映像ストリームをビデオ・キャプチャ・カー
ドを介してコンピュータ・データ（ビットマップ・ファ
イル）としてコンピュータ内に取り込むことにより、８
本のカメラ映像を貼り合わせて、１本の水平方向３６０
度の全方位映像を生成することができる。
することにより、合計８本の映像（及び音声）ストリー
ムを記録することができる。また、各カメラ１１Ａ…で
記録された映像ストリームをビデオ・キャプチャ・カー
ドを介してコンピュータ・データ（ビットマップ・ファ
イル）としてコンピュータ内に取り込むことにより、８
本のカメラ映像を貼り合わせて、１本の水平方向３６０
度の全方位映像を生成することができる。
【００４１】ＶＴＲで収録された各カメラ映像をコンピ
ュータによりビットマップ・ファイルとしてキャプチャ
リングした時点では、１本の映像ストリームのおける１
フレームの映像は、７２０×４８０画素からなる静止画
として表される。
ュータによりビットマップ・ファイルとしてキャプチャ
リングした時点では、１本の映像ストリームのおける１
フレームの映像は、７２０×４８０画素からなる静止画
として表される。
【００４２】図１に示す全方位カメラ１０の構成では、
各カメラ１１Ａ…の撮像映像は９０ど回転した形で収録
されている。カメラ画角の関係と８台のカメラ１１Ａ…
の視点を一致させる都合上、８本の映像ストリームを貼
り合わせる前に、図２に示すように、９０度回転やミラ
ー反転などの加工処理を行う。
各カメラ１１Ａ…の撮像映像は９０ど回転した形で収録
されている。カメラ画角の関係と８台のカメラ１１Ａ…
の視点を一致させる都合上、８本の映像ストリームを貼
り合わせる前に、図２に示すように、９０度回転やミラ
ー反転などの加工処理を行う。
【００４３】図３には、８台のカメラ１１Ａ〜１１Ｈで
撮影された映像素材データの各Ｍフレームについて９０
度回転やミラー反転などの加工を行うための処理手順を
フローチャートの形式で示している。このような処理手
順は、例えば、各カメラ１１Ａ〜１１Ｈの映像フレーム
をキャプチャリングしたコンピュータ上で、所定の制御
プログラムを実行するという形態で実現される。但し、
ｎ及びｍはそれぞれ、カメラ、フレーム数を計数するた
めに導入された変数である。
撮影された映像素材データの各Ｍフレームについて９０
度回転やミラー反転などの加工を行うための処理手順を
フローチャートの形式で示している。このような処理手
順は、例えば、各カメラ１１Ａ〜１１Ｈの映像フレーム
をキャプチャリングしたコンピュータ上で、所定の制御
プログラムを実行するという形態で実現される。但し、
ｎ及びｍはそれぞれ、カメラ、フレーム数を計数するた
めに導入された変数である。
【００４４】まず、ｎ及びｍにそれぞれ初期値１を代入
する（ステップＳ１，Ｓ２）。そして、ｎ台目のカメラ
のｍフレーム目の映像データについてのキャプチャリン
グを行う（ステップＳ３）。
する（ステップＳ１，Ｓ２）。そして、ｎ台目のカメラ
のｍフレーム目の映像データについてのキャプチャリン
グを行う（ステップＳ３）。
【００４５】次いで、キャプチャリングされたビットマ
ップ映像フレームに対して、ｎ台目のカメラが持つ歪み
パラメータを基に、レンズ歪み補正を行う（ステップＳ
４）。
ップ映像フレームに対して、ｎ台目のカメラが持つ歪み
パラメータを基に、レンズ歪み補正を行う（ステップＳ
４）。
【００４６】そして、図２に示したように、レンズ歪み
補正されたビットマップ映像フレームを９０度回転（ス
テップＳ５）、並びにミラー反転を施してから（ステッ
プＳ６）、ハード・ディスク装置などにデータ保存する
（ステップＳ７）。
補正されたビットマップ映像フレームを９０度回転（ス
テップＳ５）、並びにミラー反転を施してから（ステッ
プＳ６）、ハード・ディスク装置などにデータ保存する
（ステップＳ７）。
【００４７】次いで、ｍを１だけインクリメントして
（ステップＳ８）、フレーム数ｍが最大フレーム数Ｍに
到達していなければ（ステップＳ９）、ステップＳ３に
戻って、上述の映像フレーム・データの加工処理を繰り
返し実行する。
（ステップＳ８）、フレーム数ｍが最大フレーム数Ｍに
到達していなければ（ステップＳ９）、ステップＳ３に
戻って、上述の映像フレーム・データの加工処理を繰り
返し実行する。
【００４８】他方、ｎ台目のカメラについての処理フレ
ーム数が所定値Ｍに到達した場合には、ｎを１だけイン
クリメントして（ステップＳ１０）、ｎが８に到達して
いなければ（ステップＳ１１）、ステップＳ２に復帰し
て、次のカメラの映像フレームについて上述の映像フレ
ーム・データの加工処理を繰り返し実行する。
ーム数が所定値Ｍに到達した場合には、ｎを１だけイン
クリメントして（ステップＳ１０）、ｎが８に到達して
いなければ（ステップＳ１１）、ステップＳ２に復帰し
て、次のカメラの映像フレームについて上述の映像フレ
ーム・データの加工処理を繰り返し実行する。
【００４９】また、８台すべてのカメラ１１Ａ〜１１Ｈ
についてデータ加工を終えたならば、データを保存して
（ステップＳ１２）、本処理ルーチン全体を終了する。
についてデータ加工を終えたならば、データを保存して
（ステップＳ１２）、本処理ルーチン全体を終了する。
【００５０】図３に示したような各カメラ１１Ａ…毎の
映像フレーム・データの加工を行った後、各カメラ１１
Ａ…の同期した８枚の映像フレームを、図４に示すよう
に貼り合わせて、１枚のフレームを生成する。このと
き、全方位カメラ１０の構成として各カメラ１１Ａ〜１
１Ｈが設置された順番（図１を参照のこと）に従って各
映像フレームを円筒側面上に配置することにより、貼り
合わせた映像フレームは全方位カメラ１０が捉えた３６
０度の全方位映像を表すことができる。
映像フレーム・データの加工を行った後、各カメラ１１
Ａ…の同期した８枚の映像フレームを、図４に示すよう
に貼り合わせて、１枚のフレームを生成する。このと
き、全方位カメラ１０の構成として各カメラ１１Ａ〜１
１Ｈが設置された順番（図１を参照のこと）に従って各
映像フレームを円筒側面上に配置することにより、貼り
合わせた映像フレームは全方位カメラ１０が捉えた３６
０度の全方位映像を表すことができる。
【００５１】このような全方位映像フレームを地上波放
送、衛星放送、ケーブル・テレビ放送、ハイビジョン放
送などによって配信した場合、受信機側では、受信した
全方位映像フレームの中から視聴ユーザが指定した画角
を切り出して表示することにより、元はどのカメラ１１
Ａ…で撮影した映像であるかを意識することなく、全方
位の情景から任意の画角をシームレスに視聴することが
できる。例えば、図４に示す全方位映像フレームにおい
て、画角Ｆ１が視聴ユーザによって指定された場合、受
信機上ではこれに該当する映像フレームが切り出されて
表示されるが、カメラ１１Ａ及び１１Ｂで撮影した映像
フレームを接続してできたものであることを視聴ユーザ
が意識する必要はない。同様に、画角をＦ２に移動させ
た場合であっても、受信機上ではこれに該当する映像フ
レームが切り出されて表示されるが、カメラ１１Ｃ及び
１１Ｄで撮影した映像フレームを接続してできたもので
あることを視聴ユーザが意識する必要はない。
送、衛星放送、ケーブル・テレビ放送、ハイビジョン放
送などによって配信した場合、受信機側では、受信した
全方位映像フレームの中から視聴ユーザが指定した画角
を切り出して表示することにより、元はどのカメラ１１
Ａ…で撮影した映像であるかを意識することなく、全方
位の情景から任意の画角をシームレスに視聴することが
できる。例えば、図４に示す全方位映像フレームにおい
て、画角Ｆ１が視聴ユーザによって指定された場合、受
信機上ではこれに該当する映像フレームが切り出されて
表示されるが、カメラ１１Ａ及び１１Ｂで撮影した映像
フレームを接続してできたものであることを視聴ユーザ
が意識する必要はない。同様に、画角をＦ２に移動させ
た場合であっても、受信機上ではこれに該当する映像フ
レームが切り出されて表示されるが、カメラ１１Ｃ及び
１１Ｄで撮影した映像フレームを接続してできたもので
あることを視聴ユーザが意識する必要はない。
【００５２】但し、映像フレームを地上波放送、衛星放
送、ケーブル・テレビ放送、ハイビジョン放送などによ
って配信する場合には、映像フレームはデータ量が膨大
であることから、例えばＨＤ（High Definition）−Ｍ
ＰＥＧ２（Moving Picture Experts Group 2）方式など
によって画像圧縮を行う。このとき、全方位映像をＨＤ
−ＭＰＥＧ２のサイズに合わせ込むという要請から、縦
横比を該画像圧縮方式により近いものにする必要があ
る。このために、図４に示したように、元は各カメラ１
１Ａ〜１１Ｈの映像フレームを円筒側面上に配置されて
なる全方位映像を、２等分して、後半のフレーム分割部
分を前半のフレーム分割部分の下部に配置するようにし
ている。
送、ケーブル・テレビ放送、ハイビジョン放送などによ
って配信する場合には、映像フレームはデータ量が膨大
であることから、例えばＨＤ（High Definition）−Ｍ
ＰＥＧ２（Moving Picture Experts Group 2）方式など
によって画像圧縮を行う。このとき、全方位映像をＨＤ
−ＭＰＥＧ２のサイズに合わせ込むという要請から、縦
横比を該画像圧縮方式により近いものにする必要があ
る。このために、図４に示したように、元は各カメラ１
１Ａ〜１１Ｈの映像フレームを円筒側面上に配置されて
なる全方位映像を、２等分して、後半のフレーム分割部
分を前半のフレーム分割部分の下部に配置するようにし
ている。
【００５３】このようなフレーム分割並びに再配置を行
った結果として、カメラ１１Ａとカメラ１１Ｈの映像フ
レーム、並びに、カメラＤとカメラＥの映像フレーム
は、本来連続したものであるが、データ配信される全方
位映像フレーム上では、図４に示すように離れた場所に
配置されてしまう。
った結果として、カメラ１１Ａとカメラ１１Ｈの映像フ
レーム、並びに、カメラＤとカメラＥの映像フレーム
は、本来連続したものであるが、データ配信される全方
位映像フレーム上では、図４に示すように離れた場所に
配置されてしまう。
【００５４】このような場合、受信機側で全方位映像の
画角を移動させていった場合、カメラＨとカメラＡの映
像フレームにまたがる領域や、カメラＤとカメラＥの映
像フレームにまたがる領域をシームレスに切り換えるこ
とは困難である。
画角を移動させていった場合、カメラＨとカメラＡの映
像フレームにまたがる領域や、カメラＤとカメラＥの映
像フレームにまたがる領域をシームレスに切り換えるこ
とは困難である。
【００５５】そこで、本実施形態では、円筒側面状の全
方位映像フレームを分割並びに再配置する際に、分割さ
れた一方の端縁に隣接するカメラの映像フレームを余分
に貼り合わせるようにした。すなわち、全方位映像の両
端縁付近では、貼り付けられたカメラの映像フレームが
重複するように再配置することにした。
方位映像フレームを分割並びに再配置する際に、分割さ
れた一方の端縁に隣接するカメラの映像フレームを余分
に貼り合わせるようにした。すなわち、全方位映像の両
端縁付近では、貼り付けられたカメラの映像フレームが
重複するように再配置することにした。
【００５６】図５には、円筒側面状の全方位映像フレー
ムを分割並びに再配置する際に、分割された一方の端縁
に隣接するカメラの映像フレームを余分に貼り合わせる
ようにして構成された、配信用全方位映像フレームを示
している。
ムを分割並びに再配置する際に、分割された一方の端縁
に隣接するカメラの映像フレームを余分に貼り合わせる
ようにして構成された、配信用全方位映像フレームを示
している。
【００５７】同図に示す例では、最終的にデータをＨＤ
−ＭＰＥＧ２方式のサイズに合わせ込むために、縦横比
を同じにするという意味も含めて、前半の全方位映像フ
レーム分割部分の先頭には、カメラ１１Ａに隣接するカ
メラ１１Ｈ、並びにカメラ１１Ｈに隣接するカメラ１１
Ｇの映像フレームを順次貼り合わせるとともに、後半の
全方位映像フレーム分割部分の先頭には、カメラ１１Ｅ
に隣接するカメラ１１Ｄ、並びにカメラ１１Ｄに隣接す
るカメラ１１Ｃの映像フレームを順次貼り合わせてい
る。
−ＭＰＥＧ２方式のサイズに合わせ込むために、縦横比
を同じにするという意味も含めて、前半の全方位映像フ
レーム分割部分の先頭には、カメラ１１Ａに隣接するカ
メラ１１Ｈ、並びにカメラ１１Ｈに隣接するカメラ１１
Ｇの映像フレームを順次貼り合わせるとともに、後半の
全方位映像フレーム分割部分の先頭には、カメラ１１Ｅ
に隣接するカメラ１１Ｄ、並びにカメラ１１Ｄに隣接す
るカメラ１１Ｃの映像フレームを順次貼り合わせてい
る。
【００５８】したがって、図示の全方位映像フレームで
は、カメラ１１Ｃ及び１１Ｄの映像フレームが前半と後
半で重複して存在するとともに、カメラ１１Ｇ及び１１
Ｈの映像フレームが前半と後半で重複して存在する。
は、カメラ１１Ｃ及び１１Ｄの映像フレームが前半と後
半で重複して存在するとともに、カメラ１１Ｇ及び１１
Ｈの映像フレームが前半と後半で重複して存在する。
【００５９】本実施形態では、図５に示したような全方
位映像フレームを配信するために、さらに、データ・サ
イズを縮小するとともに、ダミー・データを付加してＨ
Ｄ−ＭＰＥＧのサイズ（１９２０×１０８０画素）に合
わ込んで（図６を参照のこと）、１フレームを１枚のビ
ットマップ・ファイルとして、ビットマップの連番ファ
イル群を生成するようにした。
位映像フレームを配信するために、さらに、データ・サ
イズを縮小するとともに、ダミー・データを付加してＨ
Ｄ−ＭＰＥＧのサイズ（１９２０×１０８０画素）に合
わ込んで（図６を参照のこと）、１フレームを１枚のビ
ットマップ・ファイルとして、ビットマップの連番ファ
イル群を生成するようにした。
【００６０】図６に示した形式のビットマップ連番ファ
イルのデータを、コンピュータ上でレンダリングして、
ＨＤ−ＳＤＩ（Serial Digital Interface）出力の信号
に変換して、ＭＰＥＧ２ハードウェア符号化器により符
号化圧縮することにより、ＨＤ−ＭＰＥＧ２形式のトラ
ンスポート・ストリーム・データを生成する。
イルのデータを、コンピュータ上でレンダリングして、
ＨＤ−ＳＤＩ（Serial Digital Interface）出力の信号
に変換して、ＭＰＥＧ２ハードウェア符号化器により符
号化圧縮することにより、ＨＤ−ＭＰＥＧ２形式のトラ
ンスポート・ストリーム・データを生成する。
【００６１】図７には、キャプチャリングされ、図３に
示す処理手順に従ってデータ加工された各カメラ１１Ａ
〜１１Ｈの映像フレームから図６に示すような形式のビ
ットマップ連番ファイル・データ（配信用全方位映像フ
レーム）を生成するための処理手順をフローチャートの
形式で示している。この処理手順は、例えば、各カメラ
１１Ａ〜１１Ｈの映像フレームをキャプチャリングした
コンピュータ上で所定の制御プログラムを実行するとい
う形態で実現される。
示す処理手順に従ってデータ加工された各カメラ１１Ａ
〜１１Ｈの映像フレームから図６に示すような形式のビ
ットマップ連番ファイル・データ（配信用全方位映像フ
レーム）を生成するための処理手順をフローチャートの
形式で示している。この処理手順は、例えば、各カメラ
１１Ａ〜１１Ｈの映像フレームをキャプチャリングした
コンピュータ上で所定の制御プログラムを実行するとい
う形態で実現される。
【００６２】まず、変数ｎに初期値１を代入する（ステ
ップＳ２１）。そして、９０度回転及びミラー反転処理
を経て保存されているデータ（図３のステップＳ１２を
参照のこと）の中から、ｎ台目のカメラのｍフレーム目
の映像データを取り出す（ステップＳ２２）。
ップＳ２１）。そして、９０度回転及びミラー反転処理
を経て保存されているデータ（図３のステップＳ１２を
参照のこと）の中から、ｎ台目のカメラのｍフレーム目
の映像データを取り出す（ステップＳ２２）。
【００６３】次いで、取り出されたｎ台目のカメラのｍ
フレーム目の映像データを、３次元座標系において、円
筒側面上に貼り付ける（ステップＳ２３）。これは、平
面曲面変換を行うことによって実現される。
フレーム目の映像データを、３次元座標系において、円
筒側面上に貼り付ける（ステップＳ２３）。これは、平
面曲面変換を行うことによって実現される。
【００６４】さらに、円筒側面上に貼り付けられた映像
データを、カメラ方向に応じて配置する（ステップＳ２
４）。
データを、カメラ方向に応じて配置する（ステップＳ２
４）。
【００６５】次いで、ｎを１だけインクリメントして
（ステップＳ２５）、ｎが８に到達していなければ（ス
テップＳ２６）、ステップＳ２２に復帰して、次のカメ
ラの映像フレームについて上述の映像フレームの円筒側
面への貼り付け処理を繰り返し実行する。
（ステップＳ２５）、ｎが８に到達していなければ（ス
テップＳ２６）、ステップＳ２２に復帰して、次のカメ
ラの映像フレームについて上述の映像フレームの円筒側
面への貼り付け処理を繰り返し実行する。
【００６６】また、８台すべてのカメラ１１Ａ〜１１Ｈ
について映像フレームの円筒側面への貼り付け処理を終
えたならば、隣接する画像の整合性を調整しながら、円
筒半径やその他のパラメータの算出を行う（ステップＳ
２７）。
について映像フレームの円筒側面への貼り付け処理を終
えたならば、隣接する画像の整合性を調整しながら、円
筒半径やその他のパラメータの算出を行う（ステップＳ
２７）。
【００６７】次いで、円筒側面を切断して、長方形平面
に変換する（ステップＳ２８）。
に変換する（ステップＳ２８）。
【００６８】さらに、この長方形平面を横軸方向（カメ
ラの配置方向）の半分のところで分割して、その右半分
を左半分の下部に配置する（ステップＳ２９）。
ラの配置方向）の半分のところで分割して、その右半分
を左半分の下部に配置する（ステップＳ２９）。
【００６９】そして、ステップＳ２９により配置された
長方形平面の右下４分の１面積分を複製して、左上部の
左端に配置するとともに、長方形平面の右上４分の１面
積分を複製して、左下部の左端に配置する（ステップＳ
３０）。
長方形平面の右下４分の１面積分を複製して、左上部の
左端に配置するとともに、長方形平面の右上４分の１面
積分を複製して、左下部の左端に配置する（ステップＳ
３０）。
【００７０】次いで、このように左端に重複部分を含ん
だ長方形平面を、ＨＤ−ＭＰＥＧ方式のサイズに適合す
るように、１９２０×９４８画素のサイズに縮小する
（ステップＳ３１）。
だ長方形平面を、ＨＤ−ＭＰＥＧ方式のサイズに適合す
るように、１９２０×９４８画素のサイズに縮小する
（ステップＳ３１）。
【００７１】次いで、１９２０×９４８画素のサイズに
縮小した長方形平面の下部にダミー・データを付加し
て、ＨＤ−ＭＰＥＧ方式に適合した１９２０×１０８０
画素のデータにする（ステップＳ３２）。
縮小した長方形平面の下部にダミー・データを付加し
て、ＨＤ−ＭＰＥＧ方式に適合した１９２０×１０８０
画素のデータにする（ステップＳ３２）。
【００７２】最後に、ステップＳ２２〜Ｓ３２に至る各
種幾何学変換パラメータを保存して（ステップＳ３
３）、本処理ルーチン全体を終了する。
種幾何学変換パラメータを保存して（ステップＳ３
３）、本処理ルーチン全体を終了する。
【００７３】図８には、図７に示す処理手順に従ってビ
ットマップ連番ファイルにされた全方位映像フレームを
レンダリングするための処理手順をフローチャートの形
式で示している。この処理手順は、例えば、各カメラ１
１Ａ〜１１Ｈの映像フレームをキャプチャリングしたコ
ンピュータ上で所定の制御プログラムを実行するという
形態で実現される。
ットマップ連番ファイルにされた全方位映像フレームを
レンダリングするための処理手順をフローチャートの形
式で示している。この処理手順は、例えば、各カメラ１
１Ａ〜１１Ｈの映像フレームをキャプチャリングしたコ
ンピュータ上で所定の制御プログラムを実行するという
形態で実現される。
【００７４】まず、変数ｍ及びｎに初期値１を代入する
（ステップＳ４１，Ｓ４２）。
（ステップＳ４１，Ｓ４２）。
【００７５】次いで、ビットマップ連番ファイルからｎ
台目のカメラについてのｍフレーム目の映像データを取
り出す（ステップＳ４３）。
台目のカメラについてのｍフレーム目の映像データを取
り出す（ステップＳ４３）。
【００７６】次いで、ｎを１だけインクリメントして
（ステップＳ４４）、ｎが８に到達していなければ（ス
テップＳ４５）、ステップＳ４２に復帰して、次のカメ
ラのｍフレーム目の映像データを取り出す。
（ステップＳ４４）、ｎが８に到達していなければ（ス
テップＳ４５）、ステップＳ４２に復帰して、次のカメ
ラのｍフレーム目の映像データを取り出す。
【００７７】また、８台すべてのカメラ１１Ａ〜１１Ｈ
についてｍフレーム目の映像データの取り出しを終えた
ならば、取り出した各映像データに対して、図７のステ
ップＳ３３で記憶しておいたパラメータを用いて幾何学
変換してからデータの保存を行う（ステップＳ４６）。
についてｍフレーム目の映像データの取り出しを終えた
ならば、取り出した各映像データに対して、図７のステ
ップＳ３３で記憶しておいたパラメータを用いて幾何学
変換してからデータの保存を行う（ステップＳ４６）。
【００７８】そして、ｍを１だけインクリメントして
（ステップＳ４７）、フレーム数ｍが最大フレーム数Ｍ
に到達していなければ（ステップＳ４８）、ステップＳ
４２に戻って、上述の映像データについての幾何学変換
処理を繰り返し行う。
（ステップＳ４７）、フレーム数ｍが最大フレーム数Ｍ
に到達していなければ（ステップＳ４８）、ステップＳ
４２に戻って、上述の映像データについての幾何学変換
処理を繰り返し行う。
【００７９】また、すべての映像データについて幾何学
変換処理を終えたならば、本処理ルーチン全体を終了す
る。
変換処理を終えたならば、本処理ルーチン全体を終了す
る。
【００８０】図７に示すような処理手順に従って生成さ
れた配信用の全方位映像フレーム（図６を参照のこと）
をビットマップ連番ファイルとして、さらに、図８に示
すような処理手順に従ってコンピュータ上でレンダリン
グして、ＨＤ−ＳＤＩ（Serial Digital Interface）出
力の信号に変換して、ＭＰＥＧ２ハードウェア符号化器
により符号化圧縮することにより、ＨＤ−ＭＰＥＧ２形
式のトランスポート・ストリーム・データを生成するこ
とができる。
れた配信用の全方位映像フレーム（図６を参照のこと）
をビットマップ連番ファイルとして、さらに、図８に示
すような処理手順に従ってコンピュータ上でレンダリン
グして、ＨＤ−ＳＤＩ（Serial Digital Interface）出
力の信号に変換して、ＭＰＥＧ２ハードウェア符号化器
により符号化圧縮することにより、ＨＤ−ＭＰＥＧ２形
式のトランスポート・ストリーム・データを生成するこ
とができる。
【００８１】そして、このようなトランスポート・スト
リームを受信する受信機側では、後述するように、視点
自由形の受信を行うことができる。すなわち、全方位映
像フレームの中から視聴ユーザが指定する任意の画角を
シームレスに切り出して表示することができる。視聴ユ
ーザは、表示中の映像が全方位カメラ１０のどのカメラ
の映像フレームによるものかをまったく意識する必要が
ない。
リームを受信する受信機側では、後述するように、視点
自由形の受信を行うことができる。すなわち、全方位映
像フレームの中から視聴ユーザが指定する任意の画角を
シームレスに切り出して表示することができる。視聴ユ
ーザは、表示中の映像が全方位カメラ１０のどのカメラ
の映像フレームによるものかをまったく意識する必要が
ない。
【００８２】上述したような全方位映像フレームを放送
して、受信機側で視点自由形の受信を行うためには、こ
のデータが全方位映像であることを判別するデータを送
る必要がある。
して、受信機側で視点自由形の受信を行うためには、こ
のデータが全方位映像であることを判別するデータを送
る必要がある。
【００８３】既存の衛星放送においては、放送されたデ
ータの種類などを規定するＰＳＩ（Program Service In
formation）データがあるので、其処に当該放送番組が
３６０度全方位映像である旨を示すフラグなどを付加す
ることによって、受信機側ではこのフラグを判別するこ
とによって、カーソル・キー（後述）をアクティブにし
て視点自由形の視聴を許可することができる。（伝送制
御信号の中でＩＳＯ／ＩＥＣ１３８１８−１で規格化さ
れた部分をＰＳＩという。ＰＳＩデータは４種類のテー
ブル（ＰＡＴ，ＣＡＴ，ＰＭＴ，ＮＩＴ）からなり、セ
クション形式で伝送される。）
ータの種類などを規定するＰＳＩ（Program Service In
formation）データがあるので、其処に当該放送番組が
３６０度全方位映像である旨を示すフラグなどを付加す
ることによって、受信機側ではこのフラグを判別するこ
とによって、カーソル・キー（後述）をアクティブにし
て視点自由形の視聴を許可することができる。（伝送制
御信号の中でＩＳＯ／ＩＥＣ１３８１８−１で規格化さ
れた部分をＰＳＩという。ＰＳＩデータは４種類のテー
ブル（ＰＡＴ，ＣＡＴ，ＰＭＴ，ＮＩＴ）からなり、セ
クション形式で伝送される。）
【００８４】また、全方位映像を受信するといっても映
像データ自体はＨＤ−ＭＰＥＧデータであるので、映像
データの送信構造を改造する必要はない。
像データ自体はＨＤ−ＭＰＥＧデータであるので、映像
データの送信構造を改造する必要はない。
【００８５】他方、全方位映像データの受信機側では、
まずＰＳＩデータを調べることによって全方位映像であ
ることを確認すると、デフォルトのカメラ位置の映像を
切り出すようにする。例えば、隣接するカメラ１１Ａ及
び１１Ｂで撮影された映像をデフォルト位置の映像に設
定しておく。
まずＰＳＩデータを調べることによって全方位映像であ
ることを確認すると、デフォルトのカメラ位置の映像を
切り出すようにする。例えば、隣接するカメラ１１Ａ及
び１１Ｂで撮影された映像をデフォルト位置の映像に設
定しておく。
【００８６】全方位映像からの表示映像の切り出し方法
としては、現行の受信機内のＭＰＥＧデコーダの駆動用
ソフト（デバイス・ドライバ）を改造して、ユーザから
指定された表示領域のＸＹ座標に従って任意の領域を表
示可能にする。
としては、現行の受信機内のＭＰＥＧデコーダの駆動用
ソフト（デバイス・ドライバ）を改造して、ユーザから
指定された表示領域のＸＹ座標に従って任意の領域を表
示可能にする。
【００８７】視聴ユーザが視点を変えたい場合には、例
えば、リモコン上のカーソルや、受信器本体のコントロ
ール・パネルの動きに合わせて、表示開始座標（Ｓｔａ
ｒｔ）及び表示終了座標（Ｅｎｄ）を特定して、全方位
映像の中で表示エリアを移動させる。
えば、リモコン上のカーソルや、受信器本体のコントロ
ール・パネルの動きに合わせて、表示開始座標（Ｓｔａ
ｒｔ）及び表示終了座標（Ｅｎｄ）を特定して、全方位
映像の中で表示エリアを移動させる。
【００８８】また、ズームしたい場合も、同様に、リモ
コンの決定キーや受信機本体のコントロール・パネルの
決定キーが押されている時間に対応した表示領域の縮小
率を算出して、表示開始座標及び表示終了座標を特定し
て表示する。
コンの決定キーや受信機本体のコントロール・パネルの
決定キーが押されている時間に対応した表示領域の縮小
率を算出して、表示開始座標及び表示終了座標を特定し
て表示する。
【００８９】Ｂ．１チャンネル・マルチアングル放送
次いで、空間上に配置された被写体を複数台のカメラで
取り囲んで、被写体を複数の視野角から撮影したマルチ
アングル映像を送信する例について説明する。
取り囲んで、被写体を複数の視野角から撮影したマルチ
アングル映像を送信する例について説明する。
【００９０】図９には、本実施形態に適用される、被写
体を複数の視野角から撮影するマルチアングル・カメラ
２０の構成を示している。同図に示すように、マルチア
ングル・カメラ２０は、ある特定の被写体を取り囲むよ
うに、被写体を中心とする円周方向に略等間隔で９台の
カメラ２１Ａ〜２１Ｉを配置することで構成される。
体を複数の視野角から撮影するマルチアングル・カメラ
２０の構成を示している。同図に示すように、マルチア
ングル・カメラ２０は、ある特定の被写体を取り囲むよ
うに、被写体を中心とする円周方向に略等間隔で９台の
カメラ２１Ａ〜２１Ｉを配置することで構成される。
【００９１】各カメラ２１Ａ…にそれぞれＶＴＲを接続
することにより、合計９本の映像（及び音声）ストリー
ムを記録することができる。また、各カメラ２１Ａ…で
記録された映像ストリームをビデオ・キャプチャ・カー
ドを介してコンピュータ・データ（ビットマップ・ファ
イル）としてコンピュータ内に取り込むことにより、９
本のカメラ映像を貼り合わせて、被写体についての９方
向からのマルチアングル映像を生成することができる。
することにより、合計９本の映像（及び音声）ストリー
ムを記録することができる。また、各カメラ２１Ａ…で
記録された映像ストリームをビデオ・キャプチャ・カー
ドを介してコンピュータ・データ（ビットマップ・ファ
イル）としてコンピュータ内に取り込むことにより、９
本のカメラ映像を貼り合わせて、被写体についての９方
向からのマルチアングル映像を生成することができる。
【００９２】ＶＴＲで収録された各カメラ映像をコンピ
ュータによりビットマップ・ファイルとしてキャプチャ
リングした時点では、１本の映像ストリームのおける１
フレームの映像は、７２０×４８０画素からなる静止画
として表される。９台のカメラ２１Ａ〜２１Ｉからの映
像データを、被写体の周囲に配置した順番（図８を参照
のこと）に従って貼り合わせて、マルチアングル映像を
図１０に示すように１枚のフレームにする。
ュータによりビットマップ・ファイルとしてキャプチャ
リングした時点では、１本の映像ストリームのおける１
フレームの映像は、７２０×４８０画素からなる静止画
として表される。９台のカメラ２１Ａ〜２１Ｉからの映
像データを、被写体の周囲に配置した順番（図８を参照
のこと）に従って貼り合わせて、マルチアングル映像を
図１０に示すように１枚のフレームにする。
【００９３】本実施形態では、図１０に示したようなマ
ルチアングル映像データをＨＤ−ＭＰＥＧの規定サイズ
（１９２０×１０８０画素）に合わせて配信するため
に、図１１に示すようにダミー・データを付加して縦横
比を同じにするとともに縮小率を調整して、９台のカメ
ラ映像からなる１フレームを１枚のビットマップ・ファ
イルとして、ビットマップの連番ファイル群を生成する
ようにした。
ルチアングル映像データをＨＤ−ＭＰＥＧの規定サイズ
（１９２０×１０８０画素）に合わせて配信するため
に、図１１に示すようにダミー・データを付加して縦横
比を同じにするとともに縮小率を調整して、９台のカメ
ラ映像からなる１フレームを１枚のビットマップ・ファ
イルとして、ビットマップの連番ファイル群を生成する
ようにした。
【００９４】図１２には、マルチアングル映像データを
作成する際の、９台のカメラ２１Ａ〜２１Ｉによる映像
素材データの各Ｍフレーム分のデータを取り込むための
処理手順をフローチャートの形式で示している。この処
理手順は、例えば、各カメラ２１Ａ〜２１Ｉの映像フレ
ームをキャプチャリングしたコンピュータ上で所定の制
御プログラムを実行するという形態で実現される。
作成する際の、９台のカメラ２１Ａ〜２１Ｉによる映像
素材データの各Ｍフレーム分のデータを取り込むための
処理手順をフローチャートの形式で示している。この処
理手順は、例えば、各カメラ２１Ａ〜２１Ｉの映像フレ
ームをキャプチャリングしたコンピュータ上で所定の制
御プログラムを実行するという形態で実現される。
【００９５】まず、変数ｍ及びｎに初期値１を代入する
（ステップＳ５１，Ｓ５２）。そして、ｎ台目のカメラ
のｍフレーム目の映像データについてのキャプチャリン
グを行う（ステップＳ５３）。
（ステップＳ５１，Ｓ５２）。そして、ｎ台目のカメラ
のｍフレーム目の映像データについてのキャプチャリン
グを行う（ステップＳ５３）。
【００９６】次いで、ｍを１だけインクリメントして
（ステップＳ５４）、フレーム数ｍが最大フレーム数Ｍ
に到達していなければ（ステップＳ５５）、ステップＳ
５３に戻って、次のフレームについての映像データの取
り出しを繰り返し実行する。
（ステップＳ５４）、フレーム数ｍが最大フレーム数Ｍ
に到達していなければ（ステップＳ５５）、ステップＳ
５３に戻って、次のフレームについての映像データの取
り出しを繰り返し実行する。
【００９７】他方、ｎ台目のカメラについての処理フレ
ーム数が所定値Ｍに到達した場合には、ｎを１だけイン
クリメントして（ステップＳ５６）、ｎが８に到達して
いなければ（ステップＳ５７）、ステップＳ５２に復帰
して、次のカメラの映像フレームについて映像データの
取り出しを繰り返し実行する。
ーム数が所定値Ｍに到達した場合には、ｎを１だけイン
クリメントして（ステップＳ５６）、ｎが８に到達して
いなければ（ステップＳ５７）、ステップＳ５２に復帰
して、次のカメラの映像フレームについて映像データの
取り出しを繰り返し実行する。
【００９８】また、９台すべてのカメラ２１Ａ〜２１Ｉ
についてデータ取り出しを終えたならば、データを保存
して（ステップＳ５８）、本処理ルーチン全体を終了す
る。
についてデータ取り出しを終えたならば、データを保存
して（ステップＳ５８）、本処理ルーチン全体を終了す
る。
【００９９】また、図１３には、マルチアングル映像デ
ータを作成する際の、９台のカメラ２１Ａ〜２１Ｉによ
る映像素材データを貼り合わせてレンダリングするため
の処理手順をフローチャートの形式で示している。この
処理手順は、例えば、各カメラ２１Ａ〜２１Ｉの映像フ
レームをキャプチャリングしたコンピュータ上で所定の
制御プログラムを実行するという形態で実現される。
ータを作成する際の、９台のカメラ２１Ａ〜２１Ｉによ
る映像素材データを貼り合わせてレンダリングするため
の処理手順をフローチャートの形式で示している。この
処理手順は、例えば、各カメラ２１Ａ〜２１Ｉの映像フ
レームをキャプチャリングしたコンピュータ上で所定の
制御プログラムを実行するという形態で実現される。
【０１００】まず、変数ｍに初期値１を代入して（ステ
ップＳ６１）、図１２のステップＳ５８において保存し
ておいたデータから、カメラ２１Ａ〜２１Ｉのｍフレー
ム目の映像データを取り出す（ステップＳ６２）。
ップＳ６１）、図１２のステップＳ５８において保存し
ておいたデータから、カメラ２１Ａ〜２１Ｉのｍフレー
ム目の映像データを取り出す（ステップＳ６２）。
【０１０１】次いで、取り出された９枚の画面を貼り合
わせて、図１０に示したような長方形の画面（２１６０
×１４５８画素）を生成する（ステップＳ６３）。
わせて、図１０に示したような長方形の画面（２１６０
×１４５８画素）を生成する（ステップＳ６３）。
【０１０２】次いで、この長方形の画面を１６００×１
０８０画素のサイズに縮小し（ステップＳ６４）、さら
に、長方形画面の右端にダミー・データを付加すること
によって、ＨＤ−ＭＰＥＧ方式に適合した１９２０×１
０８０画素のデータを生成して、保存する（ステップＳ
６５）。
０８０画素のサイズに縮小し（ステップＳ６４）、さら
に、長方形画面の右端にダミー・データを付加すること
によって、ＨＤ−ＭＰＥＧ方式に適合した１９２０×１
０８０画素のデータを生成して、保存する（ステップＳ
６５）。
【０１０３】次いで、ｍを１だけインクリメントして
（ステップＳ６６）、フレーム数ｍが最大フレーム数Ｍ
に到達していなければ（ステップＳ６７）、ステップＳ
６２に戻って、上述の映像フレーム・データの貼り合わ
せ処理を繰り返し実行する。
（ステップＳ６６）、フレーム数ｍが最大フレーム数Ｍ
に到達していなければ（ステップＳ６７）、ステップＳ
６２に戻って、上述の映像フレーム・データの貼り合わ
せ処理を繰り返し実行する。
【０１０４】また、すべての映像データについて貼り合
わせ処理を終えたならば、本処理ルーチン全体を終了す
る。
わせ処理を終えたならば、本処理ルーチン全体を終了す
る。
【０１０５】図１１に示した形式のビットマップ連番フ
ァイルのデータを、図１２及び図１３に示す処理手順に
従ってコンピュータ上でレンダリングして、ＨＤ−ＳＤ
Ｉ（Serial Digital Interface）出力の信号に変換し
て、ＭＰＥＧ２ハードウェア符号化器により符号化圧縮
することにより、ＨＤ−ＭＰＥＧ２形式のトランスポー
ト・ストリーム・データを生成する。
ァイルのデータを、図１２及び図１３に示す処理手順に
従ってコンピュータ上でレンダリングして、ＨＤ−ＳＤ
Ｉ（Serial Digital Interface）出力の信号に変換し
て、ＭＰＥＧ２ハードウェア符号化器により符号化圧縮
することにより、ＨＤ−ＭＰＥＧ２形式のトランスポー
ト・ストリーム・データを生成する。
【０１０６】そして、このようなトランスポート・スト
リームを受信する受信機側では、後述するように、視点
自由形の受信を行うことができる。すなわち、マルチア
ングル映像フレームの中から視聴ユーザが指定する任意
の画角を切り出して表示することができる。視聴ユーザ
は、表示中の映像がマルチアングル・カメラ２０のどの
カメラの映像フレームによるものかをまったく意識する
必要がない。
リームを受信する受信機側では、後述するように、視点
自由形の受信を行うことができる。すなわち、マルチア
ングル映像フレームの中から視聴ユーザが指定する任意
の画角を切り出して表示することができる。視聴ユーザ
は、表示中の映像がマルチアングル・カメラ２０のどの
カメラの映像フレームによるものかをまったく意識する
必要がない。
【０１０７】上述したようなマルチアングル映像フレー
ムを放送して、受信機側で視点自由形の受信を行うため
には、このデータがマルチアングル映像であることを判
別するデータを送る必要がある。
ムを放送して、受信機側で視点自由形の受信を行うため
には、このデータがマルチアングル映像であることを判
別するデータを送る必要がある。
【０１０８】既存の衛星放送においては、放送されたデ
ータの種類などを規定するＰＳＩ（Program Service In
formation）データがある。したがって、３６０度全方
位映像を送信する場合と同様に、マルチアングル映像で
ある旨を示すフラグなどを付加することによって、受信
機側ではこのフラグを判別することによって、カーソル
・キー（後述）をアクティブにして視点自由形の視聴を
許可することができる。（伝送制御信号の中でＩＳＯ／
ＩＥＣ１３８１８−１で規格化された部分をＰＳＩとい
う。ＰＳＩデータは４種類のテーブル（ＰＡＴ，ＣＡ
Ｔ，ＰＭＴ，ＮＩＴ）からなり、セクション形式で伝送
される。）
ータの種類などを規定するＰＳＩ（Program Service In
formation）データがある。したがって、３６０度全方
位映像を送信する場合と同様に、マルチアングル映像で
ある旨を示すフラグなどを付加することによって、受信
機側ではこのフラグを判別することによって、カーソル
・キー（後述）をアクティブにして視点自由形の視聴を
許可することができる。（伝送制御信号の中でＩＳＯ／
ＩＥＣ１３８１８−１で規格化された部分をＰＳＩとい
う。ＰＳＩデータは４種類のテーブル（ＰＡＴ，ＣＡ
Ｔ，ＰＭＴ，ＮＩＴ）からなり、セクション形式で伝送
される。）
【０１０９】また、マルチアングル映像を受信するとい
っても映像データ自体はＨＤ−ＭＰＥＧデータであるの
で、映像データの送信構造を改造する必要はない。
っても映像データ自体はＨＤ−ＭＰＥＧデータであるの
で、映像データの送信構造を改造する必要はない。
【０１１０】他方、マルチアングル映像データの受信機
側では、まずＰＳＩデータを調べることによって全方位
映像であることを確認すると、デフォルトのカメラ位置
の映像を切り出すようにする。例えば、１つのカメラ２
１Ａで撮影された映像をデフォルト位置の映像に設定し
ておく。
側では、まずＰＳＩデータを調べることによって全方位
映像であることを確認すると、デフォルトのカメラ位置
の映像を切り出すようにする。例えば、１つのカメラ２
１Ａで撮影された映像をデフォルト位置の映像に設定し
ておく。
【０１１１】全方位映像からの表示映像の切り出し方法
としては、現行の受信機内のＭＰＥＧデコーダの駆動用
ソフト（デバイス・ドライバ）を改造して、ユーザから
指定された表示領域のＸＹ座標に従って任意の領域を表
示可能にする。
としては、現行の受信機内のＭＰＥＧデコーダの駆動用
ソフト（デバイス・ドライバ）を改造して、ユーザから
指定された表示領域のＸＹ座標に従って任意の領域を表
示可能にする。
【０１１２】視聴ユーザが視点を変えたい場合には、例
えば、リモコン上のカーソルや、受信器本体のコントロ
ール・パネルの動きに合わせて、表示開始座標及び表示
終了座標を特定して、全方位映像の中で表示エリアを移
動させる。
えば、リモコン上のカーソルや、受信器本体のコントロ
ール・パネルの動きに合わせて、表示開始座標及び表示
終了座標を特定して、全方位映像の中で表示エリアを移
動させる。
【０１１３】マルチアングル映像の場合、前述した３６
０度全方位映像の場合と異なり、隣接するカメラの映像
同士はシームレスな連続性はない。このため、カーソル
・キーを押すことにより表示映像がカーソル指示方向に
隣接するカメラの映像に切り替わるというような動きに
する。例えば、図１１に示すようなマルチアングル映像
フレームにおいて、デフォルトでカメラ２１Ａの映像を
切り出して表示しているときに、右方向カーソルを１回
押すとカメラ２１Ｂの映像に切り替わり、又、左方向カ
ーソルを１回押すとカメラ２１Ｉの映像に切り替わると
いう動きをさせる。
０度全方位映像の場合と異なり、隣接するカメラの映像
同士はシームレスな連続性はない。このため、カーソル
・キーを押すことにより表示映像がカーソル指示方向に
隣接するカメラの映像に切り替わるというような動きに
する。例えば、図１１に示すようなマルチアングル映像
フレームにおいて、デフォルトでカメラ２１Ａの映像を
切り出して表示しているときに、右方向カーソルを１回
押すとカメラ２１Ｂの映像に切り替わり、又、左方向カ
ーソルを１回押すとカメラ２１Ｉの映像に切り替わると
いう動きをさせる。
【０１１４】また、ズームしたい場合には、リモコンの
決定キーや受信機本体のコントロール・パネルの決定キ
ーが押されている時間に対応した表示領域の縮小率を算
出して、表示開始座標及び表示終了座標を特定して表示
する。
決定キーや受信機本体のコントロール・パネルの決定キ
ーが押されている時間に対応した表示領域の縮小率を算
出して、表示開始座標及び表示終了座標を特定して表示
する。
【０１１５】Ｃ．システム構成
この項では、上述した全方位映像データやマルチアング
ル映像データを送受信するシステムの構成について説明
する。図１４には、視点自由形の映像データを送受信す
るシステム全体のハードウェア構成を模式的に示してい
る。
ル映像データを送受信するシステムの構成について説明
する。図１４には、視点自由形の映像データを送受信す
るシステム全体のハードウェア構成を模式的に示してい
る。
【０１１６】所定の場所における全方位映像、あるい
は、特定の被写体に関するマルチアングル映像を撮影す
るカメラ・システムは、図１並びに図８を用いて既に説
明したように、複数台のカメラを備えている。さらに、
撮影現場での音声を入力するマイクを配設していてもよ
い。
は、特定の被写体に関するマルチアングル映像を撮影す
るカメラ・システムは、図１並びに図８を用いて既に説
明したように、複数台のカメラを備えている。さらに、
撮影現場での音声を入力するマイクを配設していてもよ
い。
【０１１７】カメラ・システムが空間上のある１つの点
を視点とした全方位映像を撮影する場合には、各カメラ
は、所定の円周方向に略等間隔に配列される。また、被
写体のマルチアングル映像を撮影する場合には、ある特
定の被写体を取り囲むように、被写体を中心とする円周
方向に略等間隔で、各カメラが配置される。
を視点とした全方位映像を撮影する場合には、各カメラ
は、所定の円周方向に略等間隔に配列される。また、被
写体のマルチアングル映像を撮影する場合には、ある特
定の被写体を取り囲むように、被写体を中心とする円周
方向に略等間隔で、各カメラが配置される。
【０１１８】各カメラには、それぞれＶＴＲが接続され
ており、複数本の映像（及び音声）ストリームを記録す
ることができる。
ており、複数本の映像（及び音声）ストリームを記録す
ることができる。
【０１１９】これら記録された映像ストリームを、切り
換え器を介してビデオ・キャプチャリングして、コンピ
ュータ・データ（ビットマップ・ファイル）としてコン
ピュータ内に取り込むことにより、さまざまなコンピュ
ータ処理を行うことができる。例えば、各カメラ映像を
キャプチャリングして、データ加工、ビットマップ連番
ファイル・データの生成、映像フレームのレンダリング
などの処理を経て、配信用の全方位映像データやマルチ
アングル映像データを生成することができる。
換え器を介してビデオ・キャプチャリングして、コンピ
ュータ・データ（ビットマップ・ファイル）としてコン
ピュータ内に取り込むことにより、さまざまなコンピュ
ータ処理を行うことができる。例えば、各カメラ映像を
キャプチャリングして、データ加工、ビットマップ連番
ファイル・データの生成、映像フレームのレンダリング
などの処理を経て、配信用の全方位映像データやマルチ
アングル映像データを生成することができる。
【０１２０】コンピュータが出力する配信用の全方位映
像データやマルチアングル映像データは、ＨＤ−ＭＰＥ
Ｇ方式で取り扱うことができる１９２０×１０８０画素
サイズの映像フレームである。後続のＭＰＥＧエンコー
ダは、映像ストリームをＨＤ−ＭＰＥＧ方式で符号化処
理する。
像データやマルチアングル映像データは、ＨＤ−ＭＰＥ
Ｇ方式で取り扱うことができる１９２０×１０８０画素
サイズの映像フレームである。後続のＭＰＥＧエンコー
ダは、映像ストリームをＨＤ−ＭＰＥＧ方式で符号化処
理する。
【０１２１】また、ＰＳＩ入力装置は、映像ストリーム
が視点自由形の全方位映像又はマルチアングル映像であ
ることを示すフラグを設定する。マルチプレクサ（ＭＵ
Ｘ）は、ＨＤ−ＭＰＥＧ方式で符号化された映像ストリ
ームとＰＳＩデータを多重化する。
が視点自由形の全方位映像又はマルチアングル映像であ
ることを示すフラグを設定する。マルチプレクサ（ＭＵ
Ｘ）は、ＨＤ−ＭＰＥＧ方式で符号化された映像ストリ
ームとＰＳＩデータを多重化する。
【０１２２】映像ストリームは、送信部（ＴＸ）から衛
星波として送出され、放送衛星経由で受信機（セットト
ップボックス：ＳＴＢ）に届く。
星波として送出され、放送衛星経由で受信機（セットト
ップボックス：ＳＴＢ）に届く。
【０１２３】受信機側では、受信部（ＲＸ）で受信され
た映像ストリームは、フレーム・バッファに一時保持さ
れた後、ＭＰＥＧデコーダで復号化され、テレビ・モニ
タ画面に表示される。
た映像ストリームは、フレーム・バッファに一時保持さ
れた後、ＭＰＥＧデコーダで復号化され、テレビ・モニ
タ画面に表示される。
【０１２４】受信機側では、まずＰＳＩデータを調べる
ことにより、受信した映像フレームが全方位映像あるい
はマルチアングル映像であることを確認することができ
る。そして、デフォルトのカメラ位置の映像を切り出し
て、テレビ・モニタに表示するようにする。
ことにより、受信した映像フレームが全方位映像あるい
はマルチアングル映像であることを確認することができ
る。そして、デフォルトのカメラ位置の映像を切り出し
て、テレビ・モニタに表示するようにする。
【０１２５】全方位映像やマルチアングル映像からの表
示映像の切り出し方法としては、現行の受信機内のＭＰ
ＥＧデコーダの駆動用ソフト（デバイス・ドライバ）を
改造して、ユーザから指定された表示領域のＸＹ座標に
従って任意の領域を表示可能にする。
示映像の切り出し方法としては、現行の受信機内のＭＰ
ＥＧデコーダの駆動用ソフト（デバイス・ドライバ）を
改造して、ユーザから指定された表示領域のＸＹ座標に
従って任意の領域を表示可能にする。
【０１２６】視聴ユーザが視点を変えたい場合には、例
えば、リモコン上のカーソルや、受信器本体のコントロ
ール・パネルの動きに合わせて、表示開始座標及び表示
終了座標を特定して、全方位映像の中で表示エリアを移
動させる。
えば、リモコン上のカーソルや、受信器本体のコントロ
ール・パネルの動きに合わせて、表示開始座標及び表示
終了座標を特定して、全方位映像の中で表示エリアを移
動させる。
【０１２７】また、ズームしたい場合も、同様に、リモ
コンの決定キーや受信機本体のコントロール・パネルの
決定キーが押されている時間に対応した表示領域の縮小
率を算出して、表示開始座標及び表示終了座標を特定し
て表示する。
コンの決定キーや受信機本体のコントロール・パネルの
決定キーが押されている時間に対応した表示領域の縮小
率を算出して、表示開始座標及び表示終了座標を特定し
て表示する。
【０１２８】受信機側で映像ストリームを再生するため
の処理については後に詳解する。
の処理については後に詳解する。
【０１２９】図１４では、衛星放送により全方位映像や
マルチアングル映像ストリームを配信するシステム構成
例を示しているが、地上波放送やケーブル・テレビなど
の送信においても、送受信機間の通信媒体が相違するだ
けで、同様の構成となるという点を理解されたい。
マルチアングル映像ストリームを配信するシステム構成
例を示しているが、地上波放送やケーブル・テレビなど
の送信においても、送受信機間の通信媒体が相違するだ
けで、同様の構成となるという点を理解されたい。
【０１３０】図１５には、各カメラ映像をキャプチャリ
ングして、データ加工、ビットマップ連番ファイル・デ
ータの生成、映像フレームのレンダリングなどの処理を
行うコンピュータ１００のハードウェア構成を模式的に
示している。
ングして、データ加工、ビットマップ連番ファイル・デ
ータの生成、映像フレームのレンダリングなどの処理を
行うコンピュータ１００のハードウェア構成を模式的に
示している。
【０１３１】システム１００のメイン・コントローラで
あるＣＰＵ（Central Processing Unit）１０１は、オ
ペレーティング・システム（ＯＳ）の制御下で、各種の
アプリケーションを実行する。ＣＰＵ１０１は、例え
ば、キャプチャしたカメラ映像データに対して加工、ビ
ットマップ連番ファイル・データの生成、映像フレーム
のレンダリングなどの処理を行う全方位・マルチアング
ル映像処理ソフトウェアを実行することができる。図示
の通り、ＣＰＵ１０１は、バス１０８によって他の機器
類（後述）と相互接続されている。
あるＣＰＵ（Central Processing Unit）１０１は、オ
ペレーティング・システム（ＯＳ）の制御下で、各種の
アプリケーションを実行する。ＣＰＵ１０１は、例え
ば、キャプチャしたカメラ映像データに対して加工、ビ
ットマップ連番ファイル・データの生成、映像フレーム
のレンダリングなどの処理を行う全方位・マルチアング
ル映像処理ソフトウェアを実行することができる。図示
の通り、ＣＰＵ１０１は、バス１０８によって他の機器
類（後述）と相互接続されている。
【０１３２】メモリ１０２は、ＣＰＵ１０１において実
行されるプログラム・コードを格納したり、実行中の作
業データを一時保管するために使用される記憶装置であ
る。同図に示すメモリ１０２は、ＲＯＭなどの不揮発性
メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むも
のと理解されたい。
行されるプログラム・コードを格納したり、実行中の作
業データを一時保管するために使用される記憶装置であ
る。同図に示すメモリ１０２は、ＲＯＭなどの不揮発性
メモリ及びＤＲＡＭなどの揮発性メモリの双方を含むも
のと理解されたい。
【０１３３】ディスプレイ・コントローラ１０３は、Ｃ
ＰＵ１０１が発行する描画命令を実際に処理するための
専用コントローラである。ディスプレイ・コントローラ
１０３において処理された描画データは、例えばフレー
ム・バッファ（図示しない）に一旦書き込まれた後、デ
ィスプレイ１１１によって画面出力される。ディスプレ
イ・コントローラ１０３及びディスプレイ１１１は、３
次元形状データの貼り合わせ済みデータ２０を出力する
データ出力装置２２を構成する。
ＰＵ１０１が発行する描画命令を実際に処理するための
専用コントローラである。ディスプレイ・コントローラ
１０３において処理された描画データは、例えばフレー
ム・バッファ（図示しない）に一旦書き込まれた後、デ
ィスプレイ１１１によって画面出力される。ディスプレ
イ・コントローラ１０３及びディスプレイ１１１は、３
次元形状データの貼り合わせ済みデータ２０を出力する
データ出力装置２２を構成する。
【０１３４】入力機器インターフェース１０４は、キー
ボード１１２やマウス１１３などのユーザ入力機器を計
算機システム１００に接続するための装置である。
ボード１１２やマウス１１３などのユーザ入力機器を計
算機システム１００に接続するための装置である。
【０１３５】ネットワーク・インターフェース１０５
は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従
って、システム１００をＬＡＮ（Local Area Network）
などの局所的ネットワーク、さらにはインターネットの
ような広域ネットワークに接続することができる。
は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従
って、システム１００をＬＡＮ（Local Area Network）
などの局所的ネットワーク、さらにはインターネットの
ような広域ネットワークに接続することができる。
【０１３６】ネットワーク上では、複数のホスト端末
（図示しない）がトランスペアレントな状態で接続さ
れ、分散コンピューティング環境が構築されている。ネ
ットワーク上では、ソフトウェア・プログラムやデータ
・コンテンツなどの配信が行うことができる。例えば、
キャプチャしたカメラ映像データに対して加工、ビット
マップ連番ファイル・データの生成、映像フレームのレ
ンダリングなどの処理を行う全方位映像・マルチアング
ル映像の処理ソフトウェアを、ネットワーク経由でダウ
ンロードすることができる。また、全方位カメラやマル
チアングル・カメラによって撮影された個々のフレーム
・データや、レンダリングされた全方位映像ストリー
ム、マルチアングル映像ストリームを、ネットワーク経
由で配信することもできる。
（図示しない）がトランスペアレントな状態で接続さ
れ、分散コンピューティング環境が構築されている。ネ
ットワーク上では、ソフトウェア・プログラムやデータ
・コンテンツなどの配信が行うことができる。例えば、
キャプチャしたカメラ映像データに対して加工、ビット
マップ連番ファイル・データの生成、映像フレームのレ
ンダリングなどの処理を行う全方位映像・マルチアング
ル映像の処理ソフトウェアを、ネットワーク経由でダウ
ンロードすることができる。また、全方位カメラやマル
チアングル・カメラによって撮影された個々のフレーム
・データや、レンダリングされた全方位映像ストリー
ム、マルチアングル映像ストリームを、ネットワーク経
由で配信することもできる。
【０１３７】外部機器インターフェース１０７は、ハー
ド・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ド
ライブ１１５などの外部装置をシステム１００に接続す
るための装置である。
ド・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ド
ライブ１１５などの外部装置をシステム１００に接続す
るための装置である。
【０１３８】ＨＤＤ１１４は、記憶担体としての磁気デ
ィスクを固定的に搭載した外部記憶装置であり（周
知）、記憶容量やデータ転送速度などの点で他の外部記
憶装置よりも優れている。ソフトウェア・プログラムを
実行可能な状態でＨＤＤ１１４上に置くことをプログラ
ムのシステムへの「インストール」と呼ぶ。通常、ＨＤ
Ｄ１１４には、ＣＰＵ１０１が実行すべきオペレーティ
ング・システムのプログラム・コードや、アプリケーショ
ン・プログラム、デバイス・ドライバなどが不揮発的に格
納されている。
ィスクを固定的に搭載した外部記憶装置であり（周
知）、記憶容量やデータ転送速度などの点で他の外部記
憶装置よりも優れている。ソフトウェア・プログラムを
実行可能な状態でＨＤＤ１１４上に置くことをプログラ
ムのシステムへの「インストール」と呼ぶ。通常、ＨＤ
Ｄ１１４には、ＣＰＵ１０１が実行すべきオペレーティ
ング・システムのプログラム・コードや、アプリケーショ
ン・プログラム、デバイス・ドライバなどが不揮発的に格
納されている。
【０１３９】例えば、キャプチャしたカメラ映像データ
に対して加工、ビットマップ連番ファイル・データの生
成、映像フレームのレンダリングなどの処理を行う全方
位映像・マルチアングル映像の処理ソフトウェアを、Ｈ
ＤＤ１１４上にインストールすることができる。また、
全方位カメラやマルチアングル・カメラによって撮影さ
れた個々のフレーム・データや、レンダリングされた全
方位映像ストリーム、マルチアングル映像ストリームな
どのコンテンツをＨＤＤ１１４上に保存することもでき
る。
に対して加工、ビットマップ連番ファイル・データの生
成、映像フレームのレンダリングなどの処理を行う全方
位映像・マルチアングル映像の処理ソフトウェアを、Ｈ
ＤＤ１１４上にインストールすることができる。また、
全方位カメラやマルチアングル・カメラによって撮影さ
れた個々のフレーム・データや、レンダリングされた全
方位映像ストリーム、マルチアングル映像ストリームな
どのコンテンツをＨＤＤ１１４上に保存することもでき
る。
【０１４０】メディア・ドライブ１１５は、ＣＤ（Compa
ct Disc）やＭＯ（Magneto-Opticaldisc）、ＤＶＤ（Di
gital Versatile Disc）などの可搬型メディアを装填し
て、そのデータ記録面にアクセスするための装置であ
る。
ct Disc）やＭＯ（Magneto-Opticaldisc）、ＤＶＤ（Di
gital Versatile Disc）などの可搬型メディアを装填し
て、そのデータ記録面にアクセスするための装置であ
る。
【０１４１】可搬型メディアは、主として、ソフトウェ
ア・プログラムやデータ・ファイルなどをコンピュータ可
読形式のデータとしてバックアップすることや、これら
をシステム間で移動（すなわち販売・流通・配布を含む）
する目的で使用される。例えば、キャプチャしたカメラ
映像データに対して加工、ビットマップ連番ファイル・
データの生成、映像フレームのレンダリングなどの処理
を行う全方位映像・マルチアングル映像の処理ソフトウ
ェアを、これら可搬型メディアを利用して複数の機器間
で物理的に流通・配布することができる。また、全方位
カメラやマルチアングル・カメラによって撮影された個
々のフレーム・データや、レンダリングされた全方位映
像ストリーム、マルチアングル映像ストリームなどのコ
ンテンツを、これら可搬型メディアを利用して複数の機
器間で物理的に流通・配布することができる。
ア・プログラムやデータ・ファイルなどをコンピュータ可
読形式のデータとしてバックアップすることや、これら
をシステム間で移動（すなわち販売・流通・配布を含む）
する目的で使用される。例えば、キャプチャしたカメラ
映像データに対して加工、ビットマップ連番ファイル・
データの生成、映像フレームのレンダリングなどの処理
を行う全方位映像・マルチアングル映像の処理ソフトウ
ェアを、これら可搬型メディアを利用して複数の機器間
で物理的に流通・配布することができる。また、全方位
カメラやマルチアングル・カメラによって撮影された個
々のフレーム・データや、レンダリングされた全方位映
像ストリーム、マルチアングル映像ストリームなどのコ
ンテンツを、これら可搬型メディアを利用して複数の機
器間で物理的に流通・配布することができる。
【０１４２】ビデオ・キャプチャ・カード１０９は、切
り換え器を介して接続される各ＶＴＲから再生されるビ
デオ信号をコンピュータ・データ（ビットマップ・ファ
イル）としてコンピュータ内に取り込むための装置であ
る。ＶＴＲで収録された各カメラ映像をコンピュータに
よりビットマップ・ファイルとしてキャプチャリングし
た時点では、１本の映像ストリームのおける１フレーム
の映像は、７２０×４８０画素からなる静止画として表
される。
り換え器を介して接続される各ＶＴＲから再生されるビ
デオ信号をコンピュータ・データ（ビットマップ・ファ
イル）としてコンピュータ内に取り込むための装置であ
る。ＶＴＲで収録された各カメラ映像をコンピュータに
よりビットマップ・ファイルとしてキャプチャリングし
た時点では、１本の映像ストリームのおける１フレーム
の映像は、７２０×４８０画素からなる静止画として表
される。
【０１４３】なお、図１５に示すようなコンピュータ１
００の一例は、米ＩＢＭ社のパーソナル・コンピュータ"
ＰＣ／ＡＴ（Personal Computer/Advanced Technolog
y）"の互換機又は後継機である。勿論、他のアーキテク
チャを備えたコンピュータを、本実施形態に係るコンピ
ュータ１００として適用することも可能である。
００の一例は、米ＩＢＭ社のパーソナル・コンピュータ"
ＰＣ／ＡＴ（Personal Computer/Advanced Technolog
y）"の互換機又は後継機である。勿論、他のアーキテク
チャを備えたコンピュータを、本実施形態に係るコンピ
ュータ１００として適用することも可能である。
【０１４４】Ｄ．受信機側での映像ストリームの再生処
理 既に述べてように受信機側では、まずＰＳＩデータを調
べることにより、受信した映像フレームが全方位映像あ
るいはマルチアングル映像であることを確認することが
できる。そして、デフォルトのカメラ位置の映像を切り
出して、テレビ・モニタに表示することができる。
理 既に述べてように受信機側では、まずＰＳＩデータを調
べることにより、受信した映像フレームが全方位映像あ
るいはマルチアングル映像であることを確認することが
できる。そして、デフォルトのカメラ位置の映像を切り
出して、テレビ・モニタに表示することができる。
【０１４５】全方位映像やマルチアングル映像からの表
示映像の切り出し方法としては、現行の受信機内のＭＰ
ＥＧデコーダの駆動用ソフト（デバイス・ドライバ）を
改造して、ユーザから指定された表示領域のＸＹ座標に
従って任意の領域を表示可能にする。
示映像の切り出し方法としては、現行の受信機内のＭＰ
ＥＧデコーダの駆動用ソフト（デバイス・ドライバ）を
改造して、ユーザから指定された表示領域のＸＹ座標に
従って任意の領域を表示可能にする。
【０１４６】受信機上では、視聴ユーザが視点を変えた
い場合には、例えば、リモコン上のカーソルや、受信器
本体のコントロール・パネルの動きに合わせて、表示開
始座標及び表示終了座標を特定して、全方位映像の中で
表示エリアを移動させることができる。また、ズームし
たい場合も、同様に、リモコンの決定キーや受信機本体
のコントロール・パネルの決定キーが押されている時間
に対応した表示領域の縮小率を算出して、表示開始座標
及び表示終了座標を特定して表示することができる。
い場合には、例えば、リモコン上のカーソルや、受信器
本体のコントロール・パネルの動きに合わせて、表示開
始座標及び表示終了座標を特定して、全方位映像の中で
表示エリアを移動させることができる。また、ズームし
たい場合も、同様に、リモコンの決定キーや受信機本体
のコントロール・パネルの決定キーが押されている時間
に対応した表示領域の縮小率を算出して、表示開始座標
及び表示終了座標を特定して表示することができる。
【０１４７】この項では、受信機側での映像ストリーム
の再生処理について詳解する。
の再生処理について詳解する。
【０１４８】図１６には、受信機側で実行される映像ス
トリーム再生処理ソフトウェアによって実現される処理
手順をフローチャートの形式で示している。
トリーム再生処理ソフトウェアによって実現される処理
手順をフローチャートの形式で示している。
【０１４９】放送データを受信すると（ステップＳ７
１）、ＰＳＩデータのフラグ・データを抽出して（ステ
ップＳ７２）、受信データが視点自由形の映像ストリー
ムであるか否かを判別する（ステップＳ７３）。
１）、ＰＳＩデータのフラグ・データを抽出して（ステ
ップＳ７２）、受信データが視点自由形の映像ストリー
ムであるか否かを判別する（ステップＳ７３）。
【０１５０】受信データが視点自由形の映像ストリーム
でなければ、通常の放送データとして、ＭＰＥＧデコー
ドして（ステップＳ７４）、復号化された映像ストリー
ムをＴＶモニタ画面上で通常の表示処理を行う（ステッ
プＳ７５）。
でなければ、通常の放送データとして、ＭＰＥＧデコー
ドして（ステップＳ７４）、復号化された映像ストリー
ムをＴＶモニタ画面上で通常の表示処理を行う（ステッ
プＳ７５）。
【０１５１】他方、受信データが視点自由形の映像スト
リームであると判別された場合には（ステップＳ７
３）、さらに、受信データが３６０度全方位映像データ
であるか否かを判別する（ステップＳ７６）。
リームであると判別された場合には（ステップＳ７
３）、さらに、受信データが３６０度全方位映像データ
であるか否かを判別する（ステップＳ７６）。
【０１５２】受信データが３６０度全方位映像データで
ある場合には、ＴＶモニタに表示するデフォルトの映像
切り出し位置としてデフォルトの表示開始座標Ｓｔａｒ
ｔ（６４０，２１）及び表示終了座標Ｅｎｄ（１２８
０，４５３）を指定する（ステップＳ７７）。デフォル
ト座標位置はデフォルトのカメラ位置に相当する。
ある場合には、ＴＶモニタに表示するデフォルトの映像
切り出し位置としてデフォルトの表示開始座標Ｓｔａｒ
ｔ（６４０，２１）及び表示終了座標Ｅｎｄ（１２８
０，４５３）を指定する（ステップＳ７７）。デフォル
ト座標位置はデフォルトのカメラ位置に相当する。
【０１５３】視聴ユーザが受信機上で、カーソル・キー
や決定キーを介してデフォルト座標位置からの変更が指
定された（すなわち視点の変更）場合には（ステップＳ
７８）、キー操作量に応じて座標を計算して、この座標
計算値に従ってＴＶモニタに表示する表示開始座標Ｓｔ
ａｒｔ及び表示終了座標Ｅｎｄに指定変更する（ステッ
プＳ７９）。
や決定キーを介してデフォルト座標位置からの変更が指
定された（すなわち視点の変更）場合には（ステップＳ
７８）、キー操作量に応じて座標を計算して、この座標
計算値に従ってＴＶモニタに表示する表示開始座標Ｓｔ
ａｒｔ及び表示終了座標Ｅｎｄに指定変更する（ステッ
プＳ７９）。
【０１５４】そして、受信した全方位映像フレームの中
から表示開始座標Ｓｔａｒｔ及び表示終了座標Ｅｎｄで
指定される領域を切り出して（ステップＳ８０）、これ
をＭＰＥＧデコードして（ステップＳ８１）、ＴＶモニ
タ画面上でフル画面に拡大表示する（ステップＳ８
２）。
から表示開始座標Ｓｔａｒｔ及び表示終了座標Ｅｎｄで
指定される領域を切り出して（ステップＳ８０）、これ
をＭＰＥＧデコードして（ステップＳ８１）、ＴＶモニ
タ画面上でフル画面に拡大表示する（ステップＳ８
２）。
【０１５５】ＴＶモニタのフル画面に拡大表示した後、
後述する割り込み処理（１）が行われることもある。
後述する割り込み処理（１）が行われることもある。
【０１５６】また、ステップＳ７６において、受信デー
タが３６０度全方位映像データでないと判別された場合
には、さらに、受信データがある被写体についてのマル
チアングル映像データであるか否かを判別する（ステッ
プＳ８３）。
タが３６０度全方位映像データでないと判別された場合
には、さらに、受信データがある被写体についてのマル
チアングル映像データであるか否かを判別する（ステッ
プＳ８３）。
【０１５７】受信データがマルチアングル映像データで
ある場合には、ＴＶモニタに表示するデフォルトの映像
切り出し位置としてデフォルトの表示開始座標Ｓｔａｒ
ｔ（０，０）及び表示終了座標Ｅｎｄ（５３３，３６
０）を指定する（ステップＳ８４）。
ある場合には、ＴＶモニタに表示するデフォルトの映像
切り出し位置としてデフォルトの表示開始座標Ｓｔａｒ
ｔ（０，０）及び表示終了座標Ｅｎｄ（５３３，３６
０）を指定する（ステップＳ８４）。
【０１５８】視聴ユーザが受信機上で、カーソル・キー
や決定キーを介してデフォルト座標位置からの変更が指
定された（すなわち視点の変更）場合には（ステップＳ
８５）、キー操作量に応じて座標を計算して、この座標
計算値に従ってＴＶモニタに表示する表示開始座標Ｓｔ
ａｒｔ及び表示終了座標Ｅｎｄに指定変更する（ステッ
プＳ８６）。
や決定キーを介してデフォルト座標位置からの変更が指
定された（すなわち視点の変更）場合には（ステップＳ
８５）、キー操作量に応じて座標を計算して、この座標
計算値に従ってＴＶモニタに表示する表示開始座標Ｓｔ
ａｒｔ及び表示終了座標Ｅｎｄに指定変更する（ステッ
プＳ８６）。
【０１５９】そして、受信したマルチアングル映像フレ
ームの中から表示開始座標Ｓｔａｒｔ及び表示終了座標
Ｅｎｄで指定される領域を切り出して（ステップＳ８
７）、これをＭＰＥＧデコードして（ステップＳ８
８）、ＴＶモニタ画面上でフル画面に拡大表示する（ス
テップＳ８９）。
ームの中から表示開始座標Ｓｔａｒｔ及び表示終了座標
Ｅｎｄで指定される領域を切り出して（ステップＳ８
７）、これをＭＰＥＧデコードして（ステップＳ８
８）、ＴＶモニタ画面上でフル画面に拡大表示する（ス
テップＳ８９）。
【０１６０】ＴＶモニタのフル画面に拡大表示した後、
後述する割り込み処理（２）が行われることもある。
後述する割り込み処理（２）が行われることもある。
【０１６１】また、ステップＳ８３において、受信デー
タがマルチアングル映像データでないと判別された場合
には、さらに、受信データがハイビジョン切り出し放送
のデータであるか否かを判別する（ステップＳ９０）。
タがマルチアングル映像データでないと判別された場合
には、さらに、受信データがハイビジョン切り出し放送
のデータであるか否かを判別する（ステップＳ９０）。
【０１６２】受信データがハイビジョン切り出し放送の
データである場合には、ＴＶモニタに表示するデフォル
トの映像切り出し位置としてデフォルトの表示開始座標
Ｓｔａｒｔ（０，０）及び表示終了座標Ｅｎｄ（７２
０，４８０）を指定する（ステップＳ９１）。
データである場合には、ＴＶモニタに表示するデフォル
トの映像切り出し位置としてデフォルトの表示開始座標
Ｓｔａｒｔ（０，０）及び表示終了座標Ｅｎｄ（７２
０，４８０）を指定する（ステップＳ９１）。
【０１６３】視聴ユーザが受信機上で、カーソル・キー
や決定キーを介してデフォルト座標位置からの変更が指
定された（すなわち視点の変更）場合には（ステップＳ
９２）、キー操作量に応じて座標を計算して、この座標
計算値に従ってＴＶモニタに表示する表示開始座標Ｓｔ
ａｒｔ及び表示終了座標Ｅｎｄに指定変更する（ステッ
プＳ９３）。
や決定キーを介してデフォルト座標位置からの変更が指
定された（すなわち視点の変更）場合には（ステップＳ
９２）、キー操作量に応じて座標を計算して、この座標
計算値に従ってＴＶモニタに表示する表示開始座標Ｓｔ
ａｒｔ及び表示終了座標Ｅｎｄに指定変更する（ステッ
プＳ９３）。
【０１６４】そして、受信したハイビジョン切り出し放
送データの中から表示開始座標Ｓｔａｒｔ及び表示終了
座標Ｅｎｄで指定される領域を切り出して（ステップＳ
９４）、これをＭＰＥＧデコードして（ステップＳ９
５）、ＴＶモニタ画面上でフル画面に拡大表示する（ス
テップＳ９６）。
送データの中から表示開始座標Ｓｔａｒｔ及び表示終了
座標Ｅｎｄで指定される領域を切り出して（ステップＳ
９４）、これをＭＰＥＧデコードして（ステップＳ９
５）、ＴＶモニタ画面上でフル画面に拡大表示する（ス
テップＳ９６）。
【０１６５】ＴＶモニタのフル画面に拡大表示した後、
後述する割り込み処理（３）が行われることもある。
後述する割り込み処理（３）が行われることもある。
【０１６６】他方、ステップＳ９０において、受信デー
タがハイビジョン切り出し放送のデータでないと判別さ
れた場合には、所定の例外処理を行う（ステップＳ９
８）。
タがハイビジョン切り出し放送のデータでないと判別さ
れた場合には、所定の例外処理を行う（ステップＳ９
８）。
【０１６７】そして、ＴＶモニタへの表示処理又は例外
処理を行った後、次のフレームについての放送データの
受信を行う（ステップＳ９８）。
処理を行った後、次のフレームについての放送データの
受信を行う（ステップＳ９８）。
【０１６８】なお、受信した映像データをＴＶモニタに
表示する際、座標軸を図１７のように定義するものとす
る。受信した映像データは、１９２０×１０８０画素で
あり（前述）、表示開始座標Ｓｔａｒｔは同図において
切り出す領域の左上の座標を示し、また、表示終了座標
Ｅｎｄは切り出す領域の右下の座標を示す。
表示する際、座標軸を図１７のように定義するものとす
る。受信した映像データは、１９２０×１０８０画素で
あり（前述）、表示開始座標Ｓｔａｒｔは同図において
切り出す領域の左上の座標を示し、また、表示終了座標
Ｅｎｄは切り出す領域の右下の座標を示す。
【０１６９】図１６に示した処理手順において、３６０
度全方位映像データ、マルチアングル映像データ、又
は、ハイビジョン切り出し放送のデータをＴＶモニタに
フル画面表示した後、それぞれ割り込み処理（１）、割
り込み処理（２）、割り込み処理（３）が発生する場合
がある。以下では、これら割り込み処理について説明し
ておく。
度全方位映像データ、マルチアングル映像データ、又
は、ハイビジョン切り出し放送のデータをＴＶモニタに
フル画面表示した後、それぞれ割り込み処理（１）、割
り込み処理（２）、割り込み処理（３）が発生する場合
がある。以下では、これら割り込み処理について説明し
ておく。
【０１７０】割り込み処理（１）：この場合の処理は、
３６０度全方位映像データを受信時にカーソル及び決定
キーが押されたときの割り込み処理を示している。図６
を参照しながら既に説明したように、全方位映像フレー
ムは、ＨＤ−ＭＰＥＧ方式の画素サイズに合わせ込むと
いう要請により、横軸方向に２分割して右半分を左半分
の下部に配置して構成される。したがって、この場合の
処理は、切り出し領域を移動させて、左右それぞれの端
縁に近づいた時点で折り返してシームレスに移動する必
要がある。割り込み処理（１）の基本処理を以下に説明
する。
３６０度全方位映像データを受信時にカーソル及び決定
キーが押されたときの割り込み処理を示している。図６
を参照しながら既に説明したように、全方位映像フレー
ムは、ＨＤ−ＭＰＥＧ方式の画素サイズに合わせ込むと
いう要請により、横軸方向に２分割して右半分を左半分
の下部に配置して構成される。したがって、この場合の
処理は、切り出し領域を移動させて、左右それぞれの端
縁に近づいた時点で折り返してシームレスに移動する必
要がある。割り込み処理（１）の基本処理を以下に説明
する。
【０１７１】■カーソル・キーが押された場合
左右カーソル・キーが１ｍｓｅｃ押下されると、Δｘ画
素だけ左又は右に座標移動する。同様に、上下カーソル
・キーが１ｍｓｅｃ押下されると、Δｙ画素だけ上又は
下に座標移動する。このとき、座標計算値は下記の通り
になる。
素だけ左又は右に座標移動する。同様に、上下カーソル
・キーが１ｍｓｅｃ押下されると、Δｙ画素だけ上又は
下に座標移動する。このとき、座標計算値は下記の通り
になる。
【０１７２】（ｉ）ｎミリ秒だけ右方向カーソルが押下
された場合
された場合
【０１７３】
【数１】
【０１７４】但し、上式（１）により求められたＳｔａ
ｒｔ Ｘ座標に６４０を加算した値が１９２０を越えて
３８４０以下となる場合には、下式を採用する。
ｒｔ Ｘ座標に６４０を加算した値が１９２０を越えて
３８４０以下となる場合には、下式を採用する。
【０１７５】
【数２】
【０１７６】また、上式（１）により求められたＳｔａ
ｒｔ Ｘ座標に６４０を加算した値が３８４０を越えて
４７６０以下となる場合には、下式を採用する。
ｒｔ Ｘ座標に６４０を加算した値が３８４０を越えて
４７６０以下となる場合には、下式を採用する。
【０１７７】
【数３】
【０１７８】（ii）ｎミリ秒だけ左方向カーソルが押下
された場合
された場合
【０１７９】
【数４】
【０１８０】但し、上式（３）により求められたＳｔａ
ｒｔ Ｘ座標に６４０を加算した値が１９２０を越えて
３８４０以下となる場合には、下式を採用する。
ｒｔ Ｘ座標に６４０を加算した値が１９２０を越えて
３８４０以下となる場合には、下式を採用する。
【０１８１】
【数５】
【０１８２】また、上式（１）により求められたＳｔａ
ｒｔ Ｘ座標に６４０を加算した値が３８４０を越えて
４７６０以下となる場合には、下式を採用する。
ｒｔ Ｘ座標に６４０を加算した値が３８４０を越えて
４７６０以下となる場合には、下式を採用する。
【０１８３】
【数６】
【０１８４】（iii）ｎミリ秒だけ上方向カーソルがお
された場合
された場合
【０１８５】
【数７】
【０１８６】但し、カーソルが押される前のＳｔａｒｔ
Ｙ座標が０以上で４７４未満であるとともに、上式
（５）により求められたＳｔａｒｔ Ｙ座標が０未満の
場合には、下式を採用する。
Ｙ座標が０以上で４７４未満であるとともに、上式
（５）により求められたＳｔａｒｔ Ｙ座標が０未満の
場合には、下式を採用する。
【０１８７】
【数８】
【０１８８】また、カーソルが押される前のＳｔａｒｔ
Ｙ座標が４７４を越えて９４８以下であるとともに、
上式（５）により求められたＳｔａｒｔ Ｙ座標が４７
４未満の場合には、下式を採用する。
Ｙ座標が４７４を越えて９４８以下であるとともに、
上式（５）により求められたＳｔａｒｔ Ｙ座標が４７
４未満の場合には、下式を採用する。
【０１８９】
【数９】
【０１９０】（iv）ｎミリ秒だけ下方向カーソルが押下
された場合
された場合
【０１９１】
【数１０】
【０１９２】但し、カーソルが押される前のＳｔａｒｔ
Ｙ座標が０以上で４７４未満であるとともに、上式
（７）により求められたＳｔａｒｔ Ｙ座標が４２を越
える場合には、下式を採用する。
Ｙ座標が０以上で４７４未満であるとともに、上式
（７）により求められたＳｔａｒｔ Ｙ座標が４２を越
える場合には、下式を採用する。
【０１９３】
【数１１】
【０１９４】また、カーソルが押される前のＳｔａｒｔ
Ｙ座標が４７４を越えて９４８以下であるとともに、
上式（７）により求められたＳｔａｒｔ Ｙ座標が５１
６を越える場合には、下式を採用する。
Ｙ座標が４７４を越えて９４８以下であるとともに、
上式（７）により求められたＳｔａｒｔ Ｙ座標が５１
６を越える場合には、下式を採用する。
【０１９５】
【数１２】
【０１９６】■決定キー及び戻るキーが押された場合
（ｖ）決定キーがおされた場合
決定キーが押下されると、押された時間に比例して、縦
横比をキープした状態での切り出し領域の縮小を行う。
したがって、決定キーが押された後に、上記の（ｉ）〜
（iv）のイベントが発生するとエリア面積をキープした
状態での移動が行われる。
横比をキープした状態での切り出し領域の縮小を行う。
したがって、決定キーが押された後に、上記の（ｉ）〜
（iv）のイベントが発生するとエリア面積をキープした
状態での移動が行われる。
【０１９７】移動範囲の制約については、（ｉ）〜（i
v）に基づいた範囲での移動となるが、エリア面積の状
態が異なるので、座標値自体は上記（ｉ）〜（iv）での
説明数値とは異なることになる。
v）に基づいた範囲での移動となるが、エリア面積の状
態が異なるので、座標値自体は上記（ｉ）〜（iv）での
説明数値とは異なることになる。
【０１９８】（v）戻るキーが押下された場合
決定キーが押下された後に戻るキーが押下されると、押
された時間に比例して、縦横比をキープした状態での切
り出し領域の拡大を行う（但し、デフォルト状態の面積
以上は拡大しない）。デフォルト状態の面積のときに戻
るキーを押下しても変化はしない。
された時間に比例して、縦横比をキープした状態での切
り出し領域の拡大を行う（但し、デフォルト状態の面積
以上は拡大しない）。デフォルト状態の面積のときに戻
るキーを押下しても変化はしない。
【０１９９】割り込み処理（２）：この場合の処理は、
マルチアングル映像データを受信時にカーソル及び決定
キーが押されたときの割り込み処理を示している。前述
したように、この場合は、３６０度全方位映像とは異な
り、隣接するカメラの映像同士にシームレスな連続性は
ないので、画面全体をシームレスに移動する必要はな
い。以下に、割り込み処理（２）の基本処理を説明す
る。
マルチアングル映像データを受信時にカーソル及び決定
キーが押されたときの割り込み処理を示している。前述
したように、この場合は、３６０度全方位映像とは異な
り、隣接するカメラの映像同士にシームレスな連続性は
ないので、画面全体をシームレスに移動する必要はな
い。以下に、割り込み処理（２）の基本処理を説明す
る。
【０２００】◆デフォルト状態（カメラ２１Ａによる映
像を切り出し中）でのカーソル移動 ■カーソル・キーが押下された場合（＊） （i）右方向カーソル・キーが押下された場合：カメラ
２１Ｂの映像に切り替わる。 （ii）左方向カーソル・キーが押下された場合:カメラ
２１Ｉの映像に切り替わる。 ※上下方向のカーソル・キーを押下しても変化しない。
像を切り出し中）でのカーソル移動 ■カーソル・キーが押下された場合（＊） （i）右方向カーソル・キーが押下された場合：カメラ
２１Ｂの映像に切り替わる。 （ii）左方向カーソル・キーが押下された場合:カメラ
２１Ｉの映像に切り替わる。 ※上下方向のカーソル・キーを押下しても変化しない。
【０２０１】■決定キー及び戻るキーが押下された場合
（iii）決定キーが押下された場合
決定キーが押下されると、押された時間に比例して、縦
横比をキープした状態での切り出し領域の縮小を行う。
したがって、決定キーが押された後に上記の（ｉ）〜
（ii）のイベントが発生するとエリア面積をキープした
状態での移動が行われる。移動範囲の制約については同
一カメラ画面内での移動とする。
横比をキープした状態での切り出し領域の縮小を行う。
したがって、決定キーが押された後に上記の（ｉ）〜
（ii）のイベントが発生するとエリア面積をキープした
状態での移動が行われる。移動範囲の制約については同
一カメラ画面内での移動とする。
【０２０２】決定キーが押下された後であれば、上下方
向のカーソル・キーを押すことによって上下移動も可能
とする。この場合も移動範囲は同一カメラ画面内であ
る。
向のカーソル・キーを押すことによって上下移動も可能
とする。この場合も移動範囲は同一カメラ画面内であ
る。
【０２０３】（iv）戻るキーが押下された場合
決定キーが押下された後に戻るキーが押下されると、押
された時間に比例して、縦横比をキープした状態での切
り出し領域の拡大を行う（但し、デフォルト状態の面積
以上は拡大しない）。デフォルト状態の面積のときに戻
るキーを押下しても変化はしない。戻るキーが押下され
た後にカーソルが押された場合の処理は、（＊）の処理
と同様の処理になる。
された時間に比例して、縦横比をキープした状態での切
り出し領域の拡大を行う（但し、デフォルト状態の面積
以上は拡大しない）。デフォルト状態の面積のときに戻
るキーを押下しても変化はしない。戻るキーが押下され
た後にカーソルが押された場合の処理は、（＊）の処理
と同様の処理になる。
【０２０４】割り込み処理（３）：この処理は、ハイビ
ジョン切り出し放送データを受信時にカーソル・キー及
び決定キーが押されたときの割り込み処理を示してい
る。この場合は、画面の端から折り返してシームレスに
移動する必要はなく、カーソル・キーによるの移動イベ
ントは、１９２０×１０８０画素の範囲内で行われ、移
動の結果末端に切り出しエリアが移った場合は、それ以
上、その方向への移動は行えないような処理を行う。
ジョン切り出し放送データを受信時にカーソル・キー及
び決定キーが押されたときの割り込み処理を示してい
る。この場合は、画面の端から折り返してシームレスに
移動する必要はなく、カーソル・キーによるの移動イベ
ントは、１９２０×１０８０画素の範囲内で行われ、移
動の結果末端に切り出しエリアが移った場合は、それ以
上、その方向への移動は行えないような処理を行う。
【０２０５】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。
【０２０６】本明細書中では、全方位映像とマルチアン
グル映像を視点自由形で送受信する放送システムを例に
挙げて本発明について説明してきたが、本発明の要旨は
これらの適用例にのみ限定されるものではない。すなわ
ち、上記の実施形態以外にも、通常のハイビジョン映像
を受信機側で視点を切り出す仕組みを利用することによ
り、同様に視点自由形の視聴を実現することができる。
この場合、送信側の特殊なデータ加工を必要とせず、Ｐ
ＳＩデータなどを用いて視点自由形放送であることを示
し、そのフラグを受信機側で検知した上で、同様の受信
機ソフトウェアで受信し、切り出し表示が可能となる。
グル映像を視点自由形で送受信する放送システムを例に
挙げて本発明について説明してきたが、本発明の要旨は
これらの適用例にのみ限定されるものではない。すなわ
ち、上記の実施形態以外にも、通常のハイビジョン映像
を受信機側で視点を切り出す仕組みを利用することによ
り、同様に視点自由形の視聴を実現することができる。
この場合、送信側の特殊なデータ加工を必要とせず、Ｐ
ＳＩデータなどを用いて視点自由形放送であることを示
し、そのフラグを受信機側で検知した上で、同様の受信
機ソフトウェアで受信し、切り出し表示が可能となる。
【０２０７】要するに、例示という形態で本発明を開示
してきたのであり、本明細書の記載内容を限定的に解釈
するべきではない。本発明の要旨を判断するためには、
冒頭に記載した特許請求の範囲の欄を参酌すべきであ
る。
してきたのであり、本明細書の記載内容を限定的に解釈
するべきではない。本発明の要旨を判断するためには、
冒頭に記載した特許請求の範囲の欄を参酌すべきであ
る。
【０２０８】
【発明の効果】以上詳記したように、本発明によれば、
空間中のある１つの点が視点として周囲の全方位画像複
数台のカメラを各々の視野が設置して構成される全方位
カメラにより撮影した映像を好適に配信することができ
る、優れた映像データ処理装置及び映像データ処理方
法、データ配信装置及びデータ配信方法、データ受信装
置及びデータ受信方法、並びに記憶媒体を提供すること
ができる。
空間中のある１つの点が視点として周囲の全方位画像複
数台のカメラを各々の視野が設置して構成される全方位
カメラにより撮影した映像を好適に配信することができ
る、優れた映像データ処理装置及び映像データ処理方
法、データ配信装置及びデータ配信方法、データ受信装
置及びデータ受信方法、並びに記憶媒体を提供すること
ができる。
【０２０９】また、本発明によれば、複数台のカメラに
よる撮影映像からなる撮影映像を受信機側において任意
の場所の映像が選択できるように配信することができ
る、優れた映像データ処理装置及び映像データ処理方
法、データ配信装置及びデータ配信方法、データ受信装
置及びデータ受信方法、並びに記憶媒体を提供すること
ができる。
よる撮影映像からなる撮影映像を受信機側において任意
の場所の映像が選択できるように配信することができ
る、優れた映像データ処理装置及び映像データ処理方
法、データ配信装置及びデータ配信方法、データ受信装
置及びデータ受信方法、並びに記憶媒体を提供すること
ができる。
【０２１０】また、本発明によれば、複数台のカメラに
よる撮影映像からなる撮影映像を受信機側でシームレス
に切り換えていくことができるように配信することがで
きる、優れた映像データ処理装置及び映像データ処理方
法、データ配信装置及びデータ配信方法、データ受信装
置及びデータ受信方法、並びに記憶媒体を提供すること
ができる。
よる撮影映像からなる撮影映像を受信機側でシームレス
に切り換えていくことができるように配信することがで
きる、優れた映像データ処理装置及び映像データ処理方
法、データ配信装置及びデータ配信方法、データ受信装
置及びデータ受信方法、並びに記憶媒体を提供すること
ができる。
【０２１１】本発明によれば、ユーザが自由に視点をか
えることができる全方位映像の受信が可能となる。本明
細書で示した、３６０度放送、マルチアングル放送、ハ
イビジョン切り出し放送など、本発明の用途はさまざま
である。
えることができる全方位映像の受信が可能となる。本明
細書で示した、３６０度放送、マルチアングル放送、ハ
イビジョン切り出し放送など、本発明の用途はさまざま
である。
【０２１２】本発明では、ハイビジョン用のサイズの映
像データを高画質の方向に利用するのではなく、視点を
自由に選べるようにしたところに特徴がある。また、マ
ルチアングル放送については、既存の放送でも複数のチ
ャンネルを利用して実現できる部分もあるが、１チャン
ネルで実現可能にしたことにより、伝送コストを抑えら
れるとともに、放送局１局だけで充分に対応することが
可能となる。
像データを高画質の方向に利用するのではなく、視点を
自由に選べるようにしたところに特徴がある。また、マ
ルチアングル放送については、既存の放送でも複数のチ
ャンネルを利用して実現できる部分もあるが、１チャン
ネルで実現可能にしたことにより、伝送コストを抑えら
れるとともに、放送局１局だけで充分に対応することが
可能となる。
【０２１３】加えて、上述した実施形態以外でも、複数
台のカメラを用いた撮影であれば、取り囲みの撮影でな
くとも、撮影するカメラを切り替え感覚で、受信ユーザ
が視聴できるような番組を提供することも可能である。
台のカメラを用いた撮影であれば、取り囲みの撮影でな
くとも、撮影するカメラを切り替え感覚で、受信ユーザ
が視聴できるような番組を提供することも可能である。
【０２１４】また、本発明に係る放送方式はのデジタル
放送のみならず、ケーブル・テレビなどの放送にも応用
可能である。また、ブロードバンド化されたネットワー
クでの放送についても、同様の形式で対応することも可
能である。
放送のみならず、ケーブル・テレビなどの放送にも応用
可能である。また、ブロードバンド化されたネットワー
クでの放送についても、同様の形式で対応することも可
能である。
【図１】空間中のある１つの点を指定としてその３６０
度の全方位映像を同時に撮影するタイプの全方位カメラ
１０の構成を示した図である。
度の全方位映像を同時に撮影するタイプの全方位カメラ
１０の構成を示した図である。
【図２】８本の映像ストリームを貼り合わせる前に行わ
れる、映像の９０度回転やミラー反転の処理を行う様子
を示した図である。
れる、映像の９０度回転やミラー反転の処理を行う様子
を示した図である。
【図３】８台のカメラ１１Ａ〜１１Ｈで撮影された映像
素材データの各Ｍフレームについて９０度回転やミラー
反転などの加工を行うための処理手順を示したフローチ
ャートである。
素材データの各Ｍフレームについて９０度回転やミラー
反転などの加工を行うための処理手順を示したフローチ
ャートである。
【図４】各カメラ１１Ａ…の同期した８枚の映像フレー
ムをカメラ１１Ａ…の配置に従って貼り合わせて１枚の
フレームを生成した様子を示した図である。
ムをカメラ１１Ａ…の配置に従って貼り合わせて１枚の
フレームを生成した様子を示した図である。
【図５】円筒側面状の全方位映像フレームを分割並びに
再配置する際に、分割された一方の端縁に隣接するカメ
ラの映像フレームを余分に貼り合わせるようにして構成
された配信用全方位映像フレームの例を示した図であ
る。
再配置する際に、分割された一方の端縁に隣接するカメ
ラの映像フレームを余分に貼り合わせるようにして構成
された配信用全方位映像フレームの例を示した図であ
る。
【図６】図５に示したような全方位映像フレームのデー
タ・サイズを縮小するとともに、ダミー・データを付加
してＨＤ−ＭＰＥＧのサイズ（１９２０×１０８０画
素）に合わ込んだ様子を示した図である。
タ・サイズを縮小するとともに、ダミー・データを付加
してＨＤ−ＭＰＥＧのサイズ（１９２０×１０８０画
素）に合わ込んだ様子を示した図である。
【図７】各カメラ１１Ａ〜１１Ｈの映像フレームから図
６に示すような形式のビットマップ連番ファイル・デー
タ（配信用全方位映像フレーム）を生成するための処理
手順を示したフローチャートである。
６に示すような形式のビットマップ連番ファイル・デー
タ（配信用全方位映像フレーム）を生成するための処理
手順を示したフローチャートである。
【図８】図７に示す処理手順に従ってビットマップ連番
ファイルにされた全方位映像フレームをレンダリングす
るための処理手順を示したフローチャートである。
ファイルにされた全方位映像フレームをレンダリングす
るための処理手順を示したフローチャートである。
【図９】被写体を複数の視野角から撮影するマルチアン
グル・カメラ２０の構成を示した図である。
グル・カメラ２０の構成を示した図である。
【図１０】マルチアングル・カメラ２０を構成する９台
のカメラ２１Ａ〜２１Ｉからの映像データを被写体の周
囲に配置した順番に従って貼り合わせて１枚のフレーム
にした様子を示した図である。
のカメラ２１Ａ〜２１Ｉからの映像データを被写体の周
囲に配置した順番に従って貼り合わせて１枚のフレーム
にした様子を示した図である。
【図１１】図９に示したようなマルチアングル映像フレ
ームにダミー・データを付加して縦横比を調整してＨＤ
−ＭＰＥＧのサイズ（１９２０×１０８０画素）に合わ
込んだ様子を示した図である。
ームにダミー・データを付加して縦横比を調整してＨＤ
−ＭＰＥＧのサイズ（１９２０×１０８０画素）に合わ
込んだ様子を示した図である。
【図１２】マルチアングル映像データを作成する際の、
９台のカメラ２１Ａ〜２１Ｉによる映像素材データの各
Ｍフレーム分のデータを取り込むための処理手順を示し
たフローチャートである。
９台のカメラ２１Ａ〜２１Ｉによる映像素材データの各
Ｍフレーム分のデータを取り込むための処理手順を示し
たフローチャートである。
【図１３】マルチアングル映像データを作成する際の、
９台のカメラ２１Ａ〜２１Ｉによる映像素材データを貼
り合わせてレンダリングするための処理手順を示したフ
ローチャートである。
９台のカメラ２１Ａ〜２１Ｉによる映像素材データを貼
り合わせてレンダリングするための処理手順を示したフ
ローチャートである。
【図１４】視点自由形の映像データを送受信するシステ
ム全体のハードウェア構成を模式的に示した図である。
ム全体のハードウェア構成を模式的に示した図である。
【図１５】各カメラ映像をキャプチャリングして、デー
タ加工、ビットマップ連番ファイル・データの生成、映
像フレームのレンダリングなどの処理を行うコンピュー
タ１００のハードウェア構成を模式的に示した図であ
る。
タ加工、ビットマップ連番ファイル・データの生成、映
像フレームのレンダリングなどの処理を行うコンピュー
タ１００のハードウェア構成を模式的に示した図であ
る。
【図１６】受信機側で実行される映像ストリーム再生処
理ソフトウェアによって実現される処理手順を示したフ
ローチャートである。
理ソフトウェアによって実現される処理手順を示したフ
ローチャートである。
【図１７】受信した映像データをＴＶモニタに表示する
際の座標軸の定義を示した図である。
際の座標軸の定義を示した図である。
１０…全方位カメラ
１１Ａ〜１１Ｈ…カメラ
１２…反射部
２０…マルチアングル・カメラ
２１Ａ〜２１Ｉ…カメラ
１００…コンピュータ
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…ネットワーク・インターフェース
１０７…外部機器インターフェース，１０８…バス
１０９…ビデオ・キャプチャ・カード
１１１…ディスプレイ，１１２…キーボード，１１３…
マウス １１４…ハード・ディスク装置 １１５…メディア・ドライブ
マウス １１４…ハード・ディスク装置 １１５…メディア・ドライブ
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 5/92 Ｈ０４Ｎ 5/91 Ｎ
Claims (34)
- 【請求項１】空間中のある１つの点を視点として周囲の
画像を撮影するように視線方向が１つの水平面上で所定
角度間隔で設置された複数台のカメラからの映像データ
を処理する映像データ処理装置であって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成する手
段と、 前記第１の長方形平面を等分割して分割された各断片を
上から順に配置して第２の長方形平面を生成する手段
と、 前記各断片の左右一方の端縁から所定面積の領域を当該
端縁と接続する他方の断片の端縁に複製して、第３の長
方形平面を生成する手段と、 前記第３の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第４の長方形平面を生成
する手段と、 前記第４の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第５
の長方形平面を生成する手段と、を具備することを特徴
とする映像データ処理装置。 - 【請求項２】前記符号化方式はＨＤ（High Definitio
n）−ＭＰＥＧ２（Moving Picture Experts Group 2）
方式である、ことを特徴とする請求項１に記載の映像デ
ータ処理装置。 - 【請求項３】第５の長方形平面が時系列的に配列された
ビットマップ連番ファイルのデータをレンダリングする
手段をさらに備える、ことを特徴とする請求項１に記載
の映像データ処理装置。 - 【請求項４】所定の出力信号に変換し、前記符号化方式
により符号化圧縮して、トランスポート・ストリーム・
データを生成する手段をさらに備える、ことを特徴とす
る請求項１に記載の映像データ処理装置。 - 【請求項５】空間中のある１つの点を視点として周囲の
画像を撮影するように視線方向が１つの水平面上で所定
角度間隔で設置された複数台のカメラからの映像データ
を処理する映像データ処理方法であって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成するス
テップと、 前記第１の長方形平面を等分割して分割された各断片を
上から順に配置して第２の長方形平面を生成するステッ
プと、 前記各断片の左右一方の端縁から所定面積の領域を当該
端縁と接続する他方の断片の端縁に複製して、第３の長
方形平面を生成するステップと、 前記第３の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第４の長方形平面を生成
するステップと、 前記第４の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第５
の長方形平面を生成するステップと、を具備することを
特徴とする映像データ処理方法。 - 【請求項６】前記符号化方式はＨＤ（High Definitio
n）−ＭＰＥＧ２（Moving Picture Experts Group 2）
方式である、ことを特徴とする請求項５に記載の映像デ
ータ処理方法。 - 【請求項７】第５の長方形平面が時系列的に配列された
ビットマップ連番ファイルのデータをレンダリングする
ステップをさらに備える、ことを特徴とする請求項５に
記載の映像データ処理方法。 - 【請求項８】所定の出力信号に変換し、前記符号化方式
により符号化圧縮して、トランスポート・ストリーム・
データを生成するステップをさらに備える、ことを特徴
とする請求項５に記載の映像データ処理方法。 - 【請求項９】空間中のある１つの点を視点として周囲の
画像を撮影するように視線方向が１つの水平面上で所定
角度間隔で設置された複数台のカメラからの映像データ
を受信機側で自由に視点を切り換えられるように配信す
るデータ配信装置であって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成する手
段と、 前記第１の長方形平面を等分割して分割された各断片を
上から順に配置して第２の長方形平面を生成する手段
と、 前記各断片の左右一方の端縁から所定面積の領域を当該
端縁と接続する他方の断片の端縁に複製して、第３の長
方形平面を生成する手段と、 前記第３の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第４の長方形平面を生成
する手段と、 前記第４の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第５
の長方形平面を生成する手段と、 第５の長方形平面が時系列的に配列されたビットマップ
連番ファイルのデータをレンダリングする手段と、 レンダリングされたビットマップ連番ファイルのデータ
を、所定の出力信号に変換し、前記符号化方式により符
号化圧縮して、トランスポート・ストリーム・データを
生成する手段と、 トランスポート・ストリーム・データを送出する手段
と、を具備することを特徴とするデータ配信装置。 - 【請求項１０】前記符号化方式はＨＤ（High Definitio
n）−ＭＰＥＧ２（Moving Picture Experts Group 2）
方式である、ことを特徴とする請求項９に記載のデータ
配信装置。 - 【請求項１１】トランスポート・ストリーム・データが
視点自由形である旨を示す情報を付加する手段をさらに
備える、ことを特徴とする請求項９に記載のデータ配信
装置。 - 【請求項１２】空間中のある１つの点を視点として周囲
の画像を撮影するように視線方向が１つの水平面上で所
定角度間隔で設置された複数台のカメラからの映像デー
タを受信機側で自由に視点を切り換えられるように配信
するデータ配信方法であって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成するス
テップと、 前記第１の長方形平面を等分割して分割された各断片を
上から順に配置して第２の長方形平面を生成するステッ
プと、 前記各断片の左右一方の端縁から所定面積の領域を当該
端縁と接続する他方の断片の端縁に複製して、第３の長
方形平面を生成するステップと、 前記第３の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第４の長方形平面を生成
するステップと、 前記第４の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第５
の長方形平面を生成するステップと、 第５の長方形平面が時系列的に配列されたビットマップ
連番ファイルのデータをレンダリングするステップと、 レンダリングされたビットマップ連番ファイルのデータ
を、所定の出力信号に変換し、前記符号化方式により符
号化圧縮して、トランスポート・ストリーム・データを
生成するステップと、 トランスポート・ストリーム・データを送出するステッ
プと、を具備することを特徴とするデータ配信方法。 - 【請求項１３】前記符号化方式はＨＤ（High Definitio
n）−ＭＰＥＧ２（Moving Picture Experts Group 2）
方式である、ことを特徴とする請求項１２に記載のデー
タ配信方法。 - 【請求項１４】トランスポート・ストリーム・データが
視点自由形である旨を示す情報を付加するステップをさ
らに備える、ことを特徴とする請求項１２に記載のデー
タ配信方法。 - 【請求項１５】空間上に配置された被写体を複数台のカ
メラで取り囲んで被写体を複数の視野角から撮影したマ
ルチアングル映像データを処理する映像データ処理装置
であって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成する手
段と、 前記第１の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第２の長方形平面を生成
する手段と、 前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成する手段と、を具備することを特徴
とする映像データ処理装置。 - 【請求項１６】前記符号化方式はＨＤ（High Definitio
n）−ＭＰＥＧ２（Moving Picture Experts Group 2）
方式である、ことを特徴とする請求項１５に記載の映像
データ処理装置。 - 【請求項１７】第３の長方形平面が時系列的に配列され
たビットマップ連番ファイルのデータをレンダリングす
る手段をさらに備える、ことを特徴とする請求項１５に
記載の映像データ処理装置。 - 【請求項１８】所定の出力信号に変換し、前記符号化方
式により符号化圧縮して、トランスポート・ストリーム
・データを生成する手段をさらに備える、ことを特徴と
する請求項１５に記載の映像データ処理装置。 - 【請求項１９】空間上に配置された被写体を複数台のカ
メラで取り囲んで被写体を複数の視野角から撮影したマ
ルチアングル映像データを処理する映像データ処理方法
であって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成するス
テップと、 前記第１の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第２の長方形平面を生成
するステップと、 前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成するステップと、を具備することを
特徴とする映像データ処理方法。 - 【請求項２０】前記符号化方式はＨＤ（High Definitio
n）−ＭＰＥＧ２（Moving Picture Experts Group 2）
方式である、ことを特徴とする請求項１９に記載の映像
データ処理方法。 - 【請求項２１】第３の長方形平面が時系列的に配列され
たビットマップ連番ファイルのデータをレンダリングす
るステップをさらに備える、ことを特徴とする請求項１
９に記載の映像データ処理方法。 - 【請求項２２】所定の出力信号に変換し、前記符号化方
式により符号化圧縮して、トランスポート・ストリーム
・データを生成するステップをさらに備える、ことを特
徴とする請求項１９に記載の映像データ処理方法。 - 【請求項２３】空間上に配置された被写体を複数台のカ
メラで取り囲んで被写体を複数の視野角から撮影したマ
ルチアングル映像データを受信機側で自由に視点を切り
換えられるように配信するデータ配信装置であって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成する手
段と、 前記第１の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第２の長方形平面を生成
する手段と、 前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成する手段と、 第３の長方形平面が時系列的に配列されたビットマップ
連番ファイルのデータをレンダリングする手段と、 レンダリングされたビットマップ連番ファイルのデータ
を、所定の出力信号に変換し、前記符号化方式により符
号化圧縮して、トランスポート・ストリーム・データを
生成する手段と、 トランスポート・ストリーム・データを送出する手段
と、を具備することを特徴とするデータ配信装置。 - 【請求項２４】前記符号化方式はＨＤ（High Definitio
n）−ＭＰＥＧ２（Moving Picture Experts Group 2）
方式である、ことを特徴とする請求項２３に記載のデー
タ配信装置。 - 【請求項２５】トランスポート・ストリーム・データが
視点自由形である旨を示す情報を付加する手段をさらに
備える、ことを特徴とする請求項２３に記載のデータ配
信装置。 - 【請求項２６】空間上に配置された被写体を複数台のカ
メラで取り囲んで被写体を複数の視野角から撮影したマ
ルチアングル映像データを受信機側で自由に視点を切り
換えられるように配信するデータ配信方法であって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成するス
テップと、 前記第１の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第２の長方形平面を生成
するステップと、 前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成するステップと、 第３の長方形平面が時系列的に配列されたビットマップ
連番ファイルのデータをレンダリングするステップと、 レンダリングされたビットマップ連番ファイルのデータ
を、所定の出力信号に変換し、前記符号化方式により符
号化圧縮して、トランスポート・ストリーム・データを
生成するステップと、 トランスポート・ストリーム・データを送出する手段
と、を具備することを特徴とするデータ配信方法。 - 【請求項２７】前記符号化方式はＨＤ（High Definitio
n）−ＭＰＥＧ２（Moving Picture Experts Group 2）
方式である、ことを特徴とする請求項２６に記載のデー
タ配信方法。 - 【請求項２８】トランスポート・ストリーム・データが
視点自由形である旨を示す情報を付加する手段をさらに
備える、ことを特徴とする請求項２６に記載のデータ配
信方法。 - 【請求項２９】視点自由形の映像データを受信するデー
タ受信装置であって、 映像データを受信する受信手段と、 映像データの切り出し領域を指示するユーザ入力手段
と、 受信した映像データから指示された切り出し領域を切り
出すデータ切り出し手段と、 切り出した映像データを復号化して表示するデータ再生
手段と、を具備することを特徴とするデータ受信装置。 - 【請求項３０】視点自由形の映像データを受信するデー
タ受信方法であって、 映像データを受信する受信ステップと、 映像データの切り出し領域を指示するユーザ入力ステッ
プと、 受信した映像データから指示された切り出し領域を切り
出すデータ切り出しステップと、 切り出した映像データを復号化して表示するデータ再生
ステップと、を具備することを特徴とするデータ受信方
法。 - 【請求項３１】空間中のある１つの点を視点として周囲
の画像を撮影するように視線方向が１つの水平面上で所
定角度間隔で設置された複数台のカメラからの映像デー
タの処理をコンピュータ・システム上で実行するように
記述されたコンピュータ・ソフトウェアをコンピュータ
可読形式で物理的に格納した記憶媒体であって、前記コ
ンピュータ・ソフトウェアは、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成するス
テップと、 前記第１の長方形平面を等分割して分割された各断片を
上から順に配置して第２の長方形平面を生成するステッ
プと、 前記各断片の左右一方の端縁から所定面積の領域を当該
端縁と接続する他方の断片の端縁に複製して、第３の長
方形平面を生成するステップと、 前記第３の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第４の長方形平面を生成
するステップと、 前記第４の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第５
の長方形平面を生成するステップと、を具備することを
特徴とする記憶媒体。 - 【請求項３２】空間上に配置された被写体を複数台のカ
メラで取り囲んで被写体を複数の視野角から撮影したマ
ルチアングル映像データの処理をコンピュータ・システ
ム上で実行するように記述されたコンピュータ・ソフト
ウェアをコンピュータ可読形式で物理的に格納した記憶
媒体であって、前記コンピュータ・ソフトウェアは、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成するス
テップと、 前記第１の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第２の長方形平面を生成
するステップと、 前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成するステップと、を具備することを
特徴とする記憶媒体。 - 【請求項３３】空間中のある１つの点を視点として周囲
の画像を撮影するように視線方向が１つの水平面上で所
定角度間隔で設置された複数台のカメラからの映像デー
タの処理をコンピュータ・システム上で実行するように
記述されたコンピュータ・プログラムであって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成するス
テップと、 前記第１の長方形平面を等分割して分割された各断片を
上から順に配置して第２の長方形平面を生成するステッ
プと、 前記各断片の左右一方の端縁から所定面積の領域を当該
端縁と接続する他方の断片の端縁に複製して、第３の長
方形平面を生成するステップと、 前記第３の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第４の長方形平面を生成
するステップと、 前記第４の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第５
の長方形平面を生成するステップと、を具備することを
特徴とするコンピュータ・プログラム。 - 【請求項３４】空間上に配置された被写体を複数台のカ
メラで取り囲んで被写体を複数の視野角から撮影したマ
ルチアングル映像データの処理をコンピュータ・システ
ム上で実行するように記述されたコンピュータ・プログ
ラムであって、 各カメラによる映像データをカメラを設置した順番に従
って貼り合わせて第１の長方形平面の映像を生成するス
テップと、 前記第１の長方形平面が所定の符号化方式に収容するサ
イズとなるように縮小処理して第２の長方形平面を生成
するステップと、 前記第２の長方形平面が前記所定の画像圧縮方式に適合
するように未使用領域にダミー・データを付加して第３
の長方形平面を生成するステップと、を具備することを
特徴とするコンピュータ・プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001308522A JP2003115050A (ja) | 2001-10-04 | 2001-10-04 | 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム |
| US10/263,918 US7145947B2 (en) | 2001-10-04 | 2002-10-03 | Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001308522A JP2003115050A (ja) | 2001-10-04 | 2001-10-04 | 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003115050A true JP2003115050A (ja) | 2003-04-18 |
Family
ID=19127821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001308522A Abandoned JP2003115050A (ja) | 2001-10-04 | 2001-10-04 | 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7145947B2 (ja) |
| JP (1) | JP2003115050A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008533890A (ja) * | 2005-03-15 | 2008-08-21 | トムソン ライセンシング | 複数のビデオ信号を単一のエンコードされたビデオ信号としてエンコードする方法および装置ならびにそのようなエンコードされたビデオ信号をデコードする方法および装置 |
| JP2012048597A (ja) * | 2010-08-30 | 2012-03-08 | Univ Of Tokyo | 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム |
| WO2013047663A1 (ja) * | 2011-09-29 | 2013-04-04 | ERIGUCHI Teppei | 動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システム |
| JP2015185964A (ja) * | 2014-03-20 | 2015-10-22 | 大日本印刷株式会社 | 画像データ生成システム、画像生成方法、画像処理装置及びプログラム |
| JP2015185965A (ja) * | 2014-03-20 | 2015-10-22 | 大日本印刷株式会社 | 撮像システム、撮像方法、画像再生装置及びプログラム |
| JP2015185962A (ja) * | 2014-03-20 | 2015-10-22 | 大日本印刷株式会社 | 画像データ生成システム、画像データ生成方法、画像処理装置及びプログラム |
| US10063775B2 (en) | 2010-10-01 | 2018-08-28 | Saturn Licensing Llc | Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006067545A1 (en) * | 2004-12-23 | 2006-06-29 | Nokia Corporation | Multi-camera solution for electronic devices |
| JP4760288B2 (ja) * | 2005-10-13 | 2011-08-31 | ソニー株式会社 | 画像表示システム、表示装置、画像再合成装置、画像再合成方法及びプログラム |
| JP4860739B2 (ja) * | 2009-09-03 | 2012-01-25 | パナソニック株式会社 | 画像処理装置及び画像処理方法 |
| US8908103B2 (en) | 2010-10-01 | 2014-12-09 | Sony Corporation | Content supplying apparatus, content supplying method, content reproduction apparatus, content reproduction method, program and content viewing system |
| US8842974B2 (en) | 2010-10-01 | 2014-09-23 | Sony Corporation | Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program, and content delivery system |
| US9179198B2 (en) | 2010-10-01 | 2015-11-03 | Sony Corporation | Receiving apparatus, receiving method, and program |
| US9078031B2 (en) | 2010-10-01 | 2015-07-07 | Sony Corporation | Reception apparatus, reception method, and program |
| JP6210684B2 (ja) | 2010-10-01 | 2017-10-11 | サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ | 情報処理装置、情報処理方法、及びプログラム |
| WO2012173060A1 (ja) * | 2011-06-15 | 2012-12-20 | ソニー株式会社 | 受信装置、端末装置、制御方法、プログラム、及び通信システム |
| US8917358B2 (en) | 2011-07-27 | 2014-12-23 | Sony Corporation | Reception apparatus, terminal apparatus, control method, program, and communication system |
| DE102014207607B4 (de) * | 2013-04-25 | 2019-09-19 | Avago Technologies International Sales Pte. Ltd. | System und Verfahren zur Verarbeitung von Videodaten |
| US9894422B2 (en) * | 2014-02-18 | 2018-02-13 | Lg Electronics Inc. | Method and apparatus for transreceiving broadcast signal for panorama service |
| US20160261908A1 (en) * | 2015-03-05 | 2016-09-08 | Htc Corporation | Media streaming system and control method thereof |
| US10887653B2 (en) | 2016-09-26 | 2021-01-05 | Cyberlink Corp. | Systems and methods for performing distributed playback of 360-degree video in a plurality of viewing windows |
| JP7212611B2 (ja) * | 2017-02-27 | 2023-01-25 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 画像配信方法、画像表示方法、画像配信装置及び画像表示装置 |
| CN109003434B (zh) * | 2017-06-07 | 2021-08-31 | 北京中天鼎盛视讯科技有限公司 | 红外遥控系统及方法 |
| KR101967819B1 (ko) * | 2017-11-02 | 2019-04-10 | 주식회사 코난테크놀로지 | 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법 |
| US10212532B1 (en) | 2017-12-13 | 2019-02-19 | At&T Intellectual Property I, L.P. | Immersive media with media device |
| US10735826B2 (en) * | 2017-12-20 | 2020-08-04 | Intel Corporation | Free dimension format and codec |
| CN109660759B (zh) * | 2018-12-06 | 2020-08-04 | 浙江大华技术股份有限公司 | 一种周界区域监控的方法、装置、系统及设备、存储介质 |
| US10834381B1 (en) * | 2019-07-25 | 2020-11-10 | International Business Machines Corporation | Video file modification |
| CN111212267A (zh) * | 2020-01-16 | 2020-05-29 | 聚好看科技股份有限公司 | 一种全景图像的分块方法及服务器 |
| EP4171022B1 (en) * | 2021-10-22 | 2023-11-29 | Axis AB | Method and system for transmitting a video stream |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
| US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
| US6650704B1 (en) * | 1999-10-25 | 2003-11-18 | Irvine Sensors Corporation | Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter |
| US6694064B1 (en) * | 1999-11-19 | 2004-02-17 | Positive Systems, Inc. | Digital aerial image mosaic method and apparatus |
| US6778207B1 (en) * | 2000-08-07 | 2004-08-17 | Koninklijke Philips Electronics N.V. | Fast digital pan tilt zoom video |
-
2001
- 2001-10-04 JP JP2001308522A patent/JP2003115050A/ja not_active Abandoned
-
2002
- 2002-10-03 US US10/263,918 patent/US7145947B2/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008533890A (ja) * | 2005-03-15 | 2008-08-21 | トムソン ライセンシング | 複数のビデオ信号を単一のエンコードされたビデオ信号としてエンコードする方法および装置ならびにそのようなエンコードされたビデオ信号をデコードする方法および装置 |
| JP2012048597A (ja) * | 2010-08-30 | 2012-03-08 | Univ Of Tokyo | 複合現実感表示システム、画像提供画像提供サーバ、表示装置及び表示プログラム |
| US10063775B2 (en) | 2010-10-01 | 2018-08-28 | Saturn Licensing Llc | Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system |
| KR101931390B1 (ko) * | 2010-10-01 | 2018-12-20 | 소니 주식회사 | 콘텐츠 송신 장치, 콘텐츠 송신 방법, 콘텐츠 재생 장치, 콘텐츠 재생 방법, 프로그램 및 콘텐츠 배신 시스템 |
| WO2013047663A1 (ja) * | 2011-09-29 | 2013-04-04 | ERIGUCHI Teppei | 動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システム |
| JP2013085216A (ja) * | 2011-09-29 | 2013-05-09 | Teppei ERIGUCHI | 動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システム |
| JP5208330B1 (ja) * | 2011-09-29 | 2013-06-12 | 徹平 江里口 | 動画像表示装置、動画像表示方法、プログラムおよび動画像処理表示システム |
| JP2015185964A (ja) * | 2014-03-20 | 2015-10-22 | 大日本印刷株式会社 | 画像データ生成システム、画像生成方法、画像処理装置及びプログラム |
| JP2015185965A (ja) * | 2014-03-20 | 2015-10-22 | 大日本印刷株式会社 | 撮像システム、撮像方法、画像再生装置及びプログラム |
| JP2015185962A (ja) * | 2014-03-20 | 2015-10-22 | 大日本印刷株式会社 | 画像データ生成システム、画像データ生成方法、画像処理装置及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030086003A1 (en) | 2003-05-08 |
| US7145947B2 (en) | 2006-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003115050A (ja) | 映像データ処理装置及び映像データ処理方法、データ配信装置及びデータ配信方法、データ受信装置及びデータ受信方法、記憶媒体、並びにコンピュータ・プログラム | |
| US10841532B2 (en) | Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission | |
| CN112204993B (zh) | 使用重叠的被分区的分段的自适应全景视频流式传输 | |
| JP6805861B2 (ja) | 画像処理装置、画像処理システム、画像処理方法及びプログラム | |
| JP3992045B2 (ja) | 映像信号処理装置及び該方法並びに仮想現実感生成装置 | |
| US8953079B2 (en) | System and method for generating 360 degree video recording using MVC | |
| US11483475B2 (en) | Adaptive panoramic video streaming using composite pictures | |
| US20140244858A1 (en) | Communication system and relaying device | |
| US10116880B2 (en) | Image stitching method and image processing apparatus | |
| CN111726520B (zh) | 摄影装置、摄影系统、图像处理方法 | |
| JP7177034B2 (ja) | レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム | |
| JP2006094458A (ja) | 映像信号処理装置および仮想現実感生成装置ならびに記録媒体 | |
| JP2019118026A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2008028606A (ja) | パノラマ展開画像撮像装置およびパノラマ展開画像撮像システム | |
| JP2008510357A (ja) | 画像のエンコーディング方法、エンコーディング装置、画像のデコーディング方法及びデコーディング装置 | |
| JP2006340091A (ja) | カメラサーバ、ビューワ、画像表示システム及び画像配信方法 | |
| US9338429B2 (en) | Video processing apparatus capable of reproducing video content including a plurality of videos and control method therefor | |
| US9430859B2 (en) | Image processing apparatus, image relaying apparatus, method for processing image, and method for relaying image | |
| JP2003224838A (ja) | 視点自由形画像表示装置及び方法、課金装置及び課金方法、記憶媒体、並びにコンピュータ・プログラム | |
| JP2003319351A (ja) | サービス提供システム、放送装置および方法、受信装置および方法、記録媒体、並びにプログラム | |
| JP2000152051A (ja) | 撮像装置 | |
| JP3542587B2 (ja) | カメラ制御装置 | |
| JP5960095B2 (ja) | 映像配信システム | |
| JP5927515B2 (ja) | 画像編集方法、画像編集システム、及び画像編集プログラム | |
| JPH0998405A (ja) | 画像処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
| A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20060113 |