JP2016519546A - 低コストでテレビ番組を制作する方法及びシステム - Google Patents
低コストでテレビ番組を制作する方法及びシステム Download PDFInfo
- Publication number
- JP2016519546A JP2016519546A JP2016514535A JP2016514535A JP2016519546A JP 2016519546 A JP2016519546 A JP 2016519546A JP 2016514535 A JP2016514535 A JP 2016514535A JP 2016514535 A JP2016514535 A JP 2016514535A JP 2016519546 A JP2016519546 A JP 2016519546A
- Authority
- JP
- Japan
- Prior art keywords
- stream
- frame
- scene
- frames
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 114
- 238000004519 manufacturing process Methods 0.000 claims abstract description 70
- 238000012546 transfer Methods 0.000 claims abstract description 20
- 230000005540 biological transmission Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000002156 mixing Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000004886 head movement Effects 0.000 claims description 3
- 238000001454 recorded image Methods 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2365—Multiplexing of several video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
Description
本出願は、2013年5月26日に出願されたMikyTamirおよびGalOzによる「低コストでテレビ番組を制作する方法及びシステム」と題する米国仮特許出願第61/827,602に基づく優先権の利益を主張する。その特許の全体は、本出願の請求の理由となり、参照により本出願に組み込まれるものである。
テレビが対象とするスポーツシーンは、かつては対象とされなかったような様々なスポーツイベントに広がりつつある。しかし、大勢のスタッフと複数のカメラによる完全現場制作は経費がかかりすぎるので、様々なスポーツを対象とした高品質の番組を作ることができない。一方、ホームユーザはあらゆるシーンを対象とし、試合中に様々な場所で発生するイベントを注視し、ドラマティックな場面をリプレイするテレビ番組制作を期待している。こうして、本発明の目的は、現在のような機材と人材に非常にコストがかかる屋外スポーツ番組制作に代わる低コストで効率的なテレビ番組制作方法を提案することである。
field of view(視野)という用語は、FOVと略され、所望のフレームや要求されたフレームという用語が本開示の全体を通じて用いられ、人が視聴や放送等を希望するシーンやその画像のことをいう。
前記のように、低コストで効率的なテレビ番組制作のための1つの方法とシステムが提案されている。提案された方法は、機材と人材に費用がかかる現在の一般的なアウトドア番組、特にスポーツ番組の屋外制作に取って代わるものだと思われる。ここで提案するシステムは固定カメラ配列110、現場データサーバ115およびクライアントモジュール195からなる。クライアントモジュール195はオプションであることに注意されたい。提案されたシステムは制作後の用途のみに使用してもよく、シーンのライブ撮影中に、クライアントモジュールも制作室も必要のない用途に使用してもよい。
図1aおよび2は現場サーバ115と制作室160による連携的制作を示している。チームと機材を含む制作室160は、離隔した制作室にあり、現場にあるのではない。制作室機材は、制作室プロセッサ170、ディレクター分割スクリーン165およびそれぞれのオペレータ(仮想カメラマン)180−1、180−2、180−nが使用する複数のクライアントモジュール190−nを含む。カメラ配列110およびデータサーバ115は従前通り現場にある。
本発明のこの実施態様では、クライアントは、広いFOVと時々刻々と変化する頭部位置を測定する内蔵センサを持つ仮想現実ヘッドセット195を使うホームユーザである。一例として、OculusVR(カリフォルニア州アーバイン)は、110度のFOVを持つヘッドセットを製造している。
あるシーンのパノラマ撮影から得られる所望の画像フレームのストリームを制作する方法は、ビデオカメラ配列110で提供される。方法は図3−5に示されている。これらの図には、現場サーバ115で行われる前処理の方法300、シーンに近い現場サーバや現場105から離隔した制作室160で行われる連携的方法400における前処理の方法300、および現場サーバ115が行う後処理の方法500のフローチャートが含まれている。
Claims (31)
- シーンに近接した現場および現場から離隔した制作室で実施される連携的作業によって、ビデオカメラの配列を使用して、シーンのパノラマ撮影から得られる所望の画像フレームのストリームを制作するための以下のステップを含む方法。
(a)複数のビデオカメラで同時に撮影された画像に関連した生ビデオ画像のストリームが、現場サーバによって記録されるステップ;
(b)第1データ転送速度の生ビデオ画像の前記ストリームが、第2転送速度のパノラマ画像に変換されるステップであって、前記第2データ転送速度が前記第1データ転送速度の1/3未満である;
(b)パノラマ画像の前記ストリームが、少なくとも1つの離隔した制作室に送られるステップ;
(c)離隔した制作室で、各関心領域、各パノラマ画像の一部である選択されたフレームを含む所望のフレームのストリームが選択されるステップ;
(d)前記現場サーバに、所望のフレームの前記ストリームのデータが転送されるステップ;
(e)生ビデオ画像の記録されたストリームから、所望のフレームの前記ストリームに従って、高解像度フレームのストリームが制作され、前記高解像度フレームは、各隣接生ビデオ画像から得られた隣接する画像間に知覚不能境界を有することを特徴とする。 - 前記方法は、各複数の固定関心領域を表示するために、複数の事前設定固定フレームを決定する、ことを含む、
ことを特徴とする請求項1に記載の方法。 - 前記方法は、以下の項目を含むフレームのグループから選択された1つのフレームを含む、ことを特徴とする請求項1に記載の方法。
(i)固定関心領域を取り込むために、あらかじめ決定された事前設定固定フレーム;
(ii)シーン内の物体を追尾する仮想移動式カメラ;
(iii)事前設定運動を実行する仮想移動式カメラ;
(iv)自動検知および事前定義イベントの内包のためのアルゴリズムで決定されたフレーム;および
(v)シーンの中の特定の位置で事前に発生したイベントに関連するフレーム。 - 前記方法は、以下の項目からなるデータ項目のグループのうち、少なくとも1つのデータ項目に関する所望のフレーム指示を出すために現場サーバに送信する、ことを含む、ことを特徴とする請求項1に記載の方法。
(a)画像アイテム;
(b)フレーム間の所望の映像遷移;
(b)音声アイテム;および
(c)シーンで発生する特定イベントに関する統計的データ。 - 2つまたはそれ以上のビデオカメラの配列が、2つまたはそれ以上の現場で、シーンを取り込み、パノラマ画像の各ストリームは、1つまたはそれ以上の制作室に送信される、ことを特徴とする請求項1に記載の方法。
- 少なくとも1つの移動ビデオカメラが、イベントを取り込むために、ビデオカメラの配列と組み合わせて使用される、ことを特徴とする請求項1に記載の方法。
- 前記制作室に対する少なくとも1つの前記送信および前記現場サーバに対する前記送信が、インターネットリンクを使ってなされる、ことを特徴とする請求項1に記載の方法。
- 前記制作室に対する少なくとも1つの前記送信および前記現場サーバに対する前記送信が、クラウドサービスを使ってなされる、ことを特徴とする請求項7に記載の方法。
- 前記シーンがスポーツシーンである、ことを特徴とする請求項1に記載の方法。
- クライアントモジュールが所望のフレームの前記ストリームを選択し、前記クライアントモジュールが表示インターフェース、所望のフレームセレクタおよび制御装置を含む、ことを特徴とする請求項1に記載の方法。
- 前記クライアントモジュールがホームユーザに提供される、ことを特徴とする請求項10に記載の方法。
- 前記クライアントモジュールが、さらに処理および通信装置を備える、ことを特徴とする請求項10に記載の方法。
- 前記表示インターフェースが、以下の項目を含むインターフェースのグループから選択される、ことを特徴とする請求項10に記載の方法。
(i)動的に取り込んだシーンの少なくとも一部のパノラマ画像を表示し、表示されたシーンに重なる長方形としての選択された視野を有するスクリーン;および
(ii)以下の項目を備え、動的シーンの少なくとも1つの部分を直接表示する単眼または双眼装置。
(A)所望の視野を制御するために、パンおよびチルト装置、ズーム制御手段、およびパンおよびチルト角度およびレームサイズを測定する手段;および
(B)前記所望の視野の画像表示の手段。 - 以下のステップことを特徴とする請求項10に記載の方法。
(A)クラウドサーバが、前記現場サーバからパノラマ画像のシーケンスを受け取る;および
(B)前記クラウドサーバが、前記パノラマ画像の前記シーケンスをインターネットを使って、前記クライアントモジュールにストリーム配信する。 - 前記表示インターフェースが、以下の項目を含む仮想現実ゴーグルセットである、ことを特徴とする請求項10に記載の方法。
(A)パノラマ画像の前記ストリームで視聴される画像の少なくとも一部の表示;および
(B)シーンを実際に見ている観客の頭部の運動と、前記ゴーグルセットが表示する画像の少なくとも一部を同期させる手段。 - ゴーグルを装着した1人のオペレータが3次元的視野を知覚できるように、ゴーグルの単眼ごとに、それぞれ異なるパノラマ画像を供給するようにした、ことを特徴とする請求項15に記載の方法。
- 前記方法は、以下のステップを含むステップのグループから選択された1つのステップをさらに含む、ことを特徴とする請求項1に記載の方法。
(i)機械的設計およびレンズ設定に基づいて、配列のビデオカメラを事前校正するステップ;および
(ii)校正パラメータを入手するために、前記シーンに基づいて前記ビデオカメラを正確に校正するステップ。 - 前記方法は、以下のステップを含む現場サーバで実施されるステップを含む、ことを特徴とする請求項1に記載の方法。
(i)ビデオカメラで取り込んだフレームがピクセルタイルに分解されるステップであり、前記タイルが、単一のカメラフレームサイズより小さいピクセルの長方形のアレイである;
(ii)前記ピクセルタイルがタイムコードと関連づけられるステップ;および
(iii)前記ピクセルタイルが記録されるステップ。 - 前記方法は、以下のステップを含むアクションのグループから選択される少なくとも1つのアクションを含む、
ことを特徴とする請求項18に記載の方法。
(i)選択されたフレームと関連した記録済みピクセルタイルが取得されるステップ;
(ii)世界座標からカメラ座標にステッチングラインが変換され、選択されたフレームにおいてラインが指定され、またはラインが解除されるステップ;
(iii)隣接するビデオカメラに属するピクセルが前記校正パラメータを使って幾何学的に整列されるステップ;
(iv)隣接するビデオカメラに属するステッチングゾーンで、ステッチングラインからの距離に従って、ピクセル対が混合されるステップ;
(v)異なるビデオカメラに属するピクセルの色彩強度が修正されるステップ;および
(vi)フレーム全体の色調、彩度、強度およびガンマ値が調整されるステップ。 - 前記方法は、現場サーバで実施され、以下のステップを含むグループから選択される少なくとも1つのステップを含む、ことを特徴とする請求項1に記載の方法。
(i)前記ビデオカメラ配列で取り込まれた隣接するフレームが低品質の混合およびアライメントを受けるステップ;
(ii)低解像度パノラマ画像が混合およびアライメントを受けたフレームから生成されるステップ;および
(iii)離隔した制作室に送信するためにパノラマ画像が圧縮および符号化されるステップ。 - 前記方法は、離隔した制作室で実施され、以下のステップを含むグループから選択される少なくとも1つのステップを含む、ことを特徴とする請求項1に記載の方法。
(i)各関心領域に従って、オペレータにパノラマ画像の部分フレームを生成および配信するステップ;
(ii)前記オペレータが、実際のフレームを取得するために前記部分フレーム内を横方向に移動し、それをズームインまたはズームアウトするステップ;
(iii)ディレクターに前記実際のフレームを提示するステップ;および
(iv)前記ディレクターが放送する実際のフレームを選択するステップ。 - 前記方法は、以下のステップを含む、ことを特徴とする請求項1の方法。
(i)高解像度フレームの前記ストリームが必要な出力ビデオフォーマットに符号化されるステップ;および
(ii)高解像度フレームのフォーマット化したストリームが放送またはウェブキャストされるステップ。 - シーンに近接した現場から離隔した制作室、ビデオカメラの配列を使用して、シーンのパノラマ撮影から得られる所望の画像フレームのストリームを制作するために連携的方法で現場サーバとともに作業を行う制作室のための以下のステップを含む方法。
(a)複数のビデオカメラが同時に撮影した生ビデオ画像ストリームから得られた低解像度パノラマ画像のストリームを現場サーバから受信するステップ;
(b)離隔した制作室で、各関心領域、前記低解像度のパノラマ画像の一部である選択されたフレームを含む所望のフレームのストリームが選択されるステップ;および
(c)前記現場サーバに、所望のフレームの前記ストリームのデータが転送されるステップ。 - 前記方法は、以下のステップを含むステップのグループから選択された少なくとも1つのステップを含む、ことを特徴とする請求項23に記載の方法。
(i)制作室にて、各関心領域に従って、オペレータにパノラマ画像の部分フレームを生成および配信するステップ;
(ii)前記オペレータが、実際のフレームを取得するために前記部分フレーム内を横方向に移動し、それをズームインまたはズームアウトする;
(iii)ディレクターに前記実際のフレームを提示するステップ;および
(iv)前記ディレクターが放送する実際のフレームを選択するステップ。 - ビデオカメラ配列によるスポーツシーンのパノラマ撮影から得られる所望の画像フレームのストリームを、制作室と連携して、現場サーバが制作するための、以下のステップを含む方法。
(a)複数のビデオカメラで同時に撮影された生ビデオ画像のストリームが、現場サーバによって記録されるステップ;
(b)生ビデオ画像の前記ストリームが、少なくとも1/3にデータ転送速度を落としたパノラマ画像に変換されるステップ;
(c)各関心領域、パノラマ画像の一部である選択されたフレームを含む所望のフレームのストリームを選択するために制作室にパノラマ画像の前記ストリームが送信されるステップ;
(d)前記制作室から、所望のフレームの前記ストリームのデータを受け取るステップ;および
(e)生ビデオ画像の記録されたストリームから、所望のフレームの前記ストリームに従って、高解像度フレームのストリームが制作されるステップであり、前記高解像度フレームは、隣接する各生ビデオ画像から得られた隣接する画像間に知覚不能境界を有することを特徴とする。 - 前記方法は、以下のステップを含む、ことを特徴とする請求項25の方法。
(i)ビデオカメラが取り込んだフレームがピクセルタイルに分解されるステップ;
(ii)前記ピクセルタイルがタイムコードと関連づけられるステップ;および
(iii)前記ピクセルタイルが記録されるステップ。 - 前記方法は、以下の項目を含むアクションのグループから少なくとも1つのアクションを選択することを含む、ことを特徴とする請求項26に記載の方法。
(i)選択されたフレームと関連した記録済みピクセルタイルが取得される;
(ii)世界座標からカメラ座標にステッチングラインが変換され、選択されたフレームにおいてラインが指定され、またはラインが解除される;
(iii)隣接するビデオカメラに属するピクセルが前記校正パラメータを使って幾何学的に整列される;
(iv)隣接するビデオカメラに属するステッチングゾーンで、ステッチングラインからの距離に従って、ピクセル対が混合される;
(v)異なるビデオカメラに属するピクセルの色彩強度が修正される;および
(vi)フレーム全体の色調、彩度、強度およびガンマ値が調整される。 - ビデオカメラ配列によるシーンのパノラマ撮影から得られる所望の画像フレームのストリームを現場サーバが制作するための、以下のステップを含む方法。
(a)複数のビデオカメラで同時に撮影された生ビデオ画像のストリームに関連するビデオ画像のストリームが、記録されるステップ;
(b)シーンのパノラマ撮影における各関心領域を含む所望のフレームのストリームに関するデータが受け取られるステップ;および
(c)ビデオ画像の事前に記録されたストリームから、所望のフレームの前記ストリームに従って高解像度フレームのストリームが制作され、前記フレームに関連して事前に記録された画像のみに制限されたアクションを含め高解像度フレームの前記ストリームのフレームが制作されるステップであって、制限されたアクションは以下のステップを含む;
(i)前記フレームに関連して事前に記録された前記画像のみが事前に記録されたビデオ画像から取得されるステップ;および
(ii)隣接する画像間に知覚不能境界を持つ高解像度フレームを獲得するために関連する画像のみが処理されるステップ。 - 所望のフレームのストリームに関する前記データが、表示インターフェース、所望フレームセレクタを含むクライアントモジュールから受信される、ことを特徴とする請求項28に記載の方法。
- 前記クライアントモジュールが、さらに処理および通信装置を備える、ことを特徴とする請求項29に記載の方法。
- 前記表示インターフェースが、以下の項目を含むインターフェースのグループから選択される、ことを特徴とする請求項29に記載の方法。
(i)取り込んだ動画シーンの少なくとも一部のパノラマ画像を表示し、表示されたシーンに重なる長方形としての選択されたフレームを有するスクリーン;
(ii)シーンの直接実視およびミニチュアスクリーンに表示される選択されたフレームの画像表示の反射のための部分反射透明表面と、頭部姿勢を測定する手段を備えたヘッドアップディスプレイ;
(iii)以下の項目を含むシーンを直接表示する接眼装置;
(A)所望のフレームを制御するための、パンおよびチルト装置およびズーム制御手段およびパンおよびチルト角度およびフレームサイズ測定装置;および
(B)前記所望のフレームの画像表示の手段;および
(iv)以下のものを含む仮想現実ゴーグルセット:
パノラマ画像のストリームの少なくとも一部の表示;
シーンを実際に見ている観客の視界を再現するために、観客の頭部運動に前記表示の一部を同期させる手段。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361827602P | 2013-05-26 | 2013-05-26 | |
US61/827,602 | 2013-05-26 | ||
PCT/IL2014/050472 WO2014191990A1 (en) | 2013-05-26 | 2014-05-26 | Method and system for low cost television production |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016519546A true JP2016519546A (ja) | 2016-06-30 |
JP6432029B2 JP6432029B2 (ja) | 2018-12-05 |
Family
ID=51988109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016514535A Active JP6432029B2 (ja) | 2013-05-26 | 2014-05-26 | 低コストでテレビ番組を制作する方法及びシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US10438633B2 (ja) |
EP (1) | EP3005677A1 (ja) |
JP (1) | JP6432029B2 (ja) |
CN (1) | CN105264876B (ja) |
CA (1) | CA2949005C (ja) |
IL (1) | IL242385B (ja) |
WO (1) | WO2014191990A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018036956A (ja) * | 2016-09-01 | 2018-03-08 | キヤノン株式会社 | 表示制御装置、表示制御方法及びプログラム |
JP2019053738A (ja) * | 2018-10-10 | 2019-04-04 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
KR20200023513A (ko) * | 2016-10-28 | 2020-03-04 | 캐논 가부시끼가이샤 | 화상 처리 시스템, 화상 처리 방법 및 기억 매체 |
JP2020509646A (ja) * | 2017-01-27 | 2020-03-26 | ジーブイビービー ホールディングス エス.エイ.アール.エル. | ライブビデオ放送の制作用のメディアコンテンツのキャプチャを制御するシステム及び方法 |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106165393A (zh) | 2014-04-03 | 2016-11-23 | 皮克索洛特公司 | 用于自动电视制作的方法和系统 |
US10362290B2 (en) | 2015-02-17 | 2019-07-23 | Nextvr Inc. | Methods and apparatus for processing content based on viewing information and/or communicating content |
US9832450B2 (en) * | 2015-02-17 | 2017-11-28 | Nextvr Inc. | Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device |
WO2016132267A2 (en) * | 2015-02-19 | 2016-08-25 | Spark S.R.L. | A video management system and method |
US11108670B2 (en) | 2015-09-09 | 2021-08-31 | Vantrix Corporation | Streaming network adapted to content selection |
US10694249B2 (en) | 2015-09-09 | 2020-06-23 | Vantrix Corporation | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset |
US10419770B2 (en) * | 2015-09-09 | 2019-09-17 | Vantrix Corporation | Method and system for panoramic multimedia streaming |
US11287653B2 (en) | 2015-09-09 | 2022-03-29 | Vantrix Corporation | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset |
US10506006B2 (en) | 2015-09-09 | 2019-12-10 | Vantrix Corporation | Method and system for flow-rate regulation in a content-controlled streaming network |
US10791285B2 (en) * | 2015-10-05 | 2020-09-29 | Woncheol Choi | Virtual flying camera system |
US11228754B2 (en) * | 2016-05-06 | 2022-01-18 | Qualcomm Incorporated | Hybrid graphics and pixel domain architecture for 360 degree video |
US10582201B2 (en) * | 2016-05-19 | 2020-03-03 | Qualcomm Incorporated | Most-interested region in an image |
WO2017205642A1 (en) * | 2016-05-25 | 2017-11-30 | Livit Media Inc. | Methods and systems for live sharing 360-degree video streams on a mobile device |
US11375284B2 (en) * | 2016-07-15 | 2022-06-28 | Koninklijke Kpn N.V. | Streaming virtual reality video |
US11303966B2 (en) | 2016-09-26 | 2022-04-12 | Dolby Laboratories Licensing Corporation | Content based stream splitting of video data |
EP3535644B1 (en) | 2016-11-04 | 2023-02-22 | Koninklijke KPN N.V. | Streaming virtual reality video |
US10587800B2 (en) | 2017-04-10 | 2020-03-10 | Intel Corporation | Technology to encode 360 degree video content |
JP7303754B2 (ja) * | 2017-06-27 | 2023-07-05 | ピクセルロット エルティーディー. | ユーザー固有コンテンツを映像制作に融合させる方法及びシステム |
US11405581B2 (en) | 2017-12-26 | 2022-08-02 | Pixart Imaging Inc. | Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images |
US10499019B2 (en) * | 2017-12-26 | 2019-12-03 | Primesensor Technology Inc. | Motion detection device and motion detection method thereof |
US11622092B2 (en) | 2017-12-26 | 2023-04-04 | Pixart Imaging Inc. | Image sensing scheme capable of saving more power as well as avoiding image lost and also simplifying complex image recursive calculation |
US10645351B2 (en) | 2017-12-26 | 2020-05-05 | Primesensor Technology Inc. | Smart motion detection device and related determining method |
EP3550823A1 (en) * | 2018-04-05 | 2019-10-09 | EVS Broadcast Equipment SA | Automatic control of robotic camera for capturing a portion of a playing field |
KR102579133B1 (ko) * | 2018-10-02 | 2023-09-18 | 삼성전자주식회사 | 전자 장치에서 프레임들을 무한 재생하기 위한 장치 및 방법 |
US11523185B2 (en) | 2019-06-19 | 2022-12-06 | Koninklijke Kpn N.V. | Rendering video stream in sub-area of visible display area |
US11120675B2 (en) * | 2019-07-24 | 2021-09-14 | Pix Art Imaging Inc. | Smart motion detection device |
US20220028215A1 (en) * | 2020-07-21 | 2022-01-27 | Adrenalineip | Play by play parlay |
EP4229552A4 (en) * | 2020-10-13 | 2024-03-06 | Flyreel Inc | GENERATION OF MEASUREMENTS OF PHYSICAL STRUCTURES AND ENVIRONMENTS THROUGH AUTOMATED ANALYSIS OF SENSOR DATA |
CN113099245B (zh) * | 2021-03-04 | 2023-07-25 | 广州方硅信息技术有限公司 | 全景视频直播方法、系统和计算机可读存储介质 |
CN113453086A (zh) * | 2021-03-29 | 2021-09-28 | 北京国际云转播科技有限公司 | 多机位同步云导播方法、系统、存储介质和视频编码器 |
CN117459663B (zh) * | 2023-12-22 | 2024-02-27 | 北京天图万境科技有限公司 | 一种投射光自校正拟合与多色彩重定位方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009060664A (ja) * | 2008-10-27 | 2009-03-19 | Sony Corp | 撮像装置および番組制作方法 |
US20130070047A1 (en) * | 2011-09-16 | 2013-03-21 | Jay J. DiGIOVANNI | Low Scale Production System and Method |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5604534A (en) * | 1995-05-24 | 1997-02-18 | Omni Solutions International, Ltd. | Direct digital airborne panoramic camera system and method |
US7796162B2 (en) | 2000-10-26 | 2010-09-14 | Front Row Technologies, Llc | Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers |
US6788333B1 (en) * | 2000-07-07 | 2004-09-07 | Microsoft Corporation | Panoramic video |
US7019713B2 (en) * | 2002-10-30 | 2006-03-28 | The University Of Chicago | Methods and measurement engine for aligning multi-projector display systems |
US20050094562A1 (en) | 2003-10-30 | 2005-05-05 | Sumit Roy | Methods and devices for reducing total bandwidth when streaming multiple media streams |
US20080138029A1 (en) * | 2004-07-23 | 2008-06-12 | Changsheng Xu | System and Method For Replay Generation For Broadcast Video |
US7773126B1 (en) * | 2006-05-26 | 2010-08-10 | Itt Manufacturing Enterprises, Inc. | Mosaic image collector including an embedded atomic clock |
US9185361B2 (en) * | 2008-07-29 | 2015-11-10 | Gerald Curry | Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information |
WO2010116329A2 (en) | 2009-04-08 | 2010-10-14 | Stergen Hi-Tech Ltd. | Method and system for creating three-dimensional viewable video from a single video stream |
ES2675802T3 (es) * | 2011-02-18 | 2018-07-12 | Alcatel Lucent | Procedimiento y aparato para transmitir y recibir un flujo de video panorámico |
CN102164298B (zh) | 2011-05-18 | 2012-10-03 | 长春理工大学 | 全景成像系统中基于立体匹配的元素图像获取方法 |
US8866912B2 (en) * | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
WO2014145722A2 (en) * | 2013-03-15 | 2014-09-18 | Digimarc Corporation | Cooperative photography |
-
2014
- 2014-05-26 CA CA2949005A patent/CA2949005C/en active Active
- 2014-05-26 CN CN201480030443.3A patent/CN105264876B/zh active Active
- 2014-05-26 US US14/893,077 patent/US10438633B2/en active Active
- 2014-05-26 WO PCT/IL2014/050472 patent/WO2014191990A1/en active Application Filing
- 2014-05-26 JP JP2016514535A patent/JP6432029B2/ja active Active
- 2014-05-26 EP EP14803687.4A patent/EP3005677A1/en not_active Ceased
-
2015
- 2015-11-01 IL IL242385A patent/IL242385B/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009060664A (ja) * | 2008-10-27 | 2009-03-19 | Sony Corp | 撮像装置および番組制作方法 |
US20130070047A1 (en) * | 2011-09-16 | 2013-03-21 | Jay J. DiGIOVANNI | Low Scale Production System and Method |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018036956A (ja) * | 2016-09-01 | 2018-03-08 | キヤノン株式会社 | 表示制御装置、表示制御方法及びプログラム |
US11132807B2 (en) | 2016-09-01 | 2021-09-28 | Canon Kabushiki Kaisha | Display control apparatus and display control method for receiving a virtual viewpoint by a user operation and generating and displaying a virtual viewpoint image |
KR20200023513A (ko) * | 2016-10-28 | 2020-03-04 | 캐논 가부시끼가이샤 | 화상 처리 시스템, 화상 처리 방법 및 기억 매체 |
KR20210068629A (ko) * | 2016-10-28 | 2021-06-09 | 캐논 가부시끼가이샤 | 화상 처리 시스템, 화상 처리 방법 및 기억 매체 |
KR102262731B1 (ko) * | 2016-10-28 | 2021-06-10 | 캐논 가부시끼가이샤 | 화상 처리 시스템, 화상 처리 방법 및 기억 매체 |
US11128813B2 (en) | 2016-10-28 | 2021-09-21 | Canon Kabushiki Kaisha | Image processing apparatus, image processing system, image processing method, and storage medium |
KR102364052B1 (ko) | 2016-10-28 | 2022-02-18 | 캐논 가부시끼가이샤 | 화상 처리 시스템, 화상 처리 방법 및 기억 매체 |
JP2020509646A (ja) * | 2017-01-27 | 2020-03-26 | ジーブイビービー ホールディングス エス.エイ.アール.エル. | ライブビデオ放送の制作用のメディアコンテンツのキャプチャを制御するシステム及び方法 |
JP7249946B2 (ja) | 2017-01-27 | 2023-03-31 | ジーブイビービー ホールディングス エス.エイ.アール.エル. | ライブビデオ放送の制作用のメディアコンテンツのキャプチャを制御するシステム及び方法 |
US11695970B2 (en) | 2017-01-27 | 2023-07-04 | Grass Valley Canada | System and method for controlling media content capture for live video broadcast production |
JP2019053738A (ja) * | 2018-10-10 | 2019-04-04 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
CA2949005A1 (en) | 2014-12-04 |
CA2949005C (en) | 2021-06-29 |
WO2014191990A1 (en) | 2014-12-04 |
EP3005677A4 (en) | 2016-04-13 |
JP6432029B2 (ja) | 2018-12-05 |
CN105264876A (zh) | 2016-01-20 |
IL242385B (en) | 2020-05-31 |
CN105264876B (zh) | 2019-04-23 |
EP3005677A1 (en) | 2016-04-13 |
US20160104510A1 (en) | 2016-04-14 |
US10438633B2 (en) | 2019-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6432029B2 (ja) | 低コストでテレビ番組を制作する方法及びシステム | |
US9774896B2 (en) | Network synchronized camera settings | |
US11336966B2 (en) | Methods and apparatus for delivering content and/or playing back content | |
US10750154B2 (en) | Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus | |
CN106792246B (zh) | 一种融合式虚拟场景互动的方法及系统 | |
KR102611448B1 (ko) | 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치 | |
JP7123523B2 (ja) | 自動的にテレビ番組を制作する方法及びシステム | |
US8885023B2 (en) | System and method for virtual camera control using motion control systems for augmented three dimensional reality | |
WO2018133849A1 (zh) | 全景图像拍摄方法、全景图像显示方法、全景图像拍摄装置以及全景图像显示装置 | |
CN105939481A (zh) | 一种交互式三维虚拟现实视频节目录播和直播方法 | |
JP5607146B2 (ja) | 撮像制御装置、没入位置情報生成装置、撮像制御方法、没入位置情報生成方法 | |
KR20220127939A (ko) | 콘텐트를 캡처, 스트리밍, 및/또는 재생하기 위한 방법들 및 장치 | |
CN106550239A (zh) | 360度全景视频直播系统及其实现方法 | |
JP2013514004A (ja) | 近位および遠位に焦点が合わされた画像を用いた3次元記録表示システム | |
CN105635675A (zh) | 一种全景播放方法和装置 | |
WO2016139898A1 (ja) | ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法 | |
US20090153550A1 (en) | Virtual object rendering system and method | |
KR20190031220A (ko) | Vr 콘텐츠 제공 시스템 및 방법 | |
JP4250814B2 (ja) | 3次元映像の送受信システム及びその送受信方法 | |
TW201125358A (en) | Multi-viewpoints interactive television system and method. | |
CN114885147B (zh) | 融合制播系统及方法 | |
KR20170020391A (ko) | 사용자의 능동적 이용이 가능한 방송 제공방법 및 이를 이용한 단말기, 컴퓨터 판독 가능한 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180523 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180903 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181003 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181016 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6432029 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |