JP2019041340A - 多重映像配信システム - Google Patents
多重映像配信システム Download PDFInfo
- Publication number
- JP2019041340A JP2019041340A JP2017163819A JP2017163819A JP2019041340A JP 2019041340 A JP2019041340 A JP 2019041340A JP 2017163819 A JP2017163819 A JP 2017163819A JP 2017163819 A JP2017163819 A JP 2017163819A JP 2019041340 A JP2019041340 A JP 2019041340A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- line
- signal
- distribution system
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
「『撮像対象がある現地』に存在する子装置」と「『遠隔地にいるユーザ』が使用する端末装置」とを対応付けた上で、子装置が撮像対象を撮像して生成した撮像信号を、「現地に存在する親装置」が映像信号に変換した上で、端末装置に送信する多重映像配信システム
が提案されている。
3次元的に配置され、異なる視座及び/又は視線方向から撮像対象を撮像して撮像信号を生成し、必要な変換を行った上で後記親装置に送信する複数の子装置と;
前記子装置の各々から受信した撮像信号に基づいて「表示範囲が異なる複数系統の映像信号」を生成・送信する親装置と;
から構成される多重映像配信システムであって、
前記親装置は、「前記子装置の各々から受信した撮像信号」及び「前記子装置の各々の位置情報と視線方向情報」に基づいて、撮像対象の表面を3次元空間内にマッピングした3次元マッピングデータを生成し、該3次元マッピングデータに基づいて「『所定の視座と視線方向から撮像対象を見た視像』に相当する映像信号」を生成する機能を有する、
ように構成した。
複数の端末装置から受信した表示範囲設定信号に基づいて「表示範囲が異なる複数系統の映像信号」を生成する機能と;
生成した各々の系統の映像信号を、「該系統の映像信号がそれに基づいて生成された表示範囲設定信号を生成した端末装置」宛に送信する機能と;
を有する、
するように構成した。
前記親装置は、
前記端末装置から受信した視座設定信号と視線方向設定信号に基づいて視座と視線方向を設定した上で、「該視座と該視線方向から撮像対象を見た視像』に相当する映像信号」を生成する機能と;
生成した映像信号を、「該系統の映像信号がそれに基づいて生成された視座設定信号と視線方向設定信号を生成した端末装置」宛に送信する機能と;
を有する、
するように構成した。
前記親装置は、「両眼の視座のずれを反映した2系統の映像信号」を生成する機能を有する、
を有する、
ように構成した。
前記親装置は、
過去の前記3次元マッピングデータを蓄積する機能と;
前記端末装置から表示範囲設定信号を受信した時点より以前の3次元マッピングデータに基づいて映像信号を生成する機能と;
を有する、
ように構成した。
施形態に限定されず、その技術思想の範囲内で種々の変更が可能である。
また、図2は、本発明の実施例1に係る多重映像配信システムの構成及び機能を説明するためのイメージ図であり、特に、本発明の実施例1に係る多重映像配信システムを用いてエジプトのスフィンクスの映像を多重同時配信する場合の子装置の配備方法を例示している。
[子装置の配備原則]
「撮像対象のすべての表面点が、複数の子装置の撮像手段の撮像可能範囲に入っていること」
図3では、撮像対象はA〜Fの側面を持つが、これらの側面は、下記の通り、いずれも複数の子装置の撮像可能範囲に入っている。
側面A……子装置i+子装置ii
側面B……子装置ii+子装置iii
側面C……子装置iii+子装置iv
側面D……子装置iii+子装置iv
側面E……子装置iii+子装置iv+子装置v
側面F……子装置i+子装置v
撮像対象の表面点をマッピングする3次元空間のデカルト座標軸を下記のように設定する。
X軸……緯度方向(東方向が正)
Y軸……経度方向(北方向が正)
Z軸……鉛直方向(上方向が正)
原点……撮像対象の中心の鉛直下方の地面点
上記の通り、側面Aにある表面点★は、子装置iと子装置iiの双方によって撮像される。一方、子装置iと子装置iiの各々の撮像手段の視座の位置情報(撮像手段の視座の高度と鉛直下方の地面点の緯度・経度)は、子装置iと子装置iiの各々から送信される位置・視線方向信号に含まれている。この情報に基づいて、子装置iと子装置iiの各々の撮像手段の視座の座標を算出する。
子装置iの撮像手段の視座の座標……(x1,y1,z1)
子装置iiの撮像手段の視座の座標……(x2,y2,z2)
子装置iと子装置iiの各々の撮像手段の視線方向情報(撮像手段の視線方向の傾斜角θと回転角φ)は、子装置iと子装置iiの各々から送信される位置・視線方向信号に含まれている。この情報に基づいて、子装置iと子装置iiの各々の撮像手段の視線の単位方向ベクトルを算出する。
子装置iの撮像手段の視線の単位方向ベクトル……(sinθ1・cosφ1,sinθ1・sinφ1,cosθ1)
子装置iiの撮像手段の視線の単位方向ベクトル……(sinθ2・cosφ2、sinθ2・sinφ2、cosθ2)
子装置iと子装置iiの各々から送信される圧縮映像信号には、子装置iと子装置iiの各々の撮像手段の視線と、各々の撮像手段の視座から表面点★を結んだ直線(以下「表面点★の撮像線」という)との間の2次元的な偏差角度(Δθ、Δφ)の情報が含まれており、これと上記の視線方向情報を組み合わせることによって、子装置iと子装置iiの各々の撮像手段の「表面点★の撮像線」の単位方向ベクトルを算出する。
子装置iの撮像手段の「表面点★の撮像線」の単位方向ベクトル……(sin(θ1+Δθ1)・cos(φ1+Δφ1)、sin(θ1+Δθ1)・sin(φ1+Δφ1)、cos(θ1+Δθ1))
子装置iiの撮像手段の「表面点★の撮像線」の単位方向ベクトル……(sin(θ2+Δθ2)・cos(φ2+Δφ2)、sin(θ2+Δθ2)・sin(φ2+Δφ2)、cos(θ2+Δθ2))
上記の手順(3)と(4)から、子装置iと子装置iiの各々の撮像手段による「表面点★の撮像線」が通る点(=子装置iと子装置iiの各々の撮像手段の視座)と単位方向ベクトルが定まったため、これらから、子装置iと子装置iiの各々の撮像手段による「表面点★の撮像線」の直線の方程式が算出される。
そして、表面点★はこれら2つの直線の交点であるから、2つの直線の方程式からなる連立方程式を解くことによって、表面点★の座標が算出される。
曲面1……f1,t(x,y,z)=0
曲面2……f2,t(x,y,z)=0
曲面3……f3,t(x,y,z)=0
………
曲面n……fn,t(x,y,z)=0
「『所定の視座と視線方向から撮像対象を見た視像』に相当する映像信号」が色情報を伝達する画素のうち、表示範囲の中心にある画素は「視線方向にある撮像対象の表面点」に対応する。そして、表示範囲のそれ以外の画素は、「視座を起点とする直線で、視線から一定の偏差角度だけずれた直線(以下「画素に対応する視像線」という)方向にある撮像対象の表面点」に対応する。
上記の通り、サーバ22は、端末装置A_4A〜端末装置H_4Hの各々から視線方向設定信号を受信するため、これ基づいて、視線の単位方向ベクトルが算出される。また、上記の通り、映像信号の各画素には視線からの偏差角度が対応づけられるから、これらの情報によって、「各画素に対応する視像線」の単位方向ベクトルが算出される。また、「各画素に対応する視像線」は視座を通り、一方、視座の座標は、端末装置A_4A〜端末装置H_4Hの各々から受信する視座設定信号に基づいて、視座の座標が算出される。したがって、端末装置A_4A〜端末装置H_4Hの各々から受信する視線方向設定信号と視座設定信号に基づいて、「画素に対応する視像線」の直線の方程式が算出される。
上記の通り、撮像対象の表面は、複数の曲面1(f1,t(x,y,z)=0)〜曲面n(fn,t(x,y,z)=0)によって構成され、特に、親装置が端末装置A_4A〜端末装置H_4Hの各々から視座設定信号と視線方向設定信号を受信した時点t0での撮像対象の表面は、処理時間を無視すると、複数の曲面1(f1,t=t0(x,y,z)=0)〜曲面n(fn,t=t0(x,y,z)=0)によって構成されるため、これらの曲面の方程式と「各画素に対応する視像線」の直線の方程式との連立方程式を解くことにより、「各画素に対応する視像線」と撮像対象の表面との交点の座標が定まる。一般に、この交点は複数存在するが、そのうち、視座からの距離が最も近い交点が、映像信号の各画素に対応する表面点となる。
上記の通り、3次元空間内にマッピングされた撮像対象の各表面点には、RGB値又はHSV値によって定義によって色が定義されているから、この色が映像信号の各画素の色となる。
これによって、ユーザは、自身がコントローラを操作している時刻t0よりもΔtだけ過去に遡った時点での撮像対象の状態を観察できるようになる。
一方、サーバ22では、受信した観測時点設定信号に基づいて、映像信号を生成する際に使用する3次元マッピングデータの時点を設定する。
1β‥‥‥子装置β
1γ‥‥‥子装置γ
1δ‥‥‥子装置δ
1ε‥‥‥子装置ε
1ζ‥‥‥子装置ζ
2‥‥‥親装置
21‥‥‥インターフェース部
22‥‥‥サーバ
3‥‥‥インターネット
4A‥‥‥端末装置A
4B‥‥‥端末装置B
4C‥‥‥端末装置C
4D‥‥‥端末装置D
4E‥‥‥端末装置E
4F‥‥‥端末装置F
4G‥‥‥端末装置G
4H‥‥‥端末装置G
5‥‥‥撮像手段
51‥‥‥撮像手段の視座
511‥‥‥撮像手段の視座の高度
512‥‥‥撮像手段の視座の鉛直下方の地面点
52‥‥‥撮像手段の視線
522‥‥‥撮像手段の視線の鉛直方向の傾斜角
523‥‥‥撮像手段の視線の水平方向の回転角
53‥‥‥撮像手段の撮像範囲
531‥‥‥撮像手段の視点(撮像範囲の中心)
Claims (5)
- 3次元的に配置され、異なる視座及び/又は視線方向から撮像対象を撮像して撮像信号を生成し、必要な変換を行った上で後記親装置に送信する複数の子装置と;
前記子装置の各々から受信した撮像信号に基づいて「表示範囲が異なる複数系統の映像信号」を生成・送信する親装置と;
から構成される多重映像配信システムであって、
前記親装置は、「前記子装置の各々から受信した撮像信号」及び「前記子装置の各々の位置情報と視線方向情報」に基づいて、撮像対象の表面を3次元空間内にマッピングした3次元マッピングデータを生成し、該3次元マッピングデータに基づいて「『所定の視座と視線方向から撮像対象を見た視像』に相当する映像信号」を生成する機能を有する、
ことを特徴とする多重映像配信システム。 - 前記親装置は、
複数の端末装置から受信した表示範囲設定信号に基づいて「表示範囲が異なる複数系統の映像信号」を生成する機能と;
生成した各々の系統の映像信号を、「該系統の映像信号がそれに基づいて生成された表示範囲設定信号を生成した端末装置」宛に送信する機能と;
を有する、
ことを特徴とする、請求項1に記載の多重映像配信システム。 - 前記親装置は、
前記端末装置から受信した視座設定信号と視線方向設定信号に基づいて視座と視線方向を設定した上で、「該視座と該視線方向から撮像対象を見た視像』に相当する映像信号」を生成する機能と;
生成した映像信号を、「該系統の映像信号がそれに基づいて生成された視座設定信号と視線方向設定信号を生成した端末装置」宛に送信する機能と;
を有する、
ことを特徴とする、請求項2に記載の多重映像配信システム。 - 前記親装置は、「両眼の視座のずれを反映した2系統の映像信号」を生成する機能を有する、
ことを特徴とする、請求項3に記載の多重映像配信システム。 - 前記親装置は、
過去の前記3次元マッピングデータを蓄積する機能と;
前記端末装置から表示範囲設定信号を受信した時点より以前の3次元マッピングデータに基づいて映像信号を生成する機能と;
を有する、
ことを特徴とする、請求項2乃至4のいずれか一項に記載の多重映像配信システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017163819A JP2019041340A (ja) | 2017-08-28 | 2017-08-28 | 多重映像配信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017163819A JP2019041340A (ja) | 2017-08-28 | 2017-08-28 | 多重映像配信システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020086364A Division JP2020123990A (ja) | 2020-05-16 | 2020-05-16 | 多重映像配信システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019041340A true JP2019041340A (ja) | 2019-03-14 |
Family
ID=65726288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017163819A Pending JP2019041340A (ja) | 2017-08-28 | 2017-08-28 | 多重映像配信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019041340A (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004220516A (ja) * | 2003-01-17 | 2004-08-05 | Pasuko:Kk | 3次元地理形状モデルのテクスチャ画像取得方法 |
JP2006323804A (ja) * | 2005-04-19 | 2006-11-30 | Matsushita Electric Works Ltd | 商品提案システム、商品販売システム、商品設計支援システム |
JP2010122970A (ja) * | 2008-11-20 | 2010-06-03 | Mitsubishi Electric Corp | 目標物位置特定装置および目標物位置特定方法 |
JP2010257224A (ja) * | 2009-04-24 | 2010-11-11 | Seiko Epson Corp | 動画像表示装置 |
JP2014006148A (ja) * | 2012-06-25 | 2014-01-16 | Topcon Corp | 航空写真撮像方法及び航空写真撮像システム |
JP2014032443A (ja) * | 2012-08-01 | 2014-02-20 | Yahoo Japan Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2017101989A (ja) * | 2015-12-01 | 2017-06-08 | 株式会社大林組 | 土工管理方法 |
-
2017
- 2017-08-28 JP JP2017163819A patent/JP2019041340A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004220516A (ja) * | 2003-01-17 | 2004-08-05 | Pasuko:Kk | 3次元地理形状モデルのテクスチャ画像取得方法 |
JP2006323804A (ja) * | 2005-04-19 | 2006-11-30 | Matsushita Electric Works Ltd | 商品提案システム、商品販売システム、商品設計支援システム |
JP2010122970A (ja) * | 2008-11-20 | 2010-06-03 | Mitsubishi Electric Corp | 目標物位置特定装置および目標物位置特定方法 |
JP2010257224A (ja) * | 2009-04-24 | 2010-11-11 | Seiko Epson Corp | 動画像表示装置 |
JP2014006148A (ja) * | 2012-06-25 | 2014-01-16 | Topcon Corp | 航空写真撮像方法及び航空写真撮像システム |
JP2014032443A (ja) * | 2012-08-01 | 2014-02-20 | Yahoo Japan Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2017101989A (ja) * | 2015-12-01 | 2017-06-08 | 株式会社大林組 | 土工管理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7452596B2 (ja) | 通信端末、表示方法、プログラム及び画像通信システム | |
US10554883B2 (en) | VR system, communication method, and non-transitory computer-readable medium | |
JP5454674B2 (ja) | 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム | |
US10764513B2 (en) | Communication terminal, image data communication system, and communication method | |
JP4738870B2 (ja) | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 | |
US20190356936A9 (en) | System for georeferenced, geo-oriented realtime video streams | |
JP2019126082A5 (ja) | ||
US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
US20130194305A1 (en) | Mixed reality display system, image providing server, display device and display program | |
JP2019062320A (ja) | 通信端末、画像通信システム、表示方法、及びプログラム | |
JP7192592B2 (ja) | 撮像装置、画像通信システム、画像処理方法、プログラム | |
JP6280011B2 (ja) | 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法 | |
US20060023204A1 (en) | Laser-GPS marking and targeting system | |
WO2020084951A1 (ja) | 画像処理装置および画像処理方法 | |
US11743590B2 (en) | Communication terminal, image communication system, and method for displaying image | |
JP2006197068A (ja) | 画像表示装置および画像表示方法 | |
JP7335335B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR102200115B1 (ko) | 다시점 360도 vr 컨텐츠 제공 시스템 | |
WO2017160381A1 (en) | System for georeferenced, geo-oriented real time video streams | |
JP2019041340A (ja) | 多重映像配信システム | |
JP2020123990A (ja) | 多重映像配信システム | |
US9979930B2 (en) | Head-wearable apparatus, 3D video call system and method for implementing 3D video call | |
US11317082B2 (en) | Information processing apparatus and information processing method | |
JP2018067157A (ja) | 通信装置およびその制御方法 | |
JP2007221179A (ja) | 画像表示装置および画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190506 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190506 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190614 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190918 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200428 |