JP2019041340A - 多重映像配信システム - Google Patents

多重映像配信システム Download PDF

Info

Publication number
JP2019041340A
JP2019041340A JP2017163819A JP2017163819A JP2019041340A JP 2019041340 A JP2019041340 A JP 2019041340A JP 2017163819 A JP2017163819 A JP 2017163819A JP 2017163819 A JP2017163819 A JP 2017163819A JP 2019041340 A JP2019041340 A JP 2019041340A
Authority
JP
Japan
Prior art keywords
imaging
line
signal
distribution system
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017163819A
Other languages
English (en)
Inventor
政弘 井筒
Masahiro Izutsu
政弘 井筒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DAP Realize Co Ltd
Original Assignee
DAP Realize Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DAP Realize Co Ltd filed Critical DAP Realize Co Ltd
Priority to JP2017163819A priority Critical patent/JP2019041340A/ja
Publication of JP2019041340A publication Critical patent/JP2019041340A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】撮像対象の付近で装置の輻輳を生じさせることなく、多数のユーザが限られた領域内に存在する撮像対象を同時に観察することができる多重映像配信システムを提供する。【解決手段】異なる視座及び/又は視線方向から撮像対象を撮像して撮像信号を生成・送信する複数の子装置と、撮像信号に基づいて表示範囲が異なる複数系統の映像信号を生成・送信する親装置とから構成される多重映像配信システムであって、親装置は、子装置の各々から受信した撮像信号及び子装置の各々の位置情報と視線方向情報に基づいて、撮像対象の表面の3次元マッピングデータを生成し、3次元マッピングデータに基づいて所定の視座と視線方向から撮像対象を見た視像に相当する映像信号を生成する機能を有する。【選択図】図1

Description

本発明は、多重映像配信システムに関し、特に、複数のユーザが、表示範囲が異なる映像を同時に楽しむことができる多重映像配信システムに関する。
複数のユーザが、表示範囲が異なる映像を同時に楽しむことができる多重映像配信システムとしては、従来、特許文献1や特許文献2に記載されているような、
「『撮像対象がある現地』に存在する子装置」と「『遠隔地にいるユーザ』が使用する端末装置」とを対応付けた上で、子装置が撮像対象を撮像して生成した撮像信号を、「現地に存在する親装置」が映像信号に変換した上で、端末装置に送信する多重映像配信システム
が提案されている。
しかし、従来のシステムでは、端末装置と子装置とが一対一又は略一対一に対応づけられることが通常であるため、端末装置を使用するユーザの数が増えると子装置の数も増えてしまい、現地で輻輳してしまうという問題が生じる。そして、この問題は、多数のユーザが、限られた領域内に存在する撮像対象(例えば、洞窟内の生物、劇場で演じられる演劇、スタジアムで実施されるスポーツイベントやコンサートなど)の映像を同時に楽しもうとする場合、より深刻になる。
また、従来のシステムでは、「現地に存在する子装置」からの撮像信号や、「現地に存在する親装置」からの映像信号は、リアルタイムでライブ配信されるのが通常であるため、「撮像対象がある現地」と「ユーザのいる遠隔地」との間に時差がある場合、遠隔地にいるユーザは、例えば、現地で日中に行われているイベントを深夜でないと楽しめないという問題が生じる。
特許第6089256号公報 特開2017−103796号公報
本発明は、このような事情に鑑みてなされたものであり、撮像対象の付近で装置の輻輳を生じさせることなく、多数のユーザが、限られた領域内に存在する撮像対象を同時に観察することができる多重映像配信システムを提供することを目的とする。
また、本発明は、「撮像対象がある現地」と「ユーザのいる遠隔地」の間に時差がある場合でも、「ユーザのいる遠隔地」の時刻に近い時刻(ただし日付は前日であることもある)での撮像対象の状態を観察することができる多重映像配信システムを提供することを目的とする。
上記目的を達成するために、多重映像配信システムに係る本発明の第1の様態は、
3次元的に配置され、異なる視座及び/又は視線方向から撮像対象を撮像して撮像信号を生成し、必要な変換を行った上で後記親装置に送信する複数の子装置と;
前記子装置の各々から受信した撮像信号に基づいて「表示範囲が異なる複数系統の映像信号」を生成・送信する親装置と;
から構成される多重映像配信システムであって、
前記親装置は、「前記子装置の各々から受信した撮像信号」及び「前記子装置の各々の位置情報と視線方向情報」に基づいて、撮像対象の表面を3次元空間内にマッピングした3次元マッピングデータを生成し、該3次元マッピングデータに基づいて「『所定の視座と視線方向から撮像対象を見た視像』に相当する映像信号」を生成する機能を有する、
ように構成した。
本発明の第1の様態において、子装置は、入射光を光電変換するイメージセンサー(CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等)から構成される撮像手段と、該撮像手段からの電気信号(以下「撮像電気信号」と略記する)を、デジタルRGB、LVDS(Low Voltage Differential Signaling)(又はLDI(LVDS Display Interface))、GVIF(GigabitVideo InterFace)、USB(Universal Serial Bus)、DisplayPort、WirelessHD(High Definition)、WHDI(Wireless Home Digital Interface)、WiGig(Wireless Gigabit)などの方式で伝送される非圧縮の映像信号(以下「非圧縮映像信号」という)に変換し、さらに、該非圧縮映像信号を、H.261、H.263、H.264、MPEG(Moving Picture Experts Group)−1、MPEG−2、MPEG−4等の規格によって圧縮符号化された映像信号(以下「圧縮映像信号」という)に変換する信号変換手段と、該圧縮映像信号を親装置に送信する通信手段によって構成することができる。
なお、子装置は、上記の構成に替えて、信号変換手段での変換を、非圧縮映像信号までに留める構成とすることもできる。そして、この構成を取る場合、通信手段は親装置に該非圧縮映像信を送信することになる。
また、子装置の位置情報としては、子装置の撮像手段の視座の鉛直下方の地面点の緯度・経度と子装置の撮像手段の視座の高度を使用することができる。また、子装置の視線方向情報としては、子装置の撮像手段の視線の鉛直方向の傾斜角θと水平方向の回転角φとを使用することができる。
なお、本明細書及び特許請求の範囲でいう撮像手段の「視座」「視座の高度」「視座の鉛直下方の地面点」「視線」「視線の鉛直方向の傾斜角θ」「視線の水平方向の回転角φ」「撮像範囲」「視点(撮像範囲の中心)」等の意味するところは、図5に示した通りである。
また、本明細書及び特許請求の範囲でいう「所定の視座と視線方向から撮像対象を見た視像」や「該視像に相当する映像信号」等の意味するところは、図6に示した通りである。
上記目的を達成するために、多重映像配信システムに係る本発明の第2の様態は、第1の様態の多重映像配信システムにおいて、
複数の端末装置から受信した表示範囲設定信号に基づいて「表示範囲が異なる複数系統の映像信号」を生成する機能と;
生成した各々の系統の映像信号を、「該系統の映像信号がそれに基づいて生成された表示範囲設定信号を生成した端末装置」宛に送信する機能と;
を有する、
するように構成した。
上記目的を達成するために、多重映像配信システムに係る本発明の第3の様態は、第2の様態の多重映像配信システムにおいて、
前記親装置は、
前記端末装置から受信した視座設定信号と視線方向設定信号に基づいて視座と視線方向を設定した上で、「該視座と該視線方向から撮像対象を見た視像』に相当する映像信号」を生成する機能と;
生成した映像信号を、「該系統の映像信号がそれに基づいて生成された視座設定信号と視線方向設定信号を生成した端末装置」宛に送信する機能と;
を有する、
するように構成した。
上記目的を達成するために、多重映像配信システムに係る本発明の第4の様態は、第3の様態の多重映像配信システムにおいて、
前記親装置は、「両眼の視座のずれを反映した2系統の映像信号」を生成する機能を有する、
を有する、
ように構成した。
上記目的を達成するために、多重映像配信システムに係る本発明の第5の様態は、第2乃至第4のいずれか一つの様態の多重映像配信システムにおいて、
前記親装置は、
過去の前記3次元マッピングデータを蓄積する機能と;
前記端末装置から表示範囲設定信号を受信した時点より以前の3次元マッピングデータに基づいて映像信号を生成する機能と;
を有する、
ように構成した。
本発明の多重映像配信システムによれば、所定の領域内に存在する撮像対象の表面をくまなく撮像できるだけの数の子装置だけを用意すれば、該領域における撮像対象の表面の形状及び各表面点の色を表現する3次元マッピングデータを生成することができ、また、3次元マッピングデータが作成できれば、いかなる視座と視線方向が設定されたとしても、『該視座と視線方向から撮像対象を見た視像』に相当する映像信号を生成することができるため、端末装置を使用するユーザの数が増えても子装置を増やす必要がなく、したがって、撮像対象の付近で小装置が輻輳することはなくなる。
特に、本発明の第5の様態の多重映像配信システムによれば、ユーザが端末装置を操作している時点よりも以前の撮像対象を観察した視像に相当する映像をタイムシフト生成することができるため、「撮像対象がある現地」と「ユーザのいる遠隔地」の間に時差がある場合でも、「ユーザのいる遠隔地」の時刻に近い時刻での撮像対象の状態を観察することができる。
本発明の実施例1に係る多重映像配信システムの構成及び機能を説明するためのブロック図である。 本発明の実施例1に係る多重映像配信システムの構成及び機能を説明するためのイメージ図である。 本発明の実施例1に係る多重映像配信システムにおける、子装置の配備原則を説明するための説明図である。 本発明の実施例1に係る多重映像配信システムにおける、撮像対象の表面点の3次元空間へのマッピング方法を説明するための説明図である。 本明細書及び特許請求の範囲でいう撮像手段の「視座」「視座の高度」「視座の鉛直下方の地面点」「視線」「視線の鉛直方向の傾斜角θ」「視線の水平方向の回転角φ」「撮像範囲」「視点(撮像範囲の中心)」等の意味を説明するための説明図である。 本明細書及び特許請求の範囲でいう「所定の視座と視線方向から撮像対象を見た視像」や「該視像に相当する映像信号」を説明するための説明図である。
以下、図面を参照して本発明の実施形態について説明する。ただし、本発明はかかる実
施形態に限定されず、その技術思想の範囲内で種々の変更が可能である。
図1は、本発明の実施例1に係る多重映像配信システムの構成及び機能を説明するためのブロック図である。
また、図2は、本発明の実施例1に係る多重映像配信システムの構成及び機能を説明するためのイメージ図であり、特に、本発明の実施例1に係る多重映像配信システムを用いてエジプトのスフィンクスの映像を多重同時配信する場合の子装置の配備方法を例示している。
本実施例においては、多重映像配信システムは、子装置α_1α〜子装置ζ_1ζと親装置2から構成され、親装置2は、さらにインターフェース部21とサーバ22から構成される。また、サーバ22は、ユーザが使用する端末装置A_4A〜端末装置H_4Hとインターネット3を介して接続されている。
子装置のうち、子装置α_1α、子装置β_1β及び子装置ζ_1ζは、撮像対象であるスフィンクスの周りの地上に固定されている。一方、子装置γ_1γ、子装置δ_1δ及び子装置ε_1εは撮像手段を搭載したドローンであって、スフィンクスの周りの空中を浮遊している。
また、各子装置は、CMOSカメラモジュールである撮像手段と、CMOSカメラモジュールのイメージセンサーからの撮像電気信号を非圧縮映像信号に変換し、該圧縮映像信号をさらに圧縮映像信号に変換する信号変換手段と、該圧縮映像信号を親装置2に送信する通信手段を備えている。そして、子装置α_1α、子装置β_1β及び子装置ζ_1ζは、生成した圧縮映像信号を通信手段からケーブルを介して親装置2に送信し、子装置γ_1γ、子装置δ_1δ及び子装置ε_1εは、生成した圧縮映像信号を通信手段から無線通信によって親装置2に送信する。
さらに、各子装置は、付属する撮像手段の視座の水平位置を測定するGPSセンサー、高度を測定する高度センサー、及び、撮像手段の視線方向の傾斜角θと回転角φを測定するジャイロセンサーを搭載しており、それらのセンサーによる測定結果を伝達する信号(以下「位置・視線方向信号」と総称する)を通信手段から親装置2に送信する。
なお、図中には、紙上での表現の都合上、子装置α_1α〜子装置ζ_1ζの6つの子装置しか記載されていないが、子装置の配備原則は下記の通りであり、この原則を全うするために必要な数の子装置が配備される。
[子装置の配備原則]
「撮像対象のすべての表面点が、複数の子装置の撮像手段の撮像可能範囲に入っていること」
以下では、図3を用いて、上記の子装置の配備原則を説明する。
図3では、撮像対象はA〜Fの側面を持つが、これらの側面は、下記の通り、いずれも複数の子装置の撮像可能範囲に入っている。
側面A……子装置i+子装置ii
側面B……子装置ii+子装置iii
側面C……子装置iii+子装置iv
側面D……子装置iii+子装置iv
側面E……子装置iii+子装置iv+子装置v
側面F……子装置i+子装置v
一方、親装置2は、インターフェース部21によって、子装置α_1α〜子装置ζ_1ζから送信される圧縮映像信号及び位置・視線方向信号を受信してサーバ22に転送する。サーバ22では、これらの複数の子装置からの信号に基づいて、撮像対象の表面点を3次元空間内にマッピングするとともに、各表面点の色をRGB値又はHSV値によって定義する。
以下では、図4を用いて、撮像対象の表面点(図では★で記している)の3次元空間内へのマッピング方法の手順を説明する。なお、図3の撮像対象は図2と同じであるが、記述を簡略にするため、図3に記されていた子装置iii〜子装置vは表示していない。
(1)3次元空間座標軸の設定
撮像対象の表面点をマッピングする3次元空間のデカルト座標軸を下記のように設定する。
X軸……緯度方向(東方向が正)
Y軸……経度方向(北方向が正)
Z軸……鉛直方向(上方向が正)
原点……撮像対象の中心の鉛直下方の地面点
(2)子装置iと子装置iiの各々の撮像手段の視座の座標の算出
上記の通り、側面Aにある表面点★は、子装置iと子装置iiの双方によって撮像される。一方、子装置iと子装置iiの各々の撮像手段の視座の位置情報(撮像手段の視座の高度と鉛直下方の地面点の緯度・経度)は、子装置iと子装置iiの各々から送信される位置・視線方向信号に含まれている。この情報に基づいて、子装置iと子装置iiの各々の撮像手段の視座の座標を算出する。
子装置iの撮像手段の視座の座標……(x1,y1,z1)
子装置iiの撮像手段の視座の座標……(x2,y2,z2)
(3)子装置iと子装置iiの各々の撮像手段の視線の単位方向ベクトルの算出
子装置iと子装置iiの各々の撮像手段の視線方向情報(撮像手段の視線方向の傾斜角θと回転角φ)は、子装置iと子装置iiの各々から送信される位置・視線方向信号に含まれている。この情報に基づいて、子装置iと子装置iiの各々の撮像手段の視線の単位方向ベクトルを算出する。
子装置iの撮像手段の視線の単位方向ベクトル……(sinθ1・cosφ1,sinθ1・sinφ1,cosθ1)
子装置iiの撮像手段の視線の単位方向ベクトル……(sinθ2・cosφ2、sinθ2・sinφ2、cosθ2)
(4)子装置iと子装置iiの各々の撮像手段による「表面点★の撮像線」の単位方向ベクトルの算出
子装置iと子装置iiの各々から送信される圧縮映像信号には、子装置iと子装置iiの各々の撮像手段の視線と、各々の撮像手段の視座から表面点★を結んだ直線(以下「表面点★の撮像線」という)との間の2次元的な偏差角度(Δθ、Δφ)の情報が含まれており、これと上記の視線方向情報を組み合わせることによって、子装置iと子装置iiの各々の撮像手段の「表面点★の撮像線」の単位方向ベクトルを算出する。
子装置iの撮像手段の「表面点★の撮像線」の単位方向ベクトル……(sin(θ1+Δθ1)・cos(φ1+Δφ1)、sin(θ1+Δθ1)・sin(φ1+Δφ1)、cos(θ1+Δθ1))
子装置iiの撮像手段の「表面点★の撮像線」の単位方向ベクトル……(sin(θ2+Δθ2)・cos(φ2+Δφ2)、sin(θ2+Δθ2)・sin(φ2+Δφ2)、cos(θ2+Δθ2))
(5)表面点★の座標の算出
上記の手順(3)と(4)から、子装置iと子装置iiの各々の撮像手段による「表面点★の撮像線」が通る点(=子装置iと子装置iiの各々の撮像手段の視座)と単位方向ベクトルが定まったため、これらから、子装置iと子装置iiの各々の撮像手段による「表面点★の撮像線」の直線の方程式が算出される。
そして、表面点★はこれら2つの直線の交点であるから、2つの直線の方程式からなる連立方程式を解くことによって、表面点★の座標が算出される。
上記の手順を撮像対象の全ての表面点に行うことで、撮像対象の表面を3次元マッピングが完成する。なお、この撮像対象の表面は、一般に複数の曲面から構成され、しかも、これらの曲面は時間tとともに変化する。これらの曲面の方程式を以下で表現する(ここで添字tは、各曲面が時間tとともに変化することを表している)。
曲面1……f1,t(x,y,z)=0
曲面2……f2,t(x,y,z)=0
曲面3……f3,t(x,y,z)=0
………
曲面n……fn,t(x,y,z)=0
一方、ユーザが使用する端末装置A_4A〜端末装置H_4Hは、コントローラ、IPアドレスが付与さられた通信ユニット及び没入型3D−HMD(Head Mounted Display)から構成される。
コントローラは、ユーザが行うボタン操作、レバー操作、ダイヤル操作等に基づいて視座設定信号を生成し、該視座設定信号を通信ユニットに送信する。一方、HMDの内部には加速度センサーとジャイロセンサーが内蔵されており、HMDは、これらのセンサーの出力結果に基づいて視座設定信号を生成し、該視線方向設定信号を通信ユニットに送信する。
通信ユニットは、コントローラから受信した視線方向設定信号とHMDから受信した視線方向設定信号を、付与されたIPアドレスを送信元IPアドレスとするインターネット・プロトコルに準拠した信号に変換し、インターネット3を介して親装置2のサーバに22に送信する。
サーバ22は、インターネット3を介して端末装置A_4A〜端末装置H_4Hの各々から受信した視座設定信号と視線方向設定信号に基づいて、前記3次元空間において、端末装置A_4A〜端末装置H_4Hの各々を使用するユーザの両眼に対して仮想的な視座と視線方向をセット設定する。その上で、「『端末装置A_4A〜端末装置H_4Hの各々を使用するユーザの右眼に対して設定された仮想的な視座と視線方向から撮像対象を見た視像』に相当する映像信号」と「『端末装置A_4A〜端末装置H_4Hの各々を使用するユーザの左眼に対して設定された仮想的な視座と視線方向から撮像対象を見た視像』に相当する映像信号」を生成する。
一般に、図6でイメージ的に示している通り、映像信号が伝達するのは、表示範囲を構成する1つひとつの画素の色情報である。以下では、サーバ22が、「『所定の視座と視線方向から撮像対象を見た視像』に相当する映像信号」が伝達する画素の色情報の決定方法を説明する。
(1)「映像信号の各画素に対応する視像線」の直線の方程式の算出
「『所定の視座と視線方向から撮像対象を見た視像』に相当する映像信号」が色情報を伝達する画素のうち、表示範囲の中心にある画素は「視線方向にある撮像対象の表面点」に対応する。そして、表示範囲のそれ以外の画素は、「視座を起点とする直線で、視線から一定の偏差角度だけずれた直線(以下「画素に対応する視像線」という)方向にある撮像対象の表面点」に対応する。
上記の通り、サーバ22は、端末装置A_4A〜端末装置H_4Hの各々から視線方向設定信号を受信するため、これ基づいて、視線の単位方向ベクトルが算出される。また、上記の通り、映像信号の各画素には視線からの偏差角度が対応づけられるから、これらの情報によって、「各画素に対応する視像線」の単位方向ベクトルが算出される。また、「各画素に対応する視像線」は視座を通り、一方、視座の座標は、端末装置A_4A〜端末装置H_4Hの各々から受信する視座設定信号に基づいて、視座の座標が算出される。したがって、端末装置A_4A〜端末装置H_4Hの各々から受信する視線方向設定信号と視座設定信号に基づいて、「画素に対応する視像線」の直線の方程式が算出される。
(2)映像信号の各画素に対応する表面点の特定
上記の通り、撮像対象の表面は、複数の曲面1(f1,t(x,y,z)=0)〜曲面n(fn,t(x,y,z)=0)によって構成され、特に、親装置が端末装置A_4A〜端末装置H_4Hの各々から視座設定信号と視線方向設定信号を受信した時点t0での撮像対象の表面は、処理時間を無視すると、複数の曲面1(f1,t=t0(x,y,z)=0)〜曲面n(fn,t=t0(x,y,z)=0)によって構成されるため、これらの曲面の方程式と「各画素に対応する視像線」の直線の方程式との連立方程式を解くことにより、「各画素に対応する視像線」と撮像対象の表面との交点の座標が定まる。一般に、この交点は複数存在するが、そのうち、視座からの距離が最も近い交点が、映像信号の各画素に対応する表面点となる。
(3)映像信号の各画素の色の決定
上記の通り、3次元空間内にマッピングされた撮像対象の各表面点には、RGB値又はHSV値によって定義によって色が定義されているから、この色が映像信号の各画素の色となる。
なお、以上では、サーバ22が「子装置から受信した撮像信号と位置・視線方向信号に基づく3次元マッピングデータの生成」と「該3次元マッピングデータに基づく映像信号の生成」にタイムラグなく行われる構成を説明したが、サーバ22が、過去の3次元マッピングデータを蓄積する記憶手段を有するようにした上で、端末装置A_4A〜端末装置H_4Hの各々から視座設定信号と視線方向設定信号を受信した時点よりもΔtだけ以前の3次元マッピングデータ(具体的には、曲面の方程式:f1,t=t0−Δt(x,y,z)=0)〜fn,t=t0−Δt(x,y,z)=0)を用いる構成とすることもできる。
この構成においては、ユーザは、コントローラのボタン、レバー、ダイヤル等を操作することによって、自分自身が撮像対象の状態を観察したい時刻(t0−Δt)を指定することができる。そして、コントローラは、ユーザが指定した時刻に基づいて観測時点設定信号を生成し、通信手段及びインターネットを介して、サーバ22に送信する。
これによって、ユーザは、自身がコントローラを操作している時刻t0よりもΔtだけ過去に遡った時点での撮像対象の状態を観察できるようになる。
親装置は、上記のようにして生成した「『端末装置A_4A〜端末装置H_4Hの各々を使用するユーザの右眼に対して設定された仮想的な視座と視線方向から撮像対象を見た視像』に相当する映像信号」と「『端末装置A_4A〜端末装置H_4Hの各々を使用するユーザの左眼に対して設定された仮想的な視座と視線方向から撮像対象を見た視像』に相当する映像信号」の2系統の映像信号を、インターネット3を介して端末装置A_4A〜端末装置H_4Hの各々に送信する。一方、端末装置A_4A〜端末装置H_4Hの各々では、前記2系統の映像信号を通信手段で受信し、該2系統の映像信号に基づく映像をHMDの左右の表示部に表示する。これによって、ユーザは、没入感のある視覚体験を楽しむことができる。
なお、生成した上記の2系統の映像信号と、該映像信報との対応付けは、端末装置A_4A〜端末装置H_4Hの各々の通信ユニットから受信したIPアドレスに基づいて行う。
一方、サーバ22では、受信した観測時点設定信号に基づいて、映像信号を生成する際に使用する3次元マッピングデータの時点を設定する。
本発明は、多重映像配信システムの子装置を構成する撮像手段、信号変換手段及び通信手段、親装置を構成するインターフェース部及びサーバ、端末装置を構成するコントローラ及びHMDに係る装置を製造する産業において利用することができる。また、多重映像配信システムを使用したサービス(特に観光サービス)を提供する産業においても利用することができる。
1α‥‥‥子装置α
1β‥‥‥子装置β
1γ‥‥‥子装置γ
1δ‥‥‥子装置δ
1ε‥‥‥子装置ε
1ζ‥‥‥子装置ζ
2‥‥‥親装置
21‥‥‥インターフェース部
22‥‥‥サーバ
3‥‥‥インターネット
4A‥‥‥端末装置A
4B‥‥‥端末装置B
4C‥‥‥端末装置C
4D‥‥‥端末装置D
4E‥‥‥端末装置E
4F‥‥‥端末装置F
4G‥‥‥端末装置G
4H‥‥‥端末装置G
5‥‥‥撮像手段
51‥‥‥撮像手段の視座
511‥‥‥撮像手段の視座の高度
512‥‥‥撮像手段の視座の鉛直下方の地面点
52‥‥‥撮像手段の視線
522‥‥‥撮像手段の視線の鉛直方向の傾斜角
523‥‥‥撮像手段の視線の水平方向の回転角
53‥‥‥撮像手段の撮像範囲
531‥‥‥撮像手段の視点(撮像範囲の中心)

Claims (5)

  1. 3次元的に配置され、異なる視座及び/又は視線方向から撮像対象を撮像して撮像信号を生成し、必要な変換を行った上で後記親装置に送信する複数の子装置と;
    前記子装置の各々から受信した撮像信号に基づいて「表示範囲が異なる複数系統の映像信号」を生成・送信する親装置と;
    から構成される多重映像配信システムであって、
    前記親装置は、「前記子装置の各々から受信した撮像信号」及び「前記子装置の各々の位置情報と視線方向情報」に基づいて、撮像対象の表面を3次元空間内にマッピングした3次元マッピングデータを生成し、該3次元マッピングデータに基づいて「『所定の視座と視線方向から撮像対象を見た視像』に相当する映像信号」を生成する機能を有する、
    ことを特徴とする多重映像配信システム。
  2. 前記親装置は、
    複数の端末装置から受信した表示範囲設定信号に基づいて「表示範囲が異なる複数系統の映像信号」を生成する機能と;
    生成した各々の系統の映像信号を、「該系統の映像信号がそれに基づいて生成された表示範囲設定信号を生成した端末装置」宛に送信する機能と;
    を有する、
    ことを特徴とする、請求項1に記載の多重映像配信システム。
  3. 前記親装置は、
    前記端末装置から受信した視座設定信号と視線方向設定信号に基づいて視座と視線方向を設定した上で、「該視座と該視線方向から撮像対象を見た視像』に相当する映像信号」を生成する機能と;
    生成した映像信号を、「該系統の映像信号がそれに基づいて生成された視座設定信号と視線方向設定信号を生成した端末装置」宛に送信する機能と;
    を有する、
    ことを特徴とする、請求項2に記載の多重映像配信システム。
  4. 前記親装置は、「両眼の視座のずれを反映した2系統の映像信号」を生成する機能を有する、
    ことを特徴とする、請求項3に記載の多重映像配信システム。
  5. 前記親装置は、
    過去の前記3次元マッピングデータを蓄積する機能と;
    前記端末装置から表示範囲設定信号を受信した時点より以前の3次元マッピングデータに基づいて映像信号を生成する機能と;
    を有する、
    ことを特徴とする、請求項2乃至4のいずれか一項に記載の多重映像配信システム。
JP2017163819A 2017-08-28 2017-08-28 多重映像配信システム Pending JP2019041340A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017163819A JP2019041340A (ja) 2017-08-28 2017-08-28 多重映像配信システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017163819A JP2019041340A (ja) 2017-08-28 2017-08-28 多重映像配信システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020086364A Division JP2020123990A (ja) 2020-05-16 2020-05-16 多重映像配信システム

Publications (1)

Publication Number Publication Date
JP2019041340A true JP2019041340A (ja) 2019-03-14

Family

ID=65726288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017163819A Pending JP2019041340A (ja) 2017-08-28 2017-08-28 多重映像配信システム

Country Status (1)

Country Link
JP (1) JP2019041340A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220516A (ja) * 2003-01-17 2004-08-05 Pasuko:Kk 3次元地理形状モデルのテクスチャ画像取得方法
JP2006323804A (ja) * 2005-04-19 2006-11-30 Matsushita Electric Works Ltd 商品提案システム、商品販売システム、商品設計支援システム
JP2010122970A (ja) * 2008-11-20 2010-06-03 Mitsubishi Electric Corp 目標物位置特定装置および目標物位置特定方法
JP2010257224A (ja) * 2009-04-24 2010-11-11 Seiko Epson Corp 動画像表示装置
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
JP2014032443A (ja) * 2012-08-01 2014-02-20 Yahoo Japan Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2017101989A (ja) * 2015-12-01 2017-06-08 株式会社大林組 土工管理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220516A (ja) * 2003-01-17 2004-08-05 Pasuko:Kk 3次元地理形状モデルのテクスチャ画像取得方法
JP2006323804A (ja) * 2005-04-19 2006-11-30 Matsushita Electric Works Ltd 商品提案システム、商品販売システム、商品設計支援システム
JP2010122970A (ja) * 2008-11-20 2010-06-03 Mitsubishi Electric Corp 目標物位置特定装置および目標物位置特定方法
JP2010257224A (ja) * 2009-04-24 2010-11-11 Seiko Epson Corp 動画像表示装置
JP2014006148A (ja) * 2012-06-25 2014-01-16 Topcon Corp 航空写真撮像方法及び航空写真撮像システム
JP2014032443A (ja) * 2012-08-01 2014-02-20 Yahoo Japan Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2017101989A (ja) * 2015-12-01 2017-06-08 株式会社大林組 土工管理方法

Similar Documents

Publication Publication Date Title
JP7452596B2 (ja) 通信端末、表示方法、プログラム及び画像通信システム
US10554883B2 (en) VR system, communication method, and non-transitory computer-readable medium
JP5454674B2 (ja) 画像生成装置、画像生成プログラム、合成テーブル生成装置および合成テーブル生成プログラム
US10764513B2 (en) Communication terminal, image data communication system, and communication method
JP4738870B2 (ja) 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US20190356936A9 (en) System for georeferenced, geo-oriented realtime video streams
JP2019126082A5 (ja)
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
US20130194305A1 (en) Mixed reality display system, image providing server, display device and display program
JP2019062320A (ja) 通信端末、画像通信システム、表示方法、及びプログラム
JP7192592B2 (ja) 撮像装置、画像通信システム、画像処理方法、プログラム
JP6280011B2 (ja) 領域リクエストに基づいたデータ低減処理を行う画像送受信システム及び方法
US20060023204A1 (en) Laser-GPS marking and targeting system
WO2020084951A1 (ja) 画像処理装置および画像処理方法
US11743590B2 (en) Communication terminal, image communication system, and method for displaying image
JP2006197068A (ja) 画像表示装置および画像表示方法
JP7335335B2 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102200115B1 (ko) 다시점 360도 vr 컨텐츠 제공 시스템
WO2017160381A1 (en) System for georeferenced, geo-oriented real time video streams
JP2019041340A (ja) 多重映像配信システム
JP2020123990A (ja) 多重映像配信システム
US9979930B2 (en) Head-wearable apparatus, 3D video call system and method for implementing 3D video call
US11317082B2 (en) Information processing apparatus and information processing method
JP2018067157A (ja) 通信装置およびその制御方法
JP2007221179A (ja) 画像表示装置および画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190506

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190614

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200428