JP2022096096A - 映像配信方法及びそのためのプログラム - Google Patents
映像配信方法及びそのためのプログラム Download PDFInfo
- Publication number
- JP2022096096A JP2022096096A JP2020209013A JP2020209013A JP2022096096A JP 2022096096 A JP2022096096 A JP 2022096096A JP 2020209013 A JP2020209013 A JP 2020209013A JP 2020209013 A JP2020209013 A JP 2020209013A JP 2022096096 A JP2022096096 A JP 2022096096A
- Authority
- JP
- Japan
- Prior art keywords
- video
- distribution
- image
- terminal
- distribution method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 abstract 1
- 230000010354 integration Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】大掛かりな機材や特別な配信インフラを使用しなくとも三次元映像のライブ配信を可能とする映像配信方法を提供する。【解決手段】電気通信回線を通じて、配信端末2から配信サーバ3を介して視聴端末へと三次元映像のライブ配信を行う映像配信方法において、配信端末2によって実行される映像作成工程S1を含むものとし、映像作成工程S1を、複数の距離画像センサ機器5より、カラー画像と、深度画像と、を取得する工程S12と、撮影機器6より、原映像を取得する工程S10と、少なくとも該カラー画像、該深度画像及び該原映像を統合し、配信映像を作成する工程S1Bと、該配信映像を配信サーバ3に送信する工程S1Cと、を有しているものとする。【選択図】図3A
Description
本発明は、映像配信方法及びそのためのプログラムに関し、より詳細には、三次元映像のライブ配信を行う映像配信方法及びそのためのプログラムに関する。
従来、インターネット等の電気通信回線を通じて、スタジオやライブハウス等の映像をリアルタイムに配信を行う、いわゆる、ライブ配信が行われている(例えば、特許文献1を参照)。この様なライブ配信は、スタジオやライブハウス等に設置されたカメラに撮影された映像が、配信サーバを介して視聴者が有する端末(例えば、パソコンやスマートフォン等)に配信される様になっている。
又、この様なライブ配信は、複数のカメラを設置し、同時に異なる視点での映像を配信し、視聴者が、どのカメラの映像を視聴するかを選択可能とすることで、視聴者は、望む視点での映像を視聴することが可能となっている。
従来のライブ配信は、配信される映像が、二次元映像であるため、視聴者が異なる視点での映像を選択して視聴可能といっても、その視点は、カメラの設置場所に依存することとなり、必ずしも視聴者の望む視点で視聴できるものでなかった。
配信される映像を三次元映像とすることで、視聴者が任意の視点での視聴が可能となり、この様な問題は解決されるが、通常、そのためには、大掛かりな機材や専用の配信サーバ等の特別な配信インフラが求められるという新たな問題を生じることとなる。
そこで、本発明は、大掛かりな機材や特別な配信インフラを使用しなくとも三次元映像のライブ配信を可能とする映像配信方法を提供することを目的とする。
本発明は、電気通信回線を通じて、配信端末から配信サーバを介して視聴端末へと三次元映像のライブ配信を行う映像配信方法であって、該配信端末によって実行される映像作成工程を含み、該映像作成工程は、複数の距離画像センサ機器より、カラー画像と、深度画像と、を取得する工程と、撮影機器より、原映像を取得する工程と、少なくとも該カラー画像、該深度画像及び該原映像を統合し、配信映像を作成する工程と、該配信映像を該配信サーバに送信する工程と、を有していることを特徴とする映像配信方法である。
又、本発明は、前記映像配信方法において、前記視聴端末によって実行される映像復元工程を更に含み、該映像復元工程は、前記距離画像センサ機器の内部パラメータを取得する工程と、前記配信映像を前記配信サーバから受信する工程と、少なくとも該内部パラメータ及び該配信映像の深度値により、該配信映像を、三次元点群データを復元する工程と、を有していることを特徴とする映像配信方法である。
又、本発明は、少なくとも複数の距離画像センサ機器より取得したカラー画像及び深度画像と、撮影機器より取得した原映像と、演出制御機器より取得した演出情報と、を統合し、配信映像を作成する工程を、電子情報端末に実行させるプログラムである。
尚、本発明は、前記映像復元工程が、前記配信映像の隣接画素の深度値を比較して、ノイズ除去を行う工程を更に有するものとすることが可能である。又、本発明は、前記映像復元工程を、前記視聴端末のグラフィック処理装置(GPU)を用いて行うことが可能である。又、本発明は、前記映像復元工程が、前記三次元点群データをワールド座標系に変換するための変換行列を取得する工程と、該変換行列により、該三次元点群データをワールド座標系に変換する工程を、更に有するものとすることが可能である。又、本発明は、前記内部パラメータを、歪み係数を含むものとし、前記映像復元工程を、該歪み係数より、該配信映像の歪みを補正する工程を、更に有するものとすることが可能である。
本発明は、配信映像を作成する際に、複数の距離画像センサ機器を用い、少なくともカラー画像、深度画像、原映像及び演出情報を統合し、配信映像を作成することにより、配信サーバの役割を視聴端末への映像の配信のみにすることが可能であるので、大掛かりな機材や特別な配信インフラを使用しなくとも三次元映像のライブ配信が可能となっている。
本発明の実施形態を図1乃至図3に基づき説明する。本実施形態に係る映像配信方法は、インターネット等の電気通信回線1を通じて、配信端末2から配信サーバ3を介して視聴端末4へと三次元映像のライブ配信を行うためのものである。先ず、本実施形態で用いられる機器について説明する。
配信端末2は、パソコンやサーバ等の電子情報端末であり、映像の配信者側、例えば、スタジオやライブハウス等(以下、撮影場所という)に設置され、配信用の映像(以下、配信映像という)を作成すると共に配信サーバ3に該配信映像を送信するために用いられる。本実施形態において、配信端末2は、後述する変換行列の推定にも用いられる。
配信端末2には、複数の距離画像センサ機器5(以下、センサ機器5という)と、撮影機器6と、演出制御機器7と、が接続されており、後述する映像作成工程を実行するために必要なソフトウェア(アプリケーションともいう)、例えば、映像統合ソフト8や配信用ソフト9、がインストールされている。
センサ機器5は、三次元映像を作成するために必要なカラー画像と、深度画像(デプス画像ともいい、深度値を濃淡や色で表示した画像をいう)とを取得するために設けられている。センサ機器5は、カラー画像、例えば、RGB画像を撮影する撮像部10と、被撮影者との距離や位置を測定し、該深度値を決定するための深度センサ11とから構成される距離画像センサ12を有している。センサ機器5としては、様々な公知のものを採用することが可能であり、例えば、マイクロソフト社製Kinect(登録商標)を用いることが可能である。
センサ機器5の配置される数や位置等は、前記撮影場所にある撮影舞台13の形状や面積等に応じて、適宜選択可能であり、例えば、撮影舞台13の前方に配置することが可能であり、センサ機器5として、マイクロソフト社製Kinect(登録商標)を用いる場合、奥行き約3mの撮影舞台13に対して、約0.5mの位置に約0.9m乃至1.5mの間隔で配置される(図2(a)を参照)。又、撮影舞台13を囲むようにセンサ機器5を配置することも可能であり、この場合、撮影舞台13の四方(図2(b)を参照)や撮影舞台13に対して略扇形(図2(c)を参照)に配置することができる。センサ機器5として、マイクロソフト社製Kinect(登録商標)を用いる場合、前者の配置で、約3.5m四方の範囲を、後者で約2.5m×8mの範囲をカバーすることが可能である。
撮影機器6は、ライブ配信を行う映像を撮影するために設けられている(撮影機器6により撮影された映像を、以下、原映像と表記する)。撮影機器6としては、一般的に、映像の撮影に用いられるビデオカメラ等の公知の撮影機材を用いることが可能である。本実施形態においては。撮影機器6は、前記撮影場所に備え付けられているものとなっている。尚、撮影機器6の配置等は、適宜選択することが可能であり、通常の映像と同様に撮影される。
演出制御機器7は、モーションエフェクト等の映像における演出を制御するために設けられており、該演出に関する演出情報を信号(以下、演出情報信号という)として、配信端末2に送り、該演出情報信号を前記配信映像に組み込みために設けられている。演出制御機器7としては、様々な公知のものを適宜採用可能であるが、例えば、市販のMidiコントローラーが採用可能である。
配信サーバ3は、視聴端末4に前記配信映像を配信するために用いられる。配信サーバ3は、後述する映像作成工程によって、前記配信映像を作成することで、配信サーバ3の役割を該配信映像の視聴端末4への配信のみにすることが可能であるので、既存の動画共有サイト(例えば、Youtube(登録商標)等)を利用することが可能である。尚、専用の配信サーバを用意して、既存の動画共有サイトを利用しない様にすることも当然に可能である。
視聴端末4は、パソコンや、タブレット、スマートフォンといった電子情報端末であり、視聴者が配信映像を視聴するために用いられるソフトウェア(以下、視聴アプリ14という)がインストールされている。視聴端末3は、必要に応じて、ヘッドマウントディスプレイやVRゴーグルといった視聴機器(図示せず)に接続又は格納される。視聴アプリ14は、専用のものでもよいし、ウェブブラウザの様な汎用のものを利用することも可能である。
次に、本実施形態における映像配信方法について説明する。該映像配信方法は、配信端末2で実行される映像作成工程S1及び視聴端末4で実行される映像復元工程S2を含んでいる。
<映像作成工程>
(1-A)配信端末2には、センサ機器5、撮影機器6及び演出制御機器7より、逐次的に、前記カラー画像、前記深度画像、前記原映像及び前記演出情報(以下、被統合データという)が、送られ(S10乃至S12)、これらデータが配信端末2によって取得される(S1A)。
(1-A)配信端末2には、センサ機器5、撮影機器6及び演出制御機器7より、逐次的に、前記カラー画像、前記深度画像、前記原映像及び前記演出情報(以下、被統合データという)が、送られ(S10乃至S12)、これらデータが配信端末2によって取得される(S1A)。
(1-B)配信端末2にインストールされた映像統合ソフト8によって、配信端末2が取得した前記被統合データを、順次、1つの映像ファイルへと統合し、前記配信映像を作成する(S1B)。つまり、本実施形態においては、該配信映像には、前記被統合データの有する情報が含まれていることとなる。尚、統合される該被統合データは、上記のデータに限られるものではなく、必要に応じて、他のデータを追加することが可能である。
(1-C)作成された前記配信映像を配信ソフト9によって配信サーバ3に順次送信する(S1C)。配信サーバ3に送信された前記配信映像は、順次、視聴端末4に配信される。尚、通常、電気通信回線1の負荷(帯域利用量の増大等)の軽減のため、該配信映像は圧縮されてやり取りされる。
<映像復元工程>
(2-A)映像復元工程S2の前段階として、配信端末2は、センサ機器5の内部情報、例えば、焦点距離、主点や歪み係数、を取得する(S20)。又、配信端末2は、3Dデータ処理ライブラリを使用して、工程S1Aで取得した各前記カラー画像及び前記深度画像について、深度と色とを対応させる位置合わせを行い、後述する工程において、ローカル座標系をワールド座標系に変換するために必要な変換行列、例えば、回転行列や平行移動行列、を推定する(S21)。尚、該3Dデータ処理ライブラリは、既存のものを適宜採用することが可能である。又、工程S20及び工程S21の順番は、説明の便宜上のものであり、どちらが先に処理されてもよく、又、並列に処理されてもよい。
(2-A)映像復元工程S2の前段階として、配信端末2は、センサ機器5の内部情報、例えば、焦点距離、主点や歪み係数、を取得する(S20)。又、配信端末2は、3Dデータ処理ライブラリを使用して、工程S1Aで取得した各前記カラー画像及び前記深度画像について、深度と色とを対応させる位置合わせを行い、後述する工程において、ローカル座標系をワールド座標系に変換するために必要な変換行列、例えば、回転行列や平行移動行列、を推定する(S21)。尚、該3Dデータ処理ライブラリは、既存のものを適宜採用することが可能である。又、工程S20及び工程S21の順番は、説明の便宜上のものであり、どちらが先に処理されてもよく、又、並列に処理されてもよい。
その後、前記内部情報及び前記変換行列は、配信端末2によって、視聴端末4に送信される(S22)。これによって、視聴端末4は、該内部情報及び該変換行列を取得し、前記視聴アプリ14にその値が設定される(S2A)。尚、工程S22は、配信端末2から視聴端末4に直接送信する様にしてもよいが、一旦、配信サーバ3その他のサーバに該内部情報及び該変換行列を記録しておき、視聴端末4が該サーバから取得する様にしてもよい。
尚、上記各工程S20,S21,S22,S2Aを行うタイミングは、下記各工程S2C,S2E,S2Fに支障のでない範囲で適宜設定可能であり、前記配信映像を視聴端末4に配信する前であっても、前記配信映像を視聴端末4に配信した後であっても何方でもよい。
(2-B)視聴端末4は、配信サーバ3より、前記配信映像を受信する(S2B)。
(2-C)視聴アプリ14に設定された前記歪み係数を用いて、前記配信映像の歪みを補正する(S2C)。
(2-D)前記配信映像の隣接画素の前記深度値を比較して、後述の該配信映像を三次元点群データに復元する際に妨げとなるノイズの除去を行う(S2D)。該ノイズは、該配信映像が圧縮されることにより生じるものである。
(2-E)前記配信映像より得られる前記深度値及び配信映像の画面サイズ並びに視聴アプリ14に設定された前記焦点距離及び前記主点により、前記配信映像をローカル座標系での三次元点群データに復元する(S2E)。
(2-F)視聴アプリ14に設定された前記変換行列により、前記三次元点群データをローカル座標系から、ワールド座標系へと変換する(S2F)。
(2-G)前記配信映像より、前記演出情報を読み取り、前記三次元点群データにモーションエフェクト等の演出効果を適用する。この様にすることで、本実施形態においては、該演出効果は、前記配信者より全ての前記視聴者が視聴する配信映像に略同じタイミングで適用することが可能となる(S2G)。
映像復元工程S2は、視聴端末4の中央処理装置(CPU)15だけではなく、グラフィック処理装置(GPU)16を併用して処理されるのは好ましい。この様にすることで、より高速で前記配信映像を前記三次元点群データに復元することが可能となる。
本実施形態においては、映像作成工程S1を採用することで、配信サーバ3の役割を前記配信映像の視聴端末4への配信のみにすることが可能となっており、既存の動画共有サービスを利用することができ、自前のサーバを用意する必要がないようになっている。
そして、前記撮影場所には、撮影機器6は、通常、備え付けられているので、実質的に、比較的容易に入手可能な配信端末2と、センサ機器5と、を用意すれば、三次元映像のライブ配信を行うことが可能となっている。従って、本実施形態においては、大掛かりな機材や特別な配信インフラを使用しなくとも三次元映像のライブ配信が可能となっている。
本発明を、上記実施形態に基づき説明したが、本発明は、上記実施形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変更可能である。例えば、上記実施形態においては、前記変換行列の推定する工程S21は、配信用端末2を用いて行ったが、配信端末2以外の電子情報端末を用いてもよく、又、センサ機器5そのものに中央処理装置(CPU)等の処理能力を持たせて処理を行わせる様にすることも可能である。
1 電気通信回線 2 配信端末 3 配信サーバ
4 視聴端末 5 距離画像センサ機器 6 撮影機器
7 演出制御機器 8 映像統合ソフト 9 配信用ソフト
10 撮像部 11 深度センサ 12 距離画像センサ
13 撮影舞台 14 視聴アプリ 15 中央処理装置
16 グラフィック処理装置 S 工程
4 視聴端末 5 距離画像センサ機器 6 撮影機器
7 演出制御機器 8 映像統合ソフト 9 配信用ソフト
10 撮像部 11 深度センサ 12 距離画像センサ
13 撮影舞台 14 視聴アプリ 15 中央処理装置
16 グラフィック処理装置 S 工程
Claims (7)
- 電気通信回線を通じて、配信端末から配信サーバを介して視聴端末へと三次元映像のライブ配信を行う映像配信方法であって、
該配信端末によって実行される映像作成工程を含み、
該映像作成工程は、
複数の距離画像センサ機器より、カラー画像と、深度画像と、を取得する工程と、
撮影機器より、原映像を取得する工程と、
少なくとも該カラー画像、該深度画像及び該原映像を統合し、配信映像を作成する工程と、
該配信映像を該配信サーバに送信する工程と、を有していることを特徴とする映像配信方法。 - 前記視聴端末によって実行される映像復元工程を更に含み、
該映像復元工程は、
前記距離画像センサ機器の内部パラメータを取得する工程と、
前記配信映像を前記配信サーバから受信する工程と、
少なくとも該内部パラメータ及び該配信映像の深度値により、該配信映像を、三次元点群データを復元する工程と、を有していることを特徴とする請求項1に記載の映像配信方法。 - 前記映像復元工程は、前記配信映像の隣接画素の深度値を比較して、ノイズ除去を行う工程を更に有することを特徴とする請求項2に記載の映像配信方法。
- 前記映像復元工程は、前記視聴端末のグラフィック処理装置(GPU)を用いて行われる請求項2又は3に記載の映像配信方法。
- 前記映像復元工程は、
前記三次元点群データをワールド座標系に変換するための変換行列を取得する工程と、
該変換行列により、該三次元点群データをワールド座標系に変換する工程を、更に有することを特徴とする請求項2乃至4の何れかに記載の映像配信方法。 - 前記内部パラメータは、歪み係数を含んでおり、
前記映像復元工程は、該歪み係数より、該配信映像の歪みを補正する工程を、更に有することを特徴とする請求項2乃至5の何れかに記載の映像配信方法。 - 少なくとも複数の距離画像センサ機器より取得したカラー画像及び深度画像と、撮影機器より取得した原映像と、演出制御機器より取得した演出情報と、を統合し、配信映像を作成する工程を、電子情報端末に実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209013A JP2022096096A (ja) | 2020-12-17 | 2020-12-17 | 映像配信方法及びそのためのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020209013A JP2022096096A (ja) | 2020-12-17 | 2020-12-17 | 映像配信方法及びそのためのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022096096A true JP2022096096A (ja) | 2022-06-29 |
Family
ID=82163781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020209013A Pending JP2022096096A (ja) | 2020-12-17 | 2020-12-17 | 映像配信方法及びそのためのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022096096A (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015503253A (ja) * | 2011-10-10 | 2015-01-29 | コーニンクレッカ フィリップス エヌ ヴェ | 深度マップの処理 |
JP2016163342A (ja) * | 2015-03-03 | 2016-09-05 | 芳隆 大吉 | 三次元形状情報の配信または放送の方法 |
WO2018142494A1 (ja) * | 2017-01-31 | 2018-08-09 | 株式会社 ニコン | 表示制御システム、及び、表示制御方法 |
JP2020113202A (ja) * | 2019-01-16 | 2020-07-27 | 株式会社日立製作所 | パラメータ選定装置、パラメータ選定方法、およびパラメータ選定プログラム |
-
2020
- 2020-12-17 JP JP2020209013A patent/JP2022096096A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015503253A (ja) * | 2011-10-10 | 2015-01-29 | コーニンクレッカ フィリップス エヌ ヴェ | 深度マップの処理 |
JP2016163342A (ja) * | 2015-03-03 | 2016-09-05 | 芳隆 大吉 | 三次元形状情報の配信または放送の方法 |
WO2018142494A1 (ja) * | 2017-01-31 | 2018-08-09 | 株式会社 ニコン | 表示制御システム、及び、表示制御方法 |
JP2020113202A (ja) * | 2019-01-16 | 2020-07-27 | 株式会社日立製作所 | パラメータ選定装置、パラメータ選定方法、およびパラメータ選定プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9774896B2 (en) | Network synchronized camera settings | |
EP3361724B1 (en) | System and method for generating a virtual viewpoint | |
JP7105062B2 (ja) | 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法 | |
CN108243629B (zh) | 图像处理设备和图像处理方法 | |
CN110536176B (zh) | 一种视频分辨率调整方法、电子设备及存储介质 | |
JP6513234B2 (ja) | Ledディスプレイに用いられる画像処理方法及び装置 | |
WO2018101652A1 (ko) | 실감형 미디어 영상을 제공하는 장치 | |
WO2019085022A1 (zh) | 光场3d显示单元图像的生成方法及生成装置 | |
WO2011145539A1 (en) | Multiple-site drawn-image sharing apparatus, multiple-site drawn-image sharing system, method executed by multiple-site drawn-image sharing apparatus, program, and recording medium | |
EP4270315A1 (en) | Method and device for processing three-dimensional video, and storage medium | |
CN113873264A (zh) | 显示图像的方法、装置、电子设备及存储介质 | |
JP2019103067A (ja) | 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム | |
JP2013025649A (ja) | 画像処理装置及び画像処理方法、プログラム | |
KR20190059712A (ko) | 복수의 촬영 영상을 이용한 360 vr 영상 변환 시스템 및 방법 | |
AU2007249585A1 (en) | Real-time capture and transformation of hemispherical video images to images in rectilinear coordinates | |
KR101806840B1 (ko) | 다수의 카메라를 이용한 고해상도 360도 동영상 생성 시스템 | |
JP6821398B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN115002345B (zh) | 一种图像校正方法、装置、电子设备及存储介质 | |
GB2526618A (en) | Method for generating a screenshot of an image to be displayed by a multi-display system | |
JP2022096096A (ja) | 映像配信方法及びそのためのプログラム | |
KR101967819B1 (ko) | 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법 | |
US20240015264A1 (en) | System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device | |
CN113538318B (zh) | 图像处理方法、装置、终端设备以及可读存储介质 | |
JP5864371B2 (ja) | 静止画自動生成システム、静止画自動生成システムにおける作業者用情報処理端末及び指示者用情報処理端末、及び判定装置 | |
JP2019020845A (ja) | 画像処理装置及び方法、及び、画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220322 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220927 |