JP2022096096A

JP2022096096A - 映像配信方法及びそのためのプログラム

Info

Publication number: JP2022096096A
Application number: JP2020209013A
Authority: JP
Inventors: 繁樹稲葉; Shigeki Inaba; 周平松山; Shuhei Matsuyama
Original assignee: T AND S CO Ltd
Current assignee: T AND S CO Ltd
Priority date: 2020-12-17
Filing date: 2020-12-17
Publication date: 2022-06-29

Abstract

【課題】大掛かりな機材や特別な配信インフラを使用しなくとも三次元映像のライブ配信を可能とする映像配信方法を提供する。【解決手段】電気通信回線を通じて、配信端末２から配信サーバ３を介して視聴端末へと三次元映像のライブ配信を行う映像配信方法において、配信端末２によって実行される映像作成工程Ｓ１を含むものとし、映像作成工程Ｓ１を、複数の距離画像センサ機器５より、カラー画像と、深度画像と、を取得する工程Ｓ１２と、撮影機器６より、原映像を取得する工程Ｓ１０と、少なくとも該カラー画像、該深度画像及び該原映像を統合し、配信映像を作成する工程Ｓ１Ｂと、該配信映像を配信サーバ３に送信する工程Ｓ１Ｃと、を有しているものとする。【選択図】図３Ａ

Description

本発明は、映像配信方法及びそのためのプログラムに関し、より詳細には、三次元映像のライブ配信を行う映像配信方法及びそのためのプログラムに関する。

従来、インターネット等の電気通信回線を通じて、スタジオやライブハウス等の映像をリアルタイムに配信を行う、いわゆる、ライブ配信が行われている（例えば、特許文献１を参照）。この様なライブ配信は、スタジオやライブハウス等に設置されたカメラに撮影された映像が、配信サーバを介して視聴者が有する端末（例えば、パソコンやスマートフォン等）に配信される様になっている。

又、この様なライブ配信は、複数のカメラを設置し、同時に異なる視点での映像を配信し、視聴者が、どのカメラの映像を視聴するかを選択可能とすることで、視聴者は、望む視点での映像を視聴することが可能となっている。

特開２０１１－１０３５２２号公報

従来のライブ配信は、配信される映像が、二次元映像であるため、視聴者が異なる視点での映像を選択して視聴可能といっても、その視点は、カメラの設置場所に依存することとなり、必ずしも視聴者の望む視点で視聴できるものでなかった。

配信される映像を三次元映像とすることで、視聴者が任意の視点での視聴が可能となり、この様な問題は解決されるが、通常、そのためには、大掛かりな機材や専用の配信サーバ等の特別な配信インフラが求められるという新たな問題を生じることとなる。

そこで、本発明は、大掛かりな機材や特別な配信インフラを使用しなくとも三次元映像のライブ配信を可能とする映像配信方法を提供することを目的とする。

本発明は、電気通信回線を通じて、配信端末から配信サーバを介して視聴端末へと三次元映像のライブ配信を行う映像配信方法であって、該配信端末によって実行される映像作成工程を含み、該映像作成工程は、複数の距離画像センサ機器より、カラー画像と、深度画像と、を取得する工程と、撮影機器より、原映像を取得する工程と、少なくとも該カラー画像、該深度画像及び該原映像を統合し、配信映像を作成する工程と、該配信映像を該配信サーバに送信する工程と、を有していることを特徴とする映像配信方法である。

又、本発明は、前記映像配信方法において、前記視聴端末によって実行される映像復元工程を更に含み、該映像復元工程は、前記距離画像センサ機器の内部パラメータを取得する工程と、前記配信映像を前記配信サーバから受信する工程と、少なくとも該内部パラメータ及び該配信映像の深度値により、該配信映像を、三次元点群データを復元する工程と、を有していることを特徴とする映像配信方法である。

又、本発明は、少なくとも複数の距離画像センサ機器より取得したカラー画像及び深度画像と、撮影機器より取得した原映像と、演出制御機器より取得した演出情報と、を統合し、配信映像を作成する工程を、電子情報端末に実行させるプログラムである。

尚、本発明は、前記映像復元工程が、前記配信映像の隣接画素の深度値を比較して、ノイズ除去を行う工程を更に有するものとすることが可能である。又、本発明は、前記映像復元工程を、前記視聴端末のグラフィック処理装置（ＧＰＵ）を用いて行うことが可能である。又、本発明は、前記映像復元工程が、前記三次元点群データをワールド座標系に変換するための変換行列を取得する工程と、該変換行列により、該三次元点群データをワールド座標系に変換する工程を、更に有するものとすることが可能である。又、本発明は、前記内部パラメータを、歪み係数を含むものとし、前記映像復元工程を、該歪み係数より、該配信映像の歪みを補正する工程を、更に有するものとすることが可能である。

本発明は、配信映像を作成する際に、複数の距離画像センサ機器を用い、少なくともカラー画像、深度画像、原映像及び演出情報を統合し、配信映像を作成することにより、配信サーバの役割を視聴端末への映像の配信のみにすることが可能であるので、大掛かりな機材や特別な配信インフラを使用しなくとも三次元映像のライブ配信が可能となっている。

本発明の実施形態のブロック図である。本発明の実施形態における距離画像センサ機器の配置例を示す略図である。本発明の実施形態のフロー図であり、映像作成工程のフロー図である。本発明の実施形態のフロー図であり、映像復元工程のフロー図である。

本発明の実施形態を図１乃至図３に基づき説明する。本実施形態に係る映像配信方法は、インターネット等の電気通信回線１を通じて、配信端末２から配信サーバ３を介して視聴端末４へと三次元映像のライブ配信を行うためのものである。先ず、本実施形態で用いられる機器について説明する。

配信端末２は、パソコンやサーバ等の電子情報端末であり、映像の配信者側、例えば、スタジオやライブハウス等（以下、撮影場所という）に設置され、配信用の映像（以下、配信映像という）を作成すると共に配信サーバ３に該配信映像を送信するために用いられる。本実施形態において、配信端末２は、後述する変換行列の推定にも用いられる。

配信端末２には、複数の距離画像センサ機器５（以下、センサ機器５という）と、撮影機器６と、演出制御機器７と、が接続されており、後述する映像作成工程を実行するために必要なソフトウェア（アプリケーションともいう）、例えば、映像統合ソフト８や配信用ソフト９、がインストールされている。

センサ機器５は、三次元映像を作成するために必要なカラー画像と、深度画像（デプス画像ともいい、深度値を濃淡や色で表示した画像をいう）とを取得するために設けられている。センサ機器５は、カラー画像、例えば、ＲＧＢ画像を撮影する撮像部１０と、被撮影者との距離や位置を測定し、該深度値を決定するための深度センサ１１とから構成される距離画像センサ１２を有している。センサ機器５としては、様々な公知のものを採用することが可能であり、例えば、マイクロソフト社製Ｋｉｎｅｃｔ（登録商標）を用いることが可能である。

センサ機器５の配置される数や位置等は、前記撮影場所にある撮影舞台１３の形状や面積等に応じて、適宜選択可能であり、例えば、撮影舞台１３の前方に配置することが可能であり、センサ機器５として、マイクロソフト社製Ｋｉｎｅｃｔ（登録商標）を用いる場合、奥行き約３ｍの撮影舞台１３に対して、約０．５ｍの位置に約０．９ｍ乃至１．５ｍの間隔で配置される（図２（ａ）を参照）。又、撮影舞台１３を囲むようにセンサ機器５を配置することも可能であり、この場合、撮影舞台１３の四方（図２（ｂ）を参照）や撮影舞台１３に対して略扇形（図２（ｃ）を参照）に配置することができる。センサ機器５として、マイクロソフト社製Ｋｉｎｅｃｔ（登録商標）を用いる場合、前者の配置で、約３．５ｍ四方の範囲を、後者で約２．５ｍ×８ｍの範囲をカバーすることが可能である。

撮影機器６は、ライブ配信を行う映像を撮影するために設けられている（撮影機器６により撮影された映像を、以下、原映像と表記する）。撮影機器６としては、一般的に、映像の撮影に用いられるビデオカメラ等の公知の撮影機材を用いることが可能である。本実施形態においては。撮影機器６は、前記撮影場所に備え付けられているものとなっている。尚、撮影機器６の配置等は、適宜選択することが可能であり、通常の映像と同様に撮影される。

演出制御機器７は、モーションエフェクト等の映像における演出を制御するために設けられており、該演出に関する演出情報を信号（以下、演出情報信号という）として、配信端末２に送り、該演出情報信号を前記配信映像に組み込みために設けられている。演出制御機器７としては、様々な公知のものを適宜採用可能であるが、例えば、市販のＭｉｄｉコントローラーが採用可能である。

配信サーバ３は、視聴端末４に前記配信映像を配信するために用いられる。配信サーバ３は、後述する映像作成工程によって、前記配信映像を作成することで、配信サーバ３の役割を該配信映像の視聴端末４への配信のみにすることが可能であるので、既存の動画共有サイト（例えば、Ｙｏｕｔｕｂｅ（登録商標）等）を利用することが可能である。尚、専用の配信サーバを用意して、既存の動画共有サイトを利用しない様にすることも当然に可能である。

視聴端末４は、パソコンや、タブレット、スマートフォンといった電子情報端末であり、視聴者が配信映像を視聴するために用いられるソフトウェア（以下、視聴アプリ１４という）がインストールされている。視聴端末３は、必要に応じて、ヘッドマウントディスプレイやＶＲゴーグルといった視聴機器（図示せず）に接続又は格納される。視聴アプリ１４は、専用のものでもよいし、ウェブブラウザの様な汎用のものを利用することも可能である。

次に、本実施形態における映像配信方法について説明する。該映像配信方法は、配信端末２で実行される映像作成工程Ｓ_１及び視聴端末４で実行される映像復元工程Ｓ_２を含んでいる。

＜映像作成工程＞
（１－Ａ）配信端末２には、センサ機器５、撮影機器６及び演出制御機器７より、逐次的に、前記カラー画像、前記深度画像、前記原映像及び前記演出情報（以下、被統合データという）が、送られ（Ｓ_１０乃至Ｓ_１２）、これらデータが配信端末２によって取得される（Ｓ_１Ａ）。

（１－Ｂ）配信端末２にインストールされた映像統合ソフト８によって、配信端末２が取得した前記被統合データを、順次、１つの映像ファイルへと統合し、前記配信映像を作成する（Ｓ_１Ｂ）。つまり、本実施形態においては、該配信映像には、前記被統合データの有する情報が含まれていることとなる。尚、統合される該被統合データは、上記のデータに限られるものではなく、必要に応じて、他のデータを追加することが可能である。

（１－Ｃ）作成された前記配信映像を配信ソフト９によって配信サーバ３に順次送信する（Ｓ_１Ｃ）。配信サーバ３に送信された前記配信映像は、順次、視聴端末４に配信される。尚、通常、電気通信回線１の負荷（帯域利用量の増大等）の軽減のため、該配信映像は圧縮されてやり取りされる。

＜映像復元工程＞
（２－Ａ）映像復元工程Ｓ_２の前段階として、配信端末２は、センサ機器５の内部情報、例えば、焦点距離、主点や歪み係数、を取得する（Ｓ_２０）。又、配信端末２は、３Ｄデータ処理ライブラリを使用して、工程Ｓ_１Ａで取得した各前記カラー画像及び前記深度画像について、深度と色とを対応させる位置合わせを行い、後述する工程において、ローカル座標系をワールド座標系に変換するために必要な変換行列、例えば、回転行列や平行移動行列、を推定する（Ｓ_２１）。尚、該３Ｄデータ処理ライブラリは、既存のものを適宜採用することが可能である。又、工程Ｓ_２０及び工程Ｓ_２１の順番は、説明の便宜上のものであり、どちらが先に処理されてもよく、又、並列に処理されてもよい。

その後、前記内部情報及び前記変換行列は、配信端末２によって、視聴端末４に送信される（Ｓ_２２）。これによって、視聴端末４は、該内部情報及び該変換行列を取得し、前記視聴アプリ１４にその値が設定される（Ｓ_２Ａ）。尚、工程Ｓ_２２は、配信端末２から視聴端末４に直接送信する様にしてもよいが、一旦、配信サーバ３その他のサーバに該内部情報及び該変換行列を記録しておき、視聴端末４が該サーバから取得する様にしてもよい。

尚、上記各工程Ｓ_２０，Ｓ_２１，Ｓ_２２，Ｓ_２Ａを行うタイミングは、下記各工程Ｓ_２Ｃ，Ｓ_２Ｅ，Ｓ_２Ｆに支障のでない範囲で適宜設定可能であり、前記配信映像を視聴端末４に配信する前であっても、前記配信映像を視聴端末４に配信した後であっても何方でもよい。

（２－Ｂ）視聴端末４は、配信サーバ３より、前記配信映像を受信する（Ｓ_２Ｂ）。

（２－Ｃ）視聴アプリ１４に設定された前記歪み係数を用いて、前記配信映像の歪みを補正する（Ｓ_２Ｃ）。

（２－Ｄ）前記配信映像の隣接画素の前記深度値を比較して、後述の該配信映像を三次元点群データに復元する際に妨げとなるノイズの除去を行う（Ｓ_２Ｄ）。該ノイズは、該配信映像が圧縮されることにより生じるものである。

（２－Ｅ）前記配信映像より得られる前記深度値及び配信映像の画面サイズ並びに視聴アプリ１４に設定された前記焦点距離及び前記主点により、前記配信映像をローカル座標系での三次元点群データに復元する（Ｓ_２Ｅ）。

（２－Ｆ）視聴アプリ１４に設定された前記変換行列により、前記三次元点群データをローカル座標系から、ワールド座標系へと変換する（Ｓ_２Ｆ）。

（２－Ｇ）前記配信映像より、前記演出情報を読み取り、前記三次元点群データにモーションエフェクト等の演出効果を適用する。この様にすることで、本実施形態においては、該演出効果は、前記配信者より全ての前記視聴者が視聴する配信映像に略同じタイミングで適用することが可能となる（Ｓ_２Ｇ）。

映像復元工程Ｓ_２は、視聴端末４の中央処理装置（ＣＰＵ）１５だけではなく、グラフィック処理装置（ＧＰＵ）１６を併用して処理されるのは好ましい。この様にすることで、より高速で前記配信映像を前記三次元点群データに復元することが可能となる。

本実施形態においては、映像作成工程Ｓ_１を採用することで、配信サーバ３の役割を前記配信映像の視聴端末４への配信のみにすることが可能となっており、既存の動画共有サービスを利用することができ、自前のサーバを用意する必要がないようになっている。

そして、前記撮影場所には、撮影機器６は、通常、備え付けられているので、実質的に、比較的容易に入手可能な配信端末２と、センサ機器５と、を用意すれば、三次元映像のライブ配信を行うことが可能となっている。従って、本実施形態においては、大掛かりな機材や特別な配信インフラを使用しなくとも三次元映像のライブ配信が可能となっている。

本発明を、上記実施形態に基づき説明したが、本発明は、上記実施形態に限定されるものではなく、発明の要旨を変更しない範囲で適宜変更可能である。例えば、上記実施形態においては、前記変換行列の推定する工程Ｓ_２１は、配信用端末２を用いて行ったが、配信端末２以外の電子情報端末を用いてもよく、又、センサ機器５そのものに中央処理装置（ＣＰＵ）等の処理能力を持たせて処理を行わせる様にすることも可能である。

１電気通信回線２配信端末３配信サーバ
４視聴端末５距離画像センサ機器６撮影機器
７演出制御機器８映像統合ソフト９配信用ソフト
１０撮像部１１深度センサ１２距離画像センサ
１３撮影舞台１４視聴アプリ１５中央処理装置
１６グラフィック処理装置Ｓ工程

Claims

電気通信回線を通じて、配信端末から配信サーバを介して視聴端末へと三次元映像のライブ配信を行う映像配信方法であって、
該配信端末によって実行される映像作成工程を含み、
該映像作成工程は、
複数の距離画像センサ機器より、カラー画像と、深度画像と、を取得する工程と、
撮影機器より、原映像を取得する工程と、
少なくとも該カラー画像、該深度画像及び該原映像を統合し、配信映像を作成する工程と、
該配信映像を該配信サーバに送信する工程と、を有していることを特徴とする映像配信方法。
前記視聴端末によって実行される映像復元工程を更に含み、
該映像復元工程は、
前記距離画像センサ機器の内部パラメータを取得する工程と、
前記配信映像を前記配信サーバから受信する工程と、
少なくとも該内部パラメータ及び該配信映像の深度値により、該配信映像を、三次元点群データを復元する工程と、を有していることを特徴とする請求項１に記載の映像配信方法。
前記映像復元工程は、前記配信映像の隣接画素の深度値を比較して、ノイズ除去を行う工程を更に有することを特徴とする請求項２に記載の映像配信方法。
前記映像復元工程は、前記視聴端末のグラフィック処理装置（ＧＰＵ）を用いて行われる請求項２又は３に記載の映像配信方法。
前記映像復元工程は、
前記三次元点群データをワールド座標系に変換するための変換行列を取得する工程と、
該変換行列により、該三次元点群データをワールド座標系に変換する工程を、更に有することを特徴とする請求項２乃至４の何れかに記載の映像配信方法。
前記内部パラメータは、歪み係数を含んでおり、
前記映像復元工程は、該歪み係数より、該配信映像の歪みを補正する工程を、更に有することを特徴とする請求項２乃至５の何れかに記載の映像配信方法。
少なくとも複数の距離画像センサ機器より取得したカラー画像及び深度画像と、撮影機器より取得した原映像と、演出制御機器より取得した演出情報と、を統合し、配信映像を作成する工程を、電子情報端末に実行させるプログラム。