以下に、本発明の実施例を添付の図面を用いて詳細に説明する。なお以下の図面において、同一又は対応する構成要素は同一又は対応する番号で参照し、その説明は適宜省略する。
図1は、映像配信システムの構成の一例を示す図である。図1に示す映像配信システムは、映像配信装置10、複数の撮像装置を含む撮像ユニット11、及び複数の映像受信装置12を含む。撮像ユニット11は、異なる複数の撮像方向をそれぞれ向いて配置された複数N+1個(N:2以上の整数)の撮像装置を含む。映像配信装置10は、撮像ユニット11の複数の撮像装置から受け取った複数N+1個の映像データを適宜圧縮し、圧縮された複数N+1個の映像データを不特定多数の受信装置に対して送信する。即ち、映像配信装置10は、映像受信装置12と通信することにより映像受信装置12の個々を宛先として別個に映像データを送信するのではなく、ブロードキャスト形式又はマルチキャスト形式で複数の映像データを送信する。図1には、複数N+1個の映像データを各々が受信する複数M+1個(M:1以上の整数)の映像受信装置12が示されている。撮像ユニット11と映像受信装置12との間の映像送信及び通信は、有線通信であってもよいし、無線通信であってもよい。
撮像ユニット11の複数の撮像装置は、後述するように、360度全方位をカバーするよう配置されてよい。映像受信装置12は、ヘッドマウントディスプレイ等の表示装置を含んでよい。撮像ユニット11の複数の撮像装置が360度全方位をカバーすることにより、ヘッドマウントディスプレイ等の表示装置を装着したユーザは360度全方位のうちの所望の方向の眺めを見ることが可能となり、臨場感あふれる映像体験が可能となる。また撮像ユニット11の複数の撮像装置は、後述するように、人間の左眼と右眼との間の視差に相当する視差を有するように配置されていてよく、映像受信装置12がユーザに3D映像を提供することにより、更に臨場感あふれる映像体験が可能となる。
映像配信装置10は、バッファ部20、映像圧縮部21、選択率演算部22、受信端末データベース23、及び通信制御部24を含む。映像圧縮部21は、圧縮部25、及び圧縮率算出部26を含む。選択率演算部22は、選択率算出部27、補正選択率算出部28、及び隣接補正選択率算出部29を含む。
図1及び以降の同様の図において、各ボックスで示される各機能ブロックと他の機能ブロックとの境界は、基本的には機能的な境界を示すものであり、物理的な位置の分離、電気的な信号の分離、制御論理的な分離等に対応するとは限らない。装置は、各機能ブロックの機能を有する電子回路ブロックを組み合わせて実現したハードウェア構成でもよいし、電子回路である汎用のプロセッサにおいてソフトウェアを実行することにより各機能ブロックの機能を実現したソフトウェア構成でもよい。ハードウェアの場合、各機能ブロックは、他のブロックと物理的にある程度分離された1つのハードウェアモジュールであってもよいし、或いは他のブロックと物理的に一体となったハードウェアモジュール中の1つの機能を示したものであってもよい。ソフトウェアの場合、各機能ブロックは、他のブロックと論理的にある程度分離された1つのソフトウェアモジュールであってもよいし、或いは他のブロックと論理的に一体となったソフトモジュール中の1つの機能を示したものであってもよい。
バッファ部20は、撮像ユニット11の複数の撮像装置から受け取った複数の映像データを一時的に格納しバッファリングする。映像圧縮部21の圧縮部25は、映像要求信号をバッファ部20にアサートすることにより、バッファ部20からN+1個の映像データを受け取る。圧縮部25は、圧縮率算出部26により算出された映像データ毎の圧縮率により、N+1個の映像データを圧縮する。通信制御部24は、映像要求信号を圧縮部25にアサートすることにより、圧縮部25から圧縮後のN+1個の映像データを受け取る。通信制御部24は、圧縮されたN+1個の映像データを不特定多数の受信装置に対して送信すると共に、M+1個の映像受信装置12から視野方向を示す複数の視野方向データを受信する。
通信制御部24が受信した視野方向データは受信端末データベース23に格納され、受信端末データベース23に格納された視野方向データは選択率演算部22により読み出される。選択率演算部22は、視野方向データに基づいて、N+1個の撮像方向の各々の撮像方向について、複数の映像受信装置12のうちの何割の映像受信装置12により選択されているかを示す選択率を演算する。選択率が高い撮像方向ほど、より多くのユーザの視野方向が向いていることになる。N+1個の撮像方向の各々に対して計算されたN+1個の選択率は、補正選択率算出部28及び隣接補正選択率算出部29により適宜補正される。補正後の選択率は映像圧縮部21の圧縮率算出部26に供給され、圧縮率算出部26が補正後の選択率に基づいた圧縮率を計算する。
補正選択率算出部28及び隣接補正選択率算出部29による補正演算については後述する。補正選択率算出部28及び隣接補正選択率算出部29による補正演算を行わず、選択率算出部27が算出する選択率に基づいて、圧縮率算出部26が圧縮率を計算してもよい。また或いは、隣接補正選択率算出部29による補正演算を行わず、補正選択率算出部28が算出する補正選択率に基づいて、圧縮率算出部26が圧縮率を計算してもよい。
選択率演算部22と圧縮率算出部26とが、圧縮率を演算する演算部として機能してよい。演算部は、N+1個の撮像方向のうちの一の撮像方向に対応する視野方向を示す方向データの割合が方向データの全数に対して大きいほど、圧縮部25による一の撮像方向の映像データの圧縮率を低く設定してよい。即ち、より多くのユーザが見ている方向の映像データほど、より低い圧縮率で圧縮し、より高画質で配信することができる。逆に言えば、より少ないユーザが見ている方向の映像データほど、より高い圧縮率で圧縮し、より効率的に少ないデータ量で配信することができる。これにより、限られた伝送容量の中で、リアルタイム性を実現しながらも、成る可く多くのユーザが成る可く高画質で視聴することを可能とし、視聴者全体としての総体での満足度を最大化することができる。
図2は、撮像ユニット11の構成の一例を示す図である。図2に示す撮像ユニット11は、複数の撮像装置30を含む。図2に示す配置例では、10個の撮像装置30が周囲長60cmの円の周囲に沿って等間隔で配置されている。この場合、隣り合う2つの撮像装置30の間の配置間隔は6cmとなり、人間の両眼の間の平均的な距離に等しくなる。従って、隣り合う2つの撮像装置30の2つの映像データは映像受信装置12(図1参照)において左眼用及び右眼用の表示データとして使用するのに適したものとなっている。なお撮像装置30が配置される円の円周である60cmは、平均的な人の頭囲長と同等となっている。また隣り合う2つの撮像装置30の2つの視野方向の間の角度は36度となっている。
撮像装置30のうちの着目した1つと、それに隣接する撮像装置30との位置関係は、何れの撮像装置30においても同一となっている。従って、隣り合う2つの撮像装置30の2つの映像データのうちの第1の映像データは少なくとも1つの映像受信装置12における左眼用の表示データであると同時に他の少なくとも1つの映像受信装置12における右眼用の表示データとなることができる。例えば、互いに隣接する第1の撮像装置30及び第2の撮像装置30の2つの映像データが、ある映像受信装置12においてそれぞれ左眼用及び右眼用の表示データとして使用される場合を考える。この場合、第2の撮像装置30及びそれに隣接する第1の撮像装置30ではない第3の撮像装置30の映像データが、別の映像受信装置12においてそれぞれ左眼用及び右眼用の表示データとして使用されてよい。この場合、第2の撮像装置30の映像テータは、それぞれ右眼用及び左眼用として使用されることになる。
なお上記のように、各撮像装置30が右眼用及び左眼用の何れにも使用可能とされる場合、方向データが示す視野方向のうちの2つの隣り合う視野方向の間の角度と、撮像装置30の複数の撮像方向のうちの2つの隣り合う撮像方向の間の角度とは等しくてよい。仮に例えば図2に示される撮像ユニット11において、複数の撮像装置30の配列における1つおきの撮像装置30が右眼用専用であり、それ以外の1つおきの撮像装置30が左眼用専用であるとする。この場合、選択可能な視野方向は、複数の撮像装置30の複数の撮像方向のうちの1つおきの撮像方向に対応する方向となる。一方、図2に示される撮像ユニット11において、複数の撮像装置30の配列における各撮像装置30が右眼用及び左眼用何れにも使用できるとする。この場合、選択可能な視野方向は、複数の撮像装置30の複数の撮像方向のうちの各撮像方向に対応する方向となる。
このように1つの撮像装置30の映像データを右眼用又は左眼用の何れとしても使用することにより、右眼専用及び左眼専用の撮像装置30を設ける場合と比較して、撮像ユニット11の撮像装置数を少なくすることができる。逆に言えば、右眼専用及び左眼専用の撮像装置30を設ける場合と比較して、選択可能な視野方向の数を多くして視線方向の切換角度幅をより細かくすることができる。また限られた伝送容量の中で、より多くの選択可能な視野方向に対応する映像データを配信することが可能となる。
図3は、撮像ユニット11の構成の別の一例を示す図である。図3においても、図2と同様に、撮像装置30が周囲長60cmの円の周囲に沿って等間隔で配置されている。但し、図3における配置例では、図2における配置例の3倍の数の撮像装置30が配置されており、隣り合う2つの撮像装置30間の距離は2cm(=6/3)となる。また隣り合う2つの撮像装置30の2つの撮像方向の間の角度は12度(=36/3)となる。この場合、映像受信装置12において左眼用及び右眼用の表示データとして使用される映像データを撮像する撮像装置30は、2個の撮像装置30を間に挟んだ2つの撮像装置30、即ち6cm間隔(36度間隔)の2つの撮像装置30となる。
図2の撮像装置30の配置例に比較して図3の撮像装置30の配置例とすることで、撮像方向即ち視野方向の間隔を更に細かくして、視線方向の切換角度幅をより細かくすることができる。なお図2及び図3に示される撮像ユニット11の構成例では、撮像装置30が配置される円の円周は60cmであるとしたが、この円周長は一例にすぎない。周囲長60cmの円に撮像装置30が配置された場合には、頭の中心を移動させずに視野方向を移動させたときの視野に相当する撮像データが撮像できる。それに対して、例えば周囲長200cmの円に撮像装置30が配置された場合には、頭の中心を移動させながら視野方向を移動させたときの視野に相当する撮像データが撮像できることになる。
図4は、映像受信装置12の構成の一例を示す図である。図4に示す映像受信装置12は、通信制御部40、方位センサ41、映像復号部42、映像復号部43、画像抽出部44、画像抽出部45、表示装置46、及び表示装置47を含む。映像受信装置12は、送受信機能とヘッドマウントディスプレイ等としての表示機能とを有する。方位センサ41は頭の動きをトラッキングすることにより、現在ユーザが見ている視野方向を示す方向データを生成してよい。
通信制御部40は、図1に示す映像配信装置10からN+1個の圧縮後映像データを受信する。通信制御部40は更に、方位センサ41により検出された視野方向を示す方向データを図1に示される映像受信装置12に送信する。通信制御部40は更に、受信したN+1個の映像データのうち、方位センサ41から供給される方向データに対応する撮像方向の2つの映像データを選択し、選択した2つの映像データを映像復号部42及び映像復号部43に供給する。ここで選択された2つの映像データの一方は左眼用の映像データであり映像復号部43に供給され、他方は右眼用の映像データであり映像復号部42に供給される。映像復号部42、画像抽出部44、及び表示装置46は右眼用であり、映像復号部43、画像抽出部45、及び表示装置47は左眼用である。
映像復号部42及び43は、供給された圧縮後映像データを伸長(復号)し、伸長後の映像データを生成する。画像抽出部44及び45は、伸長後の映像データから、注視点の調整を行った右眼用及び左眼用の映像データをそれぞれ抽出する。例えば図2に示される配置例では、左眼用及び右眼用の撮像装置30の撮像方向は互いに36度異なっている。一方、人間の左右両眼の視線方向は、例えば無限遠を眺めているときには同方向(互いに平行)である。従って、図2に示されるように例えば36度の角度差がある撮像方向の2つの映像データをそのまま左右両眼の映像として表示したのでは、それぞれの画像の中心が同一の撮像対象点となってなく、左右の映像を立体視として両眼で融合させることができない。そこで2つの映像データの一方又は両方を互いに水平方向にずらしながら映像データを抽出することにより、画像中心に同一の撮像対象点が位置するように配置された2つの表示用映像データを生成する。これら2つの表示用映像データでは、それぞれの画像の中心が同一の撮像対象点となっているので、左右の映像を立体視として両眼で適切に融合させることができる。
表示装置46及び47は、画像抽出部44及び45が抽出した2つの表示用映像データをそれぞれ右眼用及び左眼用の映像として表示する。これにより、ユーザは自分が顔を向けた方向に対応する所望の方向の映像データを3D映像として体験することができる。
なお映像受信装置12から映像配信装置10に送信する方向データは、例えば図2に示す撮像ユニット11を使用する映像配信システムの場合には、1つの撮像装置30を特定する番号0乃至9を示すデータであってよい。より一般的に、方向データは、各撮像装置30を特定することが可能なデータであればよい。映像受信装置12から映像配信装置10に送信する方向データは、1つの方向のみを示すデータであってもよいし、或いは右眼に対応する撮像装置を特定するデータ及び左眼に対応する撮像装置を特定するデータを含む2つの方向を示すデータであってもよい。1つの方向のみを示すデータを送信する場合、例えば左眼に対応する撮像装置を特定するデータを送信することと予め決めておけば、右眼に対応する撮像装置は映像受信装置12側で特定することが可能である。
図5は、映像受信装置12の動作の一例を示す図である。図5に示す一連の動作は、映像データの1フレーム毎に実行される動作であってよい。即ち、例えば毎秒30フレームの映像データである場合には、図5に示す一連の動作が一秒間に30回繰り返されてよい。なお図5及び以降の同様の図又はフローチャートにおいて、図に記載された各ステップの実行順序は一例にすぎず、本願の意図する技術範囲が、記載された実行順番に限定されるものではない。例えば、Aステップの次にBステップが実行されるように本願に説明されていたとしても、Aステップの次にBステップを実行することが可能なだけでなく、Bステップの次にAステップを実行することが、物理的且つ論理的に可能である場合がある。この場合、どちらの順番でステップを実行しても、当該図面に記載の処理に影響する全ての結果が同一であるならば、本願に開示の技術の目的のためには、Bステップの次にAステップが実行されてもよいことは自明である。Aステップの次にBステップが実行されるように本願に説明されていたとしても、上記のような自明な場合を本願の意図する技術範囲から除外することを意図するものではなく、そのような自明な場合は、当然に本願の意図する技術範囲内に属する。
ステップS1において、映像配信装置10の通信制御部24が、視野方向を示す方向データをM+1個の映像受信装置12から受信する。ステップS2において、映像配信装置10のバッファ部20が、N+1個の映像データを撮像ユニット11の撮像装置30から受け取る。
ステップS3において、通信制御部24が、映像圧縮部21に映像要求信号をアサートする。ステップS4において、映像圧縮部21が、バッファ部20に映像要求信号をアサートする。ステップS5において、バッファ部20が、映像圧縮部21にN+1個の映像データを供給する。
ステップS6において、映像圧縮部21が、選択率演算部22に選択率要求信号をアサートする。ステップS7において、選択率演算部22が、受信端末データベース23に視野方向要求信号をアサートする。ステップS8において、選択率演算部22が、受信端末データベース23から視野方向を示すM+1個の方向データを受け取る。ステップS9において、選択率演算部22が選択率、補正後選択率、又は隣接補正選択率を演算により求める。この選択率の演算については、後ほど詳細に説明する。ステップS10において、映像圧縮部21が、0番からN番の撮像装置30(或いは0番からN番の映像データ)に対する選択率(選択率、補正後選択率、又は隣接補正選択率)を受け取る。ステップS11において、映像圧縮部21は、選択率演算部22から受け取った選択率に応じてN+1個の映像データをそれぞれ圧縮する。
ステップS12において、映像圧縮部21は、N+1個の圧縮後映像データを通信制御部24に供給する。ステップS13において、通信制御部24は、N+1個の圧縮後映像データを送信する。
図6は、映像受信装置の動作の一例を示す図である。図6に示す一連の動作は、映像データの1フレーム毎に実行される動作であってよい。即ち、例えば毎秒30フレームの映像データである場合には、図6に示す一連の動作が一秒間に30回繰り返されてよい。
ステップS21において、映像受信装置12の通信制御部40が、視野方向要求信号を方位センサ41にアサートする。ステップS22において、方位センサ41が、視野方向を示す方向データを通信制御部40に供給する。ステップS23において、通信制御部40が、視野方向を示す方向データを映像配信装置10に送信する。ステップS24において、映像受信装置12の通信制御部40が、映像配信装置10からN+1個の圧縮後映像データを受信する。
ステップS25において、通信制御部40が、受信したN+1個の映像データのうち、方位センサ41から供給される方向データに対応する撮像方向の2つの映像データを選択し、選択した2つの映像データのうちの右眼用映像データを映像復号部42に供給する。ステップS26において、映像復号部42は、供給された圧縮後映像データを伸長(復号)し、伸長後の映像データを生成する。ステップS27において、映像復号部42は、伸長後の映像データを画像抽出部44に供給する。ステップS28において、画像抽出部44は、伸長後の映像データから、注視点の調整を行った右眼表示用の映像データを抽出する。ステップS29において、画像抽出部44は、表示装置46に右眼表示用の映像データを供給する。
ステップS30において、前述の選択した2つの映像データのうちの左眼用映像データを映像復号部43に供給する。ステップS31において、映像復号部43は、供給された圧縮後映像データを伸長(復号)し、伸長後の映像データを生成する。ステップS32において、映像復号部43は、伸長後の映像データを画像抽出部45に供給する。ステップS33において、画像抽出部45は、伸長後の映像データから、注視点の調整を行った左眼表示用の映像データを抽出する。ステップS34において、画像抽出部45は、表示装置47に左眼表示用の映像データを供給する。
図7は、映像配信時の圧縮率について説明するための図である。図7の左側には、0番から9番までの10個の撮像装置30を含む撮像ユニット11が示されている。図7の右側には、ユーザ51及び53が模式的に示されている。撮像ユニット11により撮像された映像データは、矢印50で示されるように、映像配信装置を介して各ユーザの映像受信装置に配信される。
図7に示される例において、左眼の映像が9番の撮像装置30の映像データであり且つ右眼の映像が0番の撮像装置30の映像データである方向を向いているユーザ51が、比較的数多く存在する。また左眼の映像が6番の撮像装置30の映像データであり且つ右眼の映像が7番の撮像装置30の映像データである方向を向いているユーザ53が、比較的少数存在する。このような状況においては、0番及び9番の撮像装置30の映像データと6番及び7番の撮像装置30の映像データとでは、配信する映像データの圧縮率を異ならせる。即ち、当該映像データを選択しているユーザ数が比較的多い0番及び9番の撮像装置30の映像データについては低い圧縮率で圧縮し、当該映像データを選択しているユーザ数が比較的少ない6番及び7番の撮像装置30の映像データについては高い圧縮率で圧縮する。
図8は、各撮像装置の映像データの圧縮率について説明するための図である。上述のように、図7のような状況では、0番及び9番の撮像装置の映像データについては低い圧縮率で圧縮し、6番及び7番の撮像装置30の映像データについては高い圧縮率で圧縮する。フレームを用いて映像データを伝送する場合であって、1つのフレームにN+1個(この例では10個)の映像データを格納して伝送する場合を考える。この場合、図8に示されるように1つのフレームには、0番及び9番の撮像装置の映像データを低い圧縮率で圧縮した圧縮後の映像データ60及び63が含まれる。更に、このフレームには、6番及び7番の撮像装置の映像データを高い圧縮率で圧縮した圧縮後の映像データ61及び62が含まれる。0番及び9番の映像データを選択しているユーザ数は比較的多いので、低い圧縮率及び大きなデータ量を用いて、高い画質を実現している。また6番及び7番の映像データを選択しているユーザ数は比較的少ないので、高い圧縮率及び小さなデータ量を用いて、効率的なデータ伝送を実現している。またそれ以外の撮像装置の映像データについては、当該映像データを選択しているユーザが存在しないか又は極めて少ないので、非常に高い圧縮率で圧縮して十分に小さなデータ量のデータ64にして伝送している。
以下に、選択率の計算について説明する。図1を参照して説明したように、通信制御部24が受信した視野方向データは受信端末データベース23に格納され、受信端末データベース23に格納された視野方向データは選択率演算部22により読み出される。選択率演算部22は、視野方向データに基づいて、N+1個の撮像方向の各々の撮像方向について、複数の映像受信装置12のうちの何割の映像受信装置12により選択されているかを示す選択率を演算する。映像データを視聴する総ユーザ数をUmax、i番の撮像装置30を右眼用として選択するユーザ数をURiとすると、i番の撮像装置30(又はi番の映像データ)の右眼用としての選択率FRiは、以下の式で表される。
FRi = URi/Umax (1)
またi番の撮像装置30を左眼用として選択するユーザ数をULiとすると、i番の撮像装置30(又はi番の映像データ)の左眼用としての選択率FLiは、以下の式で表される。
FLi = ULi/Umax (2)
このときi番の撮像装置30(又はi番の映像データ)の選択率Fiは、以下の式で表わすことができる。
Fi = FRi + FLi (3)
図9は、選択率の計算処理の流れを示すフローチャートである。ステップS21において、通信制御部24は、映像受信装置12から左眼と右眼とのそれぞれの視野方向を示す方向データを受信し、受信端末データベース23に方向データを格納する。ステップS22において、選択率算出部27は、受信端末データベース23から読み出した方向データに基づいて、各撮像装置について、当該撮像装置の映像を右眼用画像として選択するユーザの数を算出する。ステップS23において、選択率算出部27は、受信端末データベース23から読み出した方向データに基づいて、各撮像装置について、当該撮像装置の映像を左眼用画像として選択するユーザの数を算出する。
ステップS24において、選択率算出部27は、前述の式(1)を用いて、右眼用としての選択率を各撮像装置について計算する。ステップS25において、選択率算出部27は、前述の式(2)を用いて、左眼用としての選択率を各撮像装置について計算する。ステップS26において、選択率算出部27は、前述の式(3)を用いて、選択率を各撮像装置について計算する。
前述のように、図1に示す圧縮率算出部26は、上記の式(3)に示すi番の撮像装置の選択率Fiに応じて、i番の映像データの圧縮率を算出してよい。この場合、例えば図7に示す複数の撮像装置30のうちで、i番の撮像装置の選択率が高いほど、i番の映像データの圧縮率を低く(画質を高く)してよい。なお、i番の撮像装置を左眼用として選択しているユーザ数と、i+1番の撮像装置を右眼用として選択しているユーザ数は等しい。即ち、FLi=FRi+1である。この関係を用いて、上記の式(3)に示すFiは、Fi=FRi+FRi+1と書き換えることができる。
例えば、ユーザの視野方向の変化によりFRi+1の値が大きくなったとする。このとき、FLi+1の値に変化がないとするとFi+1(=FRi+1+FLi+1)の値も大きくなるし、FRiの値に変化がないとするとFi(=FRi+FRi+1)の値も大きくなる。従って、i番及びi+1番の2つの撮像装置のうちのi+1番の撮像装置の撮像方向に対応する視野方向を示す方向データの割合が方向データの全数に対して大きいほど(即ちFi+1が大きいほど)、i番の撮像装置の映像データの圧縮率を低く設定することになる。これは即ち、複数の撮像装置30のうちの対となる2つの撮像装置30については、一方の選択率が大きければ他方の選択率も一般的に大きく、一方の圧縮率が低ければ他方の圧縮率も一般的に低いことを意味する。
以下に、選択率の補正について説明する。前述のように、複数の撮像方向の各々に対して計算された複数の選択率は、図1に示す補正選択率算出部28及び隣接補正選択率算出部29により適宜補正されてよい。圧縮率算出部26は、補正後の選択率或いは隣接補正選択率に基づいて圧縮率を算出してよい。この際、補正選択率算出部28は、対となる2つの撮像装置の一方の撮像装置の映像データの圧縮率と他方の撮像装置の映像データの圧縮率との差が、複数の映像データのうちの少なくとも2つの映像データに対して小さくなるよう補正演算を行ってよい。
例えば図7に示す撮像ユニット11において、1番及び2番の撮像装置30を選択するユーザ数が10人であり、2番及び3番の撮像装置30を選択するユーザ数が100人であるとする。また、それ以外に映像を視聴しているユーザは存在しないとする。このとき、前述のように補正していない選択率に基づいて映像圧縮すると、2番及び3番の撮像装置30の映像データは比較的高画質で配信されるが、1番の撮像装置30の映像データは比較的低画質で配信される。従って、1番及び2番の撮像装置30を選択する10人のユーザにとっては、例えば左眼の画像は低画質で右眼の画像は高画質であることになり、視聴する映像に違和感を感じてしまう。
以上を鑑みると、両眼の映像の画質差を成る可く小さくすること、即ち、対となる2つの撮像装置の一方の撮像装置の映像データの圧縮率と他方の撮像装置の映像データの圧縮率との差を小さくするように選択率を補正することが好ましい。しかしながら、全ての撮像装置30のペアに対して選択率の差を小さくするよう補正することは、究極的には全ての映像データの選択率を同一にするという目標に近づけることを意味する。しかしながらこの目標は、映像の選択率に応じて圧縮率に差を設けることによりリアルタイム性と高画質という2つの課題を解決するという目標とは相反するものである。即ち、全ての撮像装置30のペアに対して選択率の差を小さくするよう補正することは現実的ではなく、複数の映像データのうちの少なくとも一対の映像データ間での選択率の差が小さくなるよう補正演算を行うことが現実的である。具体的には、数多くのユーザが選択視聴している映像データのペアについては、選択率の差が成る可く小さくなるように優先的に補正することが望ましい。
選択率の補正演算としては、以下の式が考えられる。
FCi = max{min(Fi, Fi+u), min(Fi-u, Fi)} (4)
ここでFiは式(3)により計算された選択率であり、uは、ペアとなる2つの撮像装置30間のインターバルの数である(即ちu−1個おきにペアとなる撮像装置30が配置されている)。この補正演算では、i番の撮像装置の選択率と、i番の撮像装置とペアとなる左右2つの撮像装置30の選択率とに基づいて、i番の撮像装置の選択率を補正する。具体的には、これら3つの選択率のうちでi番の撮像装置の選択率Fiが最小値である場合、補正後の選択率FCiは最小値の選択率Fiに等しく、それ以外の場合、補正後の選択率FCiは中間値の選択率となる。例えば、i番の撮像装置の選択率Fiが3つの選択率のうちで最大値である場合には、Fi−uとFi+uとのうちの大きい方の値に揃うように、補正後のFCiの値が設定される。従って、Fi−uとFi+uとのうちの値が大きい方の撮像装置とi番の撮像装置との対となる2つの撮像装置の選択率は、互いに等しくなるように補正される。またi番の撮像装置の選択率Fiが3つの選択率のうちで中間値である場合には、補正後のFCiの値はFiに等しく設定される。
上記のように、i番の撮像装置の選択率が3つの選択率のうちで最大値である場合、i番の撮像装置の映像を左眼又は右眼の映像とする2つの対のうちの少なくとも一方の対において、両眼の映像の画質が等しくなるように、i番の撮像装置の選択率が補正される。従って、選択ユーザ数が比較的多い2つの映像データについては、互いに画質が等しくなるよう補正され、これら2つの映像に基づいて3D映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
図10は、各撮像装置の映像データを使用しているユーザ数の一例を示す図である。図10には撮像装置のペアA乃至Jの10個のペアが示されており、それぞれの撮像装置のペアに対して、そのペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアDは、3番及び4番の撮像装置のペアであり、図10に示す例では、4番の撮像装置を右眼用とし且つ3番の撮像装置を左眼用とするユーザの数は6人であることが分かる。
図11は、選択率及び補正後選択率の一例を示す図である。図11には、各撮像装置について、選択しているユーザの数、選択率、及び、前述の式(4)により計算した補正後選択率が示されている。例えば3番の撮像装置の場合、図10から分かるように3番の撮像装置を右眼用に使用しているユーザが5人おり、3番の撮像装置を左眼用に使用しているユーザが6人いる。従って、図11に示されるように、合計で11人のユーザが3番の撮像装置を選択している。このようにして計数された各撮像装置のユーザの人数に基づいて、選択率Fiを式(3)に基づいて計算し、補正後選択率FCiを式(4)に基づいて計算すると、図11に示される数値となる。
例えば5番の撮像装置の選択率0.32609は、4番乃至6番の撮像装置の3つの選択率のうちで最大値となっている。従って、5番の撮像装置の映像を左眼又は右眼の映像とする2つの対のうちの少なくとも一方の対において、両眼の映像の画質が等しくなるように、5番の撮像装置の選択率が補正される。具体的には、5番の撮像装置の選択率は、4番の撮像装置の選択率0.28261と等しくなるように補正される。従って、画質が等しくなるよう補正された2つの映像(4番と5番の撮像装置の映像)に基づいて3D映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
また選択率の補正演算としては、別の計算式として、以下の式が考えられる。
FCi = max{(Fi+Fi+u)/2, (Fi-u+Fi)/2} (5)
ここでFiは式(3)により計算された選択率であり、uは、ペアとなる2つの撮像装置30間のインターバルの数である(即ちu−1個おきにペアとなる撮像装置30が配置されている)。この補正演算では、i番の撮像装置の選択率と、i番の撮像装置とペアとなる左右2つの撮像装置30の選択率とに基づいて、i番の撮像装置の選択率を補正する。具体的には、互いにペアとなるi−u番及びi番の撮像装置のそれぞれの選択率の平均値、及び、互いにペアとなるi番及びi+u番の撮像装置のそれぞれの選択率の平均値のうち、大きい方の平均値の値に等しくなるように、i番の撮像装置の選択率が補正される。従って例えば、i−u番の撮像装置及びi+2u番の撮像装置の2つの選択率よりも、i番の撮像装置及びi+u番の撮像装置の2つの選択率が大きい場合、i番の撮像装置及びi+u番の撮像装置の選択率は互いに等しくなるように補正される。従って、選択ユーザ数が比較的多い2つの映像データについては、互いに画質が等しくなるよう補正され、これら2つの映像に基づいて3D映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
図12は、各撮像装置の映像データを使用しているユーザ数の一例を示す図である。図12には撮像装置のペアA乃至Jの10個のペアが示されており、それぞれの撮像装置のペアに対して、そのペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアCは、2番及び3番の撮像装置のペアであり、図12に示す例では、3番の撮像装置を右眼用とし且つ2番の撮像装置を左眼用とするユーザの数は6人であることが分かる。
図13は、選択率及び補正後選択率の一例を示す図である。図13には、各撮像装置について、選択しているユーザの数、選択率、及び、前述の式(5)により計算した補正後選択率が示されている。図12のユーザ数に基づいて計数された各撮像装置のユーザの人数に基づいて、選択率Fiを式(3)に基づいて計算し、補正後選択率FCiを式(5)に基づいて計算すると、図13に示される数値となる。
例えば、1番の撮像装置及び8番の撮像装置の2つの選択率よりも、0番の撮像装置及び9番の撮像装置の2つの選択率が大きい。この場合、左右両眼の映像として対となる0番の撮像装置及び9番の撮像装置の選択率は互いに等しい値(0.36957)になるように補正される。従って、画質が等しくなるよう補正された2つの映像(0番と9番の撮像装置の映像)に基づいて3D映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
また選択率の補正演算としては、別の計算式として、以下の式が考えられる。
FCi = k × F'i (6)
k = ΣFi/ΣF'i
F'i = f × ceil[max{min(Fi, Fi+u), min(Fi-u, Fi)} / f ]
f = max(F0, F1, …, FN) / s
ここでFiは式(3)により計算された選択率であり、uは、ペアとなる2つの撮像装置30間のインターバルの数である(即ちu−1個おきにペアとなる撮像装置30が配置されている)。sは正規化係数であり、N+1個の全ての撮像装置の選択率のうちの最大値を分割する分割数である。ceil関数は、引数以上の最大の整数値を返す関数である。ceil関数内のmax関数の式は、前述の式(3)の計算式と同一である。kは、補正後選択率FCiの総和が補正前選択率Fiの総和に等しくなるように正規化するための係数であり、Fiの総和をF'iの総和で除算した値に等しい。
選択率の最大値をMxとすると、上記のfの値はMx/sとなる。この場合、上記の計算式のF'iの値は、0、Mx/s、2Mx/s、3Mx/s、・・・、Mxのs+1個の値のうちの何れかの値をとる。即ち、F'iは、0〜Mxの範囲をs分割したときの各分割点の値及び当該範囲の両端の値のうちの何れかの値をとることになる。例えば、sが3である場合、F'iの値は、0、Mx/3、2Mx/s、Mxの4個の値のうちの何れかの値となる。補正後の選択率FCiの値は、F'iの値に比例する値であり、同様にs+1個の値のうちの何れかの値をとる。従って、各撮像装置の選択率は実質的に、s+1個の値のうちの何れかの値に切り上げられ、選択率が同一の値に設定される撮像装置の対の数は、補正前に比較して補正後の方が多くなる。これら2つの映像に基づいて3D映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。
なお補正後選択率FCiの総和が補正前選択率Fiの総和に等しくなるように正規化しないとすると、ceil関数により全体的に切り上げ演算を行っているために、圧縮後の映像データの総データ量が補正により増大してしまう。補正後選択率FCiの総和を補正前の総和と等しくなるように正規化することにより、配信データ量の全体が補正により増大してしまうことがなく、リアルタイム性に支障が生じたりすることがない。
図14は、各撮像装置の映像データを使用しているユーザ数の一例を示す図である。図14には撮像装置のペアA乃至Jの10個のペアが示されており、それぞれの撮像装置のペアに対して、そのペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアDは、3番及び4番の撮像装置のペアであり、図14に示す例では、4番の撮像装置を右眼用とし且つ3番の撮像装置を左眼用とするユーザの数は13人であることが分かる。
図15は、選択率及び補正後選択率の一例を示す図である。図13には、各撮像装置について、選択しているユーザの数、選択率Fi、前述のF'i、及び式(6)により計算した補正後選択率FCiが示されている。図14のユーザ数に基づいて計数された各撮像装置のユーザの人数に基づいて、選択率Fiを式(3)に基づいて計算し、補正後選択率FCiを式(6)に基づいて計算すると、図15に示される数値となる。ここで正規化係数sとしては3を用いている。選択率の最大値は0.5778であるので、前述のfの値は0.1926(=0.5778/3)である。従って、F'iの値は、0、0.1926、0.3852、0.5778の4つの値のうちの何れかの値となる。FCiの値は、F'iの値に正規化係数を掛けて正規化することにより得られる値である。FCiの総和は2であり、Fiの総和と等しい。
例えば、4番乃至6番の撮像装置の補正後選択率は全て同一の値0.5となっている。従って、これらの撮像装置の映像に基づいて3D映像を視聴するユーザは、違和感を感じることなく、臨場感ある映像体験をすることができる。またceil関数による切り上げ演算により3番の撮像装置の選択率0.2889は0.33333に補正されているために、3番の撮像装置と4番の撮像装置との間の選択率の差は小さくなっている。従って、これらの映像に基づいて3D映像を視聴するユーザが感じる違和感は、補正前よりも補正後において軽減される。
図16は、補正後選択率の計算処理の流れを示すフローチャートである。このフローチャートのステップS21からステップS26は、図9に示すステップS21からステップS26と同一であり、説明を省略する。ステップS26において式(3)を用いて各撮像装置の選択率を算出した後、ステップS27において、図1に示す補正選択率算出部28は、式(4)、式(5)、及び式(6)の何れかの式を用いて、補正後の選択率を各撮像装置について計算する。
以下に補正後選択率について例を用いて説明する。
図17は、撮像装置の対の一例を示す図である。図17において、撮像装置の各ペアはペアA乃至ペアJとして示されている。全体で10個のペアが示されている。
図18は、撮像装置の各対の映像データを使用しているユーザ数の一例を示す図である。図17に示される撮像装置のペアA乃至Jの各々に対して、当該ペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアCは2番及び3番の撮像装置のペアであり、図18に示す例では、当該ペアを選択しているユーザの数は9人であることが分かる。
図19は、選択率の一例を示す図である。図18に示される各ペアのユーザ数に基づいて、各撮像装置に対して、式(1)により計算されたFRi、式(2)により計算されたFLi、及び、式(3)により計算されたFiがそれぞれ示されている。
図20は、補正後の選択率の一例を示す図である。図19に示す選択率Fiに基づいて、式(4)を用いて計算された補正後のFCiが示されている。
図21は、選択率及び補正後選択率の一例をグラフ表示した図である。横軸は円周上に並べられる各撮像装置の配置順を示す番号(例えば図7に示す各撮像装置30の番号)であり、縦軸は各撮像装置の選択率及び補正後選択率の値である。図21に示す補正前の選択率及び補正後の選択率は、図19及び図20に示される数値に対応する。各撮像装置について、左側の白抜きの棒グラフは補正前の選択率の値を示し、右側の斜線入りの棒グラフは補正後の選択率(式(4)を用いて計算した補正後の選択率)の値を示している。例えば2番の撮像装置について言えば、補正前の選択率は0.5であり、補正後の選択率は0.45である。図21から分かるように、2番及び3番の撮像装置をペアとする2つの映像データや、6番乃至8番の撮像装置のうちの2つをペアとする2つの映像データについては、選択率が等しく補正されているため、圧縮率が等しくなる。従って、これらの映像データを視聴するユーザは、違和感のない3D映像を体験することができる。
図22は、補正後の選択率の一例を示す図である。図19に示す選択率Fiに基づいて、式(5)を用いて計算された補正後のFCiが示されている。
図23は、選択率及び補正後選択率の一例をグラフ表示した図である。横軸は円周上に並べられる各撮像装置の配置順を示す番号(例えば図7に示す各撮像装置30の番号)であり、縦軸は各撮像装置の選択率及び補正後選択率の値である。図23に示す補正前の選択率及び補正後の選択率は、図19及び図22に示される数値に対応する。各撮像装置について、左側の白抜きの棒グラフは補正前の選択率の値を示し、右側の斜線入りの棒グラフは補正後の選択率(式(5)を用いて計算した補正後の選択率)の値を示している。例えば2番の撮像装置について言えば、補正前の選択率は0.5であり、補正後の選択率は0.475である。図21から分かるように、2番及び3番の撮像装置をペアとする2つの映像データや、6番乃至8番の撮像装置のうちの2つをペアとする2つの映像データについては、選択率が等しく補正されているため、圧縮率が等しくなる。従って、これらの映像データを視聴するユーザは、違和感のない3D映像を体験することができる。
図24は、補正後の選択率の一例を示す図である。図19に示す選択率Fiに基づいて、式(6)を用いて計算された補正後のFCiが示されている。なおこの例において用いた正規化係数sの値は3である。
図25は、選択率及び補正後選択率の一例をグラフ表示した図である。横軸は円周上に並べられる各撮像装置の配置順を示す番号(例えば図7に示す各撮像装置30の番号)であり、縦軸は各撮像装置の選択率及び補正後選択率の値である。図25に示す補正前の選択率及び補正後の選択率は、図19及び図24に示される数値に対応する。各撮像装置について、左側の白抜きの棒グラフは補正前の選択率の値を示し、右側の斜線入りの棒グラフは補正後の選択率(式(6)を用いて計算した補正後の選択率)の値を示している。例えば2番の撮像装置について言えば、補正前の選択率は0.5であり、補正後の選択率は0.475である。図21から分かるように、2番及び3番の撮像装置をペアとする2つの映像データや、6番乃至8番の撮像装置のうちの2つをペアとする2つの映像データについては、選択率が等しく補正されているため、圧縮率が等しくなる。従って、これらの映像データを視聴するユーザは、違和感のない3D映像を体験することができる。
また選択率の更なる補正演算としては、計算式として、以下の式が考えられる。
FNCi = {(FCi-1/m + (3 - 2/m)FCi + FCi+1/m} / 3 (7)
ここでFCiは式(4)、式(5)、及び式(6)の何れかにより計算された補正後の選択率であり、mは補正演算における重み係数である。この補正演算では、隣接する撮像装置の補正後選択率の差が小さくなるように、撮像装置が円周上に並べられる配列方向に加重平均フィルタ処理(スムージング処理)をして、隣接補正選択率FNCiを計算している。例えばmが3のときには、上記(7)式は、隣接3点の補正後選択率の平均を計算する演算となる。
ユーザが第1の方向に視野を向けている状態から、右又は左に顔の方向を動かして、第1の方向に隣接する第2の方向に視野を移動させる場合において、第1の方向を向いていたユーザ数が多く、且つ、第2の方向を向いているユーザ数が少ないとする。この場合、顔の方向を動かして第2の方向に向いたときに、ユーザの視野に写される第2の方向の映像は、直前まで観ていた第1の方向の映像に比較して画質が劣化してしまうために、画質の変化に起因する違和感が生じてしまう。従って、ユーザが視野方向を移動させた場合にも、極端な画質の変化が生じることのないように、隣接する撮像方向の間での圧縮率の差を小さくする上記の式(7)のような補正演算を行うことが好ましい。即ち、複数の撮像方向のうちの隣り合う撮像方向に対応する複数の映像データの間の圧縮率の差を小さくするよう補正演算を行うことが好ましい。
なお式(7)において、式の右辺に用いる選択率は補正後の選択率としたが、式(7)の右辺において、補正後選択率FCiの代わりに補正前の選択率Fiを用いてもよい。即ち、式(4)乃至式(6)の補正演算を行うことなく、式(3)で計算される選択率に基づいて図1の映像配信装置10が送信映像の圧縮率を制御する場合、式(7)により、補正前の選択率Fiから隣接補正選択率FNCiを計算してよい。
図26は、隣接補正選択率の計算処理の流れを示すフローチャートである。このフローチャートのステップS21からステップS27は、図16に示すステップS21からステップS27と同一であり、説明を省略する。ステップS27において式(4)、式(5)、又は式(6)を用いて各撮像装置の選択率を算出した後、ステップS28において、図1に示す隣接補正選択率算出部29は、式(7)を用いて、隣接補正後の選択率を各撮像装置について計算する。
図27は、撮像装置の対の一例を示す図である。図27において、撮像装置の各ペアはペアA乃至ペアTとして示されている。全体で20個のペアが示されている。この例では、1つおきの撮像装置が対となって左右両眼の映像データを提供している。この場合、式(4)、式(5)、式(6)におけるuの値は2となる。
図28は、撮像装置の各対の映像データを使用しているユーザ数の一例を示す図である。図27に示される撮像装置のペアA乃至Tの各々に対して、当該ペアの撮像装置の映像データを両眼画像として選択しているユーザの数が示されている。例えば、ペアDは3番及び5番の撮像装置のペアであり、図28に示す例では、当該ペアを選択しているユーザの数は2人であることが分かる。
図29は、選択率の一例を示す図である。図28に示される各ペアのユーザ数に基づいて、各撮像装置に対して、式(1)により計算されたFRi、式(2)により計算されたFLi、及び、式(3)により計算されたFiがそれぞれ示されている。
図30は、補正後の選択率の一例を示す図である。図29に示す選択率Fiに基づいて、式(6)を用いて計算された補正後のFCiが示されている。この例において用いた正規化係数sの値は3である。
図31は、隣接補正選択率の一例を示す図である。図30に示す補正後選択率の値に基づいて、式(7)を用いて計算された隣接補正後の選択率FNCiが示されている。この例において重み係数mの値は1/0.45に設定されている。
図32は、補正後選択率及び隣接補正選択率の一例をグラフ表示した図である。横軸は円周上に並べられる各撮像装置の配置順を示す番号であり、縦軸は各撮像装置の補正後選択率及び隣接補正選択率の値である。図32に示す補正後選択率及び隣接補正選択率は、図30及び図31に示される数値に対応する。各撮像装置について、左側の白抜きの棒グラフは補正後選択率の値を示し、右側の斜線入りの棒グラフは隣接補正後の選択率(式(7)を用いて計算した補正後の選択率)の値を示している。2,4,6,8,10,12,14番目の撮像装置については、補正後選択率の値はゼロであるが、隣接補正演算により計算された隣接補正選択率の値はゼロでない値となっている。
例えば3,5,7番の撮像装置の補正後選択率は0.222222であり、その左右に配置される2,4,6,8番の撮像装置の補正後選択率は0である。この補正後の選択率に応じた圧縮率で映像データを配信した場合、3,5,7番の撮像装置の映像データは相対的に低い圧縮率で圧縮されて高画質となる一方で、2,4,6,8番の撮像装置の映像データは相対的に高い圧縮率で圧縮されて低画質となる。従って、例えば3番及び5番の撮像装置の映像データを現在選択しているユーザが、視野方向を移動させて隣の4番及び6番の撮像装置の映像データを選択した場合、鑑賞している映像に急激な画質の変化が生じてしまう。
一方、3,5,7番の撮像装置の隣接補正後の選択率は0.155556であり、その左右に配置される2,4,6,8番の撮像装置の隣接補正後の選択率はそれぞれ、0.033333、0.066667、0.066667、0.033333である。この補正後の選択率に応じた圧縮率で映像データを配信した場合、3,5,7番の撮像装置の映像データは相対的に低い圧縮率で圧縮されて高画質となる一方で、2,4,6,8番の撮像装置の映像データは相対的に高い圧縮率で圧縮されて低画質となる。しかしながら、3,5,7番の撮像装置の映像データの圧縮率と2,4,6,8番の撮像装置の映像データの圧縮率との差は、補正後の選択率に応じて圧縮した場合に比較して、隣接補正選択率に応じて圧縮した場合の方が小さくなる。従って、例えば3番及び5番の撮像装置の映像データを現在選択しているユーザが、視野方向を移動させて隣の4番及び6番の撮像装置の映像データを選択した場合であっても、鑑賞している映像に生じる画質の変化が低減され、違和感のない映像体験が可能となる。
以上、本発明を実施例に基づいて説明したが、本発明は上記実施例に限定されるものではなく、特許請求の範囲に記載の範囲内で様々な変形が可能である。
例えば、前記実施例においては、水平方向の視野方向の変化に対応できるように、水平方向の異なる角度(方位)に向けられた複数の撮像装置を配置している。これらの実施例は限定的でなく、水平方向のみではなく垂直方向の視野方向の変化に対応できるように、水平方向の異なる角度(方位)に向けられた複数の撮像装置に加え、垂直方向の異なる角度に向けられた複数の撮像装置を配置してよい。垂直方向の視野方向の選択率及び圧縮率の計算についても、水平方向の視野方向の選択率及び圧縮率の計算と同様に行ってよい。
また前記実施例においては、映像受信装置において左右両眼で視差のある映像データを表示して3D映像を鑑賞可能としているが、左右両眼で同一の映像データを表示して非3D映像を鑑賞するようにしてもよい。この場合、左右両眼の画質差を低減することを目的とする式(4)、式(5)、及び式(6)の補正演算は不要となる以外、選択率の計算及び隣接補正選択率の計算は同様に行ってよい。