JP2020145651A - 情報処理装置、システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】仮想視点画像の生成に用いられる画像の圧縮率を適切に決定する。【解決手段】画像処理システムにおける処理において、仮想視点の位置及び方向を示す情報を含む仮想視点情報と、前記仮想視点に対応する画像の表示環境に関する環境情報と、のうちの少なくとも１つを取得しＳ３０１、取得した仮想視点情報と環境情報とのうちの少なくとも１つに基づいて、撮像部の撮像に基づく、仮想視点に対応する画像の生成に用いられる画像データの圧縮率に関する圧縮指標を決定するＳ３０２。【選択図】図３

Description

本発明は、情報処理装置、システム、情報処理方法及びプログラムに関する。

複数の視点から撮像された撮像画像から、オブジェクト（例えば人物等）の立体モデルを求め、カメラが実際に存在しない任意の視点（以下、仮想視点という）からの画像（以下、仮想視点画像という）を生成する技術が知られている。この技術において、オブジェクトの立体モデルを算出したり、立体モデルにテクスチャを付与したりするために、複数の視点から撮像された撮像画像を、画像処理装置へ送信することが行われている。
従来、画像を圧縮して送信する方法として、ＭＰＥＧやＨ．２６４等の単フレームの情報を用いて符号化したイントラフレームと、異なるフレーム間の差分情報を用いて符号化した予測フレームと、を混在させながら送信する方法が知られている。特許文献１には、フレーム間の変化が大きいフレームをイントラフレームとして圧縮することにより、効率的に伝送する方法が開示されている。

特開２０１５−６１２１７号公報

しかしながら、特許文献１は、仮想視点画像の生成に関する技術ではなく、この技術を仮想視点画像に用いる画像の圧縮に用いたとしても、適切に画像の圧縮率が決定されない場合があった。
本発明は、仮想視点画像の生成に用いられる画像の圧縮率を適切に決定することを目的とする。

本発明の情報処理装置は、仮想視点の位置及び方向を示す情報を含む仮想視点情報と、前記仮想視点に対応する画像の表示環境に関する環境情報と、のうちの少なくとも１つを取得する取得手段と、前記取得手段により取得された前記仮想視点情報と前記環境情報とのうちの少なくとも１つに基づいて、撮像部の撮像に基づく画像データであって、前記仮想視点に対応する画像の生成に用いられる画像データの圧縮率に関する圧縮指標を決定する決定手段と、を有する。

本発明によれば、仮想視点画像の画質が不適切に低下する事態の防止を支援することができる。

画像処理システムのシステム構成の一例を示す図である。 画像処理装置のハードウェア構成等の一例を示す図である。 画像処理システムの処理の一例を示すフローチャートである。 仮想カメラによる撮像状況の一例を説明する図である。 撮像装置のカメラ注視点間距離と焦点距離との一例を示す図である。 画像内における被写体の大きさの一例を説明する図である。 画角比率と圧縮率との関係の一例を示す図である。 要求画質のカテゴリー分類の一例を説明する図である。 画像処理システムの処理の一例を示すフローチャートである。 カテゴリー分類と圧縮率との関係の一例を示す図である。

以下に、本発明の実施の形態を、図面に基づいて詳細に説明する。

＜実施形態１＞
図１は、本実施形態の画像処理システムのシステム構成の一例を示す図である。画像処理システムは、それぞれ異なる位置から撮像された複数の画像から仮想視点画像を生成するシステムである。
画像処理システムは、画像伝送装置１０１〜１１６、画像処理装置１１７を含む。画像伝送装置１０１〜１１６それぞれと、画像処理装置１１７と、はネットワークを介して相互に通信可能に接続されている。

画像伝送装置１０１〜１１６それぞれは、仮想視点画像の生成に用いられる画像を撮像し、撮像した画像を画像処理装置１１７に送信する装置である。以下では、画像伝送装置１０１〜１１６それぞれが撮像する画像を、撮像画像とする。本実施形態では、画像伝送装置１０１〜１１６それぞれは、ネットワークカメラであることとするが、カメラと接続されたカメラコントローラ等の他の装置であってもよい。画像伝送装置１０１〜１１６それぞれは、画像処理システムの撮像部の一例である。
画像処理装置１１７は、画像伝送装置１０１〜１１６に対して、撮像画像をどのように圧縮すべきかを示す情報を送信する情報処理装置である。以下では、撮像画像をどのように圧縮すべきかを示す情報を、圧縮指標とする。また、画像処理装置１１７は、画像伝送装置１０１〜１１６から送信された撮像画像を用いて仮想視点画像を生成し、生成した仮想視点画像を出力する。本実施形態では、画像処理装置１１７は、パーソナルコンピュータ（ＰＣ）であるとするが、サーバ装置、タブレット装置等の他の情報処理装置であってもよい。なお、圧縮される対象は撮像画像でなくてもよい。例えば、撮像画像に基づいて画像処理された画像であってもよい。具体的には、撮像画像のうち、オブジェクトなどの特定の領域を示す画像であってもよい。

本実施形態では、画像伝送装置１０１〜１１６それぞれは、被写体１１８を取り囲むように楕円周上に均等に配置されている。ただし、他の例として、画像伝送装置１０１〜１１６それぞれは、他の態様で配置されることとしてもよい。例えば、画像伝送装置１０１〜１１６は、被写体を取り囲むようにしてドーム状に配置されることとしてもよい。また、例えば、画像伝送装置１０１〜１１６は、それぞれユーザが決定した異なる位置に配置されることとしてもよい。
画像伝送装置１０１〜１１６それぞれは、画像処理装置１１７からの指示に応じて、撮像画像を設定された送信先に送信する。

画像処理システムは、画像伝送装置１０１〜１１６を用いて、同一の被写体を複数の異なる視点から撮像した画像群を取得することができる。
本実施形態では、画像処理システムは、画像伝送装置を１６個（画像伝送装置１０１〜１１６）含むこととした。ただし、他の例として、画像処理システムは、１７個以上の画像伝送装置を含むこととしてもよいし、２個以上１５個以下の画像伝送装置を含むこととしてもよい。

本実施形態の処理の概要を説明する。
画像伝送装置が撮像する撮像画像のデータサイズは、過大となる場合がある。例えば、画像伝送装置が４Ｋ解像度（４０９６ｘ２０４８）毎秒６０フレームで撮像した場合、１秒あたりの撮像画像のデータサイズは、非圧縮だと１．４４ＧＢになる。画像伝送装置が１６台ある場合、撮像画像のデータサイズは、１秒あたり２３ＧＢとなり、通常のネットワークでは送信するだけでも非常に時間がかかる。そのため、従来、Ｈ．２６４等の動画符号化技術を用いて、画像伝送装置ごとに撮像画像を圧縮して送信することが行われていた。

しかし、圧縮による影響で撮像画像の画質が低下するため、圧縮された撮像画像に基づいて生成された仮想視点画像は、画質が低下してしまう。従来技術では、撮像画像の特徴量に基づいて撮像画像の圧縮率を決定していたため、意図せずに仮想視点画像の画質が不適切に低下する場合があった。例えば、撮像画像の圧縮率が過大となり、仮想視点画像の画質が視聴に適さない程、低下して、ユーザが視聴する際に、求める画質基準を満たされない場合があった。
そこで、本実施形態では、画像処理システムは、仮想視点画像の画質の低下を抑えるように、撮像画像をどのように圧縮するかを決定する。

図２（ａ）は、画像処理装置１１７のハードウェア構成の一例を示す図である。
画像処理装置１１７は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２１１、主記憶装置２１２、補助記憶装置２１３、ネットワークＩ／Ｆ２１４、入力部２１５、出力部２１６を含む。各要素は、システムバス２１７を介して相互に通信可能に接続されている。

ＣＰＵ２１１は、画像処理装置１１７を制御する中央演算装置である。また、主記憶装置２１２は、ＣＰＵ２１１のワークエリア、撮像画像や仮想視点画像等のデータの一時的な記憶領域として機能する記憶装置である。本実施形態では、主記憶装置２１２は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）である。
補助記憶装置２１３は、各種プログラム、各種設定情報、撮像画像、仮想視点画像等を記憶する記憶装置である。本実施形態では、補助記憶装置２１３は、ハードディスクドライブ（ＨＤＤ）である。ただし、他の例として、補助記憶装置２１３は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ等であることとしてもよい。

ネットワークＩ／Ｆ２１４は、画像伝送装置１０１〜１１６等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。入力部２１５は、マウス、キーボード、タッチパネル等の入力装置である。出力部２１６は、ディスプレイ、タッチパネルの表示部、スピーカ等の出力装置である。
ＣＰＵ２１１が、補助記憶装置２１３等に記憶されたプログラムにしたがって処理を実行することで、図２（ｃ）で後述する画像処理装置１１７の機能、図３、８で後述するフローチャートにおける画像処理装置１１７の処理等が実現される。

図２（ｂ）は、画像伝送装置１０１のハードウェア構成の一例を示す図である。
画像伝送装置１０１は、ＣＰＵ２２１、主記憶装置２２２、補助記憶装置２２３、撮像機構２２４、ネットワークＩ／Ｆ２２５を含む。各要素は、システムバス２２６を介して相互に通信可能に接続されている。

ＣＰＵ２２１は、画像伝送装置１０１を制御する中央演算装置である。また、主記憶装置２２２は、ＣＰＵ２２１のワークエリア、データの一時的な記憶領域として機能する記憶装置である。本実施形態では、主記憶装置２２２は、ＲＡＭである。
補助記憶装置２２３は、各種プログラム、各種設定情報、撮像画像等を記憶する記憶装置である。本実施形態では、補助記憶装置２２３は、ＨＤＤである。ただし、他の例として、補助記憶装置２２３は、ＲＯＭ、ＳＳＤ、フラッシュメモリ等であることとしてもよい。

撮像機構２２４は、撮像素子、レンズ等を含み、周囲の環境を撮像する機構である。ネットワークＩ／Ｆ２２５は、画像処理装置１１７等の外部の装置との間でのネットワークを介した通信に用いられるインターフェースである。
ＣＰＵ２２１が、補助記憶装置２２３等に記憶されたプログラムにしたがって処理を実行することで、図２（ｃ）で後述する画像伝送装置１０１の機能、図３、８で後述するフローチャートにおける画像伝送装置１０１の処理等が実現される。

本実施形態では、画像伝送装置１０２〜１１６それぞれのハードウェア構成は、図２（ｂ）に示される画像伝送装置１０１のハードウェア構成と同様である。
画像伝送装置１０２〜１１６それぞれのＣＰＵが、画像伝送装置１０２〜１１６それぞれの補助記憶装置等に記憶されたプログラムにしたがって処理を実行することで、図２（ｃ）で後述する画像伝送装置１０１の機能と同様の機能が実現される。また、図３、８で後述するフローチャートにおける画像伝送装置１０２〜１１６それぞれの処理等も実現される。

図２（ｃ）は、画像処理システムの構成要素の機能構成の一例を示す図である。
画像伝送装置１０１は、撮像制御部２０１、圧縮部２０２を含む。
撮像制御部２０１は、撮像機構（カメラなど）２２４を制御し、自装置の周囲の環境を撮像し、撮像画像を取得する。圧縮部２０２は、画像処理装置１１７から送信された圧縮指標に基づいて、撮像制御部２０１により取得された撮像画像を圧縮し、圧縮した撮像画像を画像処理装置１１７に送信する。

画像処理装置１１７は、取得部２０３、決定部２０４、生成部２０５を含む。
取得部２０３は、仮想カメラのカメラパラメータの情報である仮想カメラ情報（仮想視点情報）を取得する。仮想カメラとは、仮想視点画像を撮影する仮想視点に配置されていると想定される仮想的なカメラである。以下では、仮想視点から見た仮想視点画像の生成を、仮想カメラによる仮想視点画像の撮影とも表現する。カメラパラメータは、撮像装置の状態を示すパラメータであり、例えば、撮像装置の視点位置、視線方向、焦点距離、撮像する画像のサイズ、撮像素子のサイズ、ピンホールカメラモデルで規定されるパラメータ等である。仮想カメラのカメラパラメータは、仮想視点の位置、視線方向、焦点距離、仮想視点画像のサイズ、仮想的な撮像素子のサイズ、ピンホールカメラモデルで規定されるパラメータである。本実施形態では、仮想カメラについても、仮想的にカメラパラメータが設定されている。本実施形態では、仮想カメラ情報は、補助記憶装置２１３に予め記憶されている。
決定部２０４は、取得部２０３により取得された仮想カメラ情報に基づいて、画像伝送装置１０１〜１１６それぞれの撮像画像についての圧縮指標を決定する。生成部２０５は、画像伝送装置１０１〜１１６それぞれから送信された撮像画像を用いて仮想視点画像を生成する。

図３は、画像処理システムの処理の一例を示すフローチャートである。Ｓ３０１〜Ｓ３０３、Ｓ３０６それぞれの処理は、画像処理装置１１７の処理である。Ｓ３０４、Ｓ３０５それぞれの処理は、画像伝送装置１０１〜１１６それぞれの処理である。
Ｓ３０１において、取得部２０３は、補助記憶装置２１３から仮想カメラ情報を取得する。
本実施形態では、取得部２０３は、入力部２１５を介して入力された仮想視点の指定、に応じて、仮想カメラ情報を取得する。仮想視点の指定は、仮想視点の位置や視線方向、焦点距離などの指定を含む。また、仮想視点の指定は、人が行ってもよいし、他の装置が行ってもよい。また入力部２１５を用いず、自装置で仮想視点を設定するようにしてもよい。

Ｓ３０２において、決定部２０４は、Ｓ３０１で取得された仮想カメラ情報に基づいて、画像伝送装置１０１〜１１６それぞれについて、撮像画像をどのように圧縮するかを示す圧縮指標を決定する。本実施形態では、決定部２０４は、生成される仮想視点画像の仮想視点の位置が被写体に近い程、圧縮率が低くなるように圧縮指標を決定し、被写体に遠い程、圧縮率を高くなるように圧縮指標を決定する。
本実施形態では、圧縮指標は、最終的には撮像画像を符号化する際に用いられる量子化パラメータ（ＱＰ）である。ＪＰＥＧやＨ．２６４等の圧縮ファイルフォーマットに変換する符号化部には、符号化性能の評価指標に基づいて量子化パラメータを決定する手段が備わっている場合がある。例えば、圧縮前と圧縮後との画質の比率を表す指標として、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ）やＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒａｌ Ｓｉｍｉｌａｒｉｔｙ）等がある。圧縮部２０２は、例えば、これらの指標を用いることで、画像データを圧縮することができる。
本実施形態では、画像処理システムは、圧縮指標として、圧縮後の撮像画像の画質の指標を表すＳＳＩＭ値を用いる。ＳＳＩＭ値が高い程、圧縮率が低くなり、ＳＳＩＭ値が低い程、圧縮率が高くなる。

ここで、図４を用いて、仮想カメラの位置姿勢と仮想視点画像における被写体のサイズとの関係について説明する。図４（ａ）、（ｃ）それぞれは、仮想カメラと被写体（図４の例では人物）との位置関係を示す図である。図４（ｂ）、（ｄ）は、それぞれ仮想カメラと被写体との位置関係が図４（ａ）、（ｃ）に示される位置関係である場合に、仮想カメラにより撮影される仮想視点画像を示す図である。
図４（ａ）の例では、仮想カメラと被写体との距離が、図４（ｃ）の例の場合よりも、小さいことが分かる。そのため、図４（ｂ）に示される仮想視点画像内での被写体が占める領域は、図４（ｄ）に示される仮想視点画像内での被写体が占める領域よりも広くなっている。

次に、画像伝送装置の位置姿勢と、撮像画像における被写体のサイズと、の関係について説明する。画像伝送装置１０１〜１１６それぞれの視点位置や視線方向、焦点距離等を表すカメラパラメータは、公知のカメラキャリブレーション手法を用いて求めることができる。本実施形態では、画像伝送装置１０１〜１１６それぞれにより撮像されたキャリブレーション用のチャートの撮像画像における特徴点から、画像伝送装置１０１〜１１６それぞれのカメラパラメータが求められているとする。
本実施形態では、補助記憶装置２１３は、画像伝送装置１０１〜１１６それぞれのカメラパラメータの情報を、予め記憶している。

図５は、画像伝送装置１０１〜１１６それぞれについて、カメラ注視点間距離と焦点距離との対応関係を示すテーブルの一例を示す図である。以下では、画像伝送装置１０１〜１１６それぞれについてのカメラ注視点間距離と焦点距離との対応関係を示す情報を、第１の対応情報とする。第１の対応情報（本実施形態では、図５のテーブル）は、補助記憶装置２１３に予め記憶されている。カメラ注視点間距離とは、各画像伝送装置の視点位置と、予め設定した注視点の位置と、の間の距離である。

画像処理装置１１７は、図３の処理の開始前に、予め、以下の処理を行う。即ち、各画像伝送装置の視点位置と、予め設定された注視点の位置と、からカメラ注視点間距離を求める。
ただし、他の例として、画像処理装置１１７は、注視点となる被写体の特徴点を各撮像画像から求め、それらの対応関係から三角測量の原理で、カメラ注視点間距離を推定し、求めてもよい。そして、画像処理装置１１７は、画像伝送装置１０１〜１１６それぞれについて、求めたカメラ注視点間距離と、焦点距離と、を対応付けて図５に示すテーブルとして補助記憶装置２１３に記憶する。これにより、図５のテーブルの情報が生成される。

カメラ注視点間距離と焦点距離とから撮像画像における被写体のサイズを求める方法について説明する。
図６は、ピンホールカメラモデルに基づく焦点距離と画角との関係の一例を説明する図である。図６（ａ）は、画像伝送装置１０１〜１１６それぞれにおける焦点距離と画角との関係の一例を示す図である。

ここで、画像伝送装置１０１〜１１６それぞれについて、焦点距離をｆ［ｍｍ］、センササイズをＷ［ｍｍ］、撮像画像のサイズをｐ［ｐｘ］、カメラ注視点間距離をｄ［ｍｍ］、被写体のサイズをＬ［ｍｍ］とおく。センササイズとは、撮像素子のサイズ（撮像素子の幅の長さ）である。また、撮像画像のサイズとは、撮像画像の幅の画素単位の長さである。また、被写体のサイズとは、被写体の実際の幅のｍｍ単位の長さである。本実施形態では、補助記憶装置２１３に記憶された画像伝送装置１０１〜１１６それぞれのカメラパラメータの情報は、センササイズと撮像画像のサイズとの情報を含む。この場合、画像伝送装置１０１〜１１６それぞれにおける被写体のサイズ（画素数単位の被写体の幅）Ｘ［ｐｘ］は、以下の式１で表される。
Ｘ＝Ｌ×（ｐ／Ｗ）×（ｆ／ｄ） （式１）

図６（ｂ）は、仮想カメラにおける焦点距離と画角との関係の一例を示す図である。ここで、仮想カメラについての焦点距離をｆ'［ｍｍ］、センササイズをＷ'［ｍｍ］、仮想視点画像のサイズをｐ'［ｐｘ］とし、カメラ注視点間距離をｄ'［ｍｍ］とおく。本実施形態では、Ｓ３０１で取得された仮想カメラ情報には、焦点距離とセンササイズと撮像画像のサイズとの情報が含まれるとする。この場合、仮想視点画像における被写体のサイズＸ'［ｐｘ］は、以下の式２で表される。
Ｘ'＝Ｌ×（ｐ'／Ｗ'）×（ｆ'／ｄ'） （式２）

ここで、仮想視点画像における被写体のサイズＸ'［ｐｘ］と各撮像画像における被写体のサイズＸ［ｐｘ］との比率を、以下の式３で表される画角比率Ｒとして定義する。
Ｒ＝Ｘ／Ｘ'＝（（（ｐ／Ｗ）×（ｆ／ｄ）））／（（（ｐ'／Ｗ'）×（ｆ'／ｄ'））） （式３）

画角比率が１となる場合、仮想視点画像における被写体のサイズと撮像画像における被写体のサイズとが等しいこととなる。
一方、画角比率が１より大きい場合、仮想視点画像における被写体のサイズは、撮像画像における被写体のサイズよりも小さくなる。そのため、画角比率が１より大きい場合、撮像画像の画質の低下が仮想視点画像の画質に及ぼす影響は、小さくなる。

逆に、画角比率が１より小さい場合、仮想視点画像における被写体のサイズは、撮像画像における被写体のサイズよりも大きくなる。撮像画像から取得した被写体のテクスチャが仮想視点画像において拡大されることになる。そのため、撮像画像の画質を、なるべく低下させないほうが望ましい。
そこで、本実施形態では、画像処理装置１１７は、画角比率が１より大きい場合、画角比率の大きさに応じて撮像画像の画質が低下するよう圧縮指標を決定し、画角比率が１より小さい場合、撮像画像の画質をなるべく低下させないように圧縮指標を決定する。

本実施形態では、補助記憶装置２１３に、予め、画角比率とＳＳＩＭ値との対応関係を示す情報が記憶されている。以下では、補助記憶装置２１３に予め記憶された画角比率とＳＳＩＭ値との対応関係を示す情報を、第２の対応情報とする。
図７は、画角比率とＳＳＩＭ値との対応関係の一例を説明する図である。本実施形態では、第２の対応情報が示す対応関係が図７のグラフに示されている。

本実施形態では、図７に示すように、画角比率が０以上１以下の範囲である場合、画角比率に対応するＳＳＩＭ値は、設定された最大値（図７の例では１）となる。また、画角比率が１より大きく４以下の範囲である場合、画角比率に対応するＳＳＩＭ値は、１から（画角比率−１）の値に応じた値だけ引いた値となる。また、画角比率が４以上である場合、画角比率に対応するＳＳＩＭ値は、設定された最小値（図７の例では、０．８）となる。図７の例では、画角比率が２となる場合、対応するＳＳＩＭ値は、０．９２となる。
本実施形態では、画像処理装置１１７は、図７に示す対応関係を示す第２の対応情報に基づいて、各画像伝送装置についての圧縮指標（ＳＳＩＭ値）を求める。これにより、画像処理装置１１７は、画角比率が１より大きい場合、画角比率の大きさに応じて撮像画像の画質が低下するよう圧縮指標を決定し、画角比率が１より小さい場合、撮像画像の画質をなるべく低下させないように圧縮指標を決定することができる。

ここで、Ｓ３０２の処理の詳細を説明する。
決定部２０４は、補助記憶装置２１３に記憶された第１の対応情報から、画像伝送装置１０１についてのカメラ注視点間距離と焦点距離とを取得する。また、決定部２０４は、補助記憶装置２１３に記憶された画像伝送装置１０１のカメラパラメータから、画像伝送装置１０１のセンササイズと撮像画像のサイズとを取得する。
また、決定部２０４は、Ｓ３０１で取得された仮想カメラ情報から、仮想カメラについての仮想視点位置、焦点距離、センササイズ、撮像画像（仮想視点画像）のサイズそれぞれを取得する。そして、決定部２０４は、取得した仮想視点位置と、予め設定された注視点の位置と、の間の距離を、仮想カメラについてのカメラ注視点間距離として求める。

決定部２０４は、取得した画像伝送装置１０１についてのカメラ注視点間距離、焦点距離、センササイズ、撮像画像のサイズを、それぞれ、ｄ、ｆ、Ｗ、ｐとおく。また、決定部２０４は、取得した仮想カメラについてのカメラ注視点間距離、焦点距離、センササイズ、撮像画像のサイズを、それぞれ、ｄ'、ｆ'、Ｗ'、ｐ'とおく。
そして、決定部２０４は、ｄ、ｆ、Ｗ、ｐ、ｄ'、ｆ'、Ｗ'、ｐ'に基づいて、式３を用いて、画角比率Ｒを求める。決定部２０４は、補助記憶装置２１３に記憶された第２の対応情報に基づいて、求めた画角比率Ｒに対応するＳＳＩＭ値を取得する。そして、決定部２０４は、取得したＳＳＩＭ値を、画像伝送装置１０１についての圧縮指標として決定する。
また、決定部２０４は、画像伝送装置１０２〜１１６それぞれについても同様の処理を行うことで、画像伝送装置１０２〜１１６それぞれについての圧縮指標を決定する。

Ｓ３０３において、決定部２０４は、有線ＬＡＮ、無線ＬＡＮ等のネットワークを介して、Ｓ３０２で決定した画像伝送装置１０１〜１１６それぞれについての圧縮指標を、画像伝送装置１０１〜１１６それぞれに送信する。
そして、画像伝送装置１０１〜１１６それぞれは、決定部２０４により送信された圧縮指標を受信する

Ｓ３０４において、画像伝送装置１０１の圧縮部２０２は、受信した圧縮指標に基づいて、画像伝送装置１０１の撮像制御部２０１により撮像された撮像画像のデータを圧縮する。本実施形態では、圧縮部２０２は、受信した圧縮指標であるＳＳＩＭ値に基づいて、撮像画像をＨ．２６４等の圧縮ファイルフォーマットに変換することで圧縮する。
また、画像伝送装置１０２〜１１６それぞれの圧縮部２０２は、Ｓ３０４で、画像伝送装置１０１の撮像制御部２０１と同様の処理を行う。

Ｓ３０５において、画像伝送装置１０１の圧縮部２０２は、Ｓ３０４で圧縮した撮像画像を、ネットワークを介して、画像処理装置１１７に送信する。
また、画像伝送装置１０２〜１１６それぞれの圧縮部２０２は、Ｓ３０５で、画像伝送装置１０１の撮像制御部２０１と同様の処理を行う。
画像処理装置１１７は、Ｓ３０５で画像伝送装置１０１〜１１６それぞれから送信された撮像画像を受信する。

Ｓ３０６において、生成部２０５は、受信した圧縮された撮像画像に基づいて、公知の手法で、仮想視点画像を生成する。仮想視点画像を生成する公知の手法には、被写体の三次元形状と撮像画像といを用いてＣＧで用いられるレンダリング手法により描画する手法がある。また、仮想視点画像を生成する公知の手法には、三次元形状を用いずに、仮想視点情報と各撮像部の視点情報に基づいて、撮像画像を射影変換する手法、画像同士を補間してモーフィングする手法がある。また、仮想視点画像を生成する公知の手法には、被写体を平面で近似し、画像を貼り付ける手法等がある。これらのうちの何れの手法においても、仮想視点画像のテクスチャは撮像画像から取得されるため、撮像画像の画質が低下すると仮想視点画像の画質も低下してしまうこととなる。

以上、本実施形態の処理により、画像処理システムは、仮想カメラのカメラパラメータに基づいて、画像伝送装置１０１〜１１６それぞれについて、撮像画像の圧縮指標を決定することとした。そして、画像伝送装置１０１〜１１６それぞれは、撮像画像を決定された圧縮指標に基づいて圧縮し、圧縮した撮像画像を画像処理装置１１７に送信することとした。このように、画像処理システムは、仮想視点画像の画質に関わる仮想カメラのカメラパラメータを考慮して決定された圧縮指標に基づいて、撮像画像を圧縮するため、意図せずに仮想視点画像の画質が不適切なほど低下する事態の発生を防止できる。即ち、画像処理装置１１７は、本実施形態のように画像伝送装置１０１〜１１６それぞれについて、圧縮指標を決定することで、意図せずに仮想視点画像の画質が不適切なほど低下する事態の発生の防止を支援できる。

本実施形態では、第２の対応情報は、図７に示す対応関係を示す情報であるとした。ただし、他の例として、第２の対応情報は、以下のような対応関係を示す情報であれば、他の情報であってもよい。即ち、１より大きい画角比率が撮像画像の画質が低下するようなＳＳＩＭ値に対応し、１より小さい画角比率が撮像画像の画質をなるべく低下させないようなＳＳＩＭ値に対応するような対応関係である。
本実施形態では、画像処理装置１１７は、単フレームの撮像画像に対する圧縮指標を決定することとした。ただし、他の例として、画像処理装置１１７は、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）と呼ばれるフレームのまとまりの中のキーフレーム（Ｉフレーム）を撮像画像として、このＩフレームに対する圧縮指標を決定することとしてもよい。その場合、画像処理システムは、ＧＯＰのＩフレームについて、圧縮指標に基づく圧縮を行い、それ以外のフレームについては圧縮を行わない。

＜実施形態２＞
本実施形態では、画像処理装置１１７は、仮想視点画像の表示環境に基づいて、画像伝送装置１０１〜１１６それぞれについて、撮像画像の圧縮指標を決定する。
本実施形態の画像処理システムのシステム構成は、実施形態１と同様である。また、画像処理装置１１７のハードウェア構成は、実施形態１と同様である。画像伝送装置１０１〜１１６それぞれのハードウェア構成及び機能構成は、実施形態１と同様である。

本実施形態の画像処理装置１１７の機能構成は、実施形態１と同様であるが、取得部２０３と決定部２０４との処理が実施形態１と異なる。
本実施形態の取得部２０３は、仮想視点画像の表示環境に関する情報である環境情報を取得する。また、本実施形態の決定部２０４は、取得部２０３により取得された環境情報に基づいて、画像伝送装置１０１〜１１６それぞれについて圧縮指標を決定する。環境情報とは、ユーザによる仮想視点画像の表示の際の環境に関する情報であり、例えば、ディスプレイの表示解像度、表示サイズ、ストリーミング方式のビットレート等の表示性能の情報である。本実施形態では、環境情報は、予め補助記憶装置２１３に記憶されている。また、画像処理装置１１７は、入力部２１５を介した環境情報の更新指示や外部の装置からの環境情報の更新指示等に基づいて、補助記憶装置２１３に記憶されている環境情報の内容を更新できる。

環境情報は、ユーザが仮想視点画像を表示する際に求められる画質に関連した情報である。以下では、仮想視点画像を表示する際に求められる画質を、要求画質とする。例えば、ユーザがスマートフォン等の携帯端末を用いたストリーミング方式での仮想視点画像の表示を行う場合、要求画質は、４Ｋ等の高解像度なディスプレイで表示される場合に比べて高くない。一方、ユーザが４Ｋ等の高解像度なディスプレイでの仮想視点画像の表示を行う場合、要求画質は、携帯端末での視聴の場合に比べて非常に高くなる。
本実施形態では、仮想視点画像の表示環境に応じて、要求画質は、複数のカテゴリーに分類されている。

図８は、分類されている要求画質のカテゴリーの一例を説明する図である。
図８のテーブルは、要求画質のカテゴリーと、環境情報と、の対応関係を示すテーブルである。以下では、要求画質のカテゴリーと、環境情報と、の対応関係を示すテーブルを、カテゴリーテーブルとする。本実施形態では、図８に示すカテゴリーテーブルが、予め補助記憶装置２１３に記憶されている。即ち、本実施形態では、要求画質は、カテゴリー１〜カテゴリー６に分類されている。カテゴリーの番号が高い方が、要求される画質が高いことを示す。

カテゴリーテーブルは、カテゴリー、表示解像度、表示サイズ、帯域の項目を含む。カテゴリーの項目は、要求画質のカテゴリーを示す。表示解像度の項目は、表示される仮想視点画像の解像度を示す。表示サイズは、仮想視点画像が表示される表示領域のサイズを示す。帯域は、仮想視点画像がストリーミング方式で表示される場合の仮想視点画像のデータの送信レート（ビットレート）を示す。
本実施形態では、要求画質が、６つのカテゴリーに分類されることとした。ただし、他の例として、要求画質が、７つ以上のカテゴリーに分類されることとしてもよいし、２つ以上５つ以下のカテゴリーに分類されることとしてもよい。本実施形態では、要求画質のカテゴリーと対応付けられた環境情報は、表示解像度、表示サイズ、帯域の３つそれぞれであるとした。ただし、他の例として、仮想視点画像の表示の際に求められる画質基準に影響する情報であれば、この３つの情報以外の環境情報と対応付けられていることとしてもよい。

図９は、本実施形態の画像処理システムの処理の一例を示すフローチャートである。Ｓ９０１、Ｓ９０２、Ｓ３０３、Ｓ３０６それぞれの処理は、画像処理装置１１７の処理である。Ｓ３０４、Ｓ３０５それぞれの処理は、画像伝送装置１０１〜１１６それぞれの処理である。
図９のＳ３０３〜Ｓ３０６それぞれの処理は、図３と同様である。図９の処理のうち、図３と異なる点について説明する。

Ｓ９０１において、取得部２０３は、環境情報を取得する。
Ｓ９０２において、決定部２０４は、Ｓ９０１で取得された環境情報に基づいて、各画像伝送装置における撮像画像のデータ圧縮に係わる符号化情報を決定する。より具体的には、決定部２０４は、環境情報が示す表示解像度、表示サイズ、帯域それぞれを特定する。そして、決定部２０４は、補助記憶装置２１３に記憶されたカテゴリーテーブルを取得する。
決定部２０４は、特定した表示解像度、表示サイズ、帯域それぞれに対応する要求画質のカテゴリーを、カテゴリーテーブルから取得する。決定部２０４は、表示解像度、表示サイズ、帯域それぞれについて取得したカテゴリーのうち、最も低いカテゴリーをＳ９０１で取得した環境情報に対応する要求画質のカテゴリーとして特定する。

図８の例では、特定された表示解像度６４０ｘ４８０である場合、決定部２０４は、カテゴリー１を、要求画質のカテゴリーとして特定する。
また、表示解像度が、４０９６ｘ２１６０以上であり、表示サイズが６０インチ以上であり、帯域が１Ｇｂｐｓ以上である場合、決定部２０４は、カテゴリー６を、要求画質のカテゴリーとして特定する。また、表示解像度が１９２０ｘ１０８０以上であり、帯域が１０Ｍｂｐｓ以下である場合、決定部２０４は、カテゴリー１を、要求画質のカテゴリーとして特定する。

本実施形態では、要求画質の各カテゴリーには、表示される仮想視点画像の画質を示す指標値（本実施形態では、ＳＳＩＭ値）が、予め対応付けられている。この対応関係の情報（以下では、カテゴリー対応情報とする）は、予め補助記憶装置２１３に記憶されている。
また、本実施形態では、仮想視点画像の生成に用いられる撮像画像の画質の指標値（ＳＳＩＭ値）と、表示される仮想視点画像の画質の指標値と、の対応関係の情報（以下では、画質対応情報）が予め補助記憶装置２１３に記憶されている。

図１０は、画質対応情報が示す撮像画像の画質と仮想視点画像の画質との関係の一例を示す図である。図１０のグラフの縦軸は、仮想視点画像の画質の指標値（ＳＳＩＭ値）を示す。また、横軸は、撮像画像の画質の指標値（ＳＳＩＭ値）を示す。
図１０の例では、撮像画像の画質（ＳＳＩＭ値）が０．８７である場合、対応する仮想視点画像の画質（ＳＳＩＭ値）は、０．９３となる。これらの関係は、仮想視点画像を生成する手法に依存するものであるが、予め画質（ＳＳＩＭ値）の異なる撮像画像を用いて複数の仮想視点画像を生成し、各仮想視点画像の画質（ＳＳＩＭ値）を算出することにより求めることができる。

ここで、決定部２０４による圧縮指標の決定の処理について説明する。
決定部２０４は、特定した要求画質のカテゴリーに基づいて、特定したカテゴリーの番号（要求画質）が高い程、撮像画像の圧縮率が低くなるように、特定したカテゴリーの番号が低い程、撮像画像の圧縮率が高くなるように、圧縮指標を決定する。
より具体的には、決定部２０４は、カテゴリー対応情報に基づいて、特定した要求画質のカテゴリーに対応する指標値（ＳＳＩＭ値）を特定する。本実施形態では、決定部２０４は、要求画質のカテゴリーとして、カテゴリー２を特定したとする。決定部２０４は、カテゴリー対応情報に基づいて、カテゴリー２に対応する仮想視点画像の指標値（ＳＳＩＭ値）として、０．９３を特定する。
そして、決定部２０４は、画質対応情報に基づいて、仮想視点画像の指標値（０．９３）に対応する撮像画像の指標値（ＳＳＩＭ値）を、０．８７と特定する。決定部２０４は、特定した指標値（ＳＳＩＭ値）０．８７を、画像伝送装置１０１〜１１６それぞれについての圧縮指標として決定する。

以上、本実施形態の処理により、画像処理システムは、仮想視点画像の表示環境に基づいて撮像画像の圧縮指標を決定することができる。このように、画像処理システムは、仮想視点画像の画質を考慮しつつ、撮像画像の圧縮指標を決定するため、要求画質に合った仮想視点画像を提供することができる。また、画像処理システムは、画像伝送装置から画像処理装置へ伝送する撮像画像のデータ量を適切に決定することができるため、撮像画像の伝送に不要な時間を要することを回避することができる。

本実施形態では、画像処理装置１１７は、環境情報に基づいて、Ｓ９０２で説明した処理を実行することで、画像伝送装置１０１〜１１６それぞれについての圧縮指標を決定した。
ただし、他の例として、画像処理装置１１７は、環境情報に基づいて、他の処理を実行することで、画像伝送装置１０１〜１１６それぞれについての圧縮指標を決定してもよい。画像処理装置１１７は、表示解像度を環境情報として、表示解像度と生成される仮想視点画像の解像度とに基づいて、画像伝送装置１０１〜１１６それぞれについての圧縮指標を決定してもよい。例えば、決定部２０４は、表示解像度が、仮想視点画像の解像度以上となる場合、出来るだけ圧縮率が低下しないように（例えば、圧縮率を最小とするようにＳＳＩＭ値である圧縮指標が１．０となるように）、圧縮指標を決定してもよい。また、決定部２０４は、表示解像度が、仮想視点画像の解像度未満となる場合、双方の解像度の差分の大きさに応じた大きさの圧縮率となるように、圧縮指標を決定してもよい。例えば、決定部２０４は、圧縮率が、１００−α（所定の定数）×（表示解像度が示す縦サイズ・横サイズの積−仮想視点画像の解像度が示す縦サイズ・横サイズの積）となるように、画像伝送装置１０１〜１１６それぞれについての圧縮指標を決定してもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

例えば、上述した画像処理システムの機能構成の一部又は全てをハードウェアとして画像処理装置１１７に実装してもよい。以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した各実施形態を任意に組み合わせる等してもよい。

１１７ 画像処理装置
２１１ ＣＰＵ

Claims (13)

1. 仮想視点の位置及び方向を示す情報を含む仮想視点情報と、前記仮想視点に対応する画像の表示環境に関する環境情報と、のうちの少なくとも１つを取得する取得手段と、
   前記取得手段により取得された前記仮想視点情報と前記環境情報とのうちの少なくとも１つに基づいて、撮像部の撮像に基づく画像であって、前記仮想視点に対応する画像の生成に用いられる画像の圧縮率に関する圧縮指標を決定する決定手段と、
   を有する情報処理装置。
2. 前記取得手段は、前記仮想視点情報を取得し、
   前記決定手段は、前記取得手段により取得された前記仮想視点情報に基づいて、前記仮想視点に対応する画像における被写体のサイズと前記画像における前記被写体のサイズとに基づいて、前記圧縮指標を決定する請求項１に記載の情報処理装置。
3. 前記決定手段は、前記仮想視点に対応する画像における被写体のサイズと前記画像における前記被写体のサイズとの比率に基づいて、前記圧縮指標を決定する請求項２に記載の情報処理装置。
4. 前記比率は、前記画像における前記被写体のサイズを前記仮想視点に対応する画像における被写体のサイズで除した値である請求項３に記載の情報処理装置。
5. 前記決定手段は、前記比率が１より大きい場合、前記画像の圧縮率が前記比率の大きさに応じて高くなるように、前記圧縮指標を決定する請求項４に記載の情報処理装置。
6. 前記取得手段は、前記環境情報を取得し、
   前記決定手段は、前記環境情報に基づいて、前記圧縮指標を決定する請求項１に記載の情報処理装置。
7. 前記環境情報は、前記仮想視点に対応する画像が表示される表示装置の解像度と前記表示装置の表示領域のサイズと前記仮想視点に対応する画像のデータの送信レートとのうちの少なくとも１つを示す情報を含む請求項６に記載の情報処理装置。
8. 前記環境情報は、前記仮想視点に対応する画像が表示される表示装置の解像度を示す情報であり、
   前記決定手段は、前記環境情報が示す前記表示装置の解像度と、前記仮想視点に対応する画像の解像度と、に基づいて、前記圧縮指標を決定する請求項６又は７に記載の情報処理装置。
9. 情報処理装置と、伝送装置と、を含むシステムであって、
   前記情報処理装置は、
   仮想視点の位置及び方向を示す情報を含む仮想視点情報と、前記仮想視点に対応する画像の表示環境に関する環境情報と、のうちの少なくとも１つを取得する第１取得手段と、
   前記第１取得手段により取得された前記仮想視点情報と前記環境情報とのうちの少なくとも１つに基づいて、撮像部の撮像に基づく画像であって、前記仮想視点に対応する画像の生成に用いられる画像の圧縮率に関する圧縮指標を決定する決定手段と、
   を有し、
   前記伝送装置は、
   前記画像を取得する第２取得手段と、
   前記情報処理装置により決定された前記圧縮指標に基づいて、前記第２取得手段により取得された前記画像を圧縮する圧縮手段と、
   前記圧縮手段により圧縮された前記画像を、予め定められた送信先へ送信する送信手段と、
   を有するシステム。
10. 前記送信先は、前記情報処理装置であって、
    前記情報処理装置は、
    前記伝送装置から受信した前記画像に基づいて、前記仮想視点に対応する画像を生成する生成手段をさらに有する請求項９に記載のシステム。
11. 情報処理装置が実行する情報処理方法であって、
    仮想視点の位置及び方向を示す情報を含む仮想視点情報と、前記仮想視点に対応する画像の表示環境に関する環境情報と、のうちの少なくとも１つを取得する第１の取得ステップと、
    前記第１の取得ステップで取得された前記仮想視点情報と前記環境情報とのうちの少なくとも１つに基づいて、撮像部の撮像に基づく画像であって、前記仮想視点に対応する画像の生成に用いられる画像の圧縮率に関する圧縮指標を決定する決定ステップと、
    を有する情報処理方法。
12. 前記画像を取得する第２の取得ステップと、
    前記決定ステップにより決定された前記圧縮指標に基づいて、前記第２の取得ステップで取得された前記画像を圧縮する圧縮ステップと、
    前記圧縮ステップで圧縮された前記画像を、予め定められた送信先へ送信する送信ステップと、
    をさらに有する請求項１１に記載の情報処理方法。
13. コンピュータを、請求項１乃至８の何れか１項に記載の情報処理装置の各手段として、機能させるためのプログラム。

Images