JP2018148443A - 画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法 - Google Patents

Abstract

【課題】画像データを限られた伝送容量を有する伝送路で送信することができる画像送信装置を提供する。【解決手段】画像合成・ダウンコンバータ１は、第１の画素数を有する第１及び第２の画像データの画素をそれぞれ第１及び第２の間引き率で間引き、第１の画素数より少ない第２の画素数を有するフレーム内の第１及び第２の領域に配置するように画像合成して合成画像データを生成する。第２の領域は第１の領域よりも小さい。シンタックス生成部３は、合成画像データにおける第１及び第２の領域の画像を第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成する。符号化部４は、合成画像データを圧縮符号化して符号化合成画像データを生成する。送信部（動画配信サーバ５及び情報配信サーバ６）は、符号化合成画像データ及びシンタックスデータを送信する。【選択図】図１

Description

本発明は、画像データを送信または受信する、画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法に関する。

フルＨＤの画像データの１フレームの画素数は、水平１９２０画素、垂直１０８０画素である。近年、フルＨＤの画像データの画素数の４倍であるいわゆる４Ｋと称される画像データ、フルＨＤの画像データの画素数の１６倍であるいわゆる８Ｋと称される画像データが登場している。４Ｋの画像データの１フレームの画素数は、水平３８４０画素、垂直２１６０画素であり、８Ｋの画像データの１フレームの画素数は、水平７６８０画素、垂直４３２０画素である。

特開平７−２０３４３６号公報 特開２０１５−２０７９０９号公報 特開平１１−１０１９５１号公報

画像受信装置は所定の伝送路で送信される画像データを受信し、画像表示装置は受信した画像データに基づく画像を表示する。画像データを送信する伝送路の伝送容量は限られているから、４Ｋまたは８Ｋのような膨大な情報量を有する画像データを伝送路で送信できないことがある。

従来、膨大な情報量を有する画像データを限られた伝送容量を有する伝送路で送信するために、特許文献１または２に記載されているように、画像データを圧縮符号化するときのビットレートを領域ごとに個別に設定して、符号量を低減させるのが一般的である。

特許文献３には、３次元画像データにおける左眼画像及び右眼画像の周辺領域を視差情報のない画像領域とし、中心領域を視差情報のある画像領域とすることが記載されている。また、特許文献３には、左眼画像の視差情報のある画像領域と、右眼画像の視差情報のある画像領域と、左眼画像及び右眼画像で共通の視差情報のない画像領域を伝送することにより、３次元画像データを限られた伝送容量を有する伝送路で送信することが記載されている。

画像データのビットレートを領域ごとに個別に設定する必要がなく、２次元画像データまたは３次元画像データを、限られた伝送容量を有する伝送路で送信して、受信する新たな手法が必要である。

本発明は、画像データのビットレートを領域ごとに個別に設定する必要がなく、２次元画像データまたは３次元画像データを、限られた伝送容量を有する伝送路で送信して、受信することができる画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法を提供することを目的とする。

本発明は、第１の画素数を有するフレームによって構成された第１の画像データの画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画素数を有するフレームによって構成された第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像合成して合成画像データを生成する画像合成・ダウンコンバータと、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成するシンタックス生成部と、前記合成画像データを圧縮符号化して符号化合成画像データを生成する符号化部と、前記符号化合成画像データ及び前記シンタックスデータを所定の伝送路で送信する送信部とを備えることを特徴とする画像送信装置を提供する。

本発明は、第１の画素数を有するフレームによって構成された第１の画像データの画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画素数を有するフレームによって構成された第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像合成して合成画像データを生成し、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成し、前記合成画像データを圧縮符号化して符号化合成画像データを生成し、前記符号化合成画像データと前記シンタックスデータとを所定の伝送路で送信することを特徴とする画像送信方法を提供する。

本発明は、第１の画素数を有するフレームによって構成された第１の画像データの画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画素数を有するフレームによって構成された第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を合成した符号化合成画像データを受信するデータ受信部と、前記符号化合成画像データを復号して合成画像データを生成する復号部と、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成する画像復元部とを備えることを特徴とする画像受信装置を提供する。

本発明は、第１の画素数を有するフレームによって構成された第１の画像データの画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画素数を有するフレームによって構成された第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を合成した符号化合成画像データを受信し、前記符号化合成画像データを復号して合成画像データを生成し、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成することを特徴とする画像受信方法を提供する。

本発明は、第１の画素数を有するフレームによって構成された第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を変更して変更画像データを生成する画像合成・ダウンコンバータと、前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成するシンタックス生成部と、前記変更画像データを圧縮符号化して符号化変更画像データを生成する符号化部と、前記符号化変更画像データ及び前記シンタックスデータを所定の伝送路で送信する送信部とを備えることを特徴とする画像送信装置を提供する。

本発明は、第１の画素数を有するフレームによって構成された第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を変更して変更画像データを生成し、前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成し、前記変更画像データを圧縮符号化して符号化変更画像データを生成し、前記符号化変更画像データ及び前記シンタックスデータを所定の伝送路で送信することを特徴とする画像送信方法を提供する。

本発明は、第１の画素数を有するフレームによって構成された第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を変更した符号化変更画像データを受信するデータ受信部と、前記符号化変更画像データを復号して変更画像データを生成する復号部と、前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成する画像復元部とを備えることを特徴とする画像受信装置を提供する。

本発明は、第１の画素数を有するフレームによって構成された第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を変更した符号化変更画像データを受信し、前記符号化変更画像データを復号して変更画像データを生成し、前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成することを特徴とする画像受信方法を提供する。

本発明の画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法によれば、画像データのビットレートを領域ごとに個別に設定する必要がなく、２次元画像データまたは３次元画像データを、限られた伝送容量を有する伝送路で送信して、受信することができる。

一実施形態の画像送信装置を示すブロック図である。 一実施形態の画像受信装置に示すブロック図である。 全天球画像の撮影方法の一例を示す平面図である。 全天球画像を概略的に示す斜視図である。 全天球画像の各フレームを１フレームに割り当てて画像合成する例を示す図である。 図１における画像合成・ダウンコンバータ１の具体的な構成例を示すブロック図である。 図１におけるシンタックス生成部３の具体的な構成例を示すブロック図である。 シンタックス生成部３が生成するシンタックスデータを概念的に示す図である。 図２における画像復元・アップコンバータ１０の具体的な構成例を示すブロック図である。 画像復元・アップコンバータ１０の動作を説明するための図である。 第２実施形態の画像送信装置を示すブロック図である。 第２実施形態の画像受信装置に示すブロック図である。 図１１における画像変更・ダウンコンバータ２１の動作を説明するための図である。

以下、各実施形態の画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法について、添付図面を参照して説明する。

＜第１実施形態＞
第１実施形態においては、送受信する画像データが、バーチャルリアリティ（ＶＲ）用のヘッドアップディスプレイ（ＶＲゴーグル）によって見る３次元（３Ｄ）画像データである場合を例とする。

図１に示すように、第１実施形態の画像送信装置は、画像合成・ダウンコンバータ１と、領域割当・復元設定部２と、シンタックス生成部３と、符号化部４と、動画配信サーバ５と、情報配信サーバ６とを備える。図２に示すように、第１実施形態の画像受信装置は、データ受信部８と、復号部９と、画像復元・アップコンバータ１０と、３次元画像表示部１１（以下、３Ｄ画像表示部１１）とを備える。画像送信装置が送信する後述する画像データ及びシンタックスデータは、インターネット等のネットワーク７を介して画像受信装置へと送信される。

図１において、画像合成・ダウンコンバータ１には、全天球画像におけるフロント左眼画像を示すフロント左眼画像データＤＦＬと、フロント右側画像を示すフロント右眼画像データＤＦＲと、左右共通リア画像を示す左右共通リア画像データＤＲＬＲとが入力される。フロント左眼画像データＤＦＬ及びフロント右眼画像データＤＦＲは第１の画像データであり、左右共通リア画像データＤＲＬＲは第２の画像データである。第１及び第２の画像データは、非圧縮のデジタル動画データであるとする。

図３において、フロント左眼用の魚眼ビデオカメラ５０ＦＬと、フロント右眼用の魚眼ビデオカメラ５０ＦＲとを所定の視差が生じるように配置して、前方を撮影することによって、フロント左眼画像データＤＦＬとフロント右眼画像データＤＦＲとが生成される。左右共通のリア用の魚眼ビデオカメラ５０Ｒによって後方を撮影することによって、左右共通リア画像データＤＲＬＲが生成される。

前方及び後方を図３のように撮影することによって、図４に示すように、全天球画像におけるフロント側の３６０度×１８０度の左眼画像及び右眼画像と、全天球画像におけるリア側の３６０度×１８０度の左右共通リア画像を得ることができる。図３は全天球画像の撮影方法の一例であり、図３に示す撮影方法に限定されない。３Ｄ画像データは、コンピュータグラフィックスを用いて生成されていてもよい。

半球状の左眼画像と右眼画像と左右共通リア画像とを正距円筒図法等の手法によって２次元平面に変換することによって、図５に示す、フロント左眼画像データＤＦＬとフロント右眼画像データＤＦＲと左右共通リア画像データＤＲＬＲの各フレームが得られる。

３Ｄ画像データにおけるリア画像はフロント画像と比較して重要度が低い。リア画像を左右共通リア画像とすることによって、３Ｄ画像データのデータ容量を削減することができる。

例えば、フロント左眼画像データＤＦＬとフロント右眼画像データＤＦＲと左右共通リア画像データＤＲＬＲとは４Ｋの画像データである。画像合成・ダウンコンバータ１は、４Ｋの画像データの各フレームを、フルＨＤの画像データのフレームに画像合成しながらダウンコンバートして、合成画像データＤ３Ｄを生成する。画像合成・ダウンコンバータ１は、第１の画素数の画像データを第２の画素数の画像データにダウンコンバートする。

ユーザは、領域割当・復元設定部２によって、フロント左眼画像データＤＦＬとフロント右眼画像データＤＦＲと左右共通リア画像データＤＲＬＲのフレームをフルＨＤの画像データのフレームにどのように割り当てるかを設定する。領域割当・復元設定部２は、一例として、図５に示すように、フロント左眼画像データＤＦＬとフロント右眼画像データＤＦＲと左右共通リア画像データＤＲＬＲのフレームをフルＨＤのフレームに割り当てる。

領域割当・復元設定部２は、ユーザ設定に基づき、フロント左眼画像のフレームを、フルＨＤのフレームの垂直方向上側５０％で、水平方向左側８０％の領域に割り当てる。領域割当・復元設定部２は、ユーザ設定に基づき、フロント右眼画像データのフレームの垂直方向下側５０％で、水平方向左側８０％の領域に割り当てる。

領域割当・復元設定部２は、ユーザ設定に基づき、左右共通リア画像のフレームのうちの左半分の領域を、フルＨＤのフレームの垂直方向上側５０％で、水平方向右側２０％の領域に割り当てる。領域割当・復元設定部２は、ユーザ設定に基づき、左右共通リア画像のフレームのうちの右半分の領域を、フルＨＤのフレームの垂直方向下側５０％で、水平方向右側２０％の領域に割り当てる。

領域割当・復元設定部２は、以上のように設定した領域割当設定情報を画像合成・ダウンコンバータ１に供給する。画像合成・ダウンコンバータ１は、領域割当設定情報に基づいて、フロント左眼画像データＤＦＬとフロント右眼画像データＤＦＲと左右共通リア画像データＤＲＬＲのフレームの画素を間引きながら、フルＨＤのフレームに配置して、合成画像データＤ３Ｄのフレームを生成する。

図６に示すように、画像合成・ダウンコンバータ１は、メモリ１０１と、フレーム内配置・水平垂直画素間引き部１０２と、制御部１０３とで構成することができる。メモリ１０１は、フロント左眼画像データＤＦＬとフロント右眼画像データＤＦＲと左右共通リア画像データＤＲＬＲを記憶する。メモリ１０１は例えばＲＡＭである。

フレーム内配置・水平垂直画素間引き部１０２は、メモリ１０１から読み出されたフロント左眼画像データＤＦＬとフロント右眼画像データＤＦＲと左右共通リア画像データＤＲＬＲの画素を水平及び垂直方向に間引きながら、フルＨＤのフレームに配置する。なお、画素の間引きとは、単に元の画素を削除することだけでなく、画像を縮小するために補間によって新たな画素を生成することも含む。

制御部１０３は、領域割当設定情報に基づいて、メモリ１０１からのフロント左眼画像データＤＦＬとフロント右眼画像データＤＦＲと左右共通リア画像データＤＲＬＲの読み出しと、フレーム内配置・水平垂直画素間引き部１０２における画素の間引き及びフルＨＤのフレームへの配置を制御する。制御部１０３は例えばマイクロプロセッサで構成することができる。

図５に示す合成画像データＤ３Ｄのフレームにおいて、フロント左眼画像及びフロント右眼画像に割り当てられている領域を第１の領域、左右共通リア画像に割り当てられている領域を第２の領域とする。第２の領域は第１の領域よりも小さい領域である。フレーム内配置・水平垂直画素間引き部１０２は、フロント左眼画像データＤＦＬ及びフロント右眼画像データＤＦＲの画素を第１の間引き率で間引いて第１の領域に配置する。左右共通リア画像データＤＲＬＲの画素を第１の間引き率より大きい第２の間引き率で間引いて第２の領域に配置する。

フレーム内配置・水平垂直画素間引き部１０２における画像データの画素の間引き率は領域の面積（画素数）に応じた値となる。第１または第２の間引き率のような１つの間引き率における水平方向の画素の間引き率と垂直方向の画素の間引き率とは異なることがある。

図１に戻り、画像合成・ダウンコンバータ１は、合成画像データＤ３Ｄを符号化部４に供給する。符号化部４は、合成画像データＤ３ＤをH.264/MPEG-4 AVC (Advanced Video Coding)またはH.265/MPEG-H HEVC(High Efficiency Video Coding)のような任意の圧縮符号化方式で圧縮符号化して、符号化合成画像データＤ３Ｄｅを動画配信サーバ５に供給する。動画配信サーバ５は、符号化合成画像データＤ３Ｄｅをネットワーク７へと送信する。

符号化部４は、合成画像データＤ３Ｄを圧縮符号化するときに、ビットレートをフレーム内の第１の領域と第２の領域とで個別に設定する必要はない。符号化部４は、合成画像データＤ３Ｄの例えば絵柄の複雑さに応じてビットレートを可変してもよい。

また、ユーザは、領域割当・復元設定部２によって、合成画像データＤ３Ｄの各フレームを画像受信装置においてどのように復元するかを設定する。領域割当・復元設定部２は、領域割当設定情報及び復元設定情報をシンタックス生成部３に供給する。シンタックス生成部３は、合成画像データＤ３Ｄにおける第１及び第２の領域の画像を、第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータＤｓｔｘを生成する。

図７に示すように、シンタックス生成部３は、領域割当設定情報及び復元設定情報に基づいてシンタックスデータＤｓｔｘを生成する制御部３０１によって構成することができる。制御部３０１は例えばマイクロプロセッサで構成することができる。

図８は、シンタックスデータＤｓｔｘの一例を示している。図８において、（１）〜（６）に示す各行のＳ１で示す“/pmovie”はシンタックスであることを示す。Ｓ２で示す“０”〜“５”はシンタックスの設定番号（インデックス）を示す。Ｓ３で示す“０” は左眼画像を示し、“１”は右眼画像を示す。“１”を左眼画像、“０”を右眼画像としてもよい。

フレームの左上角部の位置を（０，０）、右下角部の位置を（１，１）とする。Ｓ４は画像を切り出す開始位置、Ｓ５は切り出す画像の水平方向の幅、Ｓ６は切り出す画像の垂直方向の高さを示す。（１）の行のシンタックスはＳ３の値が“０”であるから、左眼画像である。（１）の行の“００ ０．８ ０．５”は、左上角部（０，０）から水平方向０．８、垂直方向０．５の領域の画像を切り出すことを意味する。

Ｓ７は、切り出した画像を画像受信装置が復元するフレーム（復元フレーム）のどの位置に配置するかの開始位置、Ｓ８は配置する水平方向の幅、Ｓ９は配置する垂直方向の高さを示す。（１）の行の“０．２４ ０ ０．５２ ０．９”は、左から０．２４、上端０である（０．２４ ０）の位置から、水平方向０．５２、垂直方向０．９の領域に切り出した画像を拡大または縮小して配置することを意味する。拡大するか縮小するかは、切り出した画像の画素数と復元フレームの画素数とによって決まる。

以上より分かるように、（１）の行のシンタックスは、図５の合成画像データＤ３Ｄのフレームにおけるフロント左眼画像を、左眼画像の復元フレームのどの位置に配置してどのように復元するかを示す。同様にして、（２）の行のシンタックスは、図５の合成画像データＤ３Ｄのフレームにおけるフロント右眼画像を、右眼画像の復元フレームのどの位置に配置してどのように復元するかを示す。

（３）の行のシンタックスは、図５の合成画像データＤ３Ｄのフレームにおける左右共通リア画像のうちの左半分の領域の画像を、左眼画像の復元フレームのどの位置に配置してどのように復元するかを示す。（４）の行のシンタックスは、図５の合成画像データＤ３Ｄのフレームにおける左右共通リア画像のうちの右半分の領域の画像を、左眼画像の復元フレームのどの位置に配置してどのように復元するかを示す。

（５）の行のシンタックスは、図５の合成画像データＤ３Ｄのフレームにおける左右共通リア画像のうちの左半分の領域の画像を、右眼画像の復元フレームのどの位置に配置してどのように復元するかを示す。（６）の行のシンタックスは、図５の合成画像データＤ３Ｄのフレームにおける左右共通リア画像のうちの右半分の領域の画像を、右眼画像の復元フレームのどの位置に配置してどのように復元するかを示す。

図１に戻り、シンタックス生成部３はシンタックスデータＤｓｔｘを情報配信サーバ６に供給する。情報配信サーバ６はシンタックスデータＤｓｔｘをネットワーク７へと送信する。シンタックスデータＤｓｔｘは各フレームで共通であるので、情報配信サーバ６は、符号化合成画像データＤ３Ｄｅをネットワーク７へと送信を開始するのと同時に、または送信を開始する前にシンタックスデータＤｓｔｘを少なくとも１回送信すればよい。

合成画像データＤ３Ｄの全体的なコンテンツの途中でシンタックスデータＤｓｔｘが切り替わる場合には、情報配信サーバ６は、シンタックスデータＤｓｔｘが切り替わるごとにシンタックスデータＤｓｔｘを送信すればよい。

情報配信サーバ６は、３Ｄ画像表示部１１に表示する３Ｄ画像に重畳するコメントを配信するコメントサーバであってもよい。

図１に示す構成例では、符号化合成画像データＤ３ＤｅとシンタックスデータＤｓｔｘとを別々に送信しているが、シンタックスデータＤｓｔｘを符号化合成画像データＤ３Ｄｅのメタデータとして符号化合成画像データＤ３Ｄｅに埋め込んで、動画配信サーバ５が送信してもよい。シンタックスデータＤｓｔｘの送信の仕方は任意である。

動画配信サーバ５及び情報配信サーバ６は、符号化合成画像データＤ３Ｄｅ及びシンタックスデータＤｓｔｘを送信する送信部である。ここでは、送信部は符号化合成画像データＤ３Ｄｅ及びシンタックスデータＤｓｔｘを、ネットワーク７を介して画像受信装置へと送信しているが、ネットワーク７以外の所定の伝送路で送信してもよい。送信部は、符号化合成画像データＤ３Ｄｅ及びシンタックスデータＤｓｔｘを、地上波デジタル放送の放送波、または、ＢＳもしくはＣＳデジタル放送の放送波を伝送路として送信してもよい。

次に、図２に示す画像受信装置の動作を説明する。図２において、データ受信部８は、ネットワーク７より、符号化合成画像データＤ３Ｄｅ及びシンタックスデータＤｓｔｘを受信する。データ受信部８は、符号化合成画像データＤ３Ｄｅを復号部９に供給し、シンタックスデータＤｓｔｘを画像復元・アップコンバータ１０に供給する。

復号部９は、符号化合成画像データＤ３Ｄｅを符号化部４が採用する圧縮符号化方式に対応する復号方式で復号して、合成画像データＤ３Ｄを生成する。復号部９は、合成画像データＤ３Ｄを画像復元・アップコンバータ１０に供給する。

図９に示すように、画像復元・アップコンバータ１０は、メモリ１１０１と、フレーム内配置・水平垂直拡大縮小部１１０２と、固定画像付加部１１０３と、シンタックス保持部１１０４と、制御部１１０５とで構成することができる。メモリ１１０１は、合成画像データＤ３Ｄを記憶する。メモリ１１０１は例えばＲＡＭである。シンタックス保持部１１０４は、シンタックスデータＤｓｔｘを記憶する任意のメモリである。メモリ１１０１がシンタックス保持部１１０４の機能を備えてもよい。

フレーム内配置・水平垂直拡大縮小部１１０２は、合成画像データＤ３Ｄの各領域の画像を水平及び垂直方向に拡大または縮小しながら、左眼画像及び右眼画像の復元フレームに配置する。フレーム内配置・水平垂直拡大縮小部１１０２は、画像を拡大する場合には画素を補間し、画像を縮小する場合には画素を間引く。フレーム内配置・水平垂直拡大縮小部１１０２は画像を縮小せず拡大するフレーム内配置・水平垂直拡大部である場合があってもよく、画像を拡大せず縮小するフレーム内配置・水平垂直縮小部である場合があってもよい。

フレーム内配置・水平垂直拡大縮小部１１０２は、復元左眼画像データＤ３ＤＬ０及び復元右眼画像データＤ３ＤＲ０を固定画像付加部１１０３に供給する。固定画像付加部１１０３は、復元左眼画像データＤ３ＤＬ０及び復元右眼画像データＤ３ＤＲ０に例えば黒の固定画素よりなる固定画像を付加して、復元左眼画像データＤ３ＤＬ及び復元右眼画像データＤ３ＤＲを出力する。画像復元・アップコンバータ１０は、固定画像付加部１１０３を備えない構成であってもよい。

制御部１１０５は、シンタックス保持部１１０４よりシンタックスデータＤｓｔｘを読み出す。制御部１１０５は、シンタックスデータＤｓｔｘを参照しながら、メモリ１１０１からの合成画像データＤ３Ｄの読み出しと、フレーム内配置・水平垂直拡大縮小部１１０２における画像の拡大縮小及び復元フレームへの画像の配置を制御する。制御部１１０５は例えばマイクロプロセッサで構成することができる。

図２に示す構成例では、フルＨＤの合成画像データＤ３Ｄの各フレームを例えば４Ｋのフレームに復元することを前提として、画像復元・アップコンバータ１０と称している。フルＨＤの合成画像データＤ３ＤをフルＨＤのフレームに復元してもよいし、フルＨＤの合成画像データＤ３ＤをフルＨＤよりも小さい画素数のフレームに復元してもよい。

前者であれば画像復元・アップコンバータ１０の代わりにアップコンバータを備えない画像復元部とすればよく、後者であれば、ダウンコンバータを備える画像復元部である画像復元・ダウンコンバータとすればよい。画像復元部は、第２の画素数を有する合成画像データＤ３Ｄのフレームを、第２の画素数と同一または異なる第３の画素数を有するフレームに復元すればよい。

図１０を用いて、合成画像データＤ３Ｄの各フレームを復元左眼画像データＤ３ＤＬ及び復元右眼画像データＤ３ＤＲの各フレームに復元する動作を具体的に説明する。ここでは、合成画像データＤ３Ｄをアップコンバートする場合を示す。

画像復元・アップコンバータ１０は、シンタックスデータＤｓｔｘの各行のシンタックスに基づいて次のように画像を復元する。フレーム内配置・水平垂直拡大縮小部１１０２は、（１）の行のシンタックスに基づいて、合成画像データＤ３Ｄのフロント左眼画像の画素数を増大させて、左眼画像の復元フレームの左から０．２４、上端０の位置から、水平方向０．５２、垂直方向０．９の領域に配置する。

フレーム内配置・水平垂直拡大縮小部１１０２は、（３）の行のシンタックスに基づいて、合成画像データＤ３Ｄの左右共通リア画像のうちの左半分の領域の画像を左端０、上端０の位置から、水平方向０．２４、垂直方向０．９の領域に配置する。フレーム内配置・水平垂直拡大縮小部１１０２は、（４）の行のシンタックスに基づいて、左右共通リア画像のうちの右半分の領域の画像を左から０．７６、上端０の位置から、水平方向０．２４、垂直方向０．９の領域に配置する。

固定画像付加部１１０３は、以上のように生成した復元左眼画像データＤ３ＤＬ０の下側に固定画像１１１３を付加して、復元左眼画像データＤ３ＤＬのフレームを生成する。

フレーム内配置・水平垂直拡大縮小部１１０２は、（２）の行のシンタックスに基づいて、合成画像データＤ３Ｄのフロント右眼画像の画素数を増大させて、右眼画像の復元フレームの左から０．２４、上端０の位置から、水平方向０．５２、垂直方向０．９の領域に配置する。

フレーム内配置・水平垂直拡大縮小部１１０２は、（５）の行のシンタックスに基づいて、合成画像データＤ３Ｄの左右共通リア画像のうちの左半分の領域の画像を左端０、上端０の位置から、水平方向０．２４、垂直方向０．９の領域に配置する。フレーム内配置・水平垂直拡大縮小部１１０２は、（６）の行のシンタックスに基づいて、左右共通リア画像のうちの右半分の領域の画像を左から０．７６、上端０の位置から、水平方向０．２４、垂直方向０．９の領域に配置する。

固定画像付加部１１０３は、以上のように生成した復元左眼画像データＤ３ＤＲ０の下側に固定画像１１１３を付加して、復元右眼画像データＤ３ＤＲのフレームを生成する。

固定画像付加部１１０３は、左眼画像及び右眼画像の復元フレームにおいて、フレーム内配置・水平垂直拡大縮小部１１０２が画像を配置していない領域に固定画像１１１３を付加すればよい。復元フレームの下端部のような目立たない位置に固定画像１１１３を付加すれば、フレーム内配置・水平垂直拡大縮小部１１０２における垂直方向の画像の拡大率を小さくすることができるので、画質を向上させることができる。

図２に戻り、画像復元・アップコンバータ１０は、復元左眼画像データＤ３ＤＬ及び復元右眼画像データＤ３ＤＲをＶＲゴーグルである３Ｄ画像表示部１１に供給する。３Ｄ画像表示部１１は、ＶＲゴーグルを装着したユーザが、左眼で復元左眼画像データＤ３ＤＬを認識し、右眼で復元右眼画像データＤ３ＤＲを認識するように、復元左眼画像データＤ３ＤＬ及び復元右眼画像データＤ３ＤＲに基づく画像を表示する。ユーザはあたかも図４に示す全天球画像の中心に位置して、フロント及びリア側の３６０度×３６０度の全天球画像を楽しむことができる。

＜第２実施形態＞
第１実施形態においては、送受信する画像データが３Ｄ画像データである場合を例としたが、送受信する画像データは２次元（２Ｄ）画像データであってもよい。第２実施形態の画像送信装置及び画像受信装置は２Ｄ画像データを送受信する。

図１１に示すように、第２実施形態の画像送信装置は、図１に示す第１実施形態の画像送信装置における画像合成・ダウンコンバータ１の代わりに画像変更・ダウンコンバータ２１を備える。画像変更・ダウンコンバータ２１には、３Ｄ画像データの代わりに、例えば４Ｋの２Ｄ画像データＤ２Ｄ０が入力される。図１２に示すように、第２実施形態の画像受信装置は、図２に示す第１実施形態の画像受信装置における３Ｄ画像表示部１１の代わりに２次元画像表示部２１１（以下、２Ｄ画像表示部２１１）を備える。２Ｄ画像表示部２１１は例えば液晶パネルである。

図１１及び図１２において、それぞれ、図１及び図２と異なる部分の動作を中心に説明し、共通する部分の動作の説明を省略する。

図１３において、２Ｄ画像データＤ２Ｄ０のフレームは、画像の内容が比較的重要な重要画像領域（第１の画像領域）と、画像の内容が比較的重要でない非重要画像領域（第２の画像領域）とを含む。また、２Ｄ画像データＤ２Ｄ０のフレームは、付加画像Ａが表示されている１つの付加画像領域と、付加画像Ｂが表示されている２つの付加画像領域とを含む。付加画像領域は、比較的重要でない非重要画像領域である。

図１３に示すように、図１１に示す領域割当・復元設定部２は、ユーザ設定に基づき、フルＨＤのフレームに占める重要画像領域の割合を、２Ｄ画像データＤ２Ｄ０のフレームに占める重要画像領域の割合より大きくなるように、フルＨＤのフレームに重要画像領域と非重要画像領域とを割り当てる。

また、領域割当・復元設定部２は、ユーザ設定に基づき、付加画像領域のような共通の画像領域を含む場合には、共通の画像領域を全てフルＨＤのフレームに割り当てるのではなく、共通の画像領域のうちの１つのみをフルＨＤのフレームに割り当てることが好ましい。領域割当・復元設定部２は、このように割り当てた領域割当設定情報を生成する。

第２実施形態においては、領域割当・復元設定部２は、フレーム内での重要画像領域と非重要画像領域との面積の割合を元に戻し、共通の画像領域を１つのみに削減した場合には共通の画像領域を元の数に戻す復元設定情報を生成する。

画像変更・ダウンコンバータ２１は、領域割当設定情報に基づき、第１の画像領域の画素を第１の間引き率で間引いて、フルＨＤのフレーム内の第１の領域に配置する。画像変更・ダウンコンバータ２１は、第２の画像領域の画素を第１の間引き率より大きい第２の間引き率で間引いて、フルＨＤのフレーム内の第１の領域よりも小さい第２の領域に配置する。

画像変更・ダウンコンバータ２１は、１つのみに削減した共通の画像領域を第１の間引き率より大きい間引き率で間引いて、フルＨＤのフレーム内に配置する。共通の画像領域の間引き率は第２の間引き率であってもよいし、他の間引き率であってもよい。

以上のように、画像変更・ダウンコンバータ２１は、フレーム内の重要画像領域と非重要画像領域との面積の割合を変更した図１３に示すフルＨＤの変更画像データＤ２Ｄ１を生成する。符号化部４は、変更画像データＤ２Ｄ１を圧縮符号化して符号化変更画像データＤ２Ｄ１ｅを生成する。動画配信サーバ５は、符号化変更画像データＤ２Ｄ１ｅをネットワーク７へと送信する。

シンタックス生成部３は、上述した領域割当設定情報及び復元設定情報に基づいて、変更画像データＤ２Ｄ１における第１及び第２の領域の画像を、復元フレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータＤｓｔｘを生成すればよい。２Ｄ画像データＤ２Ｄ０のフレームが第１の画素数を有し、変更画像データＤ２Ｄ１のフレームが第２の画素数を有するとすれば、復元フレームは第２の画素数と同一または異なる第３の画素数を有すればよい。

図１２において、データ受信部８は、ネットワーク７より、符号化変更画像データＤ２Ｄ１ｅ及びシンタックスデータＤｓｔｘを受信する。復号部９は、符号化変更画像データＤ２Ｄ１ｅを復号して、変更画像データＤ２Ｄ１を生成する。画像復元・アップコンバータ１０は、シンタックスデータＤｓｔｘを参照しながら、２Ｄ画像データＤ２Ｄ０を復元して、２Ｄ画像表示部２１１に供給する。

第１実施形態と同様に、画像復元・アップコンバータ１０の代わりにアップコンバータを備えない画像復元部を設けて、重要画像領域と非重要画像領域との面積の割合を復元したフルＨＤの復元画像データを生成してもよい。画像復元・アップコンバータ１０の代わりに画像復元・ダウンコンバータを設けて、重要画像領域と非重要画像領域との面積の割合を復元した、フルＨＤよりも小さい画素数のフレームを有する復元画像データを生成してもよい。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１、図２、図６、図７、図９、図１１、図１２の構成をハードウェアで構成してもソフトウェアで構成してもよく、ハードウェアとソフトウェアとの使い分けは任意である。

１ 画像合成・ダウンコンバータ
２ 領域割当・復元設定部
３ シンタックス生成部
４ 符号化部
５ 動画配信サーバ（送信部）
６ 情報配信サーバ（送信部）
７ ネットワーク
８ データ受信部
９ 復号部
１０ 画像復元・アップコンバータ（画像復元部）
１１ ３次元画像表示部（３Ｄ画像表示部）
２１ 画像変更・ダウンコンバータ
２１１ ２次元画像表示部（２Ｄ画像表示部）

本発明は、第１及び第２の画像データがそれぞれ第１の画素数を有するフレームによって構成されており、前記第１の画像データの画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像合成して合成画像データを生成する画像合成・ダウンコンバータと、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成するシンタックス生成部と、前記合成画像データを圧縮符号化して符号化合成画像データを生成する符号化部と、前記符号化合成画像データ及び前記シンタックスデータを所定の伝送路で送信する送信部とを備えることを特徴とする画像送信装置を提供する。

本発明は、第１及び第２の画像データがそれぞれ第１の画素数を有するフレームによって構成されており、前記第１の画像データの画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像合成して合成画像データを生成し、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成し、前記合成画像データを圧縮符号化して符号化合成画像データを生成し、前記符号化合成画像データと前記シンタックスデータとを所定の伝送路で送信することを特徴とする画像送信方法を提供する。

本発明は、第１及び第２の画像データがそれぞれ第１の画素数を有するフレームによって構成されており、前記第１の画像データの画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像を合成した符号化合成画像データを受信するデータ受信部と、前記符号化合成画像データを復号して合成画像データを生成する復号部と、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成する画像復元部とを備えることを特徴とする画像受信装置を提供する。

本発明は、第１及び第２の画像データがそれぞれ第１の画素数を有するフレームによって構成されており、前記第１の画像データの画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像を合成した符号化合成画像データを受信し、前記符号化合成画像データを復号して合成画像データを生成し、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成することを特徴とする画像受信方法を提供する。

本発明は、第１の画像データが第１の画素数を有するフレームによって構成されており、前記第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像を変更して変更画像データを生成する画像変更・ダウンコンバータと、前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成するシンタックス生成部と、前記変更画像データを圧縮符号化して符号化変更画像データを生成する符号化部と、前記符号化変更画像データ及び前記シンタックスデータを所定の伝送路で送信する送信部とを備えることを特徴とする画像送信装置を提供する。

本発明は、第１の画像データが第１の画素数を有するフレームによって構成されており、前記第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像を変更して変更画像データを生成し、前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成し、前記変更画像データを圧縮符号化して符号化変更画像データを生成し、前記符号化変更画像データ及び前記シンタックスデータを所定の伝送路で送信することを特徴とする画像送信方法を提供する。

本発明は、第１の画像データが第１の画素数を有するフレームによって構成されており、前記第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像を変更した符号化変更画像データを受信するデータ受信部と、前記符号化変更画像データを復号して変更画像データを生成する復号部と、前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成する画像復元部とを備えることを特徴とする画像受信装置を提供する。

本発明は、第１の画像データが第１の画素数を有するフレームによって構成されており、前記第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像を変更した符号化変更画像データを受信し、前記符号化変更画像データを復号して変更画像データを生成し、前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成することを特徴とする画像受信方法を提供する。

本発明は、画像データのビットレートを領域ごとに個別に設定する必要がなく、３次元画像データを、限られた伝送容量を有する伝送路で送信して、受信することができる画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法を提供することを目的とする。

本発明は、全天球画像におけるフロント左眼画像を示すフロント左眼画像データと、前記全天球画像におけるフロント右側画像を示すフロント右眼画像データとをそれぞれ第１の画像データ、前記全天球画像における左右共通リア画像を示す左右共通リア画像データを第２の画像データとし、前記第１及び第２の画像データはそれぞれ第１の画素数を有するフレームによって構成されており、前記第１の画像データの画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像合成して合成画像データを生成する画像合成・ダウンコンバータと、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成するシンタックス生成部と、前記合成画像データを圧縮符号化して符号化合成画像データを生成する符号化部と、前記符号化合成画像データ及び前記シンタックスデータを所定の伝送路で送信する送信部とを備えることを特徴とする画像送信装置を提供する。

本発明は、全天球画像におけるフロント左眼画像を示すフロント左眼画像データと、前記全天球画像におけるフロント右側画像を示すフロント右眼画像データとをそれぞれ第１の画像データ、前記全天球画像における左右共通リア画像を示す左右共通リア画像データを第２の画像データとし、前記第１及び第２の画像データはそれぞれ第１の画素数を有するフレームによって構成されており、前記第１の画像データの画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像合成して合成画像データを生成し、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成し、前記合成画像データを圧縮符号化して符号化合成画像データを生成し、前記符号化合成画像データと前記シンタックスデータとを所定の伝送路で送信することを特徴とする画像送信方法を提供する。

本発明は、全天球画像におけるフロント左眼画像を示すフロント左眼画像データと、前記全天球画像におけるフロント右側画像を示すフロント右眼画像データとをそれぞれ第１の画像データ、前記全天球画像における左右共通リア画像を示す左右共通リア画像データを第２の画像データとし、前記第１及び第２の画像データはそれぞれ第１の画素数を有するフレームによって構成されており、前記第１の画像データの画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像を合成した符号化合成画像データを受信するデータ受信部と、前記符号化合成画像データを復号して合成画像データを生成する復号部と、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成する画像復元部とを備えることを特徴とする画像受信装置を提供する。

本発明は、全天球画像におけるフロント左眼画像を示すフロント左眼画像データと、前記全天球画像におけるフロント右側画像を示すフロント右眼画像データとをそれぞれ第１の画像データ、前記全天球画像における左右共通リア画像を示す左右共通リア画像データを第２の画像データとし、前記第１及び第２の画像データはそれぞれ第１の画素数を有するフレームによって構成されており、前記第１の画像データの画素を第１の間引き率で間引いて第１の間引き画像データを生成し、前記第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて第２の間引き画像データを生成し、前記第１の画素数より少ない第２の画素数を有するフレーム内に、第１の領域と、前記第１の領域よりも小さい第２の領域とを設定し、前記第１の間引き画像データを前記第１の領域に配置し、前記第２の間引き画像データを前記第２の領域に配置するように画像を合成した符号化合成画像データを受信し、前記符号化合成画像データを復号して合成画像データを生成し、前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成することを特徴とする画像受信方法を提供する。

本発明の画像送信装置及び画像送信方法、並びに、画像受信装置及び画像受信方法によれば、画像データのビットレートを領域ごとに個別に設定する必要がなく、３次元画像データを、限られた伝送容量を有する伝送路で送信して、受信することができる。

Claims (12)

1. 第１の画素数を有するフレームによって構成された第１の画像データの画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画素数を有するフレームによって構成された第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像合成して合成画像データを生成する画像合成・ダウンコンバータと、
   前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成するシンタックス生成部と、
   前記合成画像データを圧縮符号化して符号化合成画像データを生成する符号化部と、
   前記符号化合成画像データ及び前記シンタックスデータを所定の伝送路で送信する送信部と、
   を備えることを特徴とする画像送信装置。
2. 前記第１の画像データは、全天球画像におけるフロント左眼画像を示すフロント左眼画像データと、フロント右側画像を示すフロント右眼画像データとを含み、
   前記第２の画像データは、全天球画像における左右共通リア画像を示す左右共通リア画像データであり、
   前記画像合成・ダウンコンバータは、前記フロント左眼画像及びフロント右眼画像を前記第１の間引き率で間引いて前記第１の領域に配置し、前記左右共通リア画像のうちの左半分及び右半分の領域の画像を前記第２の間引き率で間引いて前記第２の領域に配置して、前記合成画像データを生成し、
   前記シンタックス生成部は、前記第１の領域の前記フロント左眼画像及びフロント右眼画像と、前記第２の領域の前記左半分及び右半分の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成する
   ことを特徴とする請求項１に記載の画像送信装置。
3. 第１の画素数を有するフレームによって構成された第１の画像データの画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画素数を有するフレームによって構成された第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像合成して合成画像データを生成し、
   前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成し、
   前記合成画像データを圧縮符号化して符号化合成画像データを生成し、
   前記符号化合成画像データと前記シンタックスデータとを所定の伝送路で送信する
   ことを特徴とする画像送信方法。
4. 前記第１の画像データは、全天球画像におけるフロント左眼画像を示すフロント左眼画像データと、フロント右側画像を示すフロント右眼画像データとを含み、
   前記第２の画像データは、全天球画像における左右共通リア画像を示す左右共通リア画像データであり、
   前記フロント左眼画像及びフロント右眼画像を前記第１の間引き率で間引いて前記第１の領域に配置し、前記左右共通リア画像のうちの左半分及び右半分の領域の画像を前記第２の間引き率で間引いて前記第２の領域に配置して、前記合成画像データを生成し、
   前記第１の領域の前記フロント左眼画像及びフロント右眼画像と、前記第２の領域の前記左半分及び右半分の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成する
   ことを特徴とする請求項３に記載の画像送信方法。
5. 第１の画素数を有するフレームによって構成された第１の画像データの画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画素数を有するフレームによって構成された第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を合成した符号化合成画像データを受信するデータ受信部と、
   前記符号化合成画像データを復号して合成画像データを生成する復号部と、
   前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成する画像復元部と、
   を備えることを特徴とする画像受信装置。
6. 前記画像復元部は、前記合成画像データにおける前記第１及び第２の領域の画像の画素を補間して画素数を増大させ、前記第３の画素数を有するフレーム内に画素数を増大させた前記第１及び第２の領域の画像を配置して前記復元画像データを生成するアップコンバータを含み、
   前記第３の画素数を有するフレーム内の画素数を増大させた前記第１及び第２の領域の画像を配置しない領域に、固定画素よりなる固定画像を付加する固定画像付加部をさらに備える
   ことを特徴とする請求項５に記載の画像受信装置。
7. 第１の画素数を有するフレームによって構成された第１の画像データの画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画素数を有するフレームによって構成された第２の画像データの画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を合成した符号化合成画像データを受信し、
   前記符号化合成画像データを復号して合成画像データを生成し、
   前記合成画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成する
   ことを特徴とする画像受信方法。
8. 前記合成画像データにおける前記第１及び第２の領域の画像の画素を補間して画素数を増大させ、前記第３の画素数を有するフレーム内に画素数を増大させた前記第１及び第２の領域の画像を配置して前記復元画像データを生成し、
   前記第３の画素数を有するフレーム内の画素数を増大させた前記第１及び第２の領域の画像を配置しない領域に、固定画素よりなる固定画像を付加する
   ことを特徴とする請求項７に記載の画像受信方法。
9. 第１の画素数を有するフレームによって構成された第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を変更して変更画像データを生成する画像変更・ダウンコンバータと、
   前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成するシンタックス生成部と、
   前記変更画像データを圧縮符号化して符号化変更画像データを生成する符号化部と、
   前記符号化変更画像データ及び前記シンタックスデータを所定の伝送路で送信する送信部と、
   を備えることを特徴とする画像送信装置。
10. 第１の画素数を有するフレームによって構成された第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を変更して変更画像データを生成し、
    前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを生成し、
    前記変更画像データを圧縮符号化して符号化変更画像データを生成し、
    前記符号化変更画像データ及び前記シンタックスデータを所定の伝送路で送信する
    ことを特徴とする画像送信方法。
11. 第１の画素数を有するフレームによって構成された第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を変更した符号化変更画像データを受信するデータ受信部と、
    前記符号化変更画像データを復号して変更画像データを生成する復号部と、
    前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成する画像復元部と、
    を備えることを特徴とする画像受信装置。
12. 第１の画素数を有するフレームによって構成された第１の画像データにおける第１の画像領域の画素を第１の間引き率で間引いて、前記第１の画素数より少ない第２の画素数を有するフレーム内の第１の領域に配置し、前記第１の画像データにおける第２の画像領域の画素を前記第１の間引き率より大きい第２の間引き率で間引いて、前記第２の画素数を有するフレーム内の前記第１の領域よりも小さい第２の領域に配置するように画像を変更した符号化変更画像データを受信し、
    前記符号化変更画像データを復号して変更画像データを生成し、
    前記変更画像データにおける前記第１及び第２の領域の画像を、前記第２の画素数と同一または異なる第３の画素数を有するフレーム内にどのように配置し、どのように画像を復元するかを設定するためのシンタックスデータを参照して、前記第３の画素数を有するフレーム内に前記第１及び第２の領域の画像を配置した復元画像データを生成する
    ことを特徴とする画像受信方法。

Images