JP2017022529A - 通信システム、通信装置、通信方法、及び、プログラム - Google Patents

Abstract

【課題】表示画面に表示させるべき画像に対応する画像データが通信され、且つ不要な領域の画像データが通信されないシステム、装置、方法及びプログラムを提供する。
【解決手段】受信装置１０２の取得セグメント決定部３０５は、画像内の領域を特定領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）として特定する。そして、受信装置１０２の取得モード決定部３０８は、特定領域の画像データを通信する第１モード（非遷移モード）と、特定領域の画像データに加えて非特定領域（周辺領域）の画像データを通信する第２モード（遷移モード）とを含む複数のモードから、モードを決定する。そして、受信装置１０２の通信部３０６は、決定されたモードに基づいて送信装置から画像データを受信する。
【選択図】図３

Description

本発明は、画像データの通信を行うための通信技術に関する。

撮像装置による撮像映像の全体領域のうち一部の領域のみを送信する方法が知られている。特許文献１には、サーバ１が、クライアント２から取得した視点移動情報に基づいて、全体領域Ａｗから視聴領域Ａｖを特定し、当該視聴領域Ａｖに対応する視聴領域映像をクライアント２に対して送信することが記載されている。このようにすることで、クライアント２は、視聴領域Ａｖを表示画面に表示させることができる。

特許第５５４４４２６号

しかしながら、表示画面に表示させるべき画像に対応する画像データが通信されない恐れがあった。

例えば、ユーザは、全体領域のうちの特定領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の画像のみならず、特定領域の周辺領域の画像も表示させたいと考える場合がある。この場合に特定領域の画像しか他の通信装置から送信されないと、周辺領域の画像を表示させることができない。

また、例えば、動画の全体領域のうちの特定領域が表示画面上で表示されているときに、表示画面上で表示させる特定領域をユーザが変更する操作を行なう場合がある。この場合において、変更前の特定領域のみの画像しか取得されていないと、表示させるべき画像と他の通信装置から取得された画像とが一致しないことになる。ユーザが特定領域の変更のための操作を行った後に、変更後の特定領域の動画を取得する処理を行うと、変更後の特定領域の動画の表示開始までに時間がかかってしまう恐れがあった。

一方で、常に全体領域に対応する画像データを送信する方法や、常に周辺領域に対応する画像データを送信する方法を採用すると、通信データ量に応じた負荷が増大することになる。通信データ量に応じた負荷とは、例えば、送信装置による画像データの送信に係る負荷、受信装置による画像データの受信や復号化処理に係る負荷、通信ネットワークに係る負荷等である。

本発明は上記の問題点に鑑みてなされたものであり、その目的は、表示画面に表示させるべき画像に対応する画像データが通信され、且つ不要な領域の画像データが通信されないようにすることである。

上記の課題を解決するために本発明の通信装置は、例えば以下の構成を有する。すなわち、画像内の領域を特定する特定手段と、前記特定手段により特定された特定領域の画像データを通信する第１モードと、前記特定領域の画像データに加えて前記特定手段により特定されていない非特定領域の画像データを通信する第２モードとを含む複数のモードから、モードを決定する決定手段と、前記決定手段により決定されたモードに基づいて他の通信装置との間で画像データを通信する通信手段とを備える。

本発明によれば、表示画面に表示させるべき画像に対応する画像データが通信され、且つ不要な領域の画像データが通信されないようにすることができる。

実施形態のシステム構成を説明するための図である。 実施形態における送信装置１０１の機能構成例を示すブロック図である。 実施形態における受信装置１０２の機能構成例を示すブロック図である。 実施形態における送信装置１０１及び受信装置１０２の動作を説明するためのフローチャートである。 実施形態における取得セグメントの例を示す図である。 実施形態における送信装置１０１の機能構成例を示すブロック図である。 送信装置１０１及び受信装置１０２のハードウェア構成例を示すブロック図である。

以下に、添付の図面を参照して、実施形態について詳細に説明する。尚、以下の実施形態において示す構成は一例にすぎず、本発明は下記の構成に限定されるものではない。

図１に本実施形態における通信システムの全体例を示す。図１に示すように、送信装置１０１は、ネットワーク１０３を介して、受信装置１０２と接続される。なお、送信装置１０１及び受信装置１０２はそれぞれ複数存在しても良い。

送信装置１０１の具体例としては、カメラ装置、ビデオカメラ装置、スマートフォン装置、ＰＣ装置、携帯電話などが挙げられるが、後述の機能構成を満たすものであれば、これに限定されない。

また受信装置１０２の具体例は、スマートフォン装置、ＰＣ装置、テレビ、携帯電話、などが挙げられるが、後述の機能を備えるものであればこれに限定されない。

ネットワーク１０３は、本実施形態におけるホームネットワークとしての有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、または無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）である。なお、本実施形態ではホームネットワークとして有線ＬＡＮ、または無線ＬＡＮを利用する例を想定して説明する。しかしこれに限らず、ネットワーク１０３がＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又はＢｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）などであってもよい。なお、本実施形態では、送信装置１０１から受信装置１０２に対して動画データが送信される場合の例を中心に説明する。ただし、動画データの代わりに静止画データが送信されるようにしても良い。本実施形態では特に断りがない限り、画像データが、動画データと静止画データの概念を含むものとして説明する。

図７は、本実施形態に係る送信装置１０１のハードウェア構成例を示す図である。送信装置１０１は、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、外部メモリ７０４と、通信Ｉ／Ｆ７０５と、撮像部７０６と、システムバス７０７とを備える。

ＣＰＵ７０１は、送信装置１０１における動作を統括的に制御するものであり、システムバス７０７を介して、各構成部（７０２〜７０６）を制御する。

ＲＯＭ７０２は、ＣＰＵ７０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ７０４や着脱可能な記憶媒体に記憶されていてもよい。

ＲＡＭ７０３は、ＣＰＵ７０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ７０１は、処理の実行に際してＲＯＭ７０２から必要なプログラム等をＲＡＭ７０３にロードし、当該プログラム等を実行することで後述する送信装置１０１の各種機能動作を実現する。

外部メモリ７０４は、例えば、ＣＰＵ７０１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ７０４には、例えば、ＣＰＵ７０１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。

通信Ｉ／Ｆ７０５は、外部装置（本実施形態においては受信装置１０２）と通信するためのインターフェースである。通信Ｉ／Ｆ７０５は、例えばＬＡＮインターフェースである。

撮像部７０６は、ＣＭＯＳセンサやＣＣＤセンサなどの固体撮像素子を有し、ＣＰＵ７０１からの制御に基づいて静止画、及び、動画の撮像を行うことが可能である。

システムバス７０７は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、外部メモリ７０４及び通信Ｉ／Ｆ７０５、及び、撮像部７０６を通信可能に接続する。

なお、本実施形態では、受信装置１０２のハードウェア構成も送信装置１０１と同様であるものとして説明する。ただし、送信装置１０１と受信装置１０２のハードウェア構成の一部が異なっていても良く、その構成は図７で示した構成に限定されるものではない。

図２に本実施形態における送信装置１０１の機能構成例を示す。図２に示すように、本実施形態の送信装置１０１は、撮像部２０１、符号化部２０２、セグメント生成部２０３、プレイリスト生成部２０４、及び通信部２０５を備える。なお、本実施形態では送信装置１０１が撮像部２０１や符号化部２０２を備える場合の例を中心に説明するが、撮像部２０１や符号化部２０２を必ずしも備えていなくても良い。また、送信装置１０１は、撮像部２０１による画像データの取得に加えて、又は撮像部２０１による画像データの取得に代えて、外部の装置から符号化済み画像データを取得することができる。

送信装置１０１の符号化部２０２は、撮像部２０１の撮像により得られた撮像データを符号化する。本実施形態の符号化部２０２は、１画像フレーム分の領域（全体領域）を複数の分割領域（タイル）ごとに符号化する。なお、送信装置１０１が分割領域ごとに分割された画像データを外部の装置から取得できる場合は、撮像部２０１と符号化部２０２を備えなくても良い。符号化方式としてはＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）のような分割領域ごとの符号化が可能な標準技術を用いることができる。また、詳しくは後述するが、本実施形態の符号化部２０２は、スケーラブル符号化方式に基づく符号化を実行できる。

セグメント生成部２０３は、符号化部２０２で符号化された画像データからセグメントを生成する。本実施形態のセグメント生成部２０３は、画像データを２秒分ごとに時間分割することでセグメントを生成する。また、本実施形態において、セグメントとは送信装置１０１から受信装置１０２への画像データの送信単位となる。すなわち、受信装置１０２は、送信装置１０１に対してセグメント単位で画像データの要求を行い、送信装置１０１は、受信装置１０２からの要求に応じてセグメント単位で画像データを送信する。本実施形態では、セグメントのファイルフォーマットとしてＩＳＯＢＭＦＦ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ）を用いる場合を説明する。ただしこの例に限らない。例えば、他のファイルフォーマットとしてＭＰＥＧ−２ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などを用いても良い。

プレイリスト生成部２０４は、セグメント生成部２０３が生成したセグメントを受信装置１０２が要求するために用いるＵＲＬを記載したプレイリストを生成する。本実施形態では、プレイリストのフォーマットとしてＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）で規定されているＭＰＤを用いる場合の例を中心に説明する。なお、ＭＰＤは、Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎの略である。しかしこれに限らず、ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇなどに基づくプレイリストを用いても良い。ＭＰＤ（プレイリスト）には、各分割領域が、全体領域のどの位置に対応するかを示す領域情報と、当該分割領域に対応する画像データの取得用ＵＲＬが記載される。

通信部２０５は、プレイリスト生成部２０４により生成されたＭＰＤ（プレイリスト）を受信装置１０２に対して提供する。通信部２０５は、受信装置１０２からのＭＰＤの要求に応じてＭＰＤを提供しても良いし、一定時間ごとに受信装置１０２に対して最新のＭＰＤを提供するようにしても良く、ＭＰＤの送信タイミングは特に限定されない。また、通信部２０５は、ＭＰＤを取得した受信装置１０２からのセグメントの要求に応じて、セグメントを送信する。本実施形態のセグメントの要求には、取得用ＵＲＬが含まれている。そして、送信装置１０１の通信部２０５は、取得用ＵＲＬに対応するセグメントデータ（画像データ）を受信装置１０２に対して送信する。

次に受信装置１０２の機能構成について説明する。図３は、本実施形態における受信装置１０２の機能構成を説明するためのブロック図である。図３に示すように受信装置１０２は、表示制御部３０１、復号化部３０２、セグメント解析部３０３、プレイリスト解析部３０４、取得セグメント決定部３０５、通信部３０６、ユーザインタフェース部３０７、及び取得モード決定部３０８を備える。

受信装置１０２の通信部３０６は、送信装置１０１に対してネットワーク１０３を介してＭＰＤ（プレイリスト）を要求し、当該要求の応答として送信されたＭＰＤを受信する。通信部３０６により受信されたＭＰＤはプレイリスト解析部３０４に渡され解析される。プレイリスト解析部３０４は、ＭＰＤに記載された各セグメントの取得用ＵＲＬと当該セグメントに対応する時間情報と、空間情報とを対応付けた情報を、ＭＰＤの解析結果として取得セグメント決定部３０５に渡す。

取得セグメント決定部３０５は、取得セグメントとその取得タイミングを決定する。具体的には、取得セグメント決定部３０５は、ユーザインタフェース部３０７を介して入力された特定領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）の位置に関する情報を取得して、全体領域に対する特定領域の位置を特定する。また、取得セグメント決定部３０５は、ユーザインタフェース部３０７を介して入力された情報に基づいて取得モード決定部３０８により決定された取得モードの識別情報を取得する。本実施形態において、取得モードには、全体領域のうち特定領域（ＲＯＩ）の画像データを通信する第１モードと、特定領域に加えて非特定領域の画像データを通信する第２モードが少なくとも含まれる。なお、第２モードにおいて通信される非特定領域の画像データは、特定領域の周辺領域の画像データである。ただし、モードの数は上記の２つに限らない。例えば、特定領域の画像データのみが通信される第１モード、特定領域に加えて特定領域に隣接する分割領域の画像データが通信される第２モード、及び、第２モードよりもさらに広い周辺領域の画像データまでが通信される第３モードとしても良い。

なお、上記の説明では、特定領域（ＲＯＩ）と取得モードとがいずれもユーザインタフェース部３０７からの入力に基づいて決定される場合の例を説明した。しかしながら上記の例に限らない。すなわち、取得セグメント決定部３０５は、ユーザ操作のほか、ネットワーク１０３における通信状況、及び、送信装置１０１の負荷状況のうち、少なくとも何れかに基づいて取得モードを決定できる。なお、ネットワーク１０３は、送信装置１０１（通信装置）と受信装置１０２（他の通信装置）とを接続するネットワークである。

そして取得セグメント決定部３０５は、上記のように決定された取得モードの情報と、特定領域の情報と、プレイリスト解析部３０４から取得したＭＰＤの解析結果とを用いて、送信装置１０１に対して要求すべき画像データに対応する取得用ＵＲＬを特定する。

また、取得セグメント決定部３０５は、復号化部３０２に蓄積されている画像データの残り再生時間を考慮し取得タイミングを決定する。すなわち、取得セグメント決定部３０５は、送信装置１０１から受信済みの画像データのうち、表示制御部３０１において未再生の画像データに対応する再生時間に基づいて、送信装置１０１に対して画像データの要求を送信するタイミングを決定する。

また、本実施形態ではユーザインタフェース部３０７としてタッチパネルを利用する場合の例を中心に説明するがマウス、キーボード、音声入力などでも良く、これに限定されない。タッチパネルを用いた取得モードの決定方法としては、取得モードの切替用のボタンをタッチパネル上に表示させて、ユーザに操作させる方法がある。また、他の方法として、タッチパネルに対するタッチやスワイプ操作が検出されてから所定期間内は、特定領域に加えて周辺領域が通信される取得モードとするといった方法を採用しても良い。
なお、本実施形態における受信装置１０２のユーザインタフェース部３０７は、表示制御部３０１が特定領域に対応する画像データに基づく画像を表示画面に表示させているときに、特定領域を変更するためのユーザ操作を受け付けることができる。そして、表示制御部３０１は、当該ユーザ操作を受け付けたときに第２モードであれば、当該ユーザ操作に応じて特定領域を変更する処理を実行する。一方、表示制御部３０１は、当該ユーザ操作を受け付けたときに第1モードであれば、当該ユーザ操作に応じた特定領域を変更する処理を実行しない。

通信部３０６は、取得セグメント決定部３０５が決定した取得すべきセグメントをネットワーク１０３を介して送信装置１０１に要求し、当該要求の応答として送信装置１０１によって送信されたセグメントを受信する。すなわち、通信部３０６は、取得モード決定部３０８により決定された取得モードに応じたセグメント（画像データ）を送信装置１０１から受信する。セグメント解析部３０３は、送信装置１０１から受信したセグメントを解析して画像データを抽出する。抽出された画像データは復号化部３０２で復号化される。そして復号化済み画像データに応じた画像が、表示制御部３０１によって表示画面に表示される。

次に本実施形態に係る受信装置１０２の動作について説明する。図４は、受信装置１０２の動作を説明するためのフローチャートである。本実施形態の受信装置１０２は、図７のＣＰＵ７０１が必要なプログラムを実行することにより、図４で説明する処理を実行する。また、図４の処理は、画像のストリーミングサービスを開始する指示がユーザインタフェース部３０７を介して入力されたタイミングで開始される。ただし、図４の処理の開始タイミングは上記タイミングに限らない。

Ｓ４０１において、取得セグメント決定部３０５は、特定領域（ＲＯＩ）を特定する。特定領域（ＲＯＩ）は、撮像部２０１の撮像により得られる１フレーム画像分の領域（全体領域）内の部分領域である。すなわち取得セグメント決定部３０５は、Ｓ４０１において、画像内の領域を特定する。

Ｓ４０２において、取得セグメント決定部３０５は、取得モード決定部３０８において決定された取得モードが非遷移モード（第１モード）であるか、遷移モード（第２モード）であるかを判定する。なお、第１モードは、特定領域の画像データを通信するモードであり、第２モードは、特定領域に加えて非特定領域（周辺領域）の画像データを通信するモードである。また、本実施形態では、第１モードと第２モードが存在する場合の例を説明したが、例えば周辺領域が狭い第２モードと、周辺領域が広い第３モードといったように、周辺領域の広さに応じて異なるモードが設定されるようにしても良い。すなわち取得モード決定部３０８は、第１モードと第２モードとを含む複数のモードから、モードを決定する。

そして、取得モードが第１モード（特定領域の画像データを通信するモード）であると判定された場合、Ｓ４０３において、取得セグメント決定部３０５は、特定領域を取得領域として決定する。一方、取得モードが第２モード（特定領域に加えて非特定領域の画像データを通信するモード）であると判定された場合、Ｓ４０４において取得セグメント決定部３０５は、特定領域に加えて非特定領域（周辺領域）を取得領域として決定する。

なお、非特定領域（周辺領域）の大きさは一定サイズであっても良いが、可変となるように周辺領域の領域決定がなされるようにしても良い。すなわち、取得セグメント決定部３０５は、第２モードにおいて通信される非特定領域の範囲を、ユーザ指示、ネットワーク１０３における通信状況、及び、受信装置１０２の負荷状況のうち、少なくとも何れかに基づいて決定できる。より具体的には、取得セグメント決定部３０５は、ＲＴＴ（Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ）が閾値以上である場合や、パケットエラー率が閾値以上である場合は、そうでない場合よりも、周辺領域が狭くなるように、周辺領域を決定することができる。また別の具体例として、取得セグメント決定部３０５は、受信装置１０２の復号化部３０２の負荷状況が閾値以上である場合は、そうでない場合よりも、周辺領域が狭くなるように、周辺領域を決定できる。上記のように通信対象となる非特定領域（周辺領域）の範囲を可変とすることで、受信装置１０２は、受信及び復号化可能な範囲でできる限り広範囲の画像データを取得できるようになるという効果がある。

また、Ｓ４０５において、取得セグメント決定部３０５は、Ｓ４０３又はＳ４０４において決定されたセグメントの取得タイミングを決定する。本実施形態では、送信装置１０１から受信済みの画像データのうち、表示制御部３０１において未再生（未表示）の画像データに対応する再生時間に基づいて、画像データの要求を送信装置１０１へ送信するタイミングを決定する。例えば、取得セグメント決定部３０５は、受信済み画像データのうち未再生の画像データに対応する再生時間が２秒を下回ったタイミングを、セグメントの取得要求の送信タイミングとする。ただし、上記の例に限らず、ユーザ操作により取得モードが切り替えられたタイミング等を、セグメントの取得タイミングとしても良い。

Ｓ４０６において、取得セグメント決定部３０５は、Ｓ４０５において決定された取得要求の送信タイミングであるか否かを判定する。取得要求の送信タイミングでないと判定された場合は取得要求の送信タイミングであると判定されるまで、Ｓ４０６の判定を繰り返す。ただし、所定回数以上、Ｓ４０６でＮｏの判定となった場合は、図４の処理を終了させるようにしても良い。

Ｓ４０６において取得要求の送信タイミングであると判定された場合、Ｓ４０７において、通信部３０６は、新規のセグメントの取得要求を送信装置１０１に対して送信する。本実施形態では、新規セグメントの取得要求はＨＴＴＰに基づく送信装置１０１に対するアクセスにより実現される。なお、図４の処理と並行して画像データの受信、解析、復号化、及び表示処理が行われる。すなわち、通信部３０６は、新規セグメントの取得要求に応じて送信装置１０１から送信されたセグメントを受信し、セグメント解析部３０３は、セグメントの解析によって画像データを抽出し、複号化部３０２は画像データを復号化する。そして、表示制御部３０１は、復号化部３０２により複号化された画像データに基づく画像を表示部に表示させるための制御を実行する。

Ｓ４０６の処理が終了するとＳ４０７に進み、取得セグメント決定部３０５は、図４の処理を継続するか終了するかを判定する。継続すると判定された場合は、Ｓ４０１に戻って処理を継続し、終了すると判定された場合は、図４の処理を終了する。

上記のように、本実施形態の受信装置１０２は、遷移モードに応じて、特定領域の画像データを受信するか、特定領域に加えて周辺領域の画像データを受信するかを切り替える。これにより、ネットワーク１０３や受信装置１０２の負荷状況や、ユーザによる視聴状況等に応じた画像データの通信ができるようになる。特に特定領域に加えて周辺領域の画像データを送信するようにすれば、例えば特定領域の画像を表示する受信装置１０２のユーザが、スワイプ操作等によって表示させる領域を変更した場合においても、変更後の領域の画像を早く表示できるようになる。

図５は、本実施形態における全体領域、特定領域（ＲＯＩ）、及び周辺領域（非特定領域）の関係を説明するための図である。本実施形態では全体領域５１２が１６分割された映像領域から５０５で示すような一部の特定領域を取得する場合について説明する。なお映像領域の分割数は１６に限定されない。

５０１〜５０４は、時系列順に並んだ画像を示している。５０１〜５０４は、それぞれある時刻における全体領域に対応する。また、５０１において特定領域は５０５の太実線で囲まれた領域（タイル番号１、２、５、６）である。５０１に対応する時刻ｉにおいて、取得モードが非遷移モード（第１モード）であるとすると、取得セグメント決定部３０５が決定する取得セグメントはタイル番号１、２、５、及び６に対応するセグメントとなる。

また、５０２に対応する時刻ｊまでの間において、取得モードが遷移モード（第２モード）に切り替わったとする。この場合、取得セグメント決定部３０５が決定する取得セグメントは５０６の太実線で囲まれる特定領域（タイル番号１、２、５、及び６）及び周辺領域（タイル番号３、７、９、１０、１１）となる。図５は、周辺領域が特定領域に隣接するタイルである場合の例を示しているが、上述の通り、周辺領域のサイズは適宜設定及び変更しても良い。例えばネットワーク１０３の帯域に余裕がある場合は隣接するタイルのさらに外側のタイルを周辺領域に含めても良い。受信装置１０２は、遷移モード時に特定領域と周辺領域のセグメントを取得し、復号化部３０２において取得済みセグメントを復号化し、表示制御部３０１において特定領域のみ表示することができる。その後、ユーザによる特定領域の遷移（変更）操作が行われた場合、変更後の特定領域の位置が点線枠で囲まれた周辺領域５０７の範囲であれば、シームレスに表示画像を変更することができる。特定領域の遷移は、ユーザインタフェース部３０７からのスワイプ操作などによるユーザ指示によって実行しても良いし、オブジェクト認識技術等を用いてオブジェクトの動きに追従して自動的に行われるようにしても良い。

また、特定領域の遷移（変更）は、周辺領域の表示準備が整うまで実行させないようにしても良い。すなわち、受信装置１０２の表示制御部３０１は、特定領域に対応する画像を表示させると共に、特定領域を変更するためのユーザ操作が入力されると、当該ユーザ操作に応じた変更後の特定領域に対応する画像を表示できるか否かを判定する。そして、表示制御部３０１は、変更後の特定領域の画像を表示できると判定した場合は、当該ユーザ操作に応じて特定領域を変更し、変更後の特定領域の画像を表示できないと判定した場合は、当該ユーザ操作に応じた特定領域の変更を制限する。表示制御部３０１は、変更後の特定領域の画像を表示できるか否かを、例えば、変更後の特定領域に対応する画像データが復号化部３０２により復号化済みであるか否かに基づいて判定できる。このようにすることで、表示できない領域への遷移を防ぐことができる。

ただし、特定領域の変更を制限しなくても良い。この場合、表示制御部３０１は、ユーザ操作に応じた変更後の特定領域の画像を表示できるか否かに関わらず、特定領域を変更する。変更後の特定領域のうち、画像を表示できない領域（表示不可領域）が存在する場合、当該表示不可領域は黒色等で塗りつぶされた状態で表示されることになるが、表示不可領域の画像データの復号化の完了に応じて、画像が表示されることになる。

５０３の時刻ｋにおいて特定領域は５０９の太実線で囲まれる領域（タイル番号５、６、９、１０）であり、周辺領域は太点線で囲まれる領域（タイル番号１、２、３、７、１１、１３、１４、１５）である。周辺領域が５０７から５１０へと切り替わるタイミングについては、例えば特定領域５０６における下辺がタイル番号９及び１０と１３及び１４の中間位置に達したタイミングとすることができる。これにより特定領域５０６が周辺領域５０７からｙ方向に逸脱する前に周辺領域を５１０のように拡張でき、これによりシームレスな遷移を実現できる。

５０４の時刻ｌにおいて取得モードが遷移モード（第２モード）から非遷移モード（第１モード）に切り替わったと仮定する。この場合、取得セグメント決定部３０５が決定する取得セグメントは、太実線で囲まれる領域５１１（タイル番号５、６、９、１０）のみとなり、周辺領域は取得セグメントに含まれない。このように非遷移モード時は周辺領域を取得しないようにすることでネットワーク１０３の帯域や送信装置１０１及び受信装置１０２のリソースを効率的に使用できるようになる。

なお、本実施形態の送信装置１０１は、スケーラブル符号化方式に基づいて画像データの符号化を行うようにしても良い。スケーラブル符号化方式に従って画像データを符号化すると、解像度、フレームレート、及びＳＮＲ比などの少なくとも１つにおいて品質が異なる複数の階層の画像データが生成される。例えば、符号化部２０２は、撮像部２０１の撮像により得られた画像データをスケーラブル符号化方式に従って符号化することで、ベースレイヤとエンハンスメントレイヤの２つの階層の画像データを生成できる。ただし、２階層に限らず、複数のエンハンスメントレイヤ１とエンハンスメントレイヤ２のように、複数のエンハンスメントレイヤの画像データが生成されるようにすることもできる。

そして、受信装置１０２の復号化部３０２は、送信装置１０１から受信したベースレイヤの画像データのみを復号化することもできるし、送信装置１０１から受信したベースレイヤとエンハンスメントレイヤの画像データを復号化することもできる。ベースレイヤの画像データのみを復号化した場合よりも、ベースレイヤとエンハンスメントレイヤの画像データを復号化した場合のほうが、復号済み画像の解像度、フレームレート、及びＳＮＲのうち少なくとも１つにおいて品質が高くなる。

本実施形態では、ベースレイヤおよびエンハンスメントレイヤのそれぞれが図５の５１２で示すような１６個の分割領域で構成され、その中から特定領域５０５で示すような特定領域の画像データが通信される場合の例を中心に説明する。ただし、上記の例に限らない。

受信装置１０２は、図５の時刻ｊに対応する画像データの取得要求を行う場合、特定領域５０６（タイル１、２、５、及び６）の画像データについては、ベースレイヤとエンハンスメントレイヤの画像データを要求する。一方、受信装置１０２は、周辺領域（タイル３、７、９、１０、及び１１）の画像データについては、ベースレイヤの画像データのみを要求し、エンハンスメントレイヤの画像データを要求しない。

すなわち、送信装置１０１及び受信装置１０２は、遷移モード（第２モード）では、特定領域の画像データの１タイル当たりのビットレートが、非特定領域（周辺領域）の１タイル当たりのビットレートよりも高くなるように符号化された画像データを通信する。上記の構成によれば、表示中ではない周辺領域の画像データの通信量を抑えることでネットワーク１０３や受信装置１０２の負荷を低減しつつ、特定領域の変更（遷移）に応じたシームレスな画像データの表示が実現できる。なお、ネットワーク１０３の状態や受信装置１０２の負荷状況に余裕がある場合は、周辺領域の画像データについてもエンハンスメントレイヤの画像データが受信されるようにしても良い。また、周辺領域のうち、より特定領域に近い部分については、エンハンスメントレイヤの画像データが受信され、より特定領域から遠い部分については、ベースレイヤの画像データのみが受信されるようにしても良い。

また、上記の説明では、スケーラブル符号化方式に基づく符号化によって、特定領域と周辺領域の画像データのビットレートを異ならせることを中心に説明したが、これに限らない。例えば、送信装置１０１の符号化部２０２が、特定領域と周辺領域とで異なる量子化パラメータで符号化を実行することもできる。

上記の実施形態では、受信装置１０２が取得モードの判定、及び要求するセグメントの決定を行う例を中心に説明したが、当該処理を送信装置１０１が行うことも可能である。以下では、送信装置１０１が取得モードの判定を実行すると共に、取得モードの判定結果に応じて送信すべきセグメントを決定する場合の実施形態について説明する。

図６は、送信装置１０１が取得モードの判定と送信セグメントの決定をする場合の送信装置１０１の機能構成例を説明するためのブロック図である。

図６の６０１〜６０５の構成は図２の２０１〜２０５の構成と同様であるため説明を省略する。送信モード決定部６０７は、送信モードを非遷移モード（第１モード）とするか遷移モード（第２モード）とするかを決定する。送信モードの決定方法として、例えば通信部６０５がネットワーク１０３を介して受信装置１０２の取得モードを取得する方法を用いることができる。また、送信モードの別の決定方法として、送信装置１０１がネットワーク１０３の通信状況（帯域）を測定し、帯域に余裕があれば遷移モード、なければ非遷移モードとして決定しても良い。また、送信装置１０１にユーザインタフェースを備え、当該ユーザインタフェースを介して入力された情報に基づいて送信モードが決定されるようにしても良い。

送信セグメント決定部６０６は、送信モードが遷移モード（第２モード）である場合、受信装置１０２から要求された画像データ（特定領域のセグメント）に加え、特定領域の周辺に位置する周辺領域の画像データを送信することを決定する。一方、送信モード決定部６０７が決定した送信モードが非遷移モード（第１モード）である場合、受信装置１０２から要求された画像データ（特定領域のセグメント）のみを送信することを決定する。

通信部６０５は、受信装置１０２からの要求に対して、送信セグメント決定部６０６が送信することを決定したセグメントをＨＴＴＰのプロトコルに従ってネットワーク１０３を介して受信装置１０２へ送信する。すなわち、送信装置１０１の通信部６０５は、送信モード決定部６０７により決定された送信モードに基づいて他の通信装置（受信装置１０２）に対して画像データを送信する。

なお、通信部６０５による周辺領域に対応するセグメントの送信方法として、サーバＰＵＳＨ技術を利用しても良い。サーバＰＵＳＨ技術は、ＨＴＴＰ／２やＷｅｂｓｏｃｋｅｔなどの技術において使用され、送信装置１０１から受信装置１０２に対して、リクエストされたデータ以外のデータを送信する仕組みである。

ただし、周辺領域のセグメントの送信方法は、サーバＰＵＳＨ技術を用いる方法に限らず、例えば、特定領域と周辺領域の画像データの１つのセグメントとしてまとめて送信装置１０１から受信装置１０２へ送信されるようにしても良い。

図６の送信装置１０１による動作を図４のフローチャートを用いて説明する。本実施形態の送信装置１０１は、図７のＣＰＵ７０１が必要なプログラムを実行することにより、図４で説明する処理を実行する。また、図４の処理は、画像のストリーミングサービスを開始する指示が受信装置１０２から入力されたタイミングで開始される。ただし、図４の処理の開始タイミングは上記タイミングに限らない。

Ｓ４０１において、通信部６０５は、受信装置１０２からセグメントの取得要求を受信する。送信セグメント決定部６０６は、セグメントの取得要求に含まれるＵＲＬに基づいて、受信装置１０２が要求しているセグメントに対応する全体画像内における特定領域を特定する。

Ｓ４０２において、送信モード決定部６０７は、送信モードを非遷移モード（第１モード）とするか、遷移モード（第２モード）とするかを決定する。送信モードの決定方法は、上述の通りである。非遷移モードとすることが決定された場合、Ｓ４０３において、送信セグメント決定部６０６は、特定領域に対応するセグメントを送信すべきセグメントとして決定する。一方、遷移モードとすることが決定された場合、Ｓ４０４において、送信セグメント決定部６０６は、特定領域に加えて、周辺領域に対応するセグメントを送信すべきセグメントとして決定する。Ｓ４０５とＳ４０６の処理は、省略可能である。

そしてＳ４０７において、送信装置１０１の通信部６０５は、Ｓ４０３又はＳ４０４において送信すべきセグメントとして決定されたセグメントを受信装置１０２に対して送信する。Ｓ４０８において、送信装置１０１は、図４の処理を継続するか終了するかを判定し、継続すると判定した場合はＳ４０１に戻り、受信装置１０２からの取得要求の待ちうけ状態となる。一方、Ｓ４０８において処理を終了すると判定された場合は、図４の処理を終了する。

以上説明したように、送信装置１０１が送信モードの判定を行うと共に、送信モードの判定結果に基づいて、特定領域の画像データを送信するか、特定領域に加えて周辺領域の画像データを送信するかを決定する。上記のよう構成によっても、ネットワーク１０３や送信装置１０１の負荷状況や、ユーザによる視聴状況等に応じた画像データの通信ができるようになる。特に特定領域に加えて周辺領域の画像データを送信するようにすれば、例えば特定領域の画像を表示する受信装置１０２のユーザが、スワイプ操作等によって表示させる領域を変更した場合においても、変更後の領域の画像を早く表示できるようになる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 撮像部
２０２ 符号化部
２０３ セグメント生成部
２０４ プレイリスト生成部
２０５ 通信部

Claims (16)

1. 画像内の領域を特定する特定手段と、
   前記特定手段により特定された特定領域の画像データを通信する第１モードと、前記特定領域の画像データに加えて前記特定手段により特定されていない非特定領域の画像データを通信する第２モードとを含む複数のモードから、モードを決定する決定手段と、
   前記決定手段により決定されたモードに基づいて他の通信装置との間で画像データを通信する通信手段とを備えることを特徴とする通信装置。
2. 前記通信手段は、前記モードに基づいて前記他の通信装置から画像データを受信することを特徴とする請求項１に記載の通信装置。
3. 前記通信手段は、前記モードに基づいて前記他の通信装置に対して画像データを送信することを特徴とする請求項１に記載の通信装置。
4. 前記決定手段は、ユーザ指示、前記通信装置と前記他の通信装置とを接続するネットワークにおける通信状況、及び、前記通信装置の負荷状況のうち、少なくとも何れかに基づいて前記モードを決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の通信装置。
5. 前記第２モードにおいて通信される前記非特定領域の範囲を、ユーザ指示、前記通信装置と前記他の通信装置とを接続するネットワークにおける通信状況、及び、前記通信装置の負荷状況のうち、少なくとも何れかに基づいて決定する領域決定手段をさらに備えることを特徴とする請求項１乃至４のうち、何れか１項に記載の通信装置。
6. 前記第２モードでは、前記特定領域の画像データのビットレートが前記非特定領域のビットレートよりも高くなるように符号化された画像データが通信されることを特徴とする請求項１乃至５のうち、何れか１項に記載の通信装置。
7. 前記通信手段は、前記特定領域の画像データとして、スケーラブル符号化方式におけるベースレイヤの画像データとエンハンスメントレイヤの画像データを通信し、前記非特定領域の画像データとしてベースレイヤのデータを通信することを特徴とする請求項６に記載の通信装置。
8. 前記特定領域に対応する画像を表示させる表示制御手段であって、
   前記特定領域を変更するためのユーザ操作を受け付けたときに前記第２モードであれば、前記ユーザ操作に応じて前記特定領域を変更する処理を実行し、前記特定領域を変更するためのユーザ操作を受け付けたときに前記第１モードであれば、前記ユーザ操作に応じて前記特定領域を変更する処理を実行しないことを特徴とする請求項２に記載の通信装置。
9. 前記特定領域に対応する画像を表示させる表示制御手段であって、
   前記特定領域を変更するためのユーザ操作に応じた変更後の特定領域に対応する画像を表示できると判定した場合は前記ユーザ操作に応じて特定領域を変更する制御を実行し、
   前記特定領域を変更するためのユーザ操作に応じた変更後の特定領域に対応する画像を表示できないと判定した場合は前記ユーザ操作に応じた特定領域の変更を制限する表示制御手段とを有することを特徴とする請求項２に記載の通信装置。
10. 画像内の領域を特定する特定工程と、
    前記特定工程により特定された特定領域の画像データを通信する第１モードと、前記特定領域の画像データに加えて前記特定工程により特定されていない非特定領域の画像データを通信する第２モードとを含む複数のモードから、モードを決定する決定工程と、
    前記決定工程により決定されたモードに基づいて他の通信装置との間で画像データを通信する通信工程とを備えることを特徴とする通信方法。
11. 前記決定工程は、ユーザ指示、前記通信装置と前記他の通信装置とを接続するネットワークにおける通信状況、及び、前記通信装置の負荷状況のうち、少なくとも何れかに基づいて前記モードを決定することを特徴とする請求項１０に記載の通信方法。
12. 前記第２モードにおいて通信される前記非特定領域の範囲を、ユーザ指示、前記通信装置と前記他の通信装置とを接続するネットワークにおける通信状況、及び、前記通信装置の負荷状況のうち、少なくとも何れかに基づいて決定する領域決定工程をさらに備えることを特徴とする請求項１０又は１１に記載の通信方法。
13. コンピュータを請求項１乃至９のうちいずれか１項に記載の通信装置として動作させるためのプログラム。
14. 通信装置と他の通信装置とが接続された通信システムであって、
    前記通信装置は、
    画像内の領域を特定する特定手段と、
    前記特定手段により特定された特定領域の画像データを通信する第１モードと、前記特定領域の画像データに加えて前記特定手段により特定されていない非特定領域の画像データを通信する第２モードとを含む複数のモードから、モードを決定する決定手段と、
    前記決定手段により決定されたモードに基づいて前記他の通信装置との間で画像データを通信する通信手段とを備えることを特徴とする通信システム。
15. 前記決定手段は、ユーザ指示、前記通信装置と前記他の通信装置とを接続するネットワークにおける通信状況、及び、前記通信装置の負荷状況のうち、少なくとも何れかに基づいて前記モードを決定することを特徴とする請求項１４に記載の通信システム。
16. 前記第２モードにおいて通信される前記非特定領域の範囲を、ユーザ指示、前記通信装置と前記他の通信装置とを接続するネットワークにおける通信状況、及び、前記通信装置の負荷状況のうち、少なくとも何れかに基づいて決定する領域決定手段をさらに備えることを特徴とする請求項１４又は１５に記載の通信システム。

Images