JP2014075749A - 撮像装置、撮像方法、プログラム及び記憶媒体、情報処理装置、情報処理方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】 複数の視点位置から撮影された多視点画像を伝送するために用いる通信方式、及び再送制御の方法を視点位置毎に切り換える方法は提案されていなかった。また、通信状況に基づいて通信方式、及び再送制御の方法を適切に変更することが出来ず、不安定な通信状況では画像品質が低下するという課題があった。
【解決手段】 撮像装置は、被写体に対して複数の視点からの撮影が可能であって、前記被写体を撮影する撮像手段と、前記複数の視点の位置情報に基づいて、前記撮像手段によって前記複数の視点で撮影された画像の伝送に用いる再送制御について第一の方法または第二の方法を設定する設定手段と、前記設定手段によって設定された前記再送制御の方法を用いて前記画像を伝送する伝送手段と、を有する。
【選択図】 図１

Description

本発明は、撮像装置、撮像方法、プログラム及び記憶媒体、情報処理装置、情報処理方法、プログラム及び記録媒体に関し、特に複数の視点位置から撮影した画像を、ネットワークを介して伝送するために用いて好適な技術に関する。

一台の撮像装置に複数の撮像部を備える多眼方式の撮像装置や、一つ以上の撮像部を備える複数の撮像装置で撮影された多視点画像の伝送方法が提案されている（特許文献１）。
また、複数の視点位置から撮影された多視点画像を効率的に符号化する方式として、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が規格化されている。ＭＶＣは、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の拡張規格である。

特開２００９−００４９４２号公報

上記の従来技術では、複数の視点位置から撮影された多視点画像を伝送するために用いる、通信方式、及び再送制御の方法は、全視点位置で共通の通信方式、及び再送制御の方法が設定されていた。例えば、多視点画像を伝送するために用いられる通信方式がコネクション型の通信プロトコルのような信頼性の高い通信方式である場合、各視点位置で撮影された画像の伝送において再送制御を行う。このようなコネクション型の通信プロトコルを用いて再送 制御を行う場合、送信装置と受信装置との間でＡＣＫ（ＡＣＫｎｏｗｌｅｄｇｅｍｅｎｔ）が伝送される。このため、全視点位置で撮影された画像の伝送に対して再送制御をすると、多視点画像全体の伝送における通信負荷が大きくなってしまうという課題があった。

また、多視点画像を伝送するために用いられる通信方式がコネクションレス型の通信プロトコルのような伝送速度の高い通信方式である場合、各視点位置の画像の伝送において再送制御を行わない。このため、送信装置と受信装置との間の通信環境によっては、例えばエラーが発生する頻度が高く、エラー訂正能力を超える場合に、受信装置で受信される多視点画像の品質が低下するという課題があった。

本発明は上述した課題を解決するためになされたものである。本発明は、撮影装置が複数の視点位置から撮影した画像を受信装置に伝送する場合に、視点位置毎に通信方式、及び再送制御の方法を切り換えることを可能とする、データ通信装置及びデータ通信方法を提供することを目的とする。

上記の課題を解決するために、本発明のデータ通信装置は下記の構成を備える。

すなわち、被写体に対して複数の視点からの撮影が可能な撮像装置であって、前記被写体を撮影する撮像手段と、前記複数の視点の位置情報に基づいて、前記撮像手段によって前記複数の視点で撮影された画像の伝送に用いる再送制御について第一の方法または第二の方法を設定する設定手段と、前記設定手段によって設定された前記再送制御の方法を用いて前記画像を伝送する伝送手段と、を有する。

本発明は、複数の視点位置から得られた画像を伝送する際に、視点位置毎に再送制御の方法を切り換える。本発明により、視点位置毎に再送制御をするかしないかを制御するため、不必要な再送制御を行わないことで通信負荷を減少させ、更に品質の低下を防止することができる。さらに、通信状況に基づいて視点位置毎に再送制御をするかしないかを制御することで、不安定な通信状況である場合、再送制御を行って、画像を伝送することができるため、画像品質の低下を抑えることができる。

実施形態１及び実施形態２の撮像装置の内部にある、複数の撮像部の配置の一例を示した図 実施形態１及び実施形態２の撮像装置の構成を示すブロック図 実施形態１及び実施形態２の撮像装置と受信装置との接続形態を示す図 実施形態１の通信制御部の構成を示すブロック図 実施形態１の通信制御部において画像を送信する処理手順を示すフローチャート 実施形態１の撮像部構成情報取得部で取得する撮像部構成情報の一例を示した図 実施形態１のＳＤＰデータの一例を示す図 実施形態２の通信制御部の構成を示すブロック図 実施形態２の通信制御部において画像を送信する処理手順を示すフローチャート 実施形態２の通信プロトコルを決定する処理手順の一例を示すフローチャート 実施形態２のＳＤＰデータの一例を示す図

以下、添付の図面を参照して、本実施形態について詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下、本発明の実施形態１を、図２を用いて説明する。図２は、本実施形態に係る、複数の撮像部を備えた多眼方式による撮像装置の構成を示したブロック図である。

本実施形態における撮像装置１００は図２に示すように、９個の各撮像部１０１〜１０９を備えており、複数の視点位置で撮影された画像を取得することができる。図１に、撮像装置１００の内部にある、各撮像部１０１〜１０９の配置の一例を示す。本実施形態において９個の各撮像部１０１〜１０９は、図１に示すように正方格子状に均等に配置されている。

ユーザが撮影ボタンを押下する等して撮影を指示すると、各撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数の画像が同時に取得される。

このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮影した画像群を得ることができる。

尚、図１では一例として撮像部の数を９個としたが、撮像部の数は９個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本発明は適用可能である。また、上述では９個の撮像部が正方格子状に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線上に配置してもよいし、まったくランダムに配置してもよい。

続いて、図２についてさらに説明する。

２０１は中央処理装置（以下、ＣＰＵ）であり、以下に記す各部を統括的に制御する。

２０２はＲＡＭであり、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

２０３はＲＯＭであり、ＣＰＵ２０１で実行される制御プログラム等を格納している。

２０４は各種データの転送経路となるバスである。例えば、各撮像部１０１〜１０９によって取得された画像はこのバス２０４を介して所定の処理部に送られる。

２０５はユーザの指示を受け取る操作部であり、撮影ボタンや撮像装置の主電源ボタンを含む、ボタンやモードダイヤル等が含まれる。

２０６は各撮像部１０１〜１０９で撮影された画像や文字の表示を行う表示部であり、例えば、液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していてもよく、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。

２０７は表示制御部であり、表示部２０６に表示される、画像や文字の表示を制御する。

２０８は撮像部制御部であり、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節する等の、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。

２０９はデジタル信号処理部であり、バス２０４を介して各撮像部１０１〜１０９から受信した画像に対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理等の各種処理を行う。

２１０はエンコーダ部であり、画像をＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）で圧縮符号化（以下、符号化）する処理を行う。ＭＶＣは各視点位置間の類似性を利用する方式であり、複数の視点位置から撮影された画像を効率的に符号化することが可能である。

尚、本実施形態では説明を簡単にするため、複数の各撮像部１０１〜１０９のうち、中央に配置される撮像部１０５で撮影された画像をベースビュー（基準視点）の画像とする。そして、ベースビュー以外であり、撮像部１０５の周辺に配置される各撮像部１０１〜１０４、及び、１０６〜１０９で撮影された画像を非ベースビュー（基準視点以外の視点）の画像とする。各撮像部１０１〜１０４、及び１０６〜１０９（第二の視点）で撮影された画像は、ベースビューである撮像部１０５（第一の視点）で撮影された画像を参照画像として、視点間予測符号化を行う。中央に配置した撮像部１０５をベースビューとすることで、各撮像部１０１〜１０４、及び１０６〜１０９で撮影された画像と、撮像部１０５で撮影された画像との間における視点間予測符号化の差分を小さくすることができる。

また、所定の範囲内にある視点で撮影された画像をベースビューとし、当該所定の範囲内にない視点で撮影された画像を非ベースビューとしてもよい。尚、ベースビューである撮像部の数や配置、及び非ベースビューが参照するベースビューの配置は任意である。すなわち、ベースビュー及び非ベースビューの構成は、上記以外の構成も考えられるが、本発明の主眼ではないので説明を省略する。

２１１は外部メモリ制御部であり、パーソナルコンピュータ（以下、ＰＣ）やその他のメディア（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ等）に繋ぐためのインターフェースである。

２１２は画像処理部であり、各撮像部１０１〜１０９で取得された画像群或いは、デジタル信号処理部２０９から出力される画像群を利用して画像処理を行う。尚、画像処理部２１２は、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成等の画像処理を施す。ここで、ＨＤＲ合成とは、露光（または露出）を変えて取得した複数の画像を任意の比率で合成してトーンマッピングをかけ、ダイナミックレンジを縮小して白飛びや黒つぶれの少ないＨＤＲ画像を作成する画像処理のことである。本実施形態において、各撮像部１０１〜１０９で取得された画像群或いは、デジタル信号処理部２０９から出力される画像群に対してＨＤＲ合成を施すが、本発明は再構成画像の処理方法に限定されるものではない。

２１３は通信部であり、エンコーダ部２１０で符号化された画像を、ネットワーク等を介して撮像装置１００の外部へ送信する。通信部２１３で用いられる通信方式は、少なくとも異なる特性を持つ第一の通信方式と第二の通信方式とがある。第一の通信方式は、コネクション型の通信プロトコルのような信頼性の高い通信方式であり、例えばＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）等の通信プロトコルを利用する。一方、第二の通信方式は、コネクションレス型の通信プロトコルのような伝送速度の高い通信方式であり、例えばＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）等の通信プロトコルを利用する。

尚、ＴＣＰに代表されるコネクション型の通信プロトコルによる通信では、送信側は送信対象である画像等のデータが正しく受信側に届いたか否かを確認する。そして、もし届いていなければ、送信側は再度、データを送信する。すなわち、ＴＣＰに代表されるコネクション型の通信プロトコルによる通信では、再送制御を行う。一方、ＵＤＰに代表されるコネクションレス方の通信プロトコルによる通信では、コネクション型の通信プロトコルを用いた場合と異なり、送信側は送信対象である画像が正しく受信側に届いたか否かの確認は行わない。すなわち、ＵＤＰに代表されるコネクションレス方の通信プロトコルによる通信では、再送制御を行わない。このため、ＴＣＰはＵＤＰと比較して、送信側と受信側とが親密に通信を行うことにより、伝送速度は遅いが信頼性が高い通信を実現できる。また、ＵＤＰはＴＣＰと比較して、送信側と受信側との通信を必要以上に行わないことにより、信頼性は低いが伝送速度の速い通信が実現できる。

２１４は通信制御部であり、通信部２１３の制御を行う。

尚、撮像装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。

次に、本実施形態のシステム全体の処理について、図３を用いて説明する。

図３は、撮像装置１００と受信装置３０２との接続形態の一例を示す図である。本実施形態において、撮像装置１００と受信装置３０２とは、ネットワーク３０１を介して相互に接続されている。

撮像装置１００は、受信装置３０２からネットワーク３０１を介して送信される、画像の配信リクエスト、及び配信停止リクエストに基づいて、画像の送信を開始・停止する。

一方、受信装置３０２は、撮像装置１００からネットワーク３０１を介して送信される画像を受信し、再生する。

尚、本実施形態において、撮像装置１００と受信装置３０２とはネットワーク３０１を介して相互に接続されているが、本発明はこれに限定されない。すなわち、撮像装置１００と受信装置３０２とが、ケーブル等を用いて有線で接続されていてもよい。続いて、本実施形態の撮像装置１００による画像の送信制御の詳細について、図４及び図５を用いて説明する。

図４は、本実施形態１に係る、通信制御部２１４の内部構成を示すブロック図である。

４０１はパケット生成部であり、エンコーダ部２１０から出力される画像をパケット化する。

４０２は撮像部構成情報取得部（位置取得手段）であり、撮像部制御部２０８からバス２０４を介して、各撮像部１０１〜１０９の構成情報（位置情報）を取得する。撮像部構成情報取得部４０２が取得する情報の内容については後述する。

４０３はプロトコル制御部であり、パケット生成部４０１で生成されたパケットの送信や、受信装置３０２から送信される画像の配信リクエストに対する応答（レスポンス）の送信等の制御を行う。

４０４はセッション情報生成部であり、撮像部構成情報取得部４０２において取得した各撮像部１０１〜１０９の構成情報に基づいてセッション情報を生成する。

図５は、本実施形態の通信制御部２１４における画像の送信処理手順の一例を示すフローチャートである。尚、本実施形態では、再生制御プロトコルとしてＲＴＳＰ（Ｒｅａｌ Ｔｉｍｅ Ｓｔｒｅａｍｉｎｇ Ｐｒｏｔｏｃｏｌ）を使用する。

まず、プロトコル制御部４０３は、受信装置３０２から、ネットワーク３０１と撮像装置１００内部の通信部２１３とを介して画像の配信リクエスト（ＲＴＳＰ ＤＥＳＣＲＩＢＥ）を受信する（ステップＳ５０１）。ＲＴＳＰ ＤＥＳＣＲＩＢＥは、リクエストＵＲＬにより識別されるメディアに関する記述を取り扱うメソッドであり、ＲＴＳＰの初期段階で撮像装置１００と受信装置３０２との間で送受信される。このように、撮像装置１００と受信装置３０２との間でＲＴＳＰ ＤＥＳＣＲＩＢＥを送受信することで、各装置が夫々対応している画像、及び音声の符号化方式等の情報をやりとりし、実際に伝送したい画像をどの方式で送受信するのかを決定する。

続いて、撮像部構成情報取得部４０２は、撮像部制御部２０８に記録されている各撮像部１０１〜１０９の構成情報を取得する（ステップＳ５０２）。図６に、撮像部構成情報取得部４０２で取得する撮像部構成情報の一例を撮像部構成テーブルとして示す。撮像部構成テーブルは、図２の撮像部制御部２０８に記録されている。図６に示すように、撮像部構成テーブルの項目は、撮像部の識別子（撮像部ＩＤ）とビュー方式（ベースビューまたは非ベースビューのいずれか）、及び通信プロトコルとで構成されている。尚、図６に示す撮像部ＩＤの値は、各撮像部１０１〜１０９の符号と対応するものとする。

また、本実施形態では、ベースビューとなる撮像部１０５で撮影した画像を信頼性の高い通信プロトコルであるＴＣＰを用いて伝送する。これは以下の理由による。すなわち、非ベースビューで撮影された画像を、ＭＶＣを用いて符号化する場合、ベースビューで撮影された画像を参照画像として視点間予測符号化を行う。よって、受信装置３０２が受信した、ベースビューで撮影された画像が劣化していた場合、非ベースビューで撮影された画像の符号化において、画像品質の低下を招く可能性がある。このため、ベースビューで撮影された画像を伝送速度よりも信頼性を重視した通信プロトコルであるＴＣＰを用いて伝送することで、受信装置３０２で受信された後の符号化処理において画像品質の低下を抑えることができる。

一方、非ベースビューとなる各撮像部１０１〜１０４、１０６〜１０９で撮影された画像を伝送速度の高い通信プロトコルであるＵＤＰを用いて伝送する。これは以下の理由による。すなわち、非ベースビューで撮影された画像は、多少の劣化が生じても符号化において、画像品質に影響を与えにくい。このため、非ベースビューで撮影された画像を信頼性よりも伝送速度を重視した通信プロトコルであるＵＤＰを用いて伝送することで、撮像装置１００画像を送信する際の通信負荷を減少させることができる。

また、本実施形態では、符号化された画像を転送するためのプロトコルとしてＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を用いる。尚、このＲＴＰは、トランスポート層の通信プロトコルであるＴＣＰ及びＵＤＰの上位プロトコルとして用いられる。従って、本実施形態では、ＴＣＰ及びＵＤＰをベースにしてＲＴＰを使用して各撮像部１０１〜１０９で撮影された画像の伝送を行うため、使用される通信プロトコルは、図６に示すように、撮像部構成テーブルに記録されている。図６に示す撮像部構成テーブルには、撮像部１０５の通信プロトコルはＲＴＰ／ＴＣＰ、それ以外の各撮像部１０１〜１０４、１０６〜１０９の通信プロトコルはＲＴＰ／ＵＤＰと記録されている。

セッション情報生成部４０４は、ステップＳ５０２で撮像部構成情報取得部４０２が取得した各撮像部１０１〜１０９の撮像部構成テーブルに基づいて、セッション情報（ＳＤＰデータ）を生成する（ステップＳ５０３）。ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ）は、セッションの告知やセッションへの招待、マルチメディアセッションを開始するために必要な情報を記述するためのプロトコルであり、ＩＥＴＦ ＲＦＣ４５６６で規定されている。

図７は、ステップＳ５０３において生成するＳＤＰデータの一例である。

７０１は、セッションレベル記述であり、５つのフィールド（“ｖ＝”、“ｏ＝”、“ｓ＝”、“ｃ＝”、“ｔ＝”）から構成されている。

また、７０２はメディアレベル記述であり、各撮像部１０１〜１０９で撮影された画像のメディア情報に関する記述として７０３〜７１１を含んでいる。

以下、各フィールドについて説明する。

セッションレベル記述７０１の“ｖ＝”フィールドは、ＳＤＰのバージョン（プロトコルバージョン）を示しており、通常は０が使用される。

“ｏ＝”フィールドは、ユーザ名やセッション識別子、ホストのアドレス等を示している。

“ｓ＝”フィールドは、セッション名を示す文字列である。

“ｃ＝”フィールドは、ネットワークタイプやアドレスタイプ、接続アドレス等のコネクションデータを示している。当該コネクションデータは、メディアレベルにも使用することが可能であるが、本実施形態ではセッションレベルでのみ使用するものとする。

“ｔ＝“フィールドは、セッションの開始時間と停止時間（タイミング情報）を示している。本実施形態のように開始時間と停止時間が共に０の場合には、セッションは永続的であるとみなされ、受信装置３０２から配信停止リクエストが送信されるまで画像の配信が継続される。

７０３は、撮像部１０１で撮影された画像のメディアレベル記述である。

“ｍ＝”フィールドは、メディアタイプやストリーム送信に使用されるポート番号、トランスポートプロトコルの種類、メディアフォーマット等、複数のサブフィールドを持っている。本実施形態において、メディアレベル記述７０３は、メディアタイプが画像（ｖｉｄｅｏ）、ポート番号が１００００、トランスポートプロトコルがＲＴＰ／ＡＶＰ、メディアフォーマット（ペイロードタイプ）が９９であることを示している。

トランスポートプロトコルの種別は、撮像部構成情報取得部４０２が取得した撮像部構成情報（図６の撮像部構成テーブル）に基づいて決定される。撮像部１０１のビュー方式は非ベースビューであり、通信プロトコルがＲＴＰ／ＵＤＰであることから、ＳＤＰデータ中に記載されるトランスポート層のプロトコルとしては、ＲＴＰ／ＡＶＰが設定されることになる。尚、ＲＴＰ／ＡＶＰと呼ばれるプロファイルの詳細については、ＩＥＴＦ ＲＦＣ３５５１で規定されており、ここでは説明を省略する。

続いて、“ａ＝”フィールドは属性を示している。本フィールドは、セッションレベルでもメディアレベルでも使用することが可能であるが、本実施形態では各撮像部１０１〜１０９のメディアレベルの属性を夫々記述するために使用する。メディアレベル記述７０３では、前述したメディアフォーマットが９９であるが、これはメディアフォーマットとしてＭＶＣが用いられていることを示している。尚、本フィールドは、ＩＡＮＡ（Ｉｎｔｅｒｎｅｔ Ａｓｓｉｇｎｅｄ Ｎｕｍｂｅｒ Ａｕｔｈｏｒｉｔｙ）により登録された情報を使用する必要がある。しかし、２０１２年７月時点では、ＭＶＣのフォーマットが未登録であるため、仮にＭＶＣのフォーマットがＨ．２６４−ＭＶＣと登録されているものとする。

撮像部１０１で撮影された画像のメディアレベル記述７０３と同様に、非ベースビューである各撮像部１０２〜１０４、１０６〜１０９で撮影された画像のメディアレベル記述が夫々７０４〜７０６、７０８〜７１１に相当する。各フィールドは、ストリーム送信に使用されるポート番号が異なるだけで、メディアタイプやトランスポートプロトコルの種類、メディアフォーマットは全て共通である。

一方、７０７は、ベースビューである撮像部１０５で撮影された画像のメディアレベル記述である。ここで、トランスポートプロトコルの種別は、上述したように撮像部構成情報取得部４０２が取得した撮像部構成情報（図６の撮像部構成テーブル）を基に決定される。撮像部１０５のビュー方式はベースビューであり、通信プロトコルはＲＴＰ／ＴＣＰであることから、ＳＤＰデータ中に記載されるトランスポート層のプロトコルとしては、ＴＣＰ／ＲＴＰ／ＡＶＰが設定されることになる。尚、ＴＣＰ／ＲＴＰ／ＡＶＰと呼ばれるプロファイルの詳細については、ＩＥＴＦ ＲＦＣ４５７１で規定されており、ここでは説明を省略する。図５へと説明を戻す。

セッション情報生成部４０４は、ステップＳ５０３において生成したセッション情報を、プロトコル制御部４０３を介して受信装置３０２へ送信する（ステップＳ５０４）。このとき、プロトコル制御部４０３は、セッション情報に加えてＲＴＳＰ ＤＥＳＣＲＩＢＥのレスポンスも送信する。

また、プロトコル制御部４０３は、受信装置３０２から後続の制御リクエスト（ＲＴＳＰ ＳＥＴＵＰリクエスト、及びＲＴＳＰ ＰＬＡＹリクエスト）を受信し、各リクエストに対するレスポンスを送信する（ステップＳ５０５）。ＲＴＳＰ ＳＥＴＵＰは、配信するメディアに対して使用される伝送メカニズムの指定に使用されるメソッドである。また、ＲＴＳＰ ＰＬＡＹは、画像等のデータの送信開始を送信装置（本実施形態における撮像装置１００）へ要求するために使用されるメソッドである。ＲＴＳＰメソッドの詳細については、ＩＥＴＦ ＲＦＣ２３２６で規定されており、ここでは説明を省略する。

尚、本実施形態では再生制御プロトコルとしてＲＴＳＰを使用する例について説明したが、本発明はこれに限られない。すなわち、ＲＴＳＰ以外にもＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）やＳＯＡＰ（Ｓｉｍｐｌｅ Ｏｂｊｅｃｔ Ａｃｃｅｓｓ Ｐｒｏｔｏｃｏｌ）等の再生制御プロトコルを利用することも可能である。

続いて、パケット生成部４０１は、エンコーダ部２１０で符号化された画像を、バス２０４を介して取得し、パケットを生成する（ステップＳ５０６）。パケット生成部４０１は、符号化された画像をフレーム単位でエンコーダ部２１０から取得する。本実施形態では、画像の符号化方式としてＭＶＣを用い、符号化された画像の転送プロトコルとしてＲＴＰを用いる。従って、パケット生成部４０１は、ＭＶＣで符号化された画像のＲＴＰペイロードフォーマットに従って符号化された画像をパケット化するものとする。ＲＴＲパケットは、ヘッダとペイロードで構成される。ペイロードフォーマットは、ＲＴＰパケットのペイロード部分におけるデータの格納方式を示す。

次に、プロトコル制御部４０３は、パケット生成部４０１で生成されたパケットの通信プロトコルがＴＣＰか否かを判断する（ステップＳ５０７）。ここでの判断は、パケットと共に受信した撮像部ＩＤの情報を基に判断することが可能である。図６の撮像部構成情報より、撮像部ＩＤが１０５のパケットの通信プロトコルはＲＴＰ／ＴＣＰ、それ以外の撮像部ＩＤ（１０１〜１０４、１０６〜１０９）のパケットの通信プロトコルはＲＴＰ／ＵＤＰと判断される。

尚、ステップＳ５０７においてプロトコル制御部４０３は、パケット生成部４０１で生成されたパケットの通信プロトコルがＵＤＰか否かを判断してもよいし、通信プロトコルがＴＣＰかＵＤＰのいずれかを判断してもよい。また、本実施形態では、通信プロトコルとしてＴＣＰまたはＵＤＰを用いたが、本発明はこれに限定されない。すなわち、再送制御の方法が異なる２つ以上の通信方式を用いる構成でもよい。よって、通信プロトコルとしてＴＣＰ、及びＵＤＰ以外のプロトコルを用いても構わないし、トランスポート層以外の層（例えばアプリケーション層）のプロトコルを用いてもよい。

通信部２１３は、ステップＳ５０７で通信プロトコルがＲＴＰ／ＴＣＰと判断された場合、パケット生成部４０１で生成されたパケットをＲＴＰ／ＴＣＰで受信装置３０２へ送信する（ステップＳ５０８）。一方、通信部２１３は、ステップＳ５０７で通信プロトコルがＲＴＰ／ＵＤＰと判断された場合、パケット生成部４０１で生成されたパケットをＲＴＰ／ＵＤＰで受信装置３０２へ送信する（ステップＳ５０９）。

以上のように、本実施形態は、ベースビューである撮像部１０５で撮影された画像を信頼性の高い通信プロトコルであるＴＣＰを用いて伝送する。一方、非ベースビューである各撮像部１０１〜１０４、１０６〜１０９で撮影された画像を伝送速度の高い通信プロトコルであるＵＤＰを用いて伝送する。

非ベースビューで撮影された画像を、ＭＶＣを用いて符号化する場合、ベースビューで撮影された画像を参照画像として視点間予測符号化を行う。すなわち、受信装置３０２が受信した、ベースビューで撮影された画像が劣化していた場合、非ベースビューで撮影された画像の視点間予測符号化において、画像品質の低下を招く可能性がある。このため、非ベースビューで撮影された画像の視点間符号化において参照される参照画像となるベースビューで撮影された画像は、伝送速度よりも信頼性を重視した通信プロトコルであるＴＣＰを用いて伝送する。これにより、受信装置３０２で受信された後の符号化において画像品質の低下を抑えることができる。一方、非ベースビューで撮影された画像は、視点間予測符号化において参照画像として用いられないため、多少の劣化が生じても画像品質に影響を与えにくい。このため、非ベースビューで撮影された画像を信頼性よりも伝送速度を重視した通信プロトコルであるＵＤＰを用いて伝送することで、撮像装置１００画像を送信する際の通信負荷を減少させることができる。

＜実施形態２＞
実施形態１では、撮像装置１００が中央に配置される撮像部１０５（ベースビュー）の画像の伝送にＴＣＰを使用し、それ以外の位置に配置される各撮像部１０１〜１０４、１０６〜１０９（非ベースビュー）の画像の伝送にＵＤＰを使用する構成とした。これに対して本実施形態では、さらに通信状況を測定し、測定された通信状況に基づいて撮像部毎に通信方式を制御する。

図８は、本実施形態に係る、通信制御部２１４の内部構成を示すブロック図である。図８に示すように、本実施形態において、通信制御部２１４は、通信状況測定部８０１を備える。尚、図８において、実施形態１の図４と同じ機能である部分には同じ番号を付与し、説明を省略する。

本実施形態における、通信制御部２１４による画像の送信制御処理の詳細について、図９、及び図１０を用いて説明する。

図９は、本実施形態に係る、通信制御部２１４における画像の送信処理手順の一例を示すフローチャートである。尚、図９において、実施形態１の図５と同じ処理を行うステップについては同じ番号を付し、説明を省略する。

ステップＳ９０１では、通信状況測定部８０１（通信状況取得手段）は、撮像装置１００と受信装置３０２との間のネットワーク３０１の通信状況を測定し、通信状況を取得する。尚、本実施形態における通信状況としては、ネットワーク（通信回路）のエラー率、通信帯域、撮像装置１００と受信装置３０２との間の往復遅延時間（Ｒｏｕｎｄ Ｔｒｉｐ Ｔｉｍｅ、または、単にＲＴＴと称す）等が考えられる。また、通信状況の測定方法としては、例えば、パケット損失率等を定期的に観測することで、ネットワークのエラー率を測定する方法がある。また、使用可能な通信帯域を超えて測定パケットを一時的に送信し、受信装置３０２が受信に要した時間を観測することにより、通信帯域を推定する等の方法がある。

ステップＳ９０２では、セッション情報生成部４０４は、ステップＳ５０２で撮像部構成情報取得部４０２が取得した撮像部構成テーブルと、ステップＳ９０１で通信状況測定部８０１が取得した通信状況とに基づいて、ＳＤＰデータを生成する。

図１０は、ステップＳ９０２において、セッション情報生成部４０４がＳＤＰデータに含まれる通信プロトコルを決定する処理手順の一例を示すフローチャートである。

図１０において、セッション情報生成部４０４は、撮像部構成情報取得部４０２から各撮像部１０１〜１０９の撮像部構成テーブルを取得すると、各撮像部１０１〜１０９の通信プロトコルを決定する処理を開始する。

ステップＳ１００１では、セッション情報生成部４０４は、撮像部構成情報取得部４０２から入力された撮像部構成テーブルに基づいて、対象の撮像部のビュー方式がベースビューであるか否かを判定する。ステップＳ１００１において、ビュー方式がベースビューであると判定された場合（ステップＳ１００１のＹＥＳ）、対象の撮像部の通信プロトコルをＴＣＰに決定する（ステップＳ１００５）。一方、ステップＳ１００１において、ビュー方式が非ベースビューであると判定された場合（ステップＳ１００１のＮＯ）、ステップＳ１００２の処理を行う。

ステップＳ１００２では、セッション情報生成部４０４は、通信状況測定部８０１から入力された通信状況に基づいて、パケット損失率が所定の閾値より小さい値であるか否かを判定する。ステップＳ１００２において、パケット損失率が所定の閾値以上の値であると判定された場合（ステップＳ１００２のＮＯ）、対象の撮像部の通信プロトコルをＴＣＰに決定する（ステップＳ１００５）。一方、ステップＳ１００２において、パケット損失率が所定の閾値より小さい値であると判定された場合（ステップＳ１００２のＹＥＳ）、ステップＳ１００３の処理を行う。

ステップＳ１００３では、セッション情報生成部４０４は、通信状況測定部８０１から入力された通信状況に基づいて、使用可能な通信帯域が所定の閾値以上の値であるか否かを判定する。ステップＳ１００３において、通信帯域が所定の閾値より小さい値であると判定された場合（ステップＳ１００３のＮＯ）、対象の撮像部の通信プロトコルをＴＣＰに決定する（ステップＳ１００５）。一方、ステップＳ１００３において、通信帯域が所定の閾値以上の値であると判定された場合（ステップＳ１００３のＹＥＳ）、対象の撮像部の通信プロトコルをＵＤＰに決定する（ステップＳ１００４）。

図１１は、本実施形態に係る、図９のステップＳ９０２において生成されるＳＤＰデータの一例である。尚、図１１において、セッションレベル記述１１０１は１の実施形態１のセッションレベル記述７０１と同様のため、説明は省略する。

１１０２は、メディアレベル記述であり、各撮像部１０１〜１０９で撮影された画像のメディア情報に関する記述を含んでいる。本実施形態において、トランスポートプロトコルの種別は、図１０に示すフローチャートを用いて、撮像部構成情報取得部４０２が取得した撮像部構成情報と、ステップＳ９０１で測定した通信状況とに基づいて決定される。本実施形態では、各撮像部１０１、１０３、１０５、１０７、１０９の通信プロトコルとしてＴＣＰ／ＲＴＰ／ＡＶＰが設定され、各撮像部１０２、１０４、１０６、１０８の通信プロトコルがＲＴＰ／ＡＶＰと設定される。

上述のように、本実施形態では、図９及び図１０において各撮像部１０１〜１０９の通信プロトコルを決定したが、本発明はこれに限定されない。すなわち、セッション情報生成部４０４は、通信状況測定部８０１から入力された通信状況に基づいて、所定の条件を満たしていれば通信プロトコルをＴＣＰに決定し、所定の条件を満たしていなければ通信プロトコルをＵＤＰに決定するようにしてもよい。尚、所定の条件を満たしているということは通信状況が所定の条件より良い（安定している）ことを意味し、所定の条件を満たしていないということは通信状況が所定の条件より良くない（不安定である）ことを意味する。

また、図１０において、ステップＳ１００２及びステップＳ１００３は処理順序に限定されず、どちらのステップを先に処理しても構わない。また、本実施形態では、ステップＳ１００２及びステップＳ１００３において、撮像部毎に通信状況に基づいて判定したが、本発明はこれに限定されない。すなわち、図１０の処理を開始する前に、セッション情報生成部４０４は、通信状況測定部８０１から取得した通信状況から、ＴＣＰ（またはＵＤＰ）を通信プロトコルとして用いる撮像部の個数を決定してもよい。セッション情報生成部４０４は、決定した個数に基づいてＴＣＰ（またはＵＤＰ）を用いる撮像部を、適当な方法で決定するようにしてもよい。尚、決定した個数に基づいてＴＣＰ（またはＵＤＰ）を用いる撮像部を決定する場合、少なくともビュー方式がベースビューである撮像部はＴＣＰを用いるように決定する。

本実施形態は、通信状況としてパケット損失率と使用可能な通信帯域とを用いたが、本発明はこれに限定されない。すなわち、通信状況は、ネットワークのエラー率、通信帯域、ＲＴＴ等のうち、少なくとも一つを用いればよい。

本実施形態は、通信状況測定部８０１は通信制御部２１４に備えられていたが、本発明はこれに限定されない。すなわち、撮像装置１００の外部にある、通信状況を測定するための測定装置とセッション情報生成部４０４とを接続し、測定装置で測定された通信状況をセッション情報生成部４０４に入力するようにしてもよい。

本実施形態における通信制御部２１４によると、通信状況に基づいて視点位置毎に通信方式を制御できる。通信状況が不安定な場合、信頼性より伝送速度を重視するＵＤＰを用いて画像を受信装置３０２に伝送すると、受信装置３０２が受信した画像は画像品質が低くなる可能性がある。このため、通信状況が不安定な場合は、伝送速度より信頼性を重視するＴＣＰを用いて、再送制御しながら画像を受信装置３０２に伝送することで、画像品質の低下を抑えた伝送が可能である。これにより、撮像装置１００が画像を送信する際に、不安定な通信状況であっても画質品質の低下を抑えることができる。

＜実施形態３＞
実施形態１、２では、複数の視点位置から撮影された多視点画像を伝送するために用いる通信方式を、視点位置毎にＴＣＰとＵＤＰのようなトランスポート層の通信プロトコルを切り替える方法を用いたが、本発明はこれに限定されない。すなわち、再送制御の有無を切り換える方法や、ウインドウ制御の有無を切り換える方法を用いてもよい。

再送制御の有無を切り換える方法は、前述の実施形態におけるベースビューである撮像部１０５で撮影された画像は再送制御を行い、非ベースビューである各撮像部１０２〜１０４、１０６〜１０９で撮影された画像は再送制御を行わずに伝送するようにしてもよい。また、再送制御において送信装置と受信装置との間で伝送される再送要求（ＡＣＫ）の送信頻度を、ベースビューと非ベースビューとで異なる頻度に設定してもよい。すなわち、ベースビューである撮像部１０５で撮影された画像を伝送する場合、非ベースビューである各撮像部１０２〜１０４、１０６〜１０９で撮影された画像を伝送する場合よりも再送要求を伝送する頻度を高くするように設定してもよい。

また、ウインドウ制御の有無を切り換える方法は、ベースビューである撮像部１０５で撮影された画像はウインドウ制御を行い、非ベースビューである各撮像部１０２〜１０４、１０６〜１０９で撮影された画像はウインドウ制御を行わずに伝送するようにしてもよい。尚、ウインドウ制御とは、ＴＣＰ等で採用されているデータ転送の方式の一つであり、ウインドウと呼ばれるバッファメモリ領域を用いて、大きな単位でデータを伝送する方法である。ＴＣＰを用いた通信において、ウインドウ制御を用いずにデータを伝送する場合、データをセグメントと呼ばれる小さな単位に分割して、１セグメント分を送信する毎に再送制御を行う。一方、ウインドウ制御を用いてデータを伝送する場合、複数のセグメントをウインドウでまとめて転送した後で、再送制御を行う。このため、同じデータを伝送する場合、ウインドウ制御を用いる通信方法は、ウインドウ制御を用いない通信方法より再送制御の頻度が低く、通信負荷を減少させることができる。

＜実施形態４＞
実施形態１、２、及び３では、図２に示すように、各撮像部１０１〜１０９と各処理部２０１〜２１４とを備える撮像装置１００について説明したが、本発明はこれに限定されない。すなわち、各撮像部１０１〜１０９をカメラが備え、各処理部２０１〜２１４をＰＣ等の情報処理装置が備える構成でもよい。

本実施形態において、カメラは各撮像部１０１〜１０９で撮影された画像群をＰＣへ出力する。そして、ＰＣは、カメラから入力手段を用いて画像群を入力し、各処理部２０１〜２１４を用いて入力した画像群の処理を行う。

さらに、実施形態１、２、及び３では、図３に示すように、撮像装置１００と受信装置３０２とが、ネットワーク３０１を介して相互に接続されているが、本実施形態では、前記ＰＣと受信装置３０２とが、ネットワーク３０１を介して相互に接続されている。ＰＣは、受信装置３０２からネットワーク３０１を介して送信される、画像の配信リクエスト、及び配信停止リクエストに基づいて、画像の送信を開始・停止する。一方、受信装置３０２は、ＰＣからネットワーク３０１を介して送信される画像を受信し、再生する。

尚、本実施形態において、ＰＣと受信装置３０２とはネットワーク３０１を介して相互に接続されているが、本発明はこれに限定されない。すなわち、ＰＣと受信装置３０２とが、ケーブル等を用いて有線で接続されていてもよい。

＜その他の実施形態＞
実施形態１、２、３、及び４では、複数の視点位置から撮影された多視点画像を取得するために、各撮像部１０１〜１０９を用いたが、本発明はこれに限定されない。すなわち、１つの撮像部を用いて、当該撮像部を移動させることで複数の視点位置から被写体を撮影し、多視点画像を取得してもよい。

また、実施形態３において、図４、図８に示した各処理部は、ハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成してもよい。この場合、前述のフローチャートで説明した処理はＣＰＵ２０１が中心となってその制御を行う。

また、実施形態１、２、及び３では、撮像装置１００が通信制御を行う機能を有していたが、通信部２１３及び通信制御部２１４と撮像装置１００とが別々の装置であってもよい。

また、前述の実施形態では、画像の転送プロトコルとしてＲＴＰを用いたが、画像の転送プロトコルとしてはＲＴＰに限らずＯＳＩ参照モデルの同一レイヤーの他のプロトコルまたは別レイヤーの他のプロトコルを用いる事が可能である。

また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムが当該供給されたコンピュータプログラムのコードを読み出して実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムを記憶した記憶媒体は本発明を構成する。また、そのコンピュータプログラムのコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (23)

1. 被写体に対して複数の視点からの撮影が可能な撮像装置であって、
   前記被写体を撮影する撮像手段と、
   前記複数の視点の位置情報に基づいて、前記撮像手段によって前記複数の視点で撮影された画像の伝送に用いる再送制御について第一の方法または第二の方法を設定する設定手段と、
   前記設定手段によって設定された前記再送制御の方法を用いて前記画像を伝送する伝送手段と、を有する撮像装置。
2. 前記第一の方法は再送制御を行い、前記第二の方法は再送制御を行わないことを特徴とする請求項１に記載の撮像装置。
3. 前記第一の方法及び前記第二の方法は再送制御を行い、前記第一の方法は前記第二の方法よりも再送制御における再送要求の送信頻度が高いことを特徴とする請求項１に記載の撮像装置。
4. 前記設定手段は、前記複数の視点で撮影された前記画像のうち、少なくとも一つの画像の伝送に用いる再送制御の方法として前記第二の方法を設定することを特徴とする請求項２乃至請求項３のいずれか一項に記載の撮像装置。
5. 被写体に対して複数の視点からの撮影が可能な撮像装置であって、
   前記被写体を撮影する撮像手段と、
   前記撮像手段によって前記複数の視点で撮影された画像の符号化に際し、
   前記複数の視点のうち第一の視点で撮影された画像が、前記第一の視点と異なる第二の視点で撮影された画像から参照される参照画像であるか否かに基づいて、前記第一の視点で撮影された画像の伝送に用いる再送制御の方法を設定する設定手段と、
   前記設定手段によって設定された前記再送制御の方法を用いて前記第一の視点で撮影された画像を伝送する伝送手段と、を有する撮像装置。
6. 被写体に対して複数の視点からの撮影が可能な撮像装置であって、
   前記被写体を撮影する撮像手段と、
   前記複数の視点の位置情報に基づいて、前記撮像手段によって前記複数の視点で撮影された画像の伝送に用いる通信方式としてＴＣＰまたはＵＤＰを設定する設定手段と、
   前記設定手段によって設定された前記通信方式を用いて前記画像を伝送する伝送手段と、を有する撮像装置。
7. 前記設定手段は、前記視点が所定の範囲内にある場合に前記視点の通信方式として前記ＴＣＰを設定し、前記視点が所定の範囲内にない場合に前記視点の通信方式として前記ＵＤＰを設定することを特徴とする請求項６に記載の撮像装置。
8. 前記通信方式のうち、再送制御を行う通信方式として前記ＴＣＰを用いることを特徴とする請求項６乃至請求項７のいずれか一項に記載の撮像装置。
9. 前記通信方式のうち、再送制御を行わない通信方式として前記ＵＤＰを用いることを特徴とする請求項６乃至請求項８のいずれか一項に記載の撮像装置。
10. さらに、前記画像を送受信するネットワークの通信状況を取得する通信状況取得手段を有し、
    前記設定手段は、前記複数の視点の前記位置情報と、前記通信状況取得手段によって取得された前記通信状況とに基づいて、前記複数の視点で撮影された画像の伝送に用いる通信方式としてＴＣＰまたはＵＤＰを設定することを特徴とする請求項６乃至請求項９のいずれか一項に記載の撮像装置。
11. 前記設定手段は、前記通信状況が所定の条件を満たす場合に、前記通信方式を前記ＴＣＰに設定し、前記通信状況が所定の条件を満たさない場合に、前記通信方式を前記ＵＤＰに設定することを特徴とする請求項１０に記載の撮像装置。
12. 前記通信状況は、前記伝送手段によって前記画像を伝送する前記撮像装置と前記画像を受信する受信装置との間の通信回路のエラー率、通信帯域、往復遅延時間であることを特徴とする請求項１０乃至請求項１１のいずれか一項に記載の撮像装置。
13. 前記設定手段は、前記通信状況のうち前記エラー率が所定の値以上である場合、または前記通信帯域が所定の値より小さい値である場合のいずれかの場合に、前記通信方式を前記ＴＣＰに決定することを特徴とする請求項１２に記載の撮像装置。
14. 被写体に対して複数の視点からの撮影が可能な撮像装置であって、
    前記被写体を撮影する撮像手段と、
    前記複数の視点の位置情報に基づいて、前記撮像手段によって前記複数の視点で撮影された画像の伝送においてウインドウ制御するか否かを設定する設定手段と、を有する撮像装置。
15. 被写体に対して複数の視点から撮影された画像を伝送する通信装置であって、
    前記複数の視点の位置情報に基づいて、前記複数の視点で撮影された前記画像の伝送に用いる再送制御について第一の方法または第二の方法を設定する設定手段と、
    前記設定手段によって設定された前記再送制御の方法を用いて前記画像を伝送する伝送手段と、を有する通信装置。
16. 被写体に対して複数の視点からの撮影が可能な撮像方法であって、
    前記被写体を撮影する撮像工程と、
    前記複数の視点の位置情報に基づいて、前記撮像工程によって前記複数の視点で撮影された画像の伝送に用いる再送制御について第一の方法または第二の方法を設定する設定工程と、
    前記設定工程によって設定された前記再送制御の方法を用いて前記画像を伝送する伝送工程と、を有する撮像方法。
17. 被写体に対して複数の視点からの撮影が可能な撮像方法であって、
    前記被写体を撮影する撮像工程と、
    前記撮像工程によって前記複数の視点で撮影された画像の符号化に際し、
    前記複数の視点のうち第一の視点で撮影された画像が、前記第一の視点と異なる第二の視点で撮影された画像から参照される参照画像であるか否かに基づいて、前記第一の視点で撮影された画像の伝送に用いる再送制御の方法を設定する設定工程と、
    前記設定工程によって設定された前記再送制御の方法を用いて前記第一の視点で撮影された画像を伝送する伝送工程と、を有する撮像方法。
18. 被写体に対して複数の視点からの撮影が可能な撮像方法であって、
    前記被写体を撮影する撮像工程と、
    前記複数の視点の位置情報に基づいて、前記撮像工程によって前記複数の視点で撮影された画像の伝送に用いる通信方式としてＴＣＰまたはＵＤＰを設定する設定工程と、
    前記設定工程によって設定された前記通信方式を用いて前記画像を伝送する伝送工程と、を有する撮像方法。
19. 被写体に対して複数の視点からの撮影が可能な撮像方法であって、
    前記被写体を撮影する撮像工程と、
    前記複数の視点の位置情報に基づいて、前記撮像工程によって前記複数の視点で撮影された画像の伝送においてウインドウ制御するか否かを設定する設定工程と、を有する撮像方法。
20. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１に記載の撮像装置として機能させることを特徴とするプログラム。
21. コンピュータが読み出して実行することにより、前記コンピュータを、請求項５に記載の撮像装置として機能させることを特徴とするプログラム。
22. コンピュータが読み出して実行することにより、前記コンピュータを、請求項６に記載の撮像装置として機能させることを特徴とするプログラム。
23. コンピュータが読み出して実行することにより、前記コンピュータを、請求項１４に記載の撮像装置として機能させることを特徴とするプログラム。

Images