JP2018195913A - 動画処理装置およびその制御方法 - Google Patents

Abstract

【課題】データフォーマットと通信方式の組み合わせを適切に調整する。【解決手段】動画処理装置は、ネットワークにおいて単位時間あたりの通信可能なデータ量である通信上限データ量を検出し、通信データ量が通信上限データ量を超えないように、複数の表示装置のそれぞれが対応しているデータフォーマットと複数の通信方式から、各表示装置のデータフォーマットと通信方式の組み合わせを選択し、選択された組み合わせが示すデータフォーマットで一つの動画の動画ストリームを生成し、選択された組み合わせが示す通信方式で複数の表示装置のそれぞれに、生成された動画ストリームをネットワークを介して配信する。【選択図】 図１

Description

本発明は、同一ネットワーク上の複数の表示装置に動画を配信する動画処理装置およびその制御方法に関する。

近年、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを用いて、リアルタイムに動画を配信することが一般化している。ＩＰネットワークは、複数の装置が通信量を共有して伝送するベストエフォートネットワークである。そのため、ＩＰネットワークでは、多くの装置がデータ伝送を行う場合に各装置が十分な通信量を確保できなくなる場合がある。

また、動画データは一般に容量が大きい。そのため、動画データの伝送時には、例えばＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式に代表される符号化技術により動画データが符号化される。ビットレートを落として符号化すれば、伝送データ量は小さくなるものの、動画の画質は劣化する。

一つの配信元装置から、複数の配信先装置に動画を配信する場合、あらかじめネットワークの通信量、配信先装置の台数、要求画質を考慮して、安定して伝送できるビットレートが事前に決定される。特許文献１には、伝送状況の悪化に応じて、ネットワークの通信量の許す限り、好適なビットレートに調整する方法が記載されている。

特開２０１２−００４９６９号公報

しかしながら、特許文献１では、ユニキャスト通信という１対１の通信方式の場合についてしか考慮されていない。そのため、特許文献１では、１台の配信元装置から複数台の配信先装置に対して、同一の動画データを配信する場合であっても、動画配信先装置の台数に応じた通信量が必要となってしまう。

そこで、本発明は、ビットレートと通信方式の組み合わせを適切に調整することができるようにすることを目的とする。

本発明に係る動画処理装置は、上記課題を解決するために、ネットワークにおいて単位時間あたりの通信可能なデータ量である通信上限データ量を検出する検出手段と、通信データ量が前記通信上限データ量を超えないように、複数の表示装置のそれぞれが対応しているデータフォーマットと複数の通信方式から、各表示装置のデータフォーマットと通信方式の組み合わせを選択する選択手段と、前記選択手段により選択された組み合わせが示すデータフォーマットで一つの動画の動画ストリームを生成する生成手段と、前記複数の表示装置のそれぞれに、前記選択された組み合わせが示す通信方式で、前記生成手段で生成された動画ストリームを前記ネットワークを介して配信する配信手段とを有する。

本発明に係る制御方法は、上記課題を解決するために、ネットワークにおいて単位時間あたりの通信可能なデータ量である通信上限データ量を検出する検出ステップと、通信データ量が前記通信上限データ量を超えないように、複数の表示装置のそれぞれが対応しているデータフォーマットと複数の通信方式から、各表示装置のデータフォーマットと通信方式の組み合わせを選択する選択ステップと、前記選択ステップで選択された組み合わせが示すデータフォーマットで一つの動画の動画ストリームを生成する生成ステップと、前記複数の表示装置のそれぞれに、前記選択された組み合わせが示す通信方式で、前記生成ステップで生成された動画ストリームを前記ネットワークを介して配信する配信ステップとを有する。

本発明に係るプログラムは、上記課題を解決するために、コンピュータを、ネットワークにおいて単位時間あたりの通信可能なデータ量である通信上限データ量を検出する検出手段と、通信データ量が前記通信上限データ量を超えないように、複数の表示装置のそれぞれが対応しているデータフォーマットと複数の通信方式から、各表示装置のデータフォーマットと通信方式の組み合わせを選択する選択手段と、前記選択手段により選択された組み合わせが示すデータフォーマットで一つの動画の動画ストリームを生成する生成手段と、前記複数の表示装置のそれぞれに、前記選択された組み合わせが示す通信方式で、前記生成手段で生成された動画ストリームを前記ネットワークを介して配信する配信手段として機能させるためのプログラムである。

本発明によれば、ビットレートと通信方式の組み合わせを適切に調整することができる。

実施形態１および他の実施形態における撮像装置１００の構成要素を説明するためのブロック図である。 撮像装置１００の外観例を示す図である。 撮像装置１００と表示装置３０１〜３０３との接続関係などを説明するための図である。 実施形態１のストリーム配信動作を説明するためのフローチャートである。 実施形態１の組み合わせ選択動作を説明するためのフローチャートである。 実施形態１の組み合わせ選択動作の選択例を説明するための図である。 実施形態２の組み合わせ選択動作を説明するためのフローチャートである。 実施形態２の組み合わせ選択動作の選択例を説明するための図である。 実施形態３の組み合わせ選択動作を説明するためのフローチャートである。 実施形態３の組み合わせ選択動作の選択例を説明するための図である。 実施形態１のストリーム選択時の表示例を説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。

［実施形態１］
実施形態１では、撮像装置１００が、動画データの配信を行う動画処理装置として動作する例を説明する。

＜装置説明＞
図１は、実施形態１および他の実施形態における撮像装置１００の構成要素を説明するためのブロック図である。撮像装置１００は、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１０１、メモリ１０２、不揮発性メモリ１０３、ＵＩ（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）部１０４、表示部１０５、記憶媒体Ｉ／Ｆ１０６、撮像部１０８、画像処理部１０９、バッテリ１１０および無線ＬＡＮ部１１１を有する。これらの構成要素は、相互に通信可能にシステムバス１１２に接続されている。

ＣＰＵ１０１は、撮像装置１００の各構成要素を制御する。ＣＰＵ１０１は、撮像装置１００の各構成要素を制御することにより、ユーザの設定を不揮発性メモリ１０３または記憶媒体１０７に記録し、ユーザ操作に応じて生成された画像（動画または静止画）を記憶媒体１０７に記録する。メモリ１０２は書き替え可能なメモリであり、撮像装置１００を制御するプログラムが作業領域として使用する。メモリ１０２は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリ）などからなる。不揮発性メモリ１０３は、後述する無線ＬＡＮの接続履歴情報を格納する。不揮発性メモリ１０３は、そのほかに、撮像装置１００を制御するプログラムと、画像データ、音声データなど、プログラムが使用するデータを格納する。また、撮像装置１００のユーザ設定情報など、電源サイクルを超えて保持する必要のあるデータも同様に不揮発性メモリ１０３に格納される。撮像装置１００に電源が投入されると、ＣＰＵ１０１は不揮発性メモリ１０３からプログラムを読み込み、撮像装置１００の制御を開始する。不揮発性メモリ１０３は、例えばフラッシュメモリまたはＥＥＰＲＯＭなどからなる。

ＵＩ部１０４は、ユーザの指示をＣＰＵ１０１に入力するために使用される。ＵＩ部１０４は、複数のボタン、ダイヤルなどを有する。表示部１０５は、撮像または再生された画像、ＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を含む画面などを表示する。表示部１０５は、例えば、液晶表示装置（ＬＣＤ）とそれをコントロールするＬＣＤドライバユニットとを有する。ＣＰＵ１０１は、プログラムに従い表示制御データと動画データを生成して表示部１０５に出力するように撮像装置１００の各構成要素を制御する。表示部１０５は出力された動画データに基づいて動画を表示する。

記憶媒体Ｉ／Ｆ１０６は、記憶媒体１０７を接続するためのインターフェースである。ＣＰＵ１０１の制御に基づき、記憶媒体Ｉ／Ｆ１０６に接続された記憶媒体１０７からのデータの読み出しと、記憶媒体１０７に対するデータの書き込みとが行われる。記憶媒体１０７は、撮像した画像データを保持するための書き替え可能な不揮発性メモリである。記憶媒体１０７には、例えば、ＳＤメモリカードまたはコンパクトフラッシュ（登録商標）カードが用いられる。

撮像部１０８は、ＣＰＵ１０１の制御に基づいて、光学像を電気的な動画データに変換し、動画データをシステムバス１１２に出力する。撮像部１０８は、例えば、レンズユニットと絞りを含みズーム／フォーカスなど制御する光学系と、レンズユニットを経て導入された光学像を電気的な動画データに変換するための撮像素子などを有する。撮像素子としては、一般的には、ＣＭＯＳを利用した撮像素子（ＣＭＯＳイメージセンサ）か、ＣＣＤを利用した撮像素子（ＣＣＤイメージセンサ）が利用される。

画像処理部１０９は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０３または記憶媒体１０７に格納された画像データに対して各種画像処理を施す。また、画像処理部１０９は、撮像部１０８が出力する動画データに対して各種画像処理を施す。画像処理部１０９が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、動画データのエンコード処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理、顔検出処理などが含まれる。画像処理部１０９は、特定の画像処理を施すための専用の回路ブロックを有するものであってもよい。また、データフォーマットとビットレートの対応関係テーブル（図６（ａ）により後述する）を持つ。

バッテリ１１０は、撮像装置１００が動作するための電力を撮像装置１００の各構成要素に供給する。バッテリ１１０は、充電可能な電池（例：リチウムイオン電池）を有する。バッテリ１１０は、充電器により充電することができる。

無線ＬＡＮ部１１１は、無線通信を実現する。無線ＬＡＮ部１１１は、無線通信のためのアンテナと無線信号を処理するための通信コントローラとを有し、ＩＥＥＥ８０２．１１ａ、ｂ、ｇまたはｎに従った無線通信を実現する。また、実施形態１および他の実施形態では、無線ＬＡＮ部１１１は無線ＬＡＮアクセスポイント機能を有し、他の任意の無線ＬＡＮ機器と直接通信を行うことが可能である。また、実施形態１および他の実施形態では、無線ＬＡＮ部１１１は、ユニキャストおよびマルチキャストのいずれの通信方式でも他の無線ＬＡＮ機器と通信を行うことが可能である。システムバス１１２は、上述した各構成要素を接続する。システムバス１１２に接続された各構成要素は、システムバス１１２を介して互いにデータのやりとりを行うことができる。

図２（ａ）、図２（ｂ）および図２（ｃ）は、撮像装置１００の外観を表す図である。図２（ａ）、図２（ｂ）および図２（ｃ）は、それぞれ撮像装置１００の正面図・背面図・底面図である。

シャッターボタン２０１は、半押し状態と全押し状態とを区別して検出可能な２段階押し込みスイッチとなっている。シャッターボタン２０１が半押し状態の場合にオートフォーカス制御が開始し、全押し状態の場合に静止画データあるいは動画データを撮像するための撮像動作が開始する。また、動画データの撮像時にシャッターボタン２０１を全押しすると、動画データの撮像を終了する。シャッターボタン２０１は、ＵＩ部１０４に含まれる。

ファインダー窓２０２とファインダー接眼部２０５はファインダー機能を提供する。ユーザは、撮像時の構図決定のためにファインダー接眼部２０５から被写体像を光学的に確認することができる。ストロボ２０３は、撮像時に必要に応じて発光し、暗い条件下でもきれいな静止画の撮像を可能にする。レンズユニット２０４は、撮像部１０８に含まれる。

電源ボタン２０６は、撮像装置１００の電源をＯＮまたはＯＦＦするために操作される。ボタン群２０７はＵＩ部１０４に含まれる。ユーザはこれらのボタンを利用して、撮像装置１００のＬＣＤ２０８にメニューを表示させたり、各種パラメータを設定したりする。ＬＣＤ２０８は、撮像待機時に撮像範囲の確認（構図の決定）のためにライブビューを表示したり、操作メニューを表示したり、撮像した動画データを再生して表示したりするのに用いられる。ＬＣＤ２０８は表示部１０５に含まれる。

ねじ穴２０９は三脚を固定するのに用いられる。バッテリ室２１０は、バッテリ１１０と記憶媒体１０７とを収容する。ユーザは、バッテリ室２１０の中にバッテリ１１０と記憶媒体１０７とを収納することにより、それらを撮像装置１００に接続することができる。

図３（ａ）、図３（ｂ）および図３（ｃ−１）〜図３（ｃ−４）は、撮像装置１００と、撮像装置１００が送信する動画を受信する表示装置３０１〜３０３との接続関係（ネットワーク構成）を説明するための図である。図３（ａ）において、撮像装置１００は、無線ＬＡＮアクセスポイントとして動作し、表示装置３０１〜３０３は撮像装置１００が参加している無線ＬＡＮに無線ＬＡＮクライアントとして参加している。無線ＬＡＮにおいて、撮像装置１００と表示装置３０１〜３０３は、図３（ｂ）で示したようなＩＰアドレスを有している。これにより、それぞれがＩＰデータ通信により相互にデータ通信を行うことができる。このときの通信方式はユニキャストであり、割り当てられたＩＰアドレス（図３（ｂ））はユニキャストアドレスである。

また、撮像装置１００および表示装置３０１〜３０３には、図３（ｃ−１）、図３（ｃ−２）、図３（ｃ−３）および図３（ｃ−４）で示すようにマルチキャストグループアドレスが割り当てられている。図３（ｃ−１）では、表示装置３０１と表示装置３０２からなるマルチキャストグループのＩＰアドレスとして「２２４．０．０．１」が割り当てられている。図３（ｃ−２）では、表示装置３０２と表示装置３０３からなるマルチキャストグループのＩＰアドレスとして「２２４．０．０．２」が割り当てられている。図３（ｃ−３）では、表示装置３０１と表示装置３０３からなるマルチキャストグループのＩＰアドレスとして「２２４．０．０．３」が割り当てられている。図３（ｃ−４）では、表示装置３０１、表示装置３０２および表示装置３０３からなるマルチキャストグループのＩＰアドレスとして「２２４．０．０．４」が割り当てられている。これらのようなマルチキャストアドレスを、上述のユニキャスト通信によって各表示装置に割り当てることにより、マルチキャストによるデータ通信を行うことができる。

マルチキャストグループアドレスは、図３（ｃ−１）、図３（ｃ−２）および図３（ｃ−３）に示すように、任意の表示装置の組み合わせに対して割り当てることができる。また、図３（ｃ−４）のように全ての表示装置に対して、同一のマルチキャストグループアドレスを割り当てることもできる。このとき、撮像装置１００とマルチキャストグループアドレスを割り当てられなかった表示装置は、マルチキャストグループアドレスを持たない。

撮像装置１００は、ネットワークに接続された複数の表示装置に、一つの動画から得られる複数種類の動画ストリームを配信可能である。このとき、撮像装置１００は、マルチキャストを用いることによって、ユニキャストで一つの表示装置に送信するのと同じ通信データ量で、同じマルチキャストグループアドレスの表示装置に、同一の動画ストリームを送信することができる。

なお、実施形態１および他の実施形態においては、無線ＬＡＮのアクセスポイント機能は、撮像装置１００の無線ＬＡＮ部１１１に含まれるがこれに限られるものではない。アクセスポイント機能を有さない撮像装置１００が、外部のアクセスポイントと通信するようにしてもよい。ただし、その場合、撮像装置１００と無線ＬＡＮアクセスポイントとの間の通信が新たに発生する。したがって、ネットワーク全体における、撮像装置１００と表示装置との間の通信データ量の合計は、撮像装置１００にアクセスポイント機能を持たせた場合のほぼ倍になる。

＜動作説明＞
図３（ａ）〜図３（ｃ−４）、図４、図５、図６（ａ）〜図６（ｅ）および図１１を参照して、実施形態１における撮像装置１００の動作例を説明する。

まず、図３（ａ）、図４および図６（ａ）〜図６（ｅ）を参照して、撮像装置１００のストリーム配信動作について説明する。撮像装置１００の動画配信先の装置は、図３（ａ）に示す表示装置３０１、３０２および３０３である。図４のフローチャートに示される処理の開始時には、各装置の無線接続はまだ確立されていないものとする。

ステップＳ４０１では、ＣＰＵ１０１は、ＵＩ部１０４を介して、ユーザから配信するストリームが選択されるのを待つ。図１１は、ストリーム選択時の撮像装置１００の表示部１０５の例である。１１０１、１１０２、１１０３および１１０４は選択可能なストリームを示すサムネイル画像であり、ユーザはＵＩ部１０４のボタン操作によってストリームを選択することができる。また、選択されたストリームは１１０１のように枠が太く表示される。

ステップＳ４０１でストリームが選択されると、ステップＳ４０２において、ＣＰＵ１０１は、無線ＬＡＮ部１１１を介して、無線ネットワーク上の接続対象となる全ての表示装置を検出する。具体的には、ＣＰＵ１０１は、無線ＬＡＮの電波が到達可能な周囲の表示装置に対する、撮像装置１００が提供するアプリケーションレイヤのサービスの情報通知を有効にする。実施形態１では、撮像装置１００は、アプリケーションレイヤのサービスとして動画配信サービスを提供する。

無線ＬＡＮ部１１１は、ＩＥＥＥ８０２．１１で定められたフレームタイプのうちマネージメントフレームを用いて、サービスの情報通知のための信号の送受信を行う。実施形態１では、マネージメントフレームの一種であるプローブリクエストフレームによりアプリケーションレイヤのサービスの検索が行われた場合に、プローブレスポンスフレームを返信することによってサービスの情報通知を行う。

プローブリクエストフレームには、検索したいアプリケーションレイヤのサービス、リクエスト送信元表示装置のＭＡＣアドレスを示す情報などが含まれている。このとき、ＣＰＵ１０１は、受信した全てのプローブリクエストフレームに含まれるリクエスト送信元表示装置のＭＡＣアドレスを一覧としてメモリ１０２に記憶する。また、このとき、ＭＡＣアドレス一覧を記憶するメモリ１０２上の領域は、バンク１とバンク２からなる２バンク構成をとる。ＣＰＵ１０１は、ＭＡＣアドレス一覧を記憶するときには、まずバンク１の内容をバンク２にコピーし、それからバンク１にＭＡＣアドレス一覧を記憶する。バンク１とバンク２には初期値としてオール０が記憶され、ＭＡＣアドレス一覧が記憶されたバンクとは差異があるようにする。

実施形態１では、検索したいアプリケーションサービスとして、動画配信サービスが含まれる。検索したいアプリケーションレイヤのサービスとして指定したサービスを提供する通信装置のみが、このプローブリクエストに応答する。実施形態１では、動画配信サービスが検索したいアプリケーションサービスとされていた場合に、撮像装置１００はプローブレスポンスフレームを返信する。プローブレスポンスフレームには、提供するアプリケーションレイヤのサービス、レスポンス送信元通信装置のＭＡＣアドレスなどが含まれている。

また、ステップＳ４０２以降は、ＣＰＵ１０１は無線ＬＡＮによる提供サービスの情報通知を継続的に行うものとする。すなわち、この間においてプローブリクエストフレームによるサービスの検索に対しては、プローブレスポンスフレームによるサービスの情報通知を随時行う。

ステップＳ４０３において、ＣＰＵ１０１は、ステップＳ４０２でメモリ１０２のバンク１に記憶したＭＡＣアドレス一覧とバンク２に記憶したＭＡＣアドレス一覧とを比較して、新しく記憶されたＭＡＣアドレスがあるかどうか判定する。バンク１に記憶したＭＡＣアドレス一覧に新しく記憶されたＭＡＣアドレスがある場合は新規な表示装置が検出されたということである。この場合、ステップＳ４０４の処理が実行される。一方、新しく記憶されたＭＡＣアドレスがない場合（新規な表示装置が検出されていない場合）は、ステップＳ４０４がスキップされ、ステップＳ４０５が実行される。なお、ステップＳ４０３の初回実行時には、ステップＳ４０２で記憶したＭＡＣアドレスは全て新しく記憶されたことになるので、ステップＳ４０４が実行されることとなる。

ステップＳ４０４では、ＣＰＵ１０１は、無線ＬＡＮ部１１１を介して、ステップＳ４０２で検出した表示装置と無線通信接続を確立する。具体的には、ＷｉＦｉ Ｄｉｒｅｃｔプロトコル仕様に基づいた処理を行い、通信装置間の無線レイヤにおける役割を決定する。Ｗｉ−Ｆｉ Ｄｉｒｅｃｔにおいては、無線ＬＡＮアクセスポイント機能を実施する通信装置をＰ２Ｐグループオーナー（以下、ＧＯ）、無線ＬＡＮステーション機能を実施する通信装置をＰ２Ｐクライアント（以下、ＣＬ）と称する。実施形態１および他の実施形態においては、撮像装置１００がＧＯ、表示装置がＣＬとなる。このプロトコル（ＧＯ Ｎｅｇｏｔｉａｔｉｏｎ）はＷｉ−Ｆｉ Ｄｉｒｅｃｔ規格で定義されているため、それらの詳細な説明は割愛する。

Ｇｏ ＮｅｇｏｔｉａｔｉｏｎにおいてＧＯとＣＬが決定すると、ＧＯとＣＬ間でアソシエーションを行い、無線ＬＡＮのレイヤとして接続する。Ｗｉ−Ｆｉ Ｄｉｒｅｃｔにおいては、ＧＯがＷＰＳレジストラ、ＣＬがＷＰＳエンローリとなることで、通信パラメータを交換しアソシエーションを行う。ＷＰＳレジストラによって提供される通信パラメータは、ネットワーク識別子としてのＳＳＩＤ、暗号鍵、暗号方式、認証鍵、認証方式等のパラメータである。

同様に、Ｇｏ ＮｅｇｏｔｉａｔｉｏｎにおいてＧＯとＣＬが決定すると、ＧＯとＣＬ間でＩＰアドレスの決定が行われる。Ｗｉ−Ｆｉ Ｄｉｒｅｃｔにおいては、ＧＯがＤＨＣＰ（Ｄｙｎａｍｉｃ Ｈｏｓｔ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）サーバ、ＣＬがＤＨＣＰクライアントになることで自動的にそれぞれのＩＰアドレスが決定する。実施形態１におけるＩＰアドレスの割り当て例を図３（ｂ）に示す。ＤＨＣＰについてはＲＦＣ２１３１で定義されているので詳細な説明は割愛する。

また、ＤＨＣＰによりＩＰアドレスが決定した後に、必要に応じて、アプリケーションレイヤのサービスで使用するポート番号をお互いに交換してもよい。このポート番号の交換は、あらかじめ決められたポート番号を用いてＴＣＰ或いはＵＤＰのデータを送受信することにより行われる。ステップＳ４０４の処理が完了することで、ステップＳ４０２で検出された表示装置と撮像装置１００との論理的な接続が確立する。すなわち、表示装置のアプリケーションは、撮像装置１００の提供するアプリケーションレイヤのサービスとのＴＣＰ／ＩＰおよびＵＤＰ／ＩＰによる通信を行うことができるようになる。

撮像装置１００は、動画の配信開始時、配信中における配信先の表示装置の変化（台数の変化または入れ代わり）、または通信上限データ量の変化の検出時に、データフォーマットと通信方式の組み合わせを選択する。表示装置および通信上限データ量の変化の検出がステップＳ４０５〜Ｓ４０７の処理であり、データフォーマットと通信方式の組み合わせを選択する処理がステップＳ４０８〜Ｓ４１３である。まず、ステップＳ４０５において、ＣＰＵ１０１は、ステップＳ４０２でメモリ１０２のバンク１に記憶したＭＡＣアドレス一覧とバンク２に記憶したＭＡＣアドレス一覧とを比較して、変化があるかどうか判定する。例えば、それまで存在していた表示装置が無くなるなどの変化がある場合は、ステップＳ４０６およびＳ４０７の処理がスキップされてステップＳ４０８以降の処理が実行される。バンク１に記憶されたＭＡＣアドレス一覧に変化がない場合は、ステップＳ４０６、Ｓ４０７の処理が実行される。また、ステップＳ４０５の初回実行時では、ステップＳ４０２で記憶したＭＡＣアドレスは全て新しく記憶されたものである。したがって、ＭＡＣアドレス一覧に変化があると判定され、ステップＳ４０６とＳ４０７の処理はスキップされてステップＳ４０８の処理が実行されることとなる。

ステップＳ４０６では、ＣＰＵ１０１は、無線ＬＡＮ部１１１を介して、無線ネットワークの単位時間あたりの通信上限データ量を検出する。例えば、ＣＰＵ１０１は、無線ＬＡＮ部１１１を介して、接続中の全ての表示装置とのリンク速度を取得する。ここでリンク速度とは、通信先の表示装置の通信能力、電波状況などから決定される、無線ＬＡＮ部１１１の動作モードに連動して決定される無線通信速度である。ＣＰＵ１０１は、取得した各表示装置とのリンク速度の中で、最高速度のものを採用し、その半分の速度を実効速度とする。そしてＣＰＵ１０１は、得られた実効速度から単位時間あたりの通信データ量を計算し、通信上限データ量とする。さらに、ＣＰＵ１０１は、検出した単位時間あたりの通信上限データ量を、メモリ１０２に記憶する。なお、通信上限データ量の検出方法はこれに限られるものではなく、他の方法を用いて取得されてもよい。実施形態１では、通信上限データ量は、図６（ｃ）に示す通り、６０Ｍｂｐｓであるとして以下の説明を行う。

ステップＳ４０７では、ＣＰＵ１０１は、ステップＳ４０４で検出した単位時間あたりの通信上限データ量が、既にメモリ１０２に記憶済みの単位時間あたりの通信上限データ量と比較して、変化があるかどうか判定する。実施形態１では、ステップＳ４０６で検出された通信上限データ量の変化が所定の閾値を超えた場合に、通信上限データ量に変化があると判定する。変化があると判定された場合、ステップＳ４０８以降の処理が実行される。一方、変化がないと判定された場合は、ステップＳ４０８〜Ｓ４１３がスキップされてステップＳ４１４の処理が実行される。この場合、現在設定されているデータフォーマットと通信方式の組み合わせで動画ストリームの配信が継続される。

ステップＳ４０８では、ＣＰＵ１０１は、撮像装置１００が後述のステップＳ４１３で開始したストリーム配信の実行中かどうか判定する。配信中である場合は、ステップＳ４０９の処理が実行される。一方、配信中でない場合、ステップＳ４０９はスキップされ、ステップＳ４１０の処理が実行される。

ステップＳ４０９では、ＣＰＵ１０１は、画像処理部１０９の動作を停止し、ストリームの配信を停止する。こうすることによって、後述するステップＳ４１２、ステップＳ４１３において乱れたストリームの動画を配信してしまうことを避けることができる。ステップＳ４１０では、ＣＰＵ１０１は、無線ＬＡＮ部１１１を介して、接続中の全ての表示装置と通信し、各表示装置が対応しているストリームのデータフォーマットを取得し、メモリ１０２に記憶する。

ここでストリームのデータフォーマットとは、動画の解像度、ビットレート、符号化方式の組み合わせを表す。すなわち、データフォーマットは、動画ストリームの配信時のビットレートと画質に関連している。実施形態１および他の実施形態では、説明の簡素化のために、ＳＤ（７２０×４８０）、ＱＨＤ（９６０×５４０）、ＨＤ（１２８０×７２０）、ＦＨＤ（１９２０×１０８０）の４つの解像度を考慮する。また、それぞれの解像度の呼称をデータフォーマットの呼称とする。また、各データフォーマットのビットレートは一意に決定するものとし、符号化方式はＨ．２６４／ＡＶＣとする。実施形態１でのデータフォーマットとビットレートの対応の一覧を図６（ａ）に示す。また、実施形態１での各表示装置が対応しているデータフォーマットの組み合わせ一覧を図６（ｂ）に示す。なお、ステップＳ４１０におけるデータフォーマット取得のための通信方式は、ユニキャストである。

ステップＳ４１１では、ＣＰＵ１０１は、図５を用いて後述する動作によって、接続中の各表示装置に対してストリームを配信するための、データフォーマットと通信方式の組み合わせを選択する。ステップＳ４１２では、ＣＰＵ１０１は、画像処理部１０９を介して、ステップＳ４１１で選択したデータフォーマットに基づき、接続中の各表示装置に配信するストリームを生成する。

ステップＳ４１３では、ＣＰＵ１０１は、無線ＬＡＮ部１１１を介して、ステップＳ４１１で選択した表示装置と通信方式の組み合わせに基づき、各表示装置へのマルチキャストグループアドレスの割り当てと、マルチキャスト通信の接続を行う。このとき、マルチキャストアドレスを割り当てなかった表示装置とはユニキャスト通信を続ける。そして、ステップＳ４１２で生成したストリームを各表示装置に対してＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）で配信する。

ステップＳ４１４では、ＣＰＵ１０１は、配信中のストリームを全て送信し終わったかどうかによって配信の終了を判定する。配信中のストリームを全て送信し終わった場合、配信の終了と判定し、ＣＰＵ１０１は、無線ＬＡＮ部１１１の動作を停止し、図４のフローチャートが終了する。一方、配信中のストリームの全てを送信し終わっていない場合、ＣＰＵ１０１は配信の未終了と判定し、ステップＳ４０２以降の処理を繰り返す。或いは、ＣＰＵ１０１は、ＵＩ部１０４を介して、ユーザより配信終了の指示が与えられたか否かによって、配信の終了を判定してもよい。

次に、図５および図６（ｄ）を参照して、撮像装置１００の、各表示装置に対するデータフォーマットと通信方式の組み合わせを選択する動作（組み合わせ選択動作）について説明する。図５のフローチャートが示す動作は、前述のステップＳ４１１で説明した動作に相当する。

ステップＳ５０１では、ＣＰＵ１０１は、ステップＳ４１０で取得した、各表示装置の対応データフォーマットから、全ての表示装置とデータフォーマットの組み合わせを取得し、全組み合わせリストとしてメモリ１０２に記憶する。実施形態１における全ての表示装置とデータフォーマットの組み合わせと、それぞれの合計ビットレート、単位時間あたりの合計通信データ量、通信可能な組み合わせかどうかの判定のリスト例を図６（ｄ）に示す。図６（ｄ）の表の左３列が、表示装置３０１〜３０３が対応するデータフォーマットの全組み合わせのリストに該当する。合計ビットレートについてはステップＳ５０２、単位時間あたりの合計通信データ量についてはステップＳ５０３、判定についてはステップＳ５０４にて後述する。

ステップＳ５０２では、ＣＰＵ１０１は、画像処理部１０９を介して、各データフォーマットのビットレートを取得する。そして、ＣＰＵ１０１は、ステップＳ５０１で取得した、表示装置とデータフォーマットの全組み合わせに対して、それぞれの合計ビットレートを計算し、メモリ１０２に記憶する。合計ビットレートの計算には、データフォーマットとビットレートの対応の一覧（図６（ａ））が参照される。例えば、「ＳＤ」「ＳＤ」「ＱＨＤ」という組み合わせの合計ビットレートは、図６（ａ）の一覧の参照により、１０Ｍｂｐｓ＋１０Ｍｂｐｓ＋２５Ｍｂｐｓ＝４５Ｍｂｐｓとなる。実施形態１の場合の合計ビットレート例を、図６（ｄ）の合計ビットレートの列に示す。

ステップＳ５０３では、ＣＰＵ１０１は、ステップＳ５０２で計算した合計ビットレートに対して、マルチキャストを考慮した単位時間当たりの合計通信データ量を計算し、メモリ１０２に記憶する。すなわち、ＣＰＵ１０１は、表示装置とデータフォーマットの全組み合わせのうち、複数の表示装置に同一のデータフォーマットが選択されている組み合わせについて、マルチキャスト通信を行うものとして通信データ量を計算する。例えば、表示装置３０１，３０２，３０３のデータフォーマットがそれぞれ「ＳＤ」「ＳＤ」「ＱＨＤ」の場合、表示装置３０１と表示装置３０２にはマルチキャスト通信を行うとして、ビットレートの合計は１０Ｍｂｐｓ＋２５Ｍｂｐｓ＝３５Ｍｂｐｓとなる。実施形態１における単位時間あたりの合計通信データ量の例を、図６（ｄ）の合計通信データ量の列に示す。

ステップＳ５０４では、ＣＰＵ１０１は、ステップＳ５０１で取得した全組み合わせから、通信上限データ量の範囲で通信可能な組み合わせを抽出する。具体的には、ＣＰＵ１０１は、ステップＳ４０６で取得した単位時間あたりの通信上限データ量と、ステップＳ５０３で計算した単位時間あたりの合計通信データ量を比較する。そしてＣＰＵ１０１は、単位時間あたりの合計通信データ量が、ステップＳ４０６で取得した単位時間あたりの通信上限データ量を下回る組み合わせを、通信可能な組み合わせと判定する。実施形態１における判定例を、図６（ｄ）の判定の列に示す（通信可能の判定を○、通信不可の判定を×で示している）。実施形態１の場合、上限通信データ量が６０Ｍｂｐｓのため、合計通信データ量が６０Ｍｂｐｓ以下となる組み合わせが通信可能と判定されて、「判定」欄が○となる。

ステップＳ５０５では、ＣＰＵ１０１は、ステップＳ５０４で通信可能と判定された組み合わせごとに最低画質のデータフォーマットを抽出する。画質の判定は、例えば各データフォーマットのビットレートにより行われる。すなわち、ビットレートの高いデータフォーマットほど高画質と判定される。実施形態１の場合、画質の高い順に、ＦＨＤ、ＨＤ、ＱＨＤ、ＳＤとなる。実施形態１における最低画質のデータフォーマットの抽出例を図６（ｅ）に示す。図６（ｅ）の判定の列については、ステップＳ５０６にて後述する。

ステップＳ５０６では、ＣＰＵ１０１は、ステップＳ５０５で抽出された、各組み合わせの最低画質のデータフォーマットを比較し、最も高画質なデータフォーマットを持つ組み合わせを、実際に配信に用いる組み合わせとして選択する。実施形態１の場合では、最低画質がＱＨＤとなる組み合わせ（表示装置３０１−ＱＨＤ、表示装置３０２−ＱＨＤ、表示装置３０３−ＱＨＤ）が選択される。ＣＰＵ１０１は、データフォーマットＱＨＤで画像のストリームを生成し（ステップＳ４１２）、配信する（ステップＳ４１３）。この配信において、表示装置３０１、３０２、３０３に対して同一のデータフォーマットによる配信を行えばよいため、ＣＰＵ１０１は、通信方式として図３（ｃ−４）のマルチキャストを選択する。

以上、実施形態１によれば、ネットワーク上の複数の表示装置に動画を配信する撮像装置１００において、通信量、表示装置の台数や要求画質に応じて、符号化レートと通信方式が決定される。そのため、特許文献１に開示された方法よりも、さらに好適な符号化レートに調整する撮像装置１００を提供することができる。

［実施形態２］
実施形態１では、配信に利用可能なデータフォーマットの組み合わせのうち、各表示装置が受信する画像ストリームのデータフォーマットのうち最低画質のデータフォーマットが最も高画質になる組み合わせを選択した。実施形態２では、配信に利用可能なデータフォーマットの組み合わせのうち、最高画質のデータフォーマットを再生可能な表示装置の数が最大になるように組み合わせを選択する。なお、実施形態２において、撮像装置１００の構成要素と、撮像装置１００および表示装置３０１〜３０３の接続関係とは、実施形態１（図１、図３（ａ））と同様であるので、それらの説明を省略する。以下、実施形態１との違いに重点をおき、実施形態２を説明する。

実施形態２は、実施形態１と比べて、ステップＳ４１１での選択動作が異なる。以下、図７、図８（ａ）および図８（ｂ）を参照して、実施形態２によるデータフォーマットと通信方式の組み合わせ選択動作について説明する。

図７のフローチャートが示す動作は、図４のステップＳ４１１で説明した動作に該当する。ステップＳ５０１〜Ｓ５０４については、実施形態１（図５）で説明したとおりである。ステップＳ７０１では、ＣＰＵ１０１は、ステップＳ５０４で通信可能と判定された組み合わせのうち、各表示装置の最高画質のデータフォーマットを含む組み合わせを判定する。実施形態１と同様、画質の判定は、各データフォーマットのビットレートにより行う。すなわち、ビットレートの高いデータフォーマットほど高画質と判定する。実施形態２の場合の判定例を、図８（ａ）に示す。実施形態２の場合、各表示装置について最高画質のデータフォーマットを選択していると判定される組み合わせは以下のようになる。
・表示装置３０１のデータフォーマットに「ＱＨＤ」が選択されている組み合わせ。
・表示装置３０２のデータフォーマットに「ＨＤ」が選択されている組み合わせ。
・表示装置３０３のデータフォーマットに「ＦＨＤ」が選択されている組み合わせ。

上記により、図８（ａ）の判定の欄に○が付されている４つの組み合わせが抽出される。ステップＳ７０２では、ＣＰＵ１０１は、ステップＳ７０１で抽出した組み合わせの中で、各表示装置が対応している中で最高画質のデータフォーマットを使用している表示装置の台数が最も多い組み合わせを抽出する。

図８（ａ）の場合、組み合わせ８０１では表示装置３０３のみが最高画質（ＦＨＤ）を使用し、組み合わせ８０２では表示装置３０２のみが最高画質（ＨＤ）を使用し、組み合わせ８０３，８０４では表示装置３０１のみが最高画質（ＱＨＤ）を使用している。すなわち、ステップＳ７０１で抽出した４つの組み合わせが全て、対応している中で最高画質のデータフォーマットをいずれか１台が選択している。この場合、最高画質のデータフォーマットを使用している表示装置の台数が同数なので、４つの組み合わせ全てが抽出される。

ステップＳ７０３では、ＣＰＵ１０１は、ステップＳ７０２で抽出した組み合わせが複数あるかどうか判定する。複数ある場合、ステップＳ７０４の処理が実行される。一つしかない場合は、その組み合わせを実際に配信に用いる組み合わせとして選択し、図７のフローチャートが終了する（ステップＳ７０４はスキップされる）。図８（ａ）の例の場合、４つの組み合わせがあるため、ステップＳ７０４が実行される。

ステップＳ７０４では、ＣＰＵ１０１は、ステップＳ７０２で抽出された各組み合わせの、最高画質のデータフォーマットを比較し、最も高画質なデータフォーマットとなる表示装置数が最大となる組み合わせを、実際に配信に用いる組み合わせとして選択する。図８（ａ）において抽出された組み合わせの最高画質データフォーマットと判定の例を、図８（ｂ）に示す。図８（ｂ）では、最高画質データフォーマットは表示装置３０３のＦＨＤであり、（３０１−ＳＤ、３０２−ＳＤ、３０３−ＦＨＤ）の組み合わせのみが該当するため、ＣＰＵ１０１は、この組み合わせを実際に配信に用いる組み合わせとして選択する。

また、この場合、表示装置３０１、３０２に対して同一のデータフォーマットによる配信を行えばよいため、ＣＰＵ１０１は、通信方式として図３（ｃ−１）のマルチキャストを選択する。

以上、実施形態２によれば、表示装置が対応している最も高画質なデータフォーマットで表示動作する台数が増えるように組み合わせを選択することによって、実施形態１よりも、対応している最高画質で動画を表示できる表示装置の台数を増やすことができる。

［実施形態３］
実施形態３では、配信に利用可能なデータフォーマットの組み合わせのうち、すべての表示装置の再生する画質の平均が高くなる組み合わせを選択する。なお、実施形態３において、撮像装置１００の構成要素と、撮像装置１００および表示装置３０１〜３０３の接続関係とは、実施形態１（図１、図３（ａ））と同様であるので、それらの説明を省略する。以下、実施形態１との違いに重点をおき、実施形態３を説明する。

実施形態３は、実施形態１と比べて、ステップＳ４１１での選択動作が異なる。以下、図９および図１０を参照して、実施形態３によるデータフォーマットと通信方式の組み合わせ選択動作について説明する。

図９のフローチャートが示す動作は、前述のステップＳ４１１で説明した動作に相当する。ステップＳ５０１〜Ｓ５０４については、実施形態１（図５）で説明したとおりである。ステップＳ９０１では、ＣＰＵ１０１は、ステップＳ５０４で通信可能と判定された組み合わせのうち、ステップＳ５０２で計算した合計ビットレートが最も高い組み合わせを、実際に配信に用いる組み合わせとして選択する。

実施形態３における通信可能と判定されたデータフォーマットの組み合わせの例と、配信に用いる組み合わせの判定例を、図１０に示す。ＣＰＵ１０１は、図１０の各組み合わせの中で、合計ビットレートが最も高い組み合わせを選択する。図１０の例では、合計ビットレートが９０Ｍｂｐｓとなる、（表示装置３０１−ＳＤ、表示装置３０２−ＨＤ、表示装置３０３−ＨＤ）の組み合わせが選択される。また、この場合、表示装置３０２、３０３に対して同一のデータフォーマットによる配信を行えばよいため、ＣＰＵ１０１は、通信方式として図３（ｃ−２）のマルチキャストを選択する。

以上、実施形態３によれば、表示装置３０１〜３０３で選択されたデータフォーマットの合計ビットレートが最も高い組み合わせを選択することによって、配信される画像の平均画質を高くすることができる。

［実施形態４］
実施形態１〜３で説明した様々な機能、処理または方法は、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、プロセッサなどがプログラムを用いて実現することもできる。以下、実施形態４では、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、プロセッサなどを「コンピュータＸ」と呼ぶ。また、実施形態４では、コンピュータＸを制御するためのプログラムであって、実施形態１〜３で説明した様々な機能、処理または方法を実現するためのプログラムを「プログラムＹ」と呼ぶ。

実施形態１〜３で説明した様々な機能、処理または方法は、コンピュータＸがプログラムＹを実行することによって実現される。この場合において、プログラムＹは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＸに供給される。実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、揮発性メモリ、不揮発性メモリなどの少なくとも１つを含む。実施形態４におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ−ｔｒａｎｓｉｔｏｒｙな記憶媒体である。

なお、本発明の実施形態は上述の実施形態１、２、３または４に限定されるものではない。発明の要旨を逸脱しない範囲で変更または修正された実施形態１、２、３または４も本発明の実施形態に含まれる。

１００：撮像装置、１０１：ＣＰＵ、１０２：メモリ、１０３：不揮発性メモリ、１０４：ＵＩ部、１０５：表示部、１０６：記憶媒体Ｉ／Ｆ、１０７：記憶媒体、１０８：撮像部、１０９：画像処理部、１１０：バッテリ、１１１：無線ＬＡＮ部、１１２：システムバス

Claims (13)

1. ネットワークにおいて単位時間あたりの通信可能なデータ量である通信上限データ量を検出する検出手段と、
   通信データ量が前記通信上限データ量を超えないように、複数の表示装置のそれぞれが対応しているデータフォーマットと複数の通信方式から、各表示装置のデータフォーマットと通信方式の組み合わせを選択する選択手段と、
   前記選択手段により選択された組み合わせが示すデータフォーマットで一つの動画の動画ストリームを生成する生成手段と、
   前記複数の表示装置のそれぞれに、前記選択された組み合わせが示す通信方式で、前記生成手段で生成された動画ストリームを前記ネットワークを介して配信する配信手段と
   を有することを特徴とする動画処理装置。
2. 前記複数の通信方式はマルチキャストを含み、
   前記選択手段は、２つ以上の表示装置へ同じデータフォーマットの動画ストリームが配信される場合には動画ストリームの通信方式としてマルチキャストを選択することを特徴とする請求項１に記載の動画処理装置。
3. 前記複数の通信方式はユニキャストを含み、
   前記選択手段は、配信先が１つの表示装置のみのデータフォーマットの動画ストリームには、通信方式としてユニキャストを選択することを特徴とする請求項１または２に記載の動画処理装置。
4. 前記複数の表示装置のそれぞれが対応しているデータフォーマットは、動画ストリームの配信時のビットレートと画質に関連することを特徴とする請求項１から３のいずれか１項に記載の動画処理装置。
5. 前記選択手段は、データフォーマットと通信方式の組み合わせによる通信データ量の合計が前記単位時間あたりの通信上限データ量を超えない範囲で、全ての表示装置が再生可能な組み合わせを選択することを特徴とする請求項１から４のいずれか１項に記載の動画処理装置。
6. 前記選択手段は、前記複数の表示装置の各々が受信する動画ストリームのデータフォーマットのうち最低画質のデータフォーマットが最も高画質になる組み合わせを選択することを特徴とする請求項５に記載の動画処理装置。
7. 前記選択手段は、対応しているデータフォーマットのうちの最高画質のデータフォーマットを再生する表示装置の数が最大になる組み合わせを選択することを特徴とする請求項５に記載の動画処理装置。
8. 前記選択手段は、各表示装置に割り当てたデータフォーマットに対応するビットレートの合計が最も大きくなる組み合わせを選択することを特徴とする請求項５に記載の動画処理装置。
9. 前記選択手段は、前記複数の表示装置の再生する画質の平均が最も高くなる組み合わせを選択することを特徴とする請求項５に記載の動画処理装置。
10. 動画ストリームの配信先の表示装置の構成の変化の発生を判定する第１の判定手段をさらに有し、
    前記動画ストリームの配信中に、前記第１の判定手段により表示装置の構成の変化が発生したと判定された場合に、前記検出手段による前記通信上限データ量の検出と、前記選択手段による前記組み合わせの選択をやり直すことを特徴とする請求項１から９のいずれか１項に記載の動画処理装置。
11. 動画ストリームの配信中に、前記検出手段により検出された前記通信上限データ量の変化が所定の閾値を超えたか否かを判定する第２の判定手段をさらに有し、
    前記動画ストリームの配信中に、前記第２の判定手段により前記通信上限データ量の変化が所定の閾値を超えたと判定された場合に、前記選択手段による前記組み合わせの選択をやり直すことを特徴とする請求項１から１０のいずれか１項に記載の動画処理装置。
12. ネットワークにおいて単位時間あたりの通信可能なデータ量である通信上限データ量を検出する検出ステップと、
    通信データ量が前記通信上限データ量を超えないように、複数の表示装置のそれぞれが対応しているデータフォーマットと複数の通信方式から、各表示装置のデータフォーマットと通信方式の組み合わせを選択する選択ステップと、
    前記選択ステップで選択された組み合わせが示すデータフォーマットで一つの動画の動画ストリームを生成する生成ステップと、
    前記複数の表示装置のそれぞれに、前記選択された組み合わせが示す通信方式で、前記生成ステップで生成された動画ストリームを前記ネットワークを介して配信する配信ステップと
    を有することを特徴とする制御方法。
13. コンピュータを、
    ネットワークにおいて単位時間あたりの通信可能なデータ量である通信上限データ量を検出する検出手段と、
    通信データ量が前記通信上限データ量を超えないように、複数の表示装置のそれぞれが対応しているデータフォーマットと複数の通信方式から、各表示装置のデータフォーマットと通信方式の組み合わせを選択する選択手段と、
    前記選択手段により選択された組み合わせが示すデータフォーマットで一つの動画の動画ストリームを生成する生成手段と、
    前記複数の表示装置のそれぞれに、前記選択された組み合わせが示す通信方式で、前記生成手段で生成された動画ストリームを前記ネットワークを介して配信する配信手段
    として機能させるためのプログラム。

Images