JP2023026969A - 撮像システム、サーバ装置、サーバ装置の制御方法、プログラム、および記憶媒体 - Google Patents

Abstract

【課題】ユーザが選択した領域の映像を効率的に配信する。【解決手段】撮像装置５０１と、撮像装置５０１と通信可能に接続される録画サーバ５０２と、を含む撮像システム５００である。撮像装置５０１は、複数の解像度で映像を生成する撮像部５０３と、撮像部５０３で生成された映像を一または複数のタイル領域に分割する分割処理を行い、タイル画像を生成する分割部５０４と、録画サーバ５０２に映像を送信する送信部５０６と、を有する。録画サーバ５０２は、撮像装置５０１から送信された映像において指定される指定領域の指定頻度に応じて、分割処理の分割方式を変更する指示を撮像装置に出力する分割制御部５０７を有する。【選択図】図６

Description

本発明は、撮像システム、サーバ装置、サーバ装置の制御方法、プログラム、および記憶媒体に関するものである。

カメラなど撮像装置から提供される映像を遠隔にてユーザが視聴する機会がインターネットに代表されるようなネットワーク技術の進歩により増大している。ある領域を撮影しているカメラの画像中からユーザが注視領域を指定して、その注視領域をクライアント側でデジタル切り出しを行い拡大/縮小等を行い表示する事により、ユーザが自由に注視領域を視聴するサービスが知られている。しかしながら、クライアント側で映像領域を切り出し、拡大して表示すると映像の有効解像度が下がり、映像が劣化したように見える。この課題を克服するために、全体映像、複数の高解像度の映像を複数の所定の領域（タイル領域）で分割した各タイル映像群を録画サーバに送信する。そして、ユーザが指定した注視領域に最も近いタイル映像をクライアントに送信することによって高いスケーラビリティと帯域幅管理を行う技術が知られている。このような技術においては、ユーザの選択や行動によって配信する映像を切り替えるといった技術（特許文献１、２参照）を用いてユーザの選択した範囲に合わせた映像を配信する事ができる。

特開２０１６－５８９９４号公報 特開２０１８－１５６４７４号公報

しかしながら、カメラなど撮像装置にて撮像された、各タイル群とユーザが選択（指定）した領域の差異が大きい場合、高解像でユーザが視聴するためには、複数タイルの映像をユーザに送るか、複数タイル映像からユーザ領域の映像を生成する必要が生じる。前者は、ユーザの帯域を圧迫し、後者は、サーバのリソースを逼迫してしまう。

そこで、本発明は、ユーザが選択した領域の映像を効率的に配信する点で有利な技術を提供することである。

上記課題を解決するために、本発明は、撮像装置と、前記撮像装置と通信可能に接続されるサーバ装置と、を含む撮像システムであって、前記撮像装置は、複数の解像度で映像を生成する撮像部と、前記撮像部で生成された前記映像を一または複数のタイル領域に分割する分割処理を行い、タイル画像を生成する分割部と、前記サーバ装置に前記映像を送信する送信部と、を有し、前記サーバ装置は、前記撮像装置から送信された映像において指定される指定領域の指定頻度に応じて、前記分割処理の分割方式を変更する指示を前記撮像装置に出力する指示部を有することを特徴とする。

本発明によれば、ユーザが選択した領域の映像を効率的に配信する点で有利な技術を提供することができる。

第１実施形態に係る撮像システムを説明する図である。 撮像装置が生成する映像のタイル分割の一例を示す図である。 録画サーバが保存する映像の一例を示す図である。 Ｓ_ＬとＮ_ＳＬの関係を示す図である。 第１実施形態に係る注視領域の一例を示す図である。 第１実施形態に係る撮像システムの構成例を示すブロック図である。 配信映像決定部の配信映像決定処理を示すフローチャートである。 第２実施形態に係るタイル分割処理を説明するフローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜第１実施形態＞
まず、図１、図２、図３、図４、および図５を用いて高いスケーラビリティと帯域幅管理を行う撮像システムの課題を説明する。

図１は、第１実施形態に係る撮像システム５００を説明する図である。図１（Ａ）は、高いスケーラビリティと帯域幅管理を行う撮像システム５００の構成の一例を示す概念図である。図１（Ｂ）～（Ｃ）は、それぞれ撮像装置５０１が録画サーバ５０２へ送信するタイル映像群の一例を示す図である。図２は、撮像装置５０１が生成する映像のタイル分割の一例を示す図である。

撮像システム５００は、撮像装置５０１と録画サーバ５０２とを含み、撮影シーン１０１をユーザが操作するクライアント１０４やクライアント１０５に配信するシステムである。撮像装置５０１は録画サーバ５０２と通信可能に接続されており、録画サーバ５０２は、クライアント１０４およびクライアント１０５と通信可能に接続されている。ここで、クライアントは撮像システム５００の外側に配置しているが、撮像システム５００の内部に組み込んでも良い。また、クライアントは説明の便宜上ここでは二つに限定しているが、一つまたは二つ以上の数であってもよい。

撮像装置５０１は、撮影シーン１０１を複数の解像度で撮像し、複数の解像度の映像（画像）を生成して録画サーバ５０２へ送信する。撮像装置５０１で生成された画像は、例えば、解像度の低い画像１０６と、解像度が画像１０６よりも高い中程度の画像１０７と、解像度が画像１０７よりも高い画像１０８となる。ここで、最も解像度の低い画像１０６を層１の画像、解像度が中程度の画像１０７を層２として、撮像する解像度が大きくなるほど、層の番号を増やすものとする。例えば、撮像装置５０１は、層１の画像として一つのタイル（タイル領域）に分割する。層１は一つのタイルに分割されるため、分割無しともいえる。また、層２の画像を２×２個のタイル、層３の画像を４×４個のタイルに分割し、例えばＨ．２６４等の圧縮方法で各タイル画像を圧縮し、録画サーバ５０２に送信する。ここで、最大層数を３、i番目の層における分割数をｎｉとすると、図示の場合はｎ１＝１，ｎ２＝４，ｎ３＝１６となる。ここで、撮像装置５０１が生成するタイル画像を、それが属する層数iとそのタイルの位置を示す値ｊとして、Ａｉｊと表すとする。ここで、タイルの位置とは、例えば、図２のように左上を開始点として“１”として、右隣のタイルを次の番号とし、以下、ラスタースキャン順に番号を付す。すると、録画サーバ５０２は一フレーム時間当たり、Σｎｉの映像を受信し、録画することになる。また、本明細書では、ある層Ｋより層数が大きい層のことを、ある層Ｋより下層と呼び、最も層数が大きい層の事を最下層と呼ぶ。

一方、クライアント１０４もしくはクライアント１０５、またはその両方は、録画サーバ５０２に対して映像データの取得要求を送信する。録画サーバ５０２は、例えば、クライアント１０４から映像取得要求を受信した場合、まず、層１の撮影シーン全体映像（画像１０６）をクライアントに送信する。

図３は、録画サーバ５０２が保存する映像の一例を示す図である。図３（Ａ）は、録画サーバ５０２が録画サーバ５０２から取得する映像の一例示す図である。図１（Ｂ）～（Ｃ）は、それぞれクライアント画面に表示される映像の一例を示す図である。本実施形態では、一例として、撮像装置５０１は図３（Ａ）に示すような予め決められたタイル領域で撮像した映像を分割する。ここで、図３（Ｂ）の映像３００は、クライアント１０４の表示装置（クライアント画面）に表示されている層１の映像とする。ユーザが、クライアントが備える不図示の入力装置（マウスやタッチパネル等）を操作して、クライアント画面に表示されている映像（ここでは映像３００）中の領域３０１を注視したい領域（以降、注視領域）に設定（指定）したとする。なお、ここで、注視領域とは、ユーザによって指定される領域であり、指定領域ともいえる。このとき、クライアント１０４は注視領域を特定する情報を持つ映像取得コマンドを録画サーバ５０２に送信する。録画サーバ５０２はこれを受信して、注視領域（ここでは領域３０１）に対応する層２のタイルＡ２１の映像をクライアント１０４に送信する。この結果、クライアント１０４に表示される映像は、映像３０３に変化する。また、映像３００を見ているユーザが領域３０２を注視領域に設定した場合、録画サーバ５０２は層３に属するタイルＡ３２の映像をクライアント１０４に送信する。この結果、クライアント１０４に表示される映像は、映像３０４に変化する。なお、以降、クライアントに送信される「タイルＡ２１の映像」という表現を単にタイル画像Ａ２１という。ここで、例えば、領域３０５をユーザが注視領域に設定した場合、録画サーバ５０２は層２のタイル画像Ａ２１、Ａ２２、Ａ２３、Ａ２４を送信する。そして、クライアント１０４はタイル画像Ａ２１、Ａ２２、Ａ２３、Ａ２４を復号して領域３０５の領域部分を切り出して表示する必要が生じる。この場合は、録画サーバ５０２とクライアント１０４の帯域が、一タイル画像送信で済む領域指定に比べて、４倍になる事を意味する。このように多くのユーザが表示に複数枚数を必要な領域(例えば領域３０５)を注視領域とするような撮影シーンにおいては、効率が悪くなり得る。そこで、本実施形態では、ユーザが注視領域を設定（指定）する設定頻度（指定頻度）に応じて、タイル分割の方式を切り替え、ユーザが求める解像度で効率良く配信するシステムを提示する。

ここで、一般に画像をＭ×Ｍのタイルに分割し、タイルの組み合わせで映像を作る場合に、以下の数の映像が考えられる。

ここで、Ｎ_Ｍは、Ｍ×Ｍのタイルに分割した場合のタイルの組み合わせによる映像数、すなわち、タイルの組み合わせによって生成できる映像数を示す。但し、タイルの組み合わせは空間的に連続したタイルを用いるものとし、生成される組み合わせタイル映像の縦横比は組み合わせ前のタイルの縦横比と同じとする。

また、一方で層が１増える毎にタイル分割数を２倍にする場合を考える。層Ｌにおける映像数Ｕ_Ｌは、以下の通りとなる。

ここで、ｌは、層の値を示す。但し、層１における映像数は１とした。すると、映像総数Ｓ_Ｌは、以下の通りとなる。

ここでＭ＝Ｓ_Ｌ＝２^{（Ｌ－１）}とすると、層が１増える毎にタイル分割数を２倍にする場合の映像総数Ｓ_Ｌと、タイルの組み合わせで映像を作る場合の映像総数Ｎ_ＳＬは、図４で示すように、層数Ｌが大きくなるほど、指数関数的に差が拡大していく。なお、図４は、Ｓ_ＬとＮ_ＳＬの関係を示す図である。本図においては、縦軸に映像総数を、横軸に総数を示している。

ここで、Ｎ_ＳＬ個のタイル画像を録画サーバ５０２に用意できれば、ユーザが求める解像度を最下層の画像数に対応した分解能でタイル映像の位置を指定して送信できるため、効率良く配信できる。しかしながら、撮像装置５０１と録画サーバ５０２の間の帯域が限られている事や撮像装置５０１の能力的な限界があり、現実的に録画サーバに送信できる映像数は限られている。そこで、映像の総数はＳ_Ｌで固定し、各層のタイル画像構成をユーザが注視領域としてする領域の設定頻度と、その位置に応じて変更する方法を示す。ここで、層数が一つ増えると映像数が２×２倍になるシステムを示しているが、簡単の為であり、増加率が定まっていればどのような値でも構わない。すなわち、本実施形態では、解像度が大きくなるほど映像数が増えていく。言い換えると、各層のタイル画像の総数の比は、各層の解像度の比に相関している。

ユーザが選択した注視領域が層Ｋのタイル画像の大きさ（サイズ）であった場合に、録画サーバ５０２は、その領域を層ｋ＋１の映像（タイル）の組み合わせで表現し、記憶する。具体的に図５を用いて説明する。図５は、第１実施形態に係る注視領域の一例を示す図である。例えば、図５のようにユーザが選択した注視領域が領域４０１であった場合は、注視領域は層２のタイル画像の大きさであり、層３のタイル画像Ａ３５、Ａ３６、Ａ３９，Ａ３１０からなると記憶する。ここで、層２の全４タイルの構成も、例えば、Ａ２１＝(Ａ３１、Ａ３２、Ａ３５、Ａ３６)といったように一つ下の層３の基準タイルで記述する。ここで、基準タイルとは、撮影領域全体を層ｋのタイルの大きさで２^{２（ｋ－１）}毎のタイルで被覆する構成として定義する。基準タイル構成は、例えば、層３ではＡ２１＝(Ａ３１、Ａ３２、Ａ３５、Ａ３６)、Ａ２２＝（Ａ３３，Ａ３４，Ａ３７，Ａ３８）、Ａ２３＝（Ａ３９，Ａ３１０，Ａ３１３，Ａ３１４）、Ａ２４＝（Ａ３１１，Ａ３１２，Ａ３１５，Ａ３１６）となる。基準タイル構成は、すべての層で一意に定まる。

ここでＫ層のタイル画像をＫ＋１層で表現した場合、映像の組み合わせ、Ｃ_ｋは以下のようになる。

録画サーバ５０２は、上記Ｃｋ個の組み合わせから構成される領域をユーザが選択した回数が多い順にならべ、領域の集合Ω_ｋを構成する。各領域の選択数をｎ_ｉとした場合に、その総数をｍ_ｋとし、上位２^{２（ｋ－１）}個の領域からなる集合Ｚ_ｋの総選択数をＭ_ｋとする。

また、上位確率Ｐ_ｋを以下のように定義する。

さらに、撮影領域全体に対して上位２^{２（ｋ－１）}の領域の和集合をとった領域が被覆しない領域をＡ_ｋとする。Ａ_ｋに含まれる領域が選択された場合に送信しなければならない層ｋより下層の映像数の平均映像数Ｕ_ｋを計算する。また、基準タイルで送信しなければならない映像数の期待値Ｅ_ｋを計算する。以下の条件を満たす場合に、録画サーバ５０２は基準タイル構成でタイル分割を行うように撮像装置５０１にコマンドを送信する。すなわち、録画サーバ５０２は、予め決められたタイル領域（基準タイル）で分割処理を行うように撮像装置５０１にコマンドを送信する。

一方、上記条件に達しない場合は、例えば、録画サーバ５０２は、集合Ｚ_ｋをタイル構成とするように撮像装置５０１にコマンドを送信する。すなわち、録画サーバ５０２は、注視領域に基づいて分割処理を行うように撮像装置５０１にコマンドを送信する。

このような構成により、ユーザの注視領域の選択に偏りがあり、かつユーザの注視領域の選択が基準タイル構成では複数枚のタイル画像を送信する必要がある場合に、一枚のタイル画像の送信で行えるようになる。具体的には、例えば、ユーザが図３（Ｂ）に示す領域３０５を選択する回数が多かった場合に領域３０５を含むタイル画像を一枚で済むタイル分割構成に変化して、効率よく送信する事が出来るようになる。

図６を参照しながら本実施形態に係わる撮像システムの構成例を示す。図６は、第１実施形態に係る撮像システム５００の構成例を示すブロック図である。撮像システム５００は、撮像装置５０１と録画サーバ５０２とを備える。なお、本図における各ブロックは、撮像装置５０１および録画サーバ５０２の夫々に内蔵された制御部としての不図示のコンピュータ（ＣＰＵ）によって実現される。コンピュータがメモリに記憶されたコンピュータプログラムを実行することによって実現される。なお、クライアント１０４および１０５も同様にコンピュータが内蔵されているものとする。

撮像装置５０１は、撮像部５０３と、分割部５０４と、符号化部５０５と、送信部５０６と、を備える。

撮像部５０３は、解像度を変えた複数の映像を撮像する。すなわち、撮像部５０３は、複数の解像度で映像を生成する。ここで、解像度の一番低い画像を層１とし、解像度の低い方から順番に層２、層３、…層ｋの画像と呼ぶことにする。撮像部５０３は、各層の画像を分割部５０４へ出力する。

分割部５０４は、各層の画像を各層に定められたタイル数、パターン（分割方式）で映像を分割し、符号化部５０５に出力する。ここで、分割方式は後述する分割制御部５０７が指定する構成と、画像を各層で予め定められたタイル数で全領域を被覆するように分割する基準タイル構成の２種類から選ばれるものとする。ここで、簡単の為、例えば層iで定められたタイル数ｎ_ｉを、例えば、２^{２（ｉ-Ｌ）}とする。

符号化部５０５は、分割部５０４から入力された画像群をそれぞれ符号化して、送信部５０６に出力する。

送信部５０６は、符号化部５０５から入力された映像群を録画サーバ５０２に出力する。

録画サーバ５０２は、映像受信部５１１、映像ストレージ部５１２、映像送信部５１３、コマンド受信部５１０、配信映像決定部５０９、計算部５０８、および分割制御部５０７を備える。

映像受信部５１１は、撮像装置５０１より入力された映像群を受信し、映像ストレージ部５１２へ出力する。

映像ストレージ部５１２は、映像受信部５１１より入力された映像群をメディアに保存する。ここでは、メディアを例えばＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）とする。また、配信映像決定部５０９より配信映像要求があった映像を映像送信部５１３へ出力する。ここで、メディアに保存することは必ずしも必須の機能ではなく、単純に配信映像要求があった映像を出力するだけでも構わない。

映像送信部５１３は、映像ストレージ部５１２から入力された映像を要求されたクライアントに送信する。

コマンド受信部５１０は、クライアントから注視領域の指定コマンドを受信し、配信映像決定部５０９に送信する。注視領域の指定コマンドは、例えば、層１の全体映像内の座標で指定でも良いし、カメラを中心としたグローバル座標でも構わない。

配信映像決定部５０９は、コマンド受信部５１０が受信したユーザが指定した注視領域と映像ストレージ部５１２に存在する映像で最も領域が近いものを決定し、映像ストレージ部５１２に伝達する。

ここで、注視領域に最も近いタイル群の選定の仕方について図７のフローチャートを用いて説明する。図７は、配信映像決定部５０９の配信映像決定処理を示すフローチャートである。なお、このフロー図で示す各動作（ステップ）は、録画サーバ５０２内のコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって実行されうる。

クライアントから、ユーザが指定した注視領域をコマンド受信部５１０から受信した時、配信映像決定部５０９は、Ｓ６０１にて注視領域を外接する矩形に拡張する。外接矩形は、例えば、簡単に領域の最大ｘ座標値、最小ｘ座標値、最大ｙ座標値、最小ｙ座標値の組み合わせにて構成しても良い。ここで、ｘとｙは画像の横辺、縦辺にそれぞれ平行にとれば良い。外接矩形が決定したら、注目領域を前述の外接矩形に拡張してＳ６０２に進む。

Ｓ６０２にて、注目領域のサイズと中心座標を計算してＳ６０３に進む。ここで、座標系は、層１の画像（全体画像）中の座標系とする。サイズは簡単のため、ｘ辺の長さ、ｙ辺の長さの長い方の辺長と軸情報（ｘ辺かｙ辺かの情報）で良い。

Ｓ６０３にて、層１から順に基準タイルの一枚の軸情報と同じ軸の辺長を注視領域の辺長と比較する。基準タイルの辺長が注視領域の辺長より小さくなるまで層を下層にしていく。基準タイルの辺長が注視領域の辺長より小さくなった層の一つ上の層を送信タイル層として決定し、Ｓ６０４に進む。なお、注視領域の辺長が最下層の基準タイルの辺長より小さい場合は、最下層を送信タイル層とする。

Ｓ６０４にて、送信タイル層の一つ下の層を構成タイル層とし、Ｓ６０５に進む。なお、最下層が送信タイル層の場合は、構成タイル層は最下層とする。

Ｓ６０５にて、構成タイル層の基準タイル構成にて、注視領域を完全に被覆するような複数のタイルからなる構成タイル群を特定しＳ６０６に進む。

Ｓ６０６にて、構成タイル群を全て含むタイルが送信タイル層に存在するか確認する。存在するなら、Ｓ６０７に進む。存在しないならば、Ｓ６０８に進む。Ｓ６０７にて、構成タイル群全てを含むタイル一枚を送信するタイルとして選定して終了する。

Ｓ６０８にて、構成タイル群を含むタイルは送信タイル層に存在するか確認する。存在するなら、Ｓ６０９に進み、存在しないならば、Ｓ６１３に進む。

Ｓ６０９にて、構成タイル群を含む送信タイル層のタイルを組み合わせて、全構成タイル群を含むことができるか確認する。もし、含める事ができるのであればＳ６１０へ進み、全構成タイル群の一部しか含められなかった場合は、Ｓ６１１へ進む。

Ｓ６１０にて、全構成タイル群を含めることができるタイルの組み合わせのうち、最も少ない枚数の組み合わせを送信タイル群として選定して終了する。

Ｓ６１１にて、送信タイル群の一部を選定する。具体的には、構成タイル群を含む送信タイル層のタイルのうち、構成タイル群との重なりが最も多い（重なりの面積が最も大きい）送信タイル層のタイルを送信タイルとして決定する。決定されたタイルに含まれていた構成タイルを構成タイル群から除いて、同様に、送信タイルとして決定していく。かかる方法を構成タイル群を含む送信タイル層のタイルがなくなるまで行う事により、送信タイルの一部が決定できる。

Ｓ６１２にて、送信タイルに含まれる構成タイルを構成タイル群から外し、構成タイル群を更新してＳ６１３へ進む。

Ｓ６１３にて、構成タイル層が最下層か確認する。構成タイル層が最下層であれば、Ｓ６１４へ、違うのであればＳ６１５へ進む。

Ｓ６１４にて、構成タイル群を送信タイルとして選定して終了する。

一方、Ｓ６１５では構成タイル層を一段下げて、Ｓ６１６へ進む。Ｓ６１６にて構成タイル群を被覆する構成タイル層の基準タイル群を新たに構成タイル群として構成タイル群を更新して、Ｓ６０６に戻る。

配信映像決定部５０９は、かかる方法で選定した送信タイル群を注視領域に最も近いタイル群として映像ストレージ部５１２に伝達する。そして、映像ストレージ部５１２は、配信映像決定部５０９より配信映像要求があった映像を映像送信部５１３へ出力する。映像送信部５１３は、映像ストレージ部５１２から入力された映像をクライアントに送信
する。

図６に戻り、計算部５０８は、注視領域を構成する構成タイル群を全て含む最小のタイルの頻度をインクリメントして、分割制御部５０７に出力する。

分割制御部５０７は、１から最下層の総数までの数ｋにて指定される層ｋで、選択された回数が多い順に、例えば、２^{２（ｋ－１）}個の領域、その選択数、総選択数、および被覆されていない領域から分割方式を変更するかを判断する。具体的には、分割制御部５０７は、基準タイル構成で分割するか、指定頻度によるタイル構成を有効にするか判断する。そして、撮像装置５０１の分割部５０４に指示を出力する。すなわち、分割制御部５０７は、分割処理の分割方式を変更する指示を撮像装置５０１に出力する指示部として機能する。ここで、例えば、式（１－８）を満たせば、基準タイル構成とし、満たさなければ頻度によるタイル構成とすれば良い。

なお、分割制御部５０７は、前記複数の解像度の映像のうち、最下層を除いて、解像度の高い順から、順次、分割処理の分割方式を変更するかを判断し、変更の指示を分割部５０４に出力することが好ましい。このような構成とすることで、解像度が高い映像から順に最適化することが可能となるため、より効率化することが可能となる。

以上のような方式でタイル分割の方式を切り替える事により、ユーザの選択に偏りがあった場合、全体の帯域を変更する事なく、注視領域に選択される頻度が高い映像を効率良く提供する事ができる。また、ユーザが注視領域として指定する頻度がより高い領域を効率よく配信できる。

（第２実施形態）
第２実施形態として、図８を参照しながら、本実施形態に係る撮像装置について説明する。本実施形態は、第１実施形態のように、ユーザが注視領域として設定される頻度に応じて、タイル分割の方式を切り替え、ユーザが求める解像度で効率良く配信するシステムである。本実施形態は、第１実施形態で説明したタイル構成を決定するためにさらに撮影された映像がもつスケーリング変換に対するロバスト性の評価情報を用いる事を特徴とする。図６に図示された分割部５０４にて選択するタイル分割方法に第１実施形態との差異があり、それ以外の部分は第１実施形態と同じであるタイル分割方法以外の部分については省略する。

以下、最下層ではないあるＫ層におけるタイル分割方法を図８のフローチャートを用いて説明する。図８は、第２実施形態に係るタイル分割処理を説明するフローチャートである。なお、このフロー図で示す各動作（ステップ）は、撮像装置５０１内のコンピュータがメモリに記憶されたコンピュータプログラムを実行することによって実行されうる。なお、最下層のタイル分割方法は、実施例１と同じで基準タイル構成となる。

Ｓ８０１において、Ｋ層の構成タイル群（Ｋ＋１層の基準タイル群と同じである）から構成されるＫ層のタイルをＡjとし、各Ａjをユーザが選択した回数をｎjとすると、各Ａjが選択される確率Ｐjを以下のように計算して、Ｓ８０２へ進む。

Ｓ８０２において、タイル構成候補Ｒを以下のように求める。下層からの要請タイル集合の要素になるタイル群Ａpを求め、構成タイル群ＡｊからＡｐを除き、確率Ｐjが高い順にタイルＡjを並べ直す。最後に並べ直したＡｊの先頭にタイル群Ａpを追加して、Ａ’として先頭から後ろに向かうにしたがって、数字が大きくなるように付番する。すると、Ａ_１’から、Ａ_{２^(２ｋ－２)}′までがタイル構成候補Ｒとなる。また、ｋ－１層への要請タイル集合を空集合として初期化してＳ８０３へ進む。ここで、下層からの要請とは、ｋ＋１層におけるＳ８０１の処理結果で定まる。

Ｓ８０３において被覆率Ωを以下のように計算し、Ｓ８０４へ進む。

ここで、タイルＡとＢの和集合とは、例えば、Ａ＝{(ｘ、ｙ}|x１＜ｘ＜x２、ｙ１＜ｙ＜ｙ２)とＢ＝{(ｘ、ｙ}|x３＜ｘ＜x４、ｙ３＜ｙ＜ｙ４)の和集合となる画素の集合とする。ここで、ｘ１、ｘ２、ｙ１、ｙ２はそれぞれタイルＡの領域を決定する最小、最大ｘ座標値、最小、最大ｙ座標値であり、ｘ３、ｘ４、ｙ３、ｙ４はタイルＢの領域を決定する最小、最大ｘ座標値、最小、最大ｙ座標値である。

Ｓ８０４において、被覆率Ωがある閾値Ω_ｔｈを比べる。被覆率Ωがある閾値Ω_ｔｈより小さかった場合はＳ８０６へ進み、それ以外はＳ８０５へ進む。ここで、閾値Ω_ｔｈは任意の値で良く、例えば０．５でも良い。

Ｓ８０５において、タイル構成候補ＲをＫ層のタイル分割に使用する構成タイルとして採用して終了する。

Ｓ８０６において、Ａ_１’から、Ａ_{２^(２ｋ－２)}′で構成されるタイル構成候補Ｒの要素であるタイルの空間周波数を計算してＳ８０７へ進む。ここで、それぞれの周波数を(ω1、ω２、…、ω２^{２（ｋ－１）})とし、例えば、空間周波数は簡単の為、横方向の空間周波数を想定しても良い。

Ｓ８０７において、閾値の周波数ω_ｔｈより下回る周波数ωを持つ、タイル構成候補Ｒの部分集合Ｂを求めて、Ｓ８０８に進む。なお、ω_ｔｈは、スケーリング変換により画質の劣化が起きない空間周波数である。簡単の為、各層でのタイル一枚当たりの解像度を同じにするシステムを考えている為、この場合は例えばＷ／４で良い。ここで、Ｗはタイルの横辺のピクセル数である。

Ｓ８０８において求めた部分集合Ｂが空集合かどうか評価する。部分集合Ｂが空集合ならば（Ｎｏ）Ｓ８０９へ進み、それ以外であれば（Ｙｅｓ）Ｓ８１０へ進む。

Ｓ８０９において、タイル構成候補ＲをＫ層のタイル分割に使用する構成タイルとして採用して終了する。

Ｓ８１０において、部分集合Ｂのタイルを構成タイルとして持つ、Ｋ－１層の基準タイルに対して、Ｋ－１要請タイル集合の要素と重複しなければ、Ｋ－１要請タイル集合に加えて、Ｓ８１１へ進む。

Ｓ８１１において、タイル構成候補Ｒから部分集合Ｂの要素を除く。すると、部分集合Ｂの要素数分ＮＢだけ、Ｋ層のタイル構成候補Ｒに入れる事が可能になる。従って、構成されるＫ層の構成タイル群より、タイル構成候補Ｒを引いた集合において確率Ｐｋが高い順に要素数分ＮＢ抽出し、タイル構成候補Ｒに加えて新たにタイル構成候補Ｒとし、Ｓ８０３に戻る。

このように被覆率Ωが閾値Ωｔｈを超えるか、上位層で表現しても劣化がないタイル集合がなくなるまで、前述の方法で効果的なタイル構成を決定する事ができる。前述の方法を用いて定めたタイル構成と基準タイルとタイル分割の方式を切り替える事により、ユーザの選択に偏りがあった場合、全体の帯域を変更する事なく、注視領域に選択される頻度が高い映像を効率良く提供する事ができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

５００ 撮像システム
５０１ 撮像装置
５０２ 録画サーバ
５０３ 撮像部
５０４ 分割部
５０５ 符号化部
５０６ 送信部
５０７ 分割制御部
５０８ 計算部

Claims (13)

1. 撮像装置と、前記撮像装置と通信可能に接続されるサーバ装置と、を含む撮像システムであって、
   前記撮像装置は、
   複数の解像度で映像を生成する撮像部と、
   前記撮像部で生成された前記映像を一または複数のタイル領域に分割する分割処理を行い、タイル画像を生成する分割部と、
   前記サーバ装置に前記映像を送信する送信部と、を有し、
   前記サーバ装置は、
   前記撮像装置から送信された映像において指定される指定領域の指定頻度に応じて、前記分割処理の分割方式を変更する指示を前記撮像装置に出力する指示部を有することを特徴とする撮像システム。
2. 前記指示部は、さらに前記指定領域の前記映像における位置に応じて、前記分割処理の分割方式を変更する指示を前記撮像装置に出力することを特徴とする請求項１に記載の撮像システム。
3. 前記指示部は、予め決められた前記タイル領域で前記分割処理を行うか、前記指定領域に基づいて前記分割処理を行うかの指示を前記撮像装置に出力することを特徴とする請求項１または２に記載の撮像システム。
4. 第１の解像度を有する第１の映像から生成された第１タイル画像の総数と、前記第１の解像度より高い第２の解像度を有する第２の映像から生成された第２のタイル画像の総数の比は、前記第１の解像度と前記第２の解像度の比に相関していることを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
5. 前記指定領域に応じて、前記撮像装置が前記サーバ装置に送信する映像数の期待値を計算する計算部を備え、
   前記指示部は、前記期待値に基づいて、前記指示を出力することを特徴とする請求項１乃至４のいずれか１項に記載の撮像システム。
6. 前記指示部は、前記複数の解像度の映像のうち、最も高い解像度の映像を除いて、解像度の高い順から、順次、前記分割処理の分割方式を変更するかを判断し、前記指示を前記撮像装置に出力することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
7. 前記分割部は、スケーリング変換による画質の劣化の評価情報に基づいて、前記分割処理を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像システム。
8. 前記分割部は、前記スケーリング変換による画質の劣化を評価するにあたり、前記タイル領域として分割される領域の空間周波数を取得して前記分割処理を行うことを特徴とする請求項７に記載の撮像システム。
9. 前記撮像装置は、前記撮像部で生成された映像および前記タイル画像に対して符号化を行う符号化部をさらに備えることを特徴とする請求項１乃至８のいずれか１項に記載の撮像システム。
10. 複数の解像度で映像を生成し、生成された前記映像を一または複数のタイル領域に分割する分割処理を行い、タイル画像を生成する撮像装置と、通信可能に接続されるサーバ装置であって、
    前記撮像装置から送信された映像において指定される指定領域の指定頻度に応じて、前記分割処理の分割方式を変更する指示を前記撮像装置に出力する指示部を有することを特徴とするサーバ装置。
11. 複数の解像度で映像を生成し、生成された前記映像を一または複数のタイル領域に分割する分割処理を行い、タイル画像を生成する撮像装置と、通信可能に接続されるサーバ装置の制御方法であって、
    前記撮像装置から送信された映像において指定される指定領域の指定頻度に応じて、前記分割処理の分割方式を変更する指示を前記撮像装置に出力させることを特徴とする制御方法。
12. 複数の解像度で映像を生成し、生成された前記映像を一または複数のタイル領域に分割する分割処理を行い、タイル画像を生成する撮像装置と、通信可能に接続されるサーバ装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記撮像装置から送信された映像において指定される指定領域の指定頻度に応じて、前記分割処理の分割方式を変更する指示を前記撮像装置に出力させることを特徴とするプログラム。
13. 請求項１２に記載のプログラムを記憶した、コンピュータで読み取り可能な記憶媒体。
    
    

Images