JP2020127150A - システム、画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】伝送するデータ量を制御することを目的とする。【解決手段】画像処理装置は、撮影装置の撮影により得られた画像データにおけるオブジェクトを識別し、該オブジェクトの種別に応じて該オブジェクトに対応する伝送パラメータを決定し、該伝送パラメータに基づいて、該画像データから該オブジェクトに対応する伝送データを生成し、生成された該伝送データを外部装置へ出力する。【選択図】 図１

Description

本発明は、仮想視点コンテンツの生成技術に関する。

昨今、複数のカメラを異なる位置に設置することにより多視点で同期撮影し、当該撮影により得られた複数の画像を用いて仮想視点（自由視点）コンテンツを生成する技術が注目されている。このような仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールの試合におけるハイライトシーンを様々な角度から視聴することができるため、通常の画像と比較してユーザに高臨場感を与えることができる。このような複数の画像に基づく仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像データを３次元形状データの生成やレンダリングなどの処理を施してユーザに提供することにより実現できる。

上記の技術に加え、仮想視点コンテンツを生成するシステムにおいて、カメラからの画像データを圧縮して膨大なデータ量を抑制する技術が開示されている（特許文献１）。

特開２００６−３０２０１１号公報

特許文献１に開示された技術では、画像データを単一の圧縮方式で圧縮し、仮想視点コンテンツを生成するためのユニットへ出力している。しかしながら、画像データを単一の圧縮方式で圧縮して出力する場合、画像の画質を担保する場合には、十分にデータ量を削減できないという課題がある。一方、データ量を削減するためには、画像の画質が低下してしまうという課題がある。

本発明は、上記課題に鑑みてなされたものであり、伝送するデータ量を制御することを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を有する。すなわち、画像処理装置であって、撮影装置の撮影により得られた画像データにおけるオブジェクトを識別する識別手段と、前記識別されたオブジェクトの種別に応じて前記識別されたオブジェクトに対応する伝送パラメータを決定する決定手段と、前記識別されたオブジェクトに対して前記決定された伝送パラメータに基づいて、前記画像データから前記識別されたオブジェクトに対応する伝送データを生成する生成手段と、前記生成された伝送データを外部装置へ出力する出力手段と、を有する。

本発明によれば、伝送するデータ量を制御することが可能となる。

実施形態１における仮想視点画像生成システムの概略構成を示すブロック図。 画像処理装置のハードウェア構成例を示すブロック図。 実施形態１における撮影画像の例を示す図。 （ａ）はオブジェクト情報の例を示す図、（ｂ）はマスクデータの例を示す図、（ｃ）は伝送パラメータの例を示す図。 （ａ）は実施形態１におけるオブジェクト識別部の処理フロー、（ｂ）は実施形態１における伝送パラメータ決定部の処理フロー。 （ａ）は実施形態２における画像処理システムの概略構成を示すブロック図、（ｂ）は実施形態２における撮影装置の配置例を示す図、（ｃ）は実施形態２の処理を説明するための図。 実施形態２における伝送パラメータ決定部の処理フロー。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。

［実施形態１］
（画像処理システムの構成）
図１に実施形態１における仮想視点画像生成システム１００の概略構成を示す。仮想視点画像生成システム１００は、撮影装置１１００、画像処理装置１０００、通信インターフェイス（Ｉ／Ｆ）１２００、及び仮想視点画像生成装置１３００から構成される。画像処理装置１０００は、撮影装置１１００および、通信インターフェイス１２００を介して仮想視点画像生成装置１３００と接続されている。

撮影装置１１００は、例えば、シリアルデジタルインターフェイス（ＳＤＩ）に代表される映像信号インターフェイスを備えたデジタルビデオカメラである。撮影装置１１００は、映像信号インターフェイス等を介して、撮影処理により得られた画像データ（撮影画像）を画像処理装置１０００に入力する。なお、図１では撮影装置１１００は画像処理装置１０００の外部の装置として構成されているが、画像処理装置１０００に組み入れられるように構成されても良い。

画像処理装置１０００は、撮影装置１１００から画像データを受信し、受信した画像データから伝送データを生成し、通信インターフェイス１２００を介して仮想視点画像生成装置１３００に出力する。伝送データは、画像データに対して符号化処理等が施されたデータである。

通信インターフェイス１２００は、ローカルエリアネットワークに代表されるネットワークに接続するためのインターフェイス部である。例えば、通信インターフェイス１２００は、高速シリアルインターフェイスを備えたＬＡＮカードである。通信インターフェイス１２００は、ＰＣＩＥｘｐｒｅｓｓ等の高速シリアルインターフェイスを介して、画像処理装置１０００から伝送データを受信し、ネットワークケーブル等（不図示）を介して伝送データを仮想視点画像生成装置１３００に出力する。尚、通信インターフェイス１２００は、画像処理装置１０００に組み入れられるように構成されても良い。

仮想視点画像生成装置１３００は、通信インターフェイス１２００を介して画像処理装置１０００から伝送データを受信し、仮想視点画像を生成する。例えば、仮想視点画像生成装置１３００は、受信した伝送データに基づいて３次元形状の推定（３次元形状データの生成）やレンダリングなどの処理を行い、仮想視点画像を生成する。仮想視点画像生成装置１３００が生成した仮想視点画像は、不図示の画像表示部等によりユーザによって視聴可能となる。
尚、仮想視点は、ユーザが指定することにより取得されてもよいし、装置が自動的に指定することにより取得されてもよい。また、仮想視点として指定される情報は、視点の位置及び向きに関する情報を含んでいてもよい。

（画像処理装置の構成）
次に、画像処理装置１０００の構成について説明する。まず、画像処理装置１０００の機能構成について説明する。図１に示すように、画像処理装置１０００は、その機能構成として、オブジェクト識別部１０１０、伝送パラメータ決定部１０２０、及び伝送データ生成部１０３０を有する。尚、本実施形態では、画像処理装置１０００は、撮影装置１１００により撮影されたスタジアムにおけるサッカーの試合の画像データを受信し、当該画像データから伝送データを生成するものとする。

オブジェクト識別部１０１０は、撮影装置１１００から入力された画像データからオブジェクトを識別する。例えば、オブジェクト識別部１０１０は、機械学習によって生成した検出器を利用して、画像に特定のオブジェクトが映っていることを判別する。前述したように、本実施形態では、画像処理装置１０００は、撮影装置１１００からサッカーの試合の画像データを受信し、オブジェクト識別部１０１０は当該画像データにおいてオブジェクトを識別する。本実施形態におけるオブジェクトの例は、サッカー選手、ボール、選手の影、広告用ディスプレイ、固定広告、オーロラビジョン、芝、観客席、応援旗などである。更にオブジェクト識別部１０１０は、識別したオブジェクトに関する情報（オブジェクト情報）を生成する。オブジェクト識別部１０１０の処理については、図５（ａ）を用いて後述する。
尚、機械学習により検出器を生成する方法としては、以下の方法を用いてもよい。例えば、検出器を入力層と多層構成の中間層と出力層を備えるニューラルネットワーク構造で構成し、まず入力画像を検出器の入力層に入力し、出力層からの出力データと正解データであるオブジェクト種別とを比較する。そして、比較して、出力データと正解データの差が小さくなるように、ニューラルネットワーク構造のパラメータを調整する。こうしてパラメータが調整された検出器が生成される。このパラメータが調整された検出器が、機械学習によって生成した検出器（オブジェクト識別部１０１０）に相当する。

尚、オブジェクト識別部１０１０は、機械学習以外の手法によってオブジェクトを識別しても良い。例えば、オブジェクト識別部１０１０は、受信した画像データのフレーム差分を取得することにより、映像の中で動きのある箇所と動きのない箇所を特定し、動きのある選手やボールなどと、動きの無いサッカーフィールドを分割できる。また、固定広告など位置が固定されている物体については、ユーザが操作部２０３０（図２）を介してオブジェクトを指定することにより、オブジェクト識別部１０１０がオブジェクトとして識別しても良い。

伝送パラメータ決定部１０２０は、オブジェクト識別部１０１０により生成されたオブジェクト情報に基づき、伝送パラメータを決定する。伝送パラメータとは、伝送データ生成部１０３０が伝送データを生成するために使用する方式やパラメータであり、例えば、圧縮方式、圧縮率を制御するための量子化値、解像度、フレームレートなどである。本実施形態では、伝送パラメータ決定部１０２０は、前述のサッカー選手、ボール、広告や観客席などのオブジェクトのオブジェクト情報により、伝送パラメータを決定する。

伝送パラメータは、オブジェクトの性質に基づき決定される。例えば、仮想視点画像において、動きのあるサッカー選手やボールについては、画像データにおいて重要な被写体であり、３次元形状の推定の対象となり得るため、伝送パラメータ決定部１０２０は、３次元形状の推定に必要となる伝送パラメータを決定する。一方、広告や観客席などについては、３次元形状の推定は必要ないため、伝送パラメータ決定部１０２０は、テクスチャ情報として伝送パラメータを決定する。また、同じテクスチャ情報でも、オブジェクトによりその性質は異なる。例えば、広告と観客席を例にとると、広告は仮想視点画像内においても重要な媒体である。そのため、仮想視点の位置が広告に寄った場合においても、広告の画像は高解像度および高画質で表示されることが望ましい。一方、仮想視点画像における観客席については、臨場感を伝えるために重要なオブジェクトであるが、必ずしも高解像度および高画質である必要はない。伝送パラメータ決定部１０２０の処理の詳細については図５（ｂ）を用いて後述する。

尚、３次元形状の推定の対象となるオブジェクトの種別は、画像データにおけるオブジェクトの種別の重要度により決定されても良い。例えば、サッカーの試合では、動きに関係なく、重要度が高いと判断されたオブジェクトについては、伝送パラメータ決定部１０２０は、３次元形状の推定に必要となる伝送パラメータを決定してもよい。当該重要度は、ユーザにより操作部２０３０（図２）を介して設定されても良い。

伝送データ生成部１０３０は、伝送パラメータ決定部１０２０により決定された伝送パラメータに基づき、画像データに対して符号化処理等を施して伝送データを生成する。このとき、伝送データ生成部１０３０は、オブジェクト識別部１０１０により生成されたオブジェクト情報も参照し得る（座標情報等）。伝送データ生成部１０３０は、複数の符号化方式を用いて符号化処理を行ってもよい。例えば、伝送データ生成部１０３０は、符号化されたデータに対し復号処理を行った際に元のデータに戻る可逆圧縮方式と、ＪＰＥＧのように量子化誤差が生じ元のデータに戻らない非可逆圧縮方式の両方の符号化方式を用いて符号化処理を行っても良い。また、伝送データ生成部１０３０は、ＪＰＥＧの量子化値のように圧縮品質を変えても良い。更に、伝送データ生成部１０３０は、対象となるオブジェクトの伝送データ生成時のフレームレートを変換しても良い。フレームレート変換処理は、例えば、撮影装置１１００から入力される画像データから伝送データを生成するか否かを毎フレーム判断することによって行われる。

次に、画像処理装置１０００のハードウェア構成について説明する。図２は画像処理装置１０００のハードウェア構成の一例を示す図であり、記憶部２０１０、制御部２０２０、操作部２０３０、出力部２０４０を有する。

記憶部２０１０はＲＯＭ、ＲＡＭの両方、もしくは、いずれか一方により構成され、後述する各種動作を行うためのプログラム等の各種情報を記憶する。なお、記憶部２０１０として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。

制御部２０２０はＣＰＵまたはＭＰＵの１つ以上により構成され、記憶部２０１０に記憶されたプログラムを実行することにより画像処理装置１０００全体を制御する。尚、制御部２０２０は、記憶部２０１０に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）との協働により画像処理装置１０００全体を制御するようにしてもよい。操作部２０３０は、ユーザからの各種操作の受付を行う。出力部２０４０は、外部に対して各種出力を行う。

（画像データ およびオブジェクト情報の例）
次に、図３を参照して、撮影装置１１００により撮影 される撮影映像について説明する。図３は、撮影装置１１００により得られた撮影映像の１フレームである画像データ３０００ の例を示す。上述したように、本実施形態では、撮影装置１１００は、スタジアムにおけるサッカーの試合を撮影し、画像データを生成する。画像データ３０００内には、サッカーフィールド３０７０上にサッカー選手３０１０、サッカーボール３０２０が映し出されている。サッカーフィールド３０７０脇には広告表示用のディスプレイ（表示装置）３０３０が映し出されている。これらのディスプレイは、時々刻々と広告画像を変化させる効果を加えることで広告効果を上げている。また、スタジアムには看板広告３０４０もあり、これは社名や商品名が記載されているため認知度を上げるための重要な広告媒体である。また、サッカーフィールド３０７０脇だけでなくオーロラビジョン３０９０にも得点などの情報や広告が表示される場合がある。画像データ３０００内には、観客席３０６０も映し出されている。観客席３０６０では、ゴールシーンなどの重要なシーンで振られ応援を盛り上げる応援旗３０５０が映し出されている。その他にも、画像データ３０００には空３０８０が映し出されている。サッカーなどの屋外で行うスポーツにおいて、天候は試合結果に影響のある要素である。

次に、オブジェクト識別部１０１０により生成されるオブジェクト情報について説明する。オブジェクト情報はフレームごとに生成され得る。図４（ａ）にオブジェクト情報４０００の一例を示す。オブジェクト識別部１０１０は、撮影装置１１００から入力される画像データからオブジェクトを識別し、ＩＤ情報、座標情報、オブジェクト種別、マスクデータを記録したオブジェクト情報４０００を生成する。オブジェクト情報４０００は図３に示した画像データ３０００に対応する。ＩＤ情報は、画像データから認識されたオブジェクトに対して付与される識別子である。この識別子は、後述するように、伝送パラメータとの対応付けのため等に使用される。座標情報は、認識されたオブジェクトを外包する矩形領域の２つの頂点の座標である。例えば、画像データ３０００が横幅４０９６、縦２１６０の画素があるデータとする。所定の頂点を定めると、ＩＤ情報：１であるサッカー選手３０１０を外包する矩形の頂点である（Ｘ，Ｙ）＝ （１８００，１４４０）および（Ｘ，Ｙ）＝ （２１００，１８００）が、サッカー選手３０１０の座標情報として記録される。オブジェクト種別は、認識されたオブジェクトの種類を表す。図４（ａ）に示すオブジェクト種別は一例であり、ＩＤ情報：１であるサッカー選手３０１０は「選手」と記録されても良いし、「サッカー選手」と記録されてもよい。また、オブジェクト種別として予め決められたＩＤを用いも良い。マスクデータは、認識されたオブジェクトを外包する矩形領域内のオブジェクトのピクセルとオブジェクト以外のピクセルを表す１画素あたり２値のデータである。マスクデータの例を図４（ｂ）に示す。図４（ｂ）では、ＩＤ情報：１であるサッカー選手３０１０のマスクデータ００１がデータ４１００として示され、オブジェクトであるサッカー選手の領域を表すピクセルは“１”それ以外は“０”を表すように構成される。尚、マスクデータは、後述する図５（ｂ）におけるＳ５１５０で、３次元形状推定の処理を行うオブジェクトに対して使用されるものであることから、３次元形状推定の処理を行わないオブジェクトに対しては生成されなくても良い。

（処理の流れ）
次に、図５（ａ）を参照してオブジェクト識別部１０１０の処理について説明する。図５（ａ）は、オブジェクト識別部１０１０の処理フロー５０００である。以下、処理フロー５０００を、図３に示した画像データ３０００および図４（ａ）に示したオブジェクト情報４０００を参照して説明する。尚、処理フロー５０００は、画像処理装置１０００の制御部２０２０が記憶部２０１０に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。

オブジェクト識別部１０１０はステップＳ５０１０から処理を開始する。ステップＳ５０２０において、オブジェクト識別部１０１０は、撮影装置１１００から画像データ（撮影映像の１フレーム）３０００を取得する。
次にステップＳ５０３０において、オブジェクト識別部１０１０は、画像データ３０００内のオブジェクトを識別する。上述したように、例えば、オブジェクト識別部１０１０は、機械学習によって生成した検出器を利用して、画像データに特定のオブジェクトが映っていることを判別する。サッカー選手３０１０を特定するためには、オブジェクト識別部１０１０は例えば、準備した一般的な人物の検出器に加え、あらかじめ分かっているユニフォームの色や人物の立っているサッカーフィールドの色などを利用しても良い。オブジェクト識別部１０１０は、機械学習だけでなく、仮想視点画像撮影特有の設置状況や撮影状況を利用して、オブジェクトを特定してもよい。例えば、一般的には、スタジアムで行われるサッカーの試合の準備期間中にはディスプレイ広告のリハーサルがあり、サッカーフィールド脇に広告表示用のディスプレイが設置され広告を表示している期間がある。この広告が表示されている期間を利用し、オブジェクト識別部１０１０は、画像データのフレーム間の画素値の差分を積算し、一定以上ある領域をディスプレイ広告を識別してもよい。また、オブジェクト識別部１０１０は、フレーム差分を用いることで画像の中で動きのある箇所と動きのない箇所を特定し、サッカーフィールド内において動きのある箇所はサッカー選手やボール、動きの無いサッカーフィールドと分割できる。オブジェクト識別部１０１０はこのように画像データからオブジェクトを判別し、図４（ａ）に示したようなオブジェクト情報４０００を生成する。なお、固定広告など位置が固定されている物体についてはユーザが操作部２０３０を介してオブジェクトを指定しても良い。
次にステップＳ５０４０において、オブジェクト識別部１０１０は、生成したオブジェクト情報４０００を伝送パラメータ決定部１０２０に通知（出力）する。

次にステップＳ５０５０において、オブジェクト識別部１０１０は、全フレームに対する処理が完了しているか判断する。オブジェクト識別部１０１０が全フレームの処理を完了していなければ、処理はステップＳ５０２０に遷移し再び前述の処理を繰り返す。尚、動かないオブジェクトについては、オブジェクト識別部１０１０は毎フレームオブジェクトを識別する必要はない。例えば、空や看板広告など、撮影画像において座標情報が変化のないオブジェクトについては、オブジェクト識別部１０１０は、試合開始前の準備期間中に撮影されて得られた画像データからオブジェクト情報４０００を生成してもよい。

次に、図５（ｂ）を参照して伝送パラメータ決定部１０２０の処理について説明する。図５（ｂ）は、伝送パラメータ決定部１０２０の処理フロー５１００である。以下、処理フロー５１００を、図３に示した画像データ３０００および図４（ａ）に示したオブジェクト情報４０００を参照して説明する。尚、処理フロー５１００は、画像処理装置１０００の制御部２０２０が記憶部２０１０に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。

伝送パラメータ決定部１０２０はステップＳ５１１０から処理を開始する。ステップＳ５１２０において、伝送パラメータ決定部１０２０は、オブジェクト識別部１０１０からオブジェクト情報４０００を取得する。
次に、ステップＳ５１３０において、伝送パラメータ決定部１０２０は、オブジェクト情報４０００から選択した１つのオブジェクトを対象オブジェクトとして選択し、当該対象オブジェクトのオブジェクト種別を取得する。本実施形態では、伝送パラメータ決定部１０２０は、ＩＤ情報：１から順にオブジェクトを対象オブジェクトとして選択し、そのオブジェクト種別を取得する。すなわち、伝送パラメータ決定部１０２０はまず、オブジェクト情報４０００のＩＤ情報：１のオブジェクト種別である「選手」を取得する。

次にステップＳ５１４０において、伝送パラメータ決定部１０２０は、対象オブジェクトは仮想視点画像を作成する際に３次元形状を推定すべきオブジェクトであるか判断を行う。本実施形態における仮想視点画像生成システム１００では、オブジェクト情報４０００におけるオブジェクト種別が「選手」および「ボール」のオブジェクトに対して３次元形状を推定するものとする。よって、伝送パラメータ決定部１０２０は、オブジェクト種別が「選手」であるＩＤ情報：１のオブジェクトは３次元形状の推定が必要なオブジェクトと判断し、処理はステップＳ５１５０に遷移する。尚、本実施形態では、伝送パラメータ決定部１０２０はオブジェクト種別に基づき３次元形状推定の処理の有無を判断しているが、その他の方法で３次元形状推定の処理の有無を判断しても良い。例えば、オブジェクト識別部１０１０が３次元形状推定の処理の有無をオブジェクト種別に基づいてオブジェクト情報４０００に記録しても良い。また、オブジェクト識別部１０１０は、フレーム差分を用いることで画像の中で動きのある箇所と動きのない箇所が特定した場合、動きのある個所について３次元形状推定の処理を行うことをオブジェクト情報４０００に記録しても良い。また、前述したように、画像データにおいて予め設定されたオブジェクトの種別の重要度に応じて、３次元形状推定の処理を行うかが決定されても良い。

次にステップＳ５１５０において、伝送パラメータ決定部１０２０は、オブジェクト情報４０００に含まれる対象オブジェクトのマスクデータから、伝送データ生成部１０３０により生成される伝送データと共に送信するマスク画像（シルエット画像）を生成する。本実施形態では、仮想視点画像生成装置１３００は３次元形状推定を視体積交差法を用いて行うものとする。視体積交差法は、複数の撮影装置による画像データから得られたマスク画像を３次元空間に逆投影することにより３次元形状を取得することができる。そのため、伝送パラメータ決定部１０２０はオブジェクト情報４０００におけるマスクデータから３次元形状推定をするためのマスク画像を生成する。マスクデータとマスク画像はともに矩形画像内のオブジェクトの形状を表す２値のデータ（画像）なので特別な変換をしなくてもよい。また、データ量軽減のため、伝送パラメータ決定部１０２０は、当該２値のデータをＪＢＩＧのような圧縮方式を用いて圧縮データを生成してもよい。

次に処理はＳ５１６０に遷移し、伝送パラメータ決定部１０２０は、画像データ３０００に対する対象オブジェクトの伝送パラメータを決定する。上述したように、本実施形態では、伝送パラメータ決定部１０２０は、伝送パラメータとして、圧縮方式、圧縮品質、解像度、フレームレート等を決定する。伝送パラメータ決定部１０２０は、前述したような、３次元形状の推定が必要なオブジェクトか否かの決定や、画像データにおける重要度、オブジェクトの性質等に基づいて、オブジェクト種別毎に伝送パラメータを決定する。例えば、画像データにおける重要度が高いほど、高画質な伝送データが生成されるように伝送パラメータが決定される。当該重要度はユーザにより操作部２０３０を介して設定され得る。

図４（ｃ）に、伝送パラメータ決定部１０２０により決定される伝送パラメータ４２００の一例を示す。なお、伝送パラメータ４２００は伝送パラメータ決定部１０２０により決定される伝送パラメータの一例であり、図４（ｃ）に示す圧縮方式、圧縮品質、解像度、フレームレートのうち少なくとも一つが伝送パラメータとして決定されてもよい。ＩＤ情報：１のオブジェクトはオブジェクト種別が「選手」であり、画像データにおいて重要な被写体である。そのため、伝送パラメータ決定部１０２０は、ＩＤ情報：１のオブジェクトに対して、圧縮方式として可逆圧縮方式を選択する。可逆圧縮方式は、復号処理により画像データを形成した際に元の画像に戻る、最も高画質な圧縮方式である。可逆圧縮方式の場合は元の画像に戻るため、量子化値などの圧縮品質に関わるパラメータは無い。また、解像度、フレームレートについても、オブジェクト種別が「選手」のオブジェクトについては、なるべく高画質で伝送データを生成するため、伝送パラメータ決定部１０２０は撮影映像のままの解像度とフレームレートを維持する。例えば、撮影映像が６０ＦＰＳで撮影されている場合は、伝送パラメータ決定部１０２０は、「選手」のフレームレートを、撮影映像のフレームレートのままの６０ＦＰＳに決定する。解像度についても、オブジェクト種別が「選手」のオブジェクトについては、なるべく高画質で伝送データを生成するため、伝送パラメータ決定部１０２０は、「選手」の解像度を、撮影映像のままの解像度に決定する。よって、伝送パラメータ決定部１０２０は、ＩＤ情報：１のオブジェクト種別「選手」の伝送パラメータ４２００として、圧縮方式は可逆圧縮方式、フレームレートは６０ＦＰＳ、解像度は撮影時の１／１と決定する。

次に処理はＳ５１７０に遷移し、伝送パラメータ決定部１０２０は、決定した伝送パラメータを伝送データ生成部１０３０に通知（出力）する。伝送パラメータを受信した伝送データ生成部１０３０は伝送パラメータ４２００に従い、画像データから伝送データを生成し通信インターフェイス１２００を介して仮想視点画像生成装置１３００に送信する。また、伝送データ生成部１０３０には、ステップＳ５１５０で生成したマスク画像（シルエット画像）も送信する。

次に処理はステップＳ５１８０に遷移し、伝送パラメータ決定部１０２０は、全オブジェクトの処理が完了しているか判断する。全オブジェクトの処理が完了していない場合は、処理はステップＳ５１３０に戻り、伝送パラメータ決定部１０２０はオブジェクト情報４０００におけるＩＤ情報：２以降のＩＤ情報に対応するオブジェクトを対象オブジェクトとして選択し、前述の処理を繰り返す。以下、オブジェクト情報４０００におけるＩＤ情報：２以降の処理について、ＩＤ情報：１に対する処理と異なる点について説明する。

ＩＤ情報；２のオブジェクト種別は「ボール」であり、「ボール」の処理は「選手」の処理と同様のため説明を省略する。

次にＩＤ情報：３のオブジェクト種別である「ディスプレイ広告」の説明を行う。ステップＳ５１４０において、伝送パラメータ決定部１０２０は、「ディスプレイ広告」はあらかじめ作成されたスタジアムの３次元形状データにレンダリングされ、３次元形状を推定するオブジェクトではないと判断し（Ｓ５１４０でＮＯ）、処理はステップＳ５２１０に遷移する。ステップＳ５１６０では、伝送パラメータ決定部１０２０は、「ディスプレイ広告」の伝送パラメータを決定する。「ディスプレイ広告」は前述のように、仮想視点画像内においても重要な広告媒体である。仮想視点の位置が広告に寄った場合でも広告画像は高解像度および高画質で表示されることが望ましい。また、「ディスプレイ広告」は時々刻々と広告画像を変化させるのでフレームレートも落とすことなく撮影映像そのままのフレームレートで伝送する。解像度に関しても高解像度である必要があるので撮影映像そのままの解像度が必要である。よって、伝送パラメータ決定部１０２０は、ＩＤ情報：３のオブジェクト種別「ディスプレイ広告」の伝送パラメータ４２００として、圧縮方式は可逆圧縮方式、フレームレートは６０ＦＰＳ、解像度は撮影時の１／１と決定する。ＩＤ情報：４とＩＤ情報：５は、ＩＤ情報：３の処理と同様である。

次にＩＤ情報：６のオブジェクト種別である「観客席」の処理について説明する。観客席は、仮想視点画像においてスタジアムの臨場感を出すために重要なオブジェクトであるが、仮想視点が寄った場合でも個々の観客を識別する程の画質や解像感は不必要である。そのため、ステップＳ５１６０において、伝送パラメータ決定部１０２０は、圧縮方式として非可逆圧縮方式を用いることと、圧縮品質を低とすることを決定する。このことにより、画質は撮影画像と比較して劣化してしまうが、データサイズとしては大幅に削減することができる。また、伝送パラメータ決定部１０２０は、解像度を１／２として画素を間引いてもよい。フレームレートについても、試合が決定的なシーンを迎えない場合にはほとんど動作が無いので、フレームレートも低減させてもよい。例えば、伝送パラメータ決定部１０２０は、「観客席」のフレームレートを１ＦＰＳと決定する。よって、伝送パラメータ決定部１０２０は、ＩＤ情報：６のオブジェクト種別「観客席」の伝送パラメータ４２００として、圧縮方式は非可逆圧縮方式、圧縮品質は低（高圧縮）、フレームレートは１ＦＰＳ、解像度は１／２と決定する。尚、「観客席」は試合がゴールシーンなど決定的なシーンを迎えた場合などは、声援を送るため観客が立ち上がるなどの動きがある。このように動きがある場合には、伝送パラメータ決定部１０２０は、一時的にフレームレートを上げてもよい。

次にＩＤ情報；７のオブジェクト種別である「応援旗」の処理について説明する。「応援旗」は「観客席」の一部であり特性が似ているが、動きがある点が「観客席」とは異なる。この点を考慮し、伝送パラメータ決定部１０２０は、「観客席」と同様に、「応援旗」の圧縮方式として非可逆圧縮を用いることと、圧縮品質を低とすることを決定する。ただしフレームレートについては動きがあるため、伝送パラメータ決定部１０２０は、１０ＦＰＳに設定する。よって、伝送パラメータ決定部１０２０は、ＩＤ情報：７のオブジェクト種別「応援旗」の伝送パラメータ４２００として、圧縮方式は非可逆圧縮方式、圧縮品質は低（高圧縮）、フレームレートは１０ＦＰＳ、解像度は１／２と決定する。

次にＩＤ情報：８のオブジェクト種別である「芝」の処理について説明する。「芝」については、ほぼ動きもなく、特に解像感や画質についても「広告画像」などと比べて低く設定しても良い。そのため、伝送パラメータ決定部１０２０は、圧縮方式として非可逆圧縮方式を用いることと、圧縮品質を低とすることを決定する。また、天候によってはスタジアムの構造物などの影が芝にあり時間によって影が移動する場合があるが、フレームレート１ＦＰＳで十分に表現可能である。そのため、伝送パラメータ決定部１０２０は、オブジェクト種別「芝」のフレームレートも、１ＦＰＳと設定する。よって、伝送パラメータ決定部１０２０は、ＩＤ情報：８のオブジェクト種別「芝」の伝送パラメータ４２００として、圧縮方式は非可逆圧縮方式、圧縮品質は低（高圧縮）、フレームレートは１ＦＰＳ、解像度は１／２と決定する。

次にＩＤ情報：９のオブジェクト種別である「看板広告」の処理について説明する。「看板広告」は「ディスプレイ広告」同様に、仮想視点の位置が広告に寄った場合でも広告画像は高解像度および高画質で表示されることが望ましい。この点を考慮して、伝送パラメータ決定部１０２０は、圧縮方式を可逆圧縮方式と設定する。しかしながら、「看板広告」は「ディスプレイ広告」と異なり、表示物が変化することはない。そのため、伝送パラメータ決定部１０２０は、「看板広告」は０．１ＦＰＳ以下で十分に天候の変化などは表現することができると判断し、フレームレートを０．１ＦＰＳと設定する。よって、伝送パラメータ決定部１０２０は、ＩＤ情報：９のオブジェクト種別「看板広告」の伝送パラメータ４２００として、圧縮方式は可逆圧縮方式、フレームレートは０．１ＦＰＳ、解像度は１／１と決定する。

次にＩＤ情報：１０のオブジェクト種別である「オーロラビジョン」の処理について説明する。「オーロラビジョン」は、特性が「ディスプレイ広告」と同じであり、伝送パラメータ決定部１０２０は、「ディスプレイ広告」と同じ伝送パラメータに設定する。ＩＤ情報：１１のオブジェクト種別である「空」についても、特性が「芝」と似ているため、伝送パラメータ決定部１０２０は、「芝」と同じ伝送パラメータに設定する。

ＩＤ情報：１２のオブジェクト種別である「その他」の領域は、どのオブジェクトにも属さなかった画像領域である。この画像領域は重要ではないため、伝送パラメータ決定部１０２０は、圧縮方式として非可逆圧縮を用い、圧縮品質を低とし、フレームレートを０．１ＦＰＳとすることを決定する。

ＩＤ情報１〜１２に対するＳ５１７０までの処理が終了すると（Ｓ５１８０でＹＥＳ）、処理はＳ５１９０へ遷移し、伝送パラメータ決定部１０２０は、仮想視点画像の全フレームの処理が完了しているかを判断する。全フレームの処理が完了していない場合には（Ｓ５１８０でＮＯ）、処理はステップＳ５１２０に遷移し再び前述の処理を繰り返し、全フレームの処理が完了すると（Ｓ５１９０でＹＥＳ）、処理は終了する。

このように、本実施形態では、伝送パラメータ決定部１０２０は画像データから抽出されたオブジェクトに基づいて、図４（ｃ）に示すような伝送パラメータ４２００を決定する。続いて、伝送データ生成部１０３０は、伝送パラメータ決定部１０２０により決定された伝送パラメータに基ついて伝送データを生成し、通信インターフェイス１２００を介して仮想視点画像生成装置１３００に出力する。このようにすることで、画像のデータ量を効率的に削減し仮想視点画像の画質の低下を防ぎつつデータ量を抑制することが可能となる。

［実施形態２］
実施形態１では、撮影画像からオブジェクトを識別してオブジェクトごとに伝送パラメータを決定する例を示した。実施形態２では、複数の撮影装置が配置される場合に、各撮影装置から得られた画像データから識別されるオブジェクトに応じて、仮想視点画像生成装置へ出力する伝送データを制御する例を示す。なお、実施形態１と同様な構成については同じ参照番号を付し、その説明は省略する。

（画像処理システムの構成）
図６（ａ）に本実施形態における仮想視点画像生成システム６００の構成を示す。撮影装置６１３０−１〜６１３０−８はそれぞれ画像処理装置６２００−１〜６２００−８に接続され、画像処理装置６２００−１〜６２００−８はそれぞれ通信インターフェイス６３００−１〜６３００−８に接続される。撮影装置６１３０−１〜６１３０−８それぞれの構成は図１の撮影装置１１００の構成と同様であり、通信インターフェイス６３００−１〜６３００−８それぞれの構成も図１の通信インターフェイス１２００の構成と同様である。

図６（ｂ）に、本実施形態における複数の撮影装置６１００−１〜６１００−８の配置例を示す。撮影装置６１００−１〜６１００−８は、サッカーフィールド３０７０を囲むように配置され、スタジアムにおけるサッカーの試合を撮影する。また、サッカーフィールド３０７０の脇にはディスプレイ広告を表示する表示装置６４００が配置されているものとする。画像処理装置６２００−１〜６２００−８それぞれの構成は、図１の画像処理装置１０００と同様であるが、伝送パラメータ決定部１０２０の構成は更に、以下の機能を有する。すなわち、伝送パラメータ決定部１０２０は、オブジェクト識別部１０１０からオブジェクト情報を取得し、当該オブジェクト情報に基づいて伝送データの生成の有無を決定する機能を有する。更に、伝送パラメータ決定部１０２０は、自身が接続されている撮影装置の他の撮影装置により得られた画像データにおけるオブジェクトの撮影状態の情報（撮影状態情報）を共有することが可能な機能を有する。

画像処理装置６２００−１〜６２００−８はそれぞれ通信インターフェイス６３００−１〜６３００−８を介して仮想視点画像生成装置１３００に伝送データを送付することができる。仮想視点画像生成装置１３００は、撮影装置６１００−１〜６１００−８にて撮影された画像を基に仮想視点画像を作成する。

（画像データの例）
撮影装置６１００−１〜６１００−８のうち、撮影装置６１００−５による画像データ６５１０と、撮影装置６１００−７による画像データ６５２０を図６（ｃ）に示す。撮影装置６１００−５は、サッカー選手やフィールドの他に、表示装置６４００に映し出されるディスプレイ広告６６００を正面から撮影しているとする。すなわち、画像データ６５１０において、ディスプレイ広告６６００にはスポンサーを示す文字が正面から鮮明に高解像度で映し出されている。一方、撮影装置６１００−７は、サッカー選手やフィールドの他に表示装置６４００を斜めから撮影しているとする。すなわち、ディスプレイ広告６６００にはスポンサーを示す文字が斜めに映し出されているため、画像データ６５２０においてディスプレイ広告６６００は不鮮明にしか映し出されていないとする。本実施形態では、このように撮影装置の位置によってオブジェクトの撮影状態が変わる状況において、３次元形状の推定が不必要なオブジェクトに対して、最も鮮明で高解像度な画像データを取得した画像処理装置のみが伝送データを生成する。

また、オブジェクト識別部１０１０により識別された、画像データ６５１０と画像データ６５２０におけるディスプレイ広告６６００の領域である、ディスプレイ広告領域６６１０とディスプレイ広告領域６６２０も図６（ｂ）に示す。ディスプレイ広告領域６６１０、６６２０は、例えば、オブジェクト識別部１０１０により、フレーム間の画素値の差分を積算し一定以上である領域を算出することにより得られる。一般的に、スタジアムで行われるイベント準備期間中にはディスプレイ広告のリハーサルがあり、ディスプレイ画像が表示されている期間がある。オブジェクト識別部１０１０は、このようなディスプレイ画像が表示されている期間の画像を用い、フレーム間の画素値の差分を積算し一定以上である領域を算出しても良い。ディスプレイ広告領域６６１０、６６２０は、後述する図７のステップＳ７１５０の処理で使用される。

（処理の流れ）
続いて、本実施形態における画像処理装置１０００の伝送パラメータ決定部１０２０の処理について説明する。図７は、伝送パラメータ決定部１０２０の処理フロー７０００である。以下、処理フロー７０００を、図５を参照して説明する。尚、処理フロー７０００は、画像処理装置１０００の制御部２０２０が記憶部２０１０に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。

伝送パラメータ決定部１０２０はステップＳ７１１０から処理を開始する。ステップＳ７１２０において、伝送パラメータ決定部１０２０は、オブジェクト識別部１０１０からオブジェクト情報を取得する。ステップＳ７１３０において、伝送パラメータ決定部１０２０は、オブジェクト情報から１つのオブジェクトを対象オブジェクトとして選択し、当該対象オブジェクトのオブジェクト種別を取得する。オブジェクト情報は実施形態１と同様であり、図４（ａ）に示すようなオブジェクト情報４０００であるとする。オブジェクト種別は、オブジェクト情報４０００における「選手」や「ボール」等の認識されたオブジェクトの種類を示す。

次にステップＳ７１４０において、伝送パラメータ決定部１０２０は、取得したオブジェクト種別が仮想視点画像を作成する際に３次元形状を推定する必要があるオブジェクト種別であるか判断を行う。実施形態１で説明した通り、「選手」や「ボール」は、３次元形状の推定が必要なオブジェクトである。このような３次元形状の推定が必要なオブジェクトにおいてはすべての撮影装置６１００−１〜６１００−８の撮影が必要となる。一方、「ディスプレイ広告」や「観客席」等は３次元形状の推定が必要ではなくテクスチャ情報のみで良い。ここで、対象オブジェクトの種別が「ディスプレイ広告」であるとすると「ディスプレイ広告」は３次元形状の推定は必要のないオブジェクトであるので（ステップＳ７１５０でＮＯ）、処理はステップＳ７１５０に遷移する。

次にステップＳ７１５０において、伝送パラメータ決定部１０２０は、撮影状態情報の送受信を行い、ステップＳ７１６０において伝送データの生成の有無を決定する。ここで、ステップＳ７１５０とＳ７１６０の処理を、図６を参照して説明する。撮影装置６１００−５に接続された画像処理装置６２００−５の伝送パラメータ決定部１０２０は、ディスプレイ広告領域６６１０を取得し、そのピクセル数を撮影状態情報として算出する。例えば、ディスプレイ広告領域６６１０ピクセル数を２０００００ピクセルとする。一方、撮影装置６１００−７に接続された画像処理装置６２００−７の伝送パラメータ決定部１０２０は、ディスプレイ広告領域６６２０を取得し、そのピクセル数を撮影状態情報として算出する。例えば、ディスプレイ広告領域６６２０ピクセル数を１５００００ピクセルとする。画像処理装置６２００−５の伝送パラメータ決定部１０２０は、自身で算出した撮影状態情報を画像処理装置６２００−７に送信する。同様に、画像処理装置６２００−７の伝送パラメータ決定部１０２０は、自身で算出した撮影状態情報を画像処理装置６２００−５に送信する。伝送パラメータ決定部１０２０は、撮影状態情報であるピクセル数が大きいほど、撮影状態が良く高解像度にオブジェクトが撮影できていると判断する。画像処理装置６２００−５の伝送パラメータ決定部１０２０は、ディスプレイ広告領域６６２０のピクセル数がディスプレイ広告領域６６１０のピクセル数より小さいことを確認し、伝送データを生成すると判定する。一方、画像処理装置６２００−７の伝送パラメータ決定部１０２０は、ディスプレイ広告領域６６１０のピクセル数がディスプレイ広告領域６６２０のピクセル数より大きいことを確認し、伝送データを生成しないとする。

尚、本実施形態では、伝送パラメータ決定部１０２０は、受信した撮影状態情報から、伝送データの生成の有無を決定したが、この方法以外により伝送データの生成の有無を決定しても良い。例えば、システムとして、予め決められた画像処理装置のみで伝送データを生成するように構成しても良い。その場合、伝送パラメータ決定部１０２０は、当該伝送パラメータ決定部１０２０が含まれる画像処理装置が予め決められた画像処理装置である場合には伝送データを生成すると決定し、そうでない場合には伝送データを生成しないと決定することができる。

次に処理はステップ７１７０へ遷移し、伝送パラメータ決定部１０２０は、決定した伝送パラメータを伝送データ生成部１０３０に通知（出力）する。図６を参照する例では、撮影装置６１００−５に接続された画像処理装置６２００−５の伝送データ生成部１０３０は伝送データを生成し、一方、撮影装置６１００−７に接続された画像処理装置６２００−７の伝送データ生成部１０３０は伝送データを生成しない。

次に処理はステップＳ７１８０へ遷移し、伝送パラメータ決定部１０２０は、全オブジェクトの処理が終了したか判断を行う。伝送パラメータ決定部１０２０は全オブジェクトの処理が完了するまで前述の処理を繰り返す。全オブジェクトの処理が完了数と、処理はステップＳ７１９０に遷移し、伝送パラメータ決定部は、全フレームが終了したか判断を行う。伝送パラメータ決定部１０２０は全フレームの処理が完了するまで前述の処理を繰り返す。

このように、３次元形状の推定を行わないオブジェクトに対して、撮影状態が最も良い撮影装置の画像データのみを仮想視点画像生成装置１３００伝送することが可能となる。図６の例を用いると、仮想視点画像生成装置１３００は、最も鮮明に高解像で撮影されているディスプレイ広告領域６６１０の画像を変形処理させるなどして、斜めから撮影されているディスプレイ広告領域６６２０の画像を生成する。もしくは、仮想視点画像生成装置１３００は、ディスプレイ広告領域６６１０の画像を３次元形状にレンダリングする。尚、撮影状態の判断としてオブジェクトのピクセル数（面積）を撮影状態の判断に用いたが、オブジェクトの形状等、オブジェクトに関する他の情報を撮影状態の判断として用いても良い。

このように、本実施形態によれば、伝送するデータ量を効率的に削減し、自由視点画像の画質の低下を防ぎつつデータ量を抑制することができる。また、オブジェクトの種別に応じて、仮想視点画像を生成するための撮影装置の数を制御することが可能となる。すなわち、３次元形状の推定を行うオブジェクトに対しては多くの撮影装置により得られた画像データを基に仮想視点画像を生成し、３次元形状の推定を行わないオブジェクトに対しては、少ない数の撮影装置により得られた画像データを基に仮想視点画像を生成することができる。また、３次元形状の推定を行うオブジェクトであっても、より高精度に仮想視点画像を生成するか否かで、撮影装置の数を制御することもできる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０００ 画像処理装置、１０１０ オブジェクト識別部、１０２０ 伝送パラメータ決定部、１０３０ 伝送データ生成部

Claims (23)

1. 画像処理装置であって、
   撮影装置の撮影により得られた画像データにおけるオブジェクトを識別する識別手段と、
   前記識別されたオブジェクトの種別に応じて前記識別されたオブジェクトに対応する伝送パラメータを決定する決定手段と、
   前記識別されたオブジェクトに対して前記決定された伝送パラメータに基づいて、前記画像データから前記識別されたオブジェクトに対応する伝送データを生成する生成手段と、
   前記生成された伝送データを外部装置へ出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記伝送パラメータは、圧縮方式、フレームレート、および解像度のうち少なくとも一つを含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記識別手段は、学習によって生成した検出器を利用することにより、前記オブジェクトを識別することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記識別手段は、画像データのフレーム差分を利用することにより、前記オブジェクトを識別することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記決定手段は、前記識別されたオブジェクトの種別に応じて前記伝送パラメータを決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記決定手段は、前記識別されたオブジェクトが動きのあるオブジェクトの種別である場合に、前記生成手段により動きのないオブジェクトに対して高画質な伝送データが生成されるように、前記伝送パラメータを決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記決定手段は、前記識別されたオブジェクトの種別の前記画像データにおける重要度に応じて、前記伝送パラメータを決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、前記識別されたオブジェクトの種別の前記重要度が高いほど、前記生成手段により前記重要度が低い種別のオブジェクトに対して高画質な伝送データが生成されるように、前記伝送パラメータを決定することを特徴とする請求項７に記載の画像処理装置。
9. 前記重要度は、ユーザにより設定されることを特徴とする請求項７または８に記載の画像処理装置。
10. 前記高画質な伝送データが生成されるような前記伝送パラメータは、可逆圧縮方式である圧縮方式、前記画像データのフレームレートと同じフレームレート、前記画像データの解像度と同じ解像度のうち少なくとも一つを含むことを特徴とする請求項６または８に記載の画像処理装置。
11. 前記外部装置は、前記出力手段によって出力された伝送データに基づいて指定された視点に対応する画像を生成する生成装置であることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
12. 画像処理装置、および指定された視点に対応する画像を生成する生成装置を有するシステムであって、
    前記画像処理装置は、
    撮影装置の撮影により得られた画像データにおけるオブジェクトを識別する識別手段と、
    前記識別されたオブジェクトの種別に応じて前記識別されたオブジェクトに対応する伝送パラメータを決定する決定手段と、
    前記識別されたオブジェクトに対して前記決定された伝送パラメータに基づいて、前記画像データから前記識別されたオブジェクトに対応する伝送データを生成する生成手段と、
    前記生成された伝送データを前記生成装置へ出力する出力手段と、
    を有し、
    前記生成装置は、前記出力手段から出力された前記伝送データに基づいて、指定された視点に対応する画像を生成することを特徴とするシステム。
13. 前記伝送パラメータは、圧縮方式、フレームレート、および解像度のうち少なくとも一つを含むことを特徴とする請求項１２に記載のシステム。
14. 前記識別手段は、学習によって生成した検出器を利用することにより、前記オブジェクトを識別することを特徴とする請求項１２または１３に記載のシステム。
15. 前記識別手段は、画像データのフレーム差分を利用することにより、前記オブジェクトを識別することを特徴とする請求項１２から１４のいずれか１項に記載のシステム。
16. 前記決定手段は、前記識別されたオブジェクトの種別に応じて前記伝送パラメータを決定することを特徴とする請求項１２から１５のいずれか１項に記載のシステム。
17. 前記決定手段は、前記識別されたオブジェクトが動きのあるオブジェクトの種別である場合に、前記生成手段により動きのないオブジェクトに対して高画質な伝送データが生成されるように、前記伝送パラメータを決定することを特徴とする請求項１６に記載のシステム。
18. 前記決定手段は、前記識別されたオブジェクトの種別の前記画像データにおける重要度に応じて、前記伝送パラメータを決定することを特徴とする請求項１２から１５のいずれか１項に記載のシステム。
19. 前記決定手段は、前記識別されたオブジェクトの種別の前記重要度が高いほど、前記生成手段により前記重要度が低い種別のオブジェクトに対して高画質な伝送データが生成されるように、前記伝送パラメータを決定することを特徴とする請求項１８に記載のシステム。
20. 前記重要度は、ユーザにより設定されることを特徴とする請求項１８または１９に記載のシステム。
21. 前記高画質な伝送データが生成されるような前記伝送パラメータは、可逆圧縮方式である圧縮方式、前記画像データのフレームレートと同じフレームレート、前記画像データの解像度と同じ解像度のうち少なくとも一つを含むことを特徴とする請求項１７または１９に記載のシステム。
22. 画像処理方法であって、
    撮影装置の撮影により得られた画像データにおけるオブジェクトを識別する識別工程と、
    前記識別されたオブジェクトの種別に応じて前記識別されたオブジェクトに対応する伝送パラメータを決定する決定工程と、
    前記識別されたオブジェクトに対して前記決定された伝送パラメータに基づいて、前記画像データから前記識別されたオブジェクトに対応する伝送データを生成する生成工程と、
    前記生成された伝送データを外部装置へ出力する出力工程と、
    を有することを特徴とする画像処理方法。
23. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images