JP2016005043A - 情報処理装置およびプログラム - Google Patents

Abstract

【課題】送信するストリームが含む画像データの解像度やフレームレートを固定したまま、ネットワークの状態に変化に対応してストリームのデータ量をタイムリーに調整することができる情報処理装置およびプログラムを提供する。
【解決手段】本発明は、画像データを含むストリームが入力され、当該ストリームが含む画像データに画像処理を施して、データ量または画像特性が互いに異なる画像データを含むストリームを出力する複数の画像処理部と、複数の画像処理部から出力された複数のストリームをスケーラブル符号化方式以外の所定の符号化方式を用いて符号化して、当該符号化した複数のストリームのうちいずれかを、自装置とネットワークを介して接続された外部機器に送信し、ネットワークの状態に応じて、符号化した複数のストリームのうち外部機器に送信するストリームの変更処理を実行する符号化部と、を備えた情報処理装置である。
【選択図】図２

Description

本発明は、情報処理装置およびプログラムに関する。

ネットワークを介して接続された複数の情報処理装置間で画像データのストリームを送受信するＴＶ会議システムでは、大容量の画像データのストリームをリアルタイムに送受信するため、ストリームの送受信に用いるネットワークの品質が保証されていない場合においては、十分な性能を発揮できないことがある。

そこで、情報処理装置間で送受信されるストリームを中継するサーバが、情報処理装置間で送受信されるストリームの通信パケットの損失や通信遅延時間などの情報を取得し、情報処理装置間でのストリームの送受信に使用可能なネットワークの状態を検知する。そして、情報処理装置が、サーバにより検知されたネットワークの状態に応じて、送受信する画像データの解像度やフレームレートを調整するスケーラブル符号化を実行する制御技術がある。

ところで、上述の制御技術では、送信側の情報処理装置が、サーバにより検知されたネットワークの状態に応じて、送受信する画像データの解像度やフレームレートを調整することで、ネットワークの状態に追従してストリームの送受信を可能としているが、受信側の情報処理装置も、スケーラブルに解像度やフレームレートが変化する画像データのストリームを復号化できることが前提となっている。そのため、上述の制御技術は、汎用的な情報処理装置間でのストリームの送受信には対応できない。

本発明は、上記に鑑みてなされたものであって、送信するストリームが含む画像データの解像度やフレームレートを固定したまま、ネットワークの状態の変化に対応してストリームのデータ量をタイムリーに調整することができる情報処理装置およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像データを含むストリームが入力され、当該ストリームが含む画像データに画像処理を施して、データ量または画像特性が互いに異なる画像データを含むストリームを出力する複数の画像処理部と、複数の画像処理部から出力された複数のストリームをスケーラブル符号化方式以外の所定の符号化方式を用いて符号化して、当該符号化した複数のストリームのうちいずれかを、自装置とネットワークを介して接続された外部機器に送信し、ネットワークの状態に応じて、符号化した複数のストリームのうち外部機器に送信するストリームの変更処理を実行する符号化部と、を備えた情報処理装置である。

本発明によれば、送信するストリームが含む画像データの解像度やフレームレートを固定したまま、ネットワークの状態に変化に対応してストリームのデータ量をタイムリーに調整することができる、という効果を奏する。

図１は、第１の実施の形態にかかるＴＶ会議システムの構成を示すブロック図である。 図２は、第１の実施の形態にかかる情報処理装置が有する画像処理装置およびエンコーダの機能構成を示すブロック図である。 図３は、第１の実施の形態にかかる情報処理装置の画像処理部において実行される画像処理を説明するための図である。 図４は、第１の実施の形態にかかる情報処理装置の画像処理部において実行される画像処理を説明するための図である。 図５は、第１の実施の形態にかかる情報処理装置によるストリームの出力処理の流れを示すフローチャートである。 図６は、第２の実施の形態にかかる情報処理装置が有する画像処理装置およびエンコーダの機能構成を示すブロック図である。

以下に添付図面を参照して、情報処理装置およびプログラムの実施の形態を詳細に説明する。

（第１の実施の形態）
図１は、第１の実施の形態にかかるＴＶ会議システムの構成を示すブロック図である。本実施の形態にかかるＴＶ会議システムは、図１に示すように、異なる拠点（本実施の形態では、第１拠点および第２拠点）に設置された複数の情報処理装置１０Ａ，１０Ｂ（以下、複数の情報処理装置１０Ａ，１０Ｂを区別する必要がない場合には、単に、情報処理装置１０と記載する）と、インターネットやイントラネット等、複数の情報処理装置１０を接続するネットワーク４０と、複数の情報処理装置１０間で送受信されるデータを中継するサーバ３０と、を有している。

情報処理装置１０は、図１に示すように、当該情報処理装置１０が設置された拠点を撮像可能に設けられたカメラ１１と、当該情報処理装置１０が設置された拠点における音を集音可能に設けられたマイクロフォン１２と、ネットワーク４０を介して接続された他の拠点の情報処理装置１０から受信した画像データ等の各種情報を表示可能なディスプレイ１３と、当該情報処理装置１０全体を制御する制御部１４と、を備えている。

以下の説明では、第１拠点に設置された情報処理装置１０Ａがデータの送信側として機能し、第２拠点に設置された情報処理装置１０Ｂがデータの受信側として機能する例について説明するが、各拠点に設置された情報処理装置１０は同様の構成を有しており、いずれの拠点に設置された情報処理装置１０もデータの送信側および受信側として機能できる。

制御部１４は、図１に示すように、画像処理装置１４１と、エンコーダ１４２と、ネットワーク状態検知部１４３と、相手局機能判別部１４４と、音声判別部１４５と、デコーダ１４６とを有している。

画像処理装置１４１は、カメラ１１の撮像により得られた動画像データ（画像データの一例）を含むストリームが入力され、当該ストリームが含む動画像データに画像処理を施す。そして、画像処理装置１４１は、画像処理を施した動画像データを含むストリームを出力する。本実施の形態では、画像処理装置１４１には、カメラ１１から入力されるストリームが含む動画像データに対して、画像処理を施しているが、これに限定するものではなく、例えば、図示しないサーバ等の外部機器から入力されたストリームに含まれる画像データに対して、画像処理を施すことも可能である。音声判別部１４５は、マイクロフォン１２により集音された音の音データから、音声の音声データを抽出して、エンコーダ１４２に出力する。

ネットワーク状態検知部１４３は、ネットワーク４０の状態（例えば、動画像データを含むストリームなどの各種情報の送受信に使用可能なネットワーク４０の帯域など）を検知する。相手局機能判別部１４４は、ネットワーク４０を介してストリームの受信側の情報処理装置１０（本実施の形態では、第２拠点に設置された情報処理装置１０Ｂ）が、スケーラブル符号化方式により符号化されたストリームを復号化可能か否かを判別する。本実施の形態では、相手局機能判別部１４４は、ネットワーク４０を介して、受信側の情報処理装置１０から機能情報を取得する。ここで、機能情報は、受信側の情報処理装置１０がスケーラブル符号化方式で符号化されたストリームを復号化可能であるか否かを示す情報である。そして、相手局機能判別部１４４は、取得した機能情報に基づいて、受信側の情報処理装置１０が、スケーラブル符号化方式で符号化されたストリームを復号化可能であるか否かを判別する。スケーラブル符号化は、階層符号化とも呼ばれ、時間階層符号化、空間階層符号化、ＳＮＲ階層符号化等がある。

エンコーダ１４２（符号化部の一例）は、画像処理装置１４１から出力されたストリームをスケーラブル符号化方式以外の所定の符号化方式に従って符号化する符号化処理を実行する。そして、エンコーダ１４２は、符号化したストリームを、ネットワーク４０を介して接続された他の情報処理装置１０（外部機器の一例）に送信する。スケーラブル符号化方式の所定の符号化方式とは、非階層符号化とも呼ばれる。例えば、非階層符号化を用いてストリームを符号化して伝送（送信）する場合は、高レート用の符号化、低レート用の符号化等をネットワークのレート毎に個別に符号化して伝送する。

本実施の形態では、エンコーダ１４２は、相手局機能判別部１４４により受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できないと判断した場合、画像処理装置１４１から出力されたストリームを、所定の符号化方式に従って符号化する。一方、エンコーダ１４２は、相手局機能判別部１４４により受信側の情報処理装置１０がスケーラブル符号化方式に符号化されたストリームを復号化できると判断した場合、画像処理装置１４１から出力されたストリームをスケーラブル符号化方式に従って符号化する。また、本実施の形態では、エンコーダ１４２は、動画像データを含むストリームを符号化する場合、当該ストリームが含む動画像データを、フレーム間予測により符号化する符号化処理を実行する。

また、エンコーダ１４２は、音声判別部１４５から出力された音声データを符号化する符号化処理を実行する。そして、エンコーダ１４２は、符号化した音声データを、ネットワーク４０を介して接続された他の情報処理装置１０に送信する。

デコーダ１４６は、ネットワーク４０を介して接続された他の情報処理装置１０から受信したストリームが含む動画像データを復号化する。そして、デコーダ１４６は、復号化した動画像データに基づく動画像を、ディスプレイ１３に表示させる。

次に、図２を用いて、本実施の形態にかかる情報処理装置１０が有する画像処理装置１４１およびエンコーダ１４２の機能構成について説明する。図２は、第１の実施の形態にかかる情報処理装置が有する画像処理装置およびエンコーダの機能構成を示すブロック図である。

画像処理装置１４１は、図２に示すように、カメラ１１の撮像により得られた動画像データを含むストリームが入力され、当該入力されたストリームが含む動画像データに画像処理を施して、データ量または画像特性が互いに異なる動画像データを含むストリームを出力する複数の画像処理部２００を有している。

本実施の形態では、複数の画像処理部２００には、カメラ１１の撮像により得られた画像データのストリームが同時に入力される。そして、複数の画像処理部２００は、同時に入力されたストリームに対して、異なる画像処理を施して、データ量または画像特性が互いに異なる動画像データを含むストリームを出力する。その際、複数の画像処理部２００は、当該画像処理部２００毎に設けられた画像パス２１０を介して、画像処理を施した動画像データを含むストリームをエンコーダ１４２に出力する。

本実施の形態では、複数の画像処理部２００は、ストリームが含む動画像データに対して異なる画像処理を施しているが、ストリームが含む画像データに対して画像処理を施して、データ量または画像特性が互いに異なる画像データ（言い換えると、符号化した場合の符号量が互いに異なる画像データ）を含むストリームを出力するものであれば良い。例えば、複数の画像処理部２００は、入力されたストリームが含む画像データに対して、異なるパラメータに従って同じ種類の画像処理を施すことによって、データ量が同じであっても、画像特性が互いに異なる画像データ（言い換えると、符号化した場合の符号量が互いに異なる画像データ）を含むストリームを出力するようにしても良い。

エンコーダ１４２は、画像処理部２００毎に設けられた複数の符号化器２０１と、スイッチ２０２と、符号量検出部２０３と、を有している。符号化器２０１は、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できないと判断された場合、画像処理部２００から出力されたストリームを所定の符号化方式に従って符号化する。そして、複数の符号化器２０１のいずれかが、符号化したストリームを受信側の情報処理装置１０に送信する。すなわち、本実施の形態では、エンコーダ１４２は、複数の画像処理部２００から出力された複数のストリームを所定の符号化方式を用いて符号化して、当該符号化した複数のストリームのうちいずれかを受信側の情報処理装置１０（外部機器の一例）に送信する符号化部の一例として機能する。ここで、複数の画像処理部２００それぞれから出力される複数のストリームは、画像パス毎（画像処理部２００毎）に、そのデータ量が異なる。そのため、複数の符号化器２０１は、複数の画像処理部２００から出力された複数のストリームを、同じ符号化方式（所定の符号化方式）に従って符号化しても、異なる符号量のストリームに符号化することが可能である。

一方、複数の符号化器２０１は、相手局機能判別部１４４により受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できると判断された場合、画像パス２１０を介して画像処理部２００から出力されたストリームをスケーラブル符号化方式に従って符号化する。そして、複数の符号化器２０１のいずれかが、符号化したストリームを受信側の情報処理装置１０に送信する。

本実施の形態では、複数の符号化器２０１は、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できると判断された場合、スケーラブル符号化方式に従ってストリームの符号化を行っているが、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できるか否かに関わらず、スケーラブル符号化方式以外の所定の符号化方式に従ってストリームの符号化を行っても良い。

スイッチ２０２は、複数の符号化器２０１のうちいずれか一つをネットワーク４０に接続する。

符号量検出部２０３は、ネットワーク状態検知部１４３により検知されたネットワーク４０の状態に応じて、複数の符号化器２０１により符号化した複数のストリームのうち受信側の情報処理装置１０に送信するストリームを変更する変更処理を実行する。本実施の形態では、符号量検出部２０３は、複数の符号化器２０１から出力された複数のストリームそれぞれの符号量を検出する。次いで、符号量検出部２０３は、ネットワーク状態検知部１４３により検知されたネットワーク４０の状態および複数のストリームそれぞれの符号量の検出結果に基づいて、複数の画像パス２１０のうち、ネットワーク４０を介して受信側の情報処理装置１０に送信するストリームの画像パス２１０を一つ選択する。

そして、符号量検出部２０３は、スイッチ２０２を制御して、複数の符号化器２０１のうち、選択した画像パス２１０を介して入力されたストリームを符号化した符号化器２０１をネットワーク４０に接続して当該符号化器２０１により符号化したストリームを受信側の情報処理装置１０に送信する。これにより、符号量検出部２０３は、上述の変更処理を実行する。

ネットワーク状態検知部１４３により検知されるネットワーク４０の状態およびカメラ１１の撮像により得られる動画像データのデータ量は、常に変化するため、符号量検出部２０３は、受信側の情報処理装置１０へのストリームの送信を行っている間、変更処理を連続的に実行する。

次に、図３および図４を用いて、本実施の形態にかかる情報処理装置１０の画像処理装置１４１において実行される画像処理について説明する。図３および図４は、第１の実施の形態にかかる情報処理装置の画像処理部において実行される画像処理を説明するための図である。

画像処理部２００は、図３に示すように、入力されたストリームが含む動画像データの複数のフレームＮ，Ｎ＋１，．．．，Ｎ＋７に対して、フレームレートを維持したまま、フレーム（例えば、フレームＮ＋１，Ｎ＋３，Ｎ＋５，Ｎ＋７）を間引く画像処理（以下、第１画像処理と言う）を施すことにより、動画像データのデータ量を変化させることが可能である。図３の下段の図が、複数のフレームＮ，Ｎ＋１，．．，Ｎ＋７に対して、第１画像処理を施した動画像データのフレームを示す図である。その際、画像処理部２００は、出力するストリームが含む動画像データの見た目のフレームレートを例えば１／２等に落とすが、ストリームが含む動画像データのフレームレートを維持する。これにより、受信側の情報処理装置１０が所定のフレームレートのストリームしか復号化することができない場合でも、符号化したストリームの符号量を削減しつつ受信側の情報処理装置１０において復号化可能なストリームを出力することができる。

また、画像処理部２００は、入力されたストリームが含む動画像データに対して平滑化フィルタ処理（以下、第２画像処理と言う）を施すことにより、同じデータ量であっても、動画像データの画像特性を変化させることが可能である。平滑化フィルタ処理は、注目画素に対して周辺画素との変化（例えば、輝度の変化）を少なくする画像処理であって、画像をぼやけさせるが、画像の輝度を平均化することができる。これにより、ストリームが含む動画像データの連続するフレームの同じ座標のピクセルデータが同様になる頻度が高まるため、符号化するフレームより前のフレームを参照して圧縮する符号化方式（例えば、H.264/MPEGなど）を用いて、ストリームを符号化する場合に、符号化したストリームの符号量を削減することができる。

また、画像処理部２００は、図４に示すように、入力されたストリームが含む動画像データに対してガンマ補正（以下、第３画像処理と言う）を施すことにより、同じデータ量であっても、動画像データの画像特性を変化させることが可能である。これにより、画像処理部２００から出力されるストリームが含む動画像データから、所定の輝度値（例えば、１５０〜２５０）の画素のデータを削除して、動画像データのダイナミックレンジを縮小することができるので、符号化したストリームの符号量を削減することができる。情報処理装置１０は、第３画像処理を施した動画像データを含むストリームを受信側の情報処理装置１０に対して送信する場合、第３画像処理に用いたガンマテーブルを予め受信側の情報処理装置１０に送信しておくものとする。これにより、受信側の情報処理装置１０は、受信したガンマテーブルを用いて、受信したストリームが含む動画像データのダイナミックレンジを、元のダイナミックレンジに戻す逆方向のガンマ補正を行うことができる。

本実施の形態では、複数の画像処理部２００が互いに異なる種類の画像処理（例えば、第１画像処理、第２画像処理および第３画像処理のいずれか）を、入力されたストリームが含む動画像データに対して施すことにより、各画像処理部２００から出力されるストリームを符号化した場合の符号量を異ならせているが、入力されたストリームが含む画像データの特性に応じて、入力されたストリームが含む画像データに対して施す画像処理の種類を決定しても良い。

例えば、複数の画像処理部２００は、入力されたストリームが含む画像データが動きの少ない動画像データである場合には、第１画像処理を選択する。また、複数の画像処理部２００は、入力されたストリームが含む画像データが高周波成分が多い画像データである場合には、第２画像処理以外の画像処理を選択する。また、複数の画像処理部２００は、入力されたストリームが含む画像データが明るさに偏りがある画像データである場合には、第３画像処理を選択する。

また、複数の画像処理部２００は、入力されたストリームが含む画像データに対して、互いに同じ種類の画像処理を施す場合には、出力されるストリームを符号化した場合の符号量を異ならせるために、互いに異なるパラメータに従って画像処理を施すことによって、出力されるストリームが含む画像データの画像特性を互いに異ならせる。

次に、図５を用いて、本実施の形態にかかる情報処理装置１０によるストリームの出力処理の流れについて説明する。図５は、第１の実施の形態にかかる情報処理装置によるストリームの出力処理の流れを示すフローチャートである。

ネットワーク状態検知部１４３は、エンコーダ１４２によってストリームを出力している間、ネットワーク４０の状態の検知を行う（ステップＳ５０１）。そして、ネットワーク状態検知部１４３は、検知したネットワーク４０の状態に基づいて、ネットワーク４０を介して受信側の情報処理装置１０に送信可能なストリームのデータ量を判定し、その判定結果を示すデータ量情報をエンコーダ１４２に出力する（ステップＳ５０２）。

相手局機能判別部１４４は、ネットワーク４０を介して、ストリームを送受信する全ての拠点の情報処理装置１０（相手局）から機能情報を取得する（ステップＳ５０３）。ここで、機能情報は、相手局が、スケーラブル符号化方式により符号化されたストリームを復号化可能であるか否かを示す情報である。そして、相手局機能判別部１４４は、取得した機能情報に基づいて、相手局がスケーラブル符号化方式により符号化されたストリームを復号化可能であるか否かを判断する（ステップＳ５０４）。

符号量検出部２０３は、相手局がスケーラブル符号化方式により符号化されたストリームを復号化可能であると判断された場合（ステップＳ５０４：Ｙｅｓ）、ネットワーク状態検知部１４３から出力されたデータ量情報が示すデータ量に基づいて、検知したネットワーク４０の状態に応じた画像データの解像度またはフレームレートを決定する。

そして、符号量検出部２０３は、決定した解像度またはフレームレートに従ってスケーラブル符号化方式によりストリームが符号化されるように、符号化器２０１を制御する。すなわち、符号量検出部２０３は、ストリームの送受信に使用可能なネットワーク４０の帯域に合わせて、解像度およびフレームレートを動的に変更するスケーラブル符号化方式による符号化処理を符号化器２０１に指示する（ステップＳ５０５）。これにより、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化可能である場合には、スケーラブル符号化方式を用いてストリームを符号化して送信することができるので、よりネットワーク４０の状態に応じたストリームの送信が可能となる。

さらに、符号量検出部２０３は、スイッチ２０２を制御して、複数の符号化器２０１のいずれかをネットワーク４０に接続する。情報処理装置１０は、受信側の情報処理装置１０に対するストリームの送信が終了するまで、決定した解像度またはフレームレートに従ってスケーラブル符号化方式によりストリームが符号化されるように、符号化器２０１を制御する処理を継続する（ステップＳ５０６）。

一方、符号量検出部２０３は、相手局がスケーラブル符号化方式により符号化されたストリームを復号化できないと判断された場合（ステップＳ５０４：Ｎｏ）、スケーラブル符号化方式以外の所定の符号化方式（例えば、一般的な符号化方式であるH.264/MPEG4など）を選択する（ステップＳ５０７）。そして、符号量検出部２０３は、当該所定の符号化方式によりストリームの符号化処理が行われるように、符号化器２０１を制御する。

符号量検出部２０３は、受信側の情報処理装置１０に対するストリームの送信が終了するまで、ネットワーク状態検知部１４３により検知されたネットワーク４０の状態（ストリームの送信に使用可能なネットワーク４０の帯域）を常に検出する（ステップＳ５０８）。また、符号量検出部２０３は、各符号化器２０１から出力されるストリームの符号量を検出する（ステップＳ５０８）。

次いで、符号量検出部２０３は、複数の符号化器２０１が接続された画像パス２１０のうち、最後に検出したネットワーク４０の状態に適した符号量のストリームを出力する符号化器２０１が接続された画像パス２１０を選択する。そして、符号量検出部２０３は、スイッチ２０２を制御して、選択した画像パス２１０に接続された符号化器２０１をネットワーク４０に接続して、当該符号化器２０１により符号化されたストリームを受信側の情報処理装置１０（他の拠点の情報処理装置１０）に送信する（ステップＳ５０８）。これにより、符号量検出部２０３は、ネットワーク４０の状態に応じて、複数の符号化器２０１により符号化した複数のストリームのうち受信側の情報処理装置１０に送信するストリームを変更する変更処理を実行する。

符号量検出部２０３は、変更処理を実行した場合、符号化器２０１に対して、Ｉピクチャに対する符号化であるフレーム内予測符号化を指示する。符号化器２０１は、画像処理部２００から出力されたストリームが含む動画像データのフレームのうち、変更処理が実行された後、最初のフレームを符号化する場合、フレーム内予測符号化により動画像データを符号化する。これにより、符号化した動画像データの符号量は多くなるが、他のフレームのデータを用いずに符号化されるので、他のフレームの影響を受けて、符号化した動画像データに基づく画像の画質が低下することを防止できる。

符号量検出部２０３は、検出したネットワーク４０の状態の変化に応じて、画像パス２１０の選択およびスイッチ２０２の制御を繰り返す（ステップＳ５０８）。すなわち、符号量検出部２０３は、検出したネットワーク４０の状態の変化に応じて、画像パス２１０を選択し直す。

このように第１の実施の形態にかかる情報処理装置１０によれば、エンコーダ１４２によりスケーラブル符号化方式に従ってストリームの符号化を行わなくても、ネットワーク４０の状態に、エンコーダ１４２から送信されるストリームのデータ量を動的に追従させることができるので、送信するストリームが含む画像データの解像度やフレームレートを固定したまま、ネットワークの状態に変化に対応してストリームのデータ量をタイムリーに調整することができる。

（第２の実施の形態）
本実施の形態は、エンコーダとは別の符号量判定部６２０（図６参照）において変更処理を実行する例である。以下の説明では、第１の実施の形態と同様の箇所については説明を省略する。

図６は、第２の実施の形態にかかる情報処理装置が有する画像処理装置およびエンコーダの機能構成を示すブロック図である。本実施の形態では、画像処理装置６００は、図６に示すように、複数の画像処理部２００と、当該画像処理部２００毎に設けられた画像パス２１０のいずれかを後述するエンコーダ６１０に接続するスイッチ６０１と、を備えている。

本実施の形態では、エンコーダ６１０（符号化部の一例）は、スイッチ６０１により接続された画像パス２１０を介して接続された画像処理部２００から出力されたストリームを所定の符号化方式に従って符号化し、符号化したストリームを受信側の情報処理装置１０に送信する符号化器６１１を備えている。

本実施の形態でも、符号化器６１１は、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できないと判断された場合、所定の符号化方式に従ってストリームを符号化する。一方、符号化器６１１は、受信側の情報処理装置１０がスケーラブル符号化方式により符号化されたストリームを復号化できると判断された場合、スケーラブル符号化方式に従ってストリームを符号化する。

符号量判定部６２０（変更部の一例）は、画像処理部２００（画像パス２１０）毎に設けられた複数の符号量計算部６２１と、判定部６２２と、を有している。符号量計算部６２１は、画像処理部２００から出力されたストリームを符号化する符号化処理を実行する。さらに、符号量計算部６２１は、符号化したストリームの符号量を算出する。

判定部６２２は、複数の符号量計算部６２１それぞれにより算出された符号量およびネットワーク状態検知部１４３により検知されたネットワーク４０の状態に基づいて、複数の画像パス２１０のうち、符号化器６１１に接続する画像パス２１０を選択する。そして、判定部６２２は、スイッチ６０１を制御して、選択した画像パス２１０を符号化器６１１に接続する。すなわち、判定部６２２は、複数の符号量計算部６２１それぞれにより算出された符号量およびネットワーク状態検知部１４３により検知されたネットワーク４０の状態に応じて、複数の画像処理部２００から出力された複数のストリームのうち符号化器６１１により符号化するストリームを変更する変更処理を実行する。これにより、エンコーダ６１０が、複数の画像処理部２００から出力された複数のストリームの符号化処理および画像パス２１０の選択を行う必要が無いので、エンコーダ６１０における符号化処理に遅延が生じることを防止できる。

さらに、判定部６２２は、選択した画像パス２１０に接続された符号量計算部６２１における符号化処理に用いられたパラメータを、符号化器６１１に通知する。これにより、判定部６２２は、符号化器６１１におけるストリームの符号化に用いられるパラメータを変更する。

また、判定部６２２は、複数の符号量計算部６２１により算出された少なくとも２つの符号量が同一である場合、複数の符号量計算部６２１により算出される符号量が互いに異なるように、複数の符号量計算部６２１の符号化処理に用いられるパラメータを変更する。

このように第２の実施の形態にかかる情報処理装置１０によれば、符号化器６１１において複数のストリームの符号化処理および画像パス２１０の選択を行う必要がないので、符号化器６１１におけるストリームの符号化に遅延が生じることを防止できる。

なお、本実施の形態の情報処理装置１０で実行されるプログラムは、ＲＯＭ（Read Only Memory）等に予め組み込まれて提供される。

本実施の形態の情報処理装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。

さらに、本実施の形態の情報処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態の情報処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施の形態の情報処理装置１０で実行されるプログラムは、上述した各部（符号化器２０１，６１１、符号量検出部２０３、ネットワーク状態検知部１４３、相手局機能判別部１４４、音声判別部１４５、デコーダ１４６、符号量判定部６２０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central Processing Unit）が上記ＲＯＭ（Read Only Memory）からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、符号化部２０１，６１１、符号量検出部２０３、ネットワーク状態検知部１４３、相手局機能判別部１４４、音声判別部１４５、デコーダ１４６、符号量判定部６２０が主記憶装置上に生成されるようになっている。

１０Ａ，１０Ｂ 情報処理装置
１４ 制御部
４０ ネットワーク
１４１，６００ 画像処理装置
１４２，６１０ エンコーダ（符号化部の一例）
１４３ ネットワーク状態検知部
１４４ 相手局機能判別部
２００ 画像処理部
２０１，６１１ 符号化器
２０２，６０１ スイッチ
２０３ 符号量検出部
２１０ 画像パス
６２０ 符号量判定部（変更部の一例）
６２１ 符号量計算部
６２２ 判定部

特開平１１−３４１４８８号公報

Claims (6)

1. 画像データを含むストリームが入力され、当該ストリームが含む前記画像データに画像処理を施して、データ量または画像特性が互いに異なる前記画像データを含む前記ストリームを出力する複数の画像処理部と、
   前記複数の画像処理部から出力された複数の前記ストリームをスケーラブル符号化方式以外の所定の符号化方式を用いて符号化して、当該符号化した複数のストリームのうちいずれかを、自装置とネットワークを介して接続された外部機器に送信し、前記ネットワークの状態に応じて、符号化した前記複数のストリームのうち前記外部機器に送信する前記ストリームの変更処理を実行する符号化部と、
   を備えた情報処理装置。
2. 前記画像データは、動画像データであり、
   前記符号化部は、前記ストリームが含む前記動画像データのフレームのうち、前記変更処理が実行された後、最初のフレームを符号化する場合、フレーム内予測符号化により前記動画像データを符号化する請求項１に記載の情報処理装置。
3. 前記符号化部は、前記画像処理部毎に設けられ当該画像処理部から出力された前記ストリームを符号化して前記外部機器に送信可能な複数の符号化器と、前記複数の符号化器のうちいずれか一つを前記ネットワークに接続するスイッチと、を有し、前記ネットワークの状態に応じて、前記スイッチを制御して前記複数の符号化器のうちいずれかを前記ネットワークに接続することによって前記変更処理を実行する請求項１または２に記載の情報処理装置。
4. 前記符号化部は、前記外部機器がスケーラブル符号化方式により符号化された前記ストリームを復号化可能である場合、前記複数の画像処理部から出力された前記ストリームをスケーラブル符号化方式により符号化して前記外部機器に送信する請求項１から３のいずれか一に記載の情報処理装置。
5. 画像データを含むストリームが入力され、当該ストリームが含む前記画像データに画像処理を施して、データ量または画像特性が互いに異なる前記画像データを含む前記ストリームを出力する複数の画像処理部と、
   前記複数の画像処理部から出力された複数の前記ストリームのうちいずれかをスケーラブル符号化方式以外の所定の符号化方式を用いて符号化して、自装置とネットワークを介して接続された外部機器に送信する符号化部と、
   前記複数の画像処理部から出力された前記複数のストリームを符号化し、当該符号化した複数のストリームの符号量および前記ネットワークの状態に応じて、前記複数の画像処理部から出力された前記複数のストリームのうち前記符号化部により符号化する前記ストリームの変更処理を実行する変更部と、
   を備えた情報処理装置。
6. 画像データを含むストリームが入力され、当該ストリームが含む前記画像データに画像処理を施して、データ量または画像特性が互いに異なる前記画像データを含む前記ストリームを出力する複数の画像処理部を備えたコンピュータを、
   前記複数の画像処理部から出力された複数の前記ストリームをスケーラブル符号化方式以外の所定の符号化方式を用いて符号化して、当該符号化した複数のストリームのうちいずれかを、自装置とネットワークを介して接続された外部機器に送信し、前記ネットワークの状態に応じて、符号化した前記複数のストリームのうち前記外部機器に送信する前記ストリームの変更処理を実行する符号化部、
   として機能させるためのプログラム。

Images