JP2010034879A - 情報処理装置およびその制御方法、データ処理システム - Google Patents

Abstract

【課題】データ処理による遅延を低減する。
【解決手段】動画データに対する所定の画像処理を外部装置を用いて実行する情報処理装置において、パケットとして動画データを入力する入力手段と、外部装置における負荷情報を取得する取得手段と、取得手段により取得された負荷情報に基づいて入力手段により入力されたパケットを外部装置により処理させるか否かを決定する決定手段と、決定手段により外部装置により処理させると決定されたパケットを外部装置に送信し処理されたパケットを受信する処理依頼手段と、入力手段により入力されたパケットまたは外部装置により処理されたパケットを出力する出力手段と、を備える。
【選択図】図２

Description

本発明は、映像データをパケット化して処理を行う映像処理システムに関するものである。

一般的に、映像処理システムにおいて、映像出力部は画像と音声等のデータを同期を取り出力する必要がある。すなわち、画像と音声が一致するように映像出力部は出力を同期しなくてはならない。例えば、画像と音声の同期を可能とするために、国際標準の符号化方式であるＭＰＥＧ−１やＭＰＥＧ−２は、出力タイミング情報であるタイムスタンプをパケットデータのヘッダ内に付加している。

また、従来、図１に示すような映像処理システムが存在する。図１において、パケット送信装置１１０は映像入力装置１００から入力される映像をパケット化する装置であり、パケット受信装置１３０はパケットを受信し映像出力装置１４０に表示するための装置である。そして、パケット処理装置１２０は、パケット送信装置１１０とパケット受信装置１３０との間に配置され、パケット送信装置１１０から出力されたパケット化映像データに対して所定の画像処理を行ない、再びパケット化し送出する装置である。

このような映像処理システムにおいては、パケット処理装置１２０における画像処理が中断してしまった場合に、後段のパケット受信装置１３０において表示抜けなどが発生することになる。そこで、特許文献１では、映像データを受信した表示装置においてデコード処理が中断してしまった場合に、再びデコード処理を行うことにより表示抜けなどの表示崩れを防いでいる。
特開平０９−２３３４２５号公報

しかしながら、例えば、特許文献１に記載の技術においては、パケット送信装置とパケット受信装置の間にあるパケット処理装置の処理に掛かる時間が大幅に伸びた場合に問題が生じ得る。つまり、タイムスタンプに示される時刻にパケットがパケット受信装置に到着しない可能性がある。例えば、パケット処理装置１２０がパケット処理装置外のシステムメモリにアクセスを行う際、システムメモリの処理が混雑しているとパケット処理装置１２０における処理に掛かる時間が大幅に延びてしまう。そして、パケット処理装置１２０はタイムスタンプに示される時刻に映像データを出力することが出来ない。その結果、後段のパケット受信装置１３０は正しくデコード処理が行なえず映像出力装置１４０に表示される映像に乱れが生じてしまうことになる。

本発明は上述の問題点に鑑みなされたものであり、データ処理による遅延の影響を低減することを目的とする。

上述の１以上の問題点を解決するため、本発明の情報処理装置は以下の構成を備える。すなわち、動画データに対する所定の画像処理を外部装置を用いて実行する情報処理装置であって、パケットとして動画データを入力する入力手段と、前記外部装置における負荷情報を取得する取得手段と、前記取得手段により取得された負荷情報に基づいて、前記入力手段により入力されたパケットを前記外部装置により処理させるか否かを決定する決定手段と、前記決定手段により前記外部装置により処理させると決定されたパケットを前記外部装置に送信し、該外部装置から処理されたパケットを受信する、処理依頼手段と、前記入力手段により入力されたパケットまたは前記外部装置により処理されたパケットを出力する出力手段と、を備える。

または、動画データに対する所定の画像処理を外部装置を用いて実行する情報処理装置であって、パケットとして動画データを入力する入力手段と、前記外部装置における負荷情報を取得する取得手段と、前記取得手段により取得された負荷情報に基づいて、前記入力手段により入力されたパケットを前記外部装置により処理させるか否かを決定する決定手段と、前記決定手段による決定に基づいて、前記入力手段により入力されたパケットに対し前記外部装置における処理を許可するか否かを示す許可情報を付与する付与手段と、前記許可情報が付与されたパケットを前記外部装置に送信し、該外部装置からパケットを受信する、通信手段と、を備え、前記外部装置は、前記許可情報に基づいて、入力されたパケットに対する前記画像処理の実行を制御するよう構成されている。

上述の１以上の問題点を解決するため、本発明の情報処理装置の制御方法は以下の構成を備える。すなわち、動画データに対する所定の画像処理を外部装置を用いて実行する情報処理装置の制御方法であって、パケットとして動画データを入力する入力工程と、前記外部装置における負荷情報を取得する取得工程と、前記取得工程により取得された負荷情報に基づいて、前記入力手段により入力されたパケットを前記外部装置により処理させるか否かを決定する決定工程と、前記決定工程により前記外部装置により処理させると決定されたパケットを前記外部装置に送信し、該外部装置から処理されたパケットを受信する、処理依頼工程と、前記入力工程により入力されたパケットまたは前記外部装置により処理されたパケットを出力する出力工程と、を備える。

または、動画データに対する所定の画像処理を外部装置を用いて実行する情報処理装置の制御方法であって、パケットとして動画データを入力する入力工程と、前記外部装置における負荷情報を取得する取得工程と、前記取得工程により取得された負荷情報に基づいて、前記入力手段により入力されたパケットを前記外部装置により処理させるか否かを決定する決定工程と、前記決定工程による決定に基づいて、前記入力手段により入力されたパケットに対し前記外部装置における処理を許可するか否かを示す許可情報を付与する付与工程と、前記許可情報が付与されたパケットを前記外部装置に送信し、該外部装置からパケットを受信する、通信工程と、を備え、前記外部装置は、前記許可情報に基づいて、入力されたパケットに対する前記画像処理の実行を制御するよう構成されている。

本発明によれば、データ処理による遅延の影響を低減することのできる技術を提供することができる。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る情報処理装置の第１実施形態として、パケット化された動画データ（映像データ）を処理するパケット処理装置を例に挙げて以下に説明する。

＜システム構成＞
図２は、第１実施形態に係るパケット処理装置を含むシステムの構成を示す図である。なお、図２においては、図１における映像入力装置１００および映像出力装置１４０は説明を簡単にするために省略している。また、パケット送信装置１１０およびパケット受信装置１３０は、図１で示したものと同様のものである。以下では、図１に含まれる装置と併せて各装置の構成について説明する。

映像入力装置１００は、ビデオカメラなど外部映像を取得しデジタルあるいはアナログの映像データとして出力するための装置である。パケット送信装置１１０は、映像入力装置１００から入力した映像データを受信し、パケット化して出力する装置である。パケット処理装置１２０ａおよびパケット処理装置１２０ｂは、映像データに含まれるフレーム画像に対しノイズ除去処理や輪郭強調処理などの画像処理を行なう装置である。図２においては、パケット処理装置１２０ａおよびパケット処理装置１２０ｂの２つが直列に接続されている場合を示しているが、１つ以上であればいくつでも構わない。パケット受信装置１３０は、パケット処理装置１２０ｂから入力したパケット化映像データを受信し、デジタルあるいはアナログの映像信号として出力する装置である。映像出力装置１４０は、液晶モニタなど入力されたデジタルあるいはアナログの映像信号を映像として出力するための装置である。

より詳細には、パケット送信装置１１０の映像パケット生成回路１１１は、映像入力装置１００から映像データを受信すると、映像データをパケット化して送信する。このとき、システムタイムクロック生成回路１１２が示す時刻を基にタイムスタンプを生成しパケットのヘッダに付加する（図４）。一方、パケット受信装置１３０の映像データ受信回路１３１は、パケットを受信し、システムタイムクロック再生回路１３２が再生する時刻とパケットのヘッダのタイムスタンプが示す時刻が一致すると映像データを映像出力装置１４０に送信する。また、システムタイムクロック再生回路１３２におけるシステムタイムクロック再生が可能となるように、システムタイムクロック生成回路１１２が生成するシステムタイムクロックは周期的にパケットとして送信される。

＜装置構成＞
以下では、パケット処理装置１２０ａの内部構成およびパケット処理装置１２０ａに接続される外部処理モジュール１５０ａについてさらに詳細に説明する。なお、パケット処理装置１２０ｂおよび外部処理モジュール１５０ｂはそれぞれ、パケット処理装置１２０ａおよび外部処理モジュール１５０ａと同様であるため説明は省略する。

図２に示されるように、パケット処理装置１２０ａには、パケットの入出力を制御するパケット処理回路１２１ａと、パケット処理回路１２１ａにおける処理を制御する処理中止判定手段１２３ａとが含まれる。そして、パケット処理回路１２１ａは、ノイズ除去処理や輪郭強調処理などの所定の画像処理を実行する外部処理モジュール１５０ａに画像処理を依頼し、処理結果を受信する回路である。

処理中止判定手段１２３ａは、後述する判定条件に従ってパケット処理回路１２１ａに対し、外部処理モジュール１５０ａへの画像処理の依頼を中止するよう指示する機能部である。

また、処理中止判定手段１２３ａに含まれる残処理時間保持手段１２６ａは、パケット処理回路１２１ａにより出力されたパケットが、タイムスタンプで示される時間までにパケット受信装置１３０に到着可能な処理時間を示す値が保持される。なお以下の説明では、ＣＰＵ１６０が残処理時間保持手段１２６ａに格納される値を予め設定するものとするが、ＣＰＵ１６０を用いずに初期値として保持するよう構成してもよい。また、パケット処理中に随時更新されるよう構成してもよい。

＜装置の動作＞
以下では、パケット処理回路１２１ａ，１２１ｂの各々が通常１００サイクル内にパケット処理を終了する場合を説明する。そのため、ここでは、パケット送信装置１１０は、パケットのヘッダのタイムスタンプとして送信開始時刻から２００サイクル後の時刻を設定するよう設定されているものとする。つまり、当該システムにおいては、各々のパケットは、パケット送信装置１１０から送出された２００サイクル後にはパケット受信装置１３０に到着する必要がある。

また、残処理時間保持手段１２６ａ，１２６ｂには、それぞれ”１００（サイクル）”および”０（サイクル）”が設定されているものとして説明を行う。すなわち、パケット処理回路１２１ａ，１２１ｂがパケットを出力する時点で、パケットに記録されているタイムスタンプから現在の時刻を引いた時間がそれぞれ１００サイクルと０サイクル以上である必要がある。この条件を満たす場合に、当該パケットはタイムスタンプで示される時間までにパケット受信装置１３０に到着可能なことを示している。

図３は、パケット処理装置１２０ａの動作フローチャートである。なお、以下の処理は連続して入力される複数のパケットに対し、パケット毎に実行される。

ステップＳ３０１では、パケット処理装置１２０ａのパケット処理回路１２１ａは、パケット送信装置１１０からパケットを入力する。

ステップＳ３０２では、パケット処理装置１２０ａの処理中止判定手段１２３ａは、外部モジュール負荷取得手段１２４ａを用いて外部処理モジュール１５０ａの負荷計測手段１５２ａから負荷情報を取得する。ここで、負荷情報とは、外部処理モジュール１５０ａにおける所定の画像処理に要する時間との相関が高い情報を意味する。

ステップＳ３０３では、パケット処理装置１２０ａの処理中止判定手段１２３ａは、ステップＳ３０２で取得した負荷情報に基づいて、ステップＳ３０１で入力されたパケット内のデータに対し画像処理を実行するか否かを決定する。つまり、前述したようにパケットを後続のパケット処理装置１２０ｂに送信する際、パケットに記録されているタイムスタンプから現在の時刻を引いた値（時間）が残処理時間保持手段１２６ａに格納された値よりも大きくなくてはならない。

そのため、例えば以下のようにして、取得した負荷情報に基づき外部処理モジュール１５０ａに処理を依頼した際の処理時間を予測する。例えば、外部処理モジュール１５０ａがメインメモリのコントローラであるならば、メモリアクセス待ちのコマンドに対するキューの長さ（待ち行列長）Ｌｑと平均到着率λを負荷情報として取得する。ここで、外部処理モジュール１５０ａがメインメモリのコントローラで、平均サービス時間が（１／μ）、メインメモリのコントローラへのアクセス間隔とサービス時間とが指数分布で近似できると仮定する。その場合、待ち行列理論により平均処理時間はＬｑ／λ＋（１／μ）である。そのため、この値を外部処理モジュール１５０ａに処理を依頼した際の処理時間の予測値として利用することが出来る。

このように導出された予測値に基づいて、処理中止判定手段１２３ａは、この予測値と残処理時間保持手段１２６ａに格納された値との加算を行う。そして、その加算結果がパケットのタイムスタンプよりも大きい場合はパケット処理回路１２１ａに対して処理の中止を通知する。処理の依頼を行なう場合は、ステップＳ３０４に進み、処理を中止する場合はステップＳ３０５に進む。

ステップＳ３０４では、パケット処理回路１２１ａは、パケットに含まれるデータに対する所定の画像処理を外部処理モジュール１５０ａに依頼する（処理依頼手段）。これは、所定の画像処理を行なう対象となる画像データを、外部処理モジュール通信手段１２２ａを介して外部処理モジュール１５０ａとの通信を行うことにより実現される。

ステップＳ３０５では、データをパケット化し後続のパケット処理装置１２０ｂに送信する。つまり、ステップＳ３０３において、処理の依頼を行なうと決定したパケットに対しては処理済のパケットを送信する。一方、ステップＳ３０３において、処理を中止すると決定したパケットに対しては、パケット送信装置１１０から入力されたパケットをそのまま送信する。

以上説明したとおり、第１実施形態に係るパケット処理装置によれば、外部処理モジュールにおける負荷の状態に応じて処理を中止するよう制御する。そのことにより、各々のパケットが、タイムスタンプに示される時刻にはパケット受信装置に到着可能なようにすることが可能となる。

（第２実施形態）
本発明に係る情報処理装置の第２実施形態として、パケット化された映像データを処理するデータ処理システムを例に挙げて以下に説明する。

＜システム構成＞
図５は、第２実施形態に係るパケット処理装置を含むシステムの構成を示す図である。なお、図５においては、パケット処理回路１２１ａが、パケット処理指定手段１２９ａをさらに有する点が第１実施形態と異なる。その他の装置、または、装置内の各部は第１実施形態におけるものとほぼ同様であるので説明は省略する。

図６は、パケットの構造を例示的に示す図である。パケット処理回路１２１ａのパケット処理指定手段１２９ａは、処理中止判定手段１２３ａ（決定手段または第２決定手段）から処理中止の通知を受けた時、パケットヘッダ更新手段１２８ａにより対象となるパケットのパケットヘッダを変更する。より具体的には、パケットヘッダ１７２中のパケット処理イネーブル部１７４（許可情報）に不許可を示す”０”を書き込む（付与する）ことで、パケット処理装置１２０ａおよび後続の１２０ｂでの処理を行わない様に一括して設定する（図６（ａ））（付与手段または第２付与手段）。

別の実装としては、パケットヘッダ更新手段１２８ａは、パケット処理装置毎のパケット処理コマンドを含むコマンド部１７５を変更することで、例えば、パケット処理装置１２０ｂのみで処理を行わない様にする。

具体的には、各パケット処理装置における処理の可否のみをそれぞれ１ビットで指定しても良い。また、処理内容を制限して指定するために各パケット処理装置に対し８ビット（０〜１２７）を割り当て、処理の程度を指定するよう構成してもよい。そのとき、例えば”０”である場合に処理不可を示し、”１”〜”１２７”である場合に処理の程度を示すよう構成すると良い。

パケット処理回路１２１ａは書き換えを行ったパケットを後段のパケット処理装置１２０ｂに送信する。パケット処理装置１２０ｂはパケットを受信すると、まずパケット処理イネーブル部１７４を確認する。パケット処理イネーブル部１７４が”０”の時は処理を行わずにパケット受信装置１３０に送る。または、コマンド部１７５を確認する。コマンド部１７５における自装置に対する処理コマンドが”０”の時は処理を行わずに後段のパケット受信装置１３０に送る。

以上説明したとおり、第２実施形態に係るパケット処理装置によれば、外部処理モジュールにおける負荷の状態に応じて処理を中止するよう制御する。特に、各パケットのパケットヘッダ内に処理可否を示す情報を埋め込むことにより、後段の装置は、より容易に処理の可否を判定することが可能となる。

（他の実施形態）
以上、本発明の実施形態について詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

なお、本発明は、前述した実施形態の機能を実現するプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置が、供給されたプログラムコードを読み出して実行することによっても達成される。従って、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭなどがある。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

映像処理システムの全体構成を示す図である。 第１実施形態に係るパケット処理装置および外部処理モジュールの内部構成を示す図である。 第１実施形態に係るパケット処理装置の動作フローチャートである。 パケット構造を例示的に示す図である。 第２実施形態に係るパケット処理装置および外部処理モジュールの内部構成を示す図である。 パケット構造を例示的に示す図である。

Claims (8)

1. 動画データに対する所定の画像処理を外部装置を用いて実行する情報処理装置であって、
   パケットとして動画データを入力する入力手段と、
   前記外部装置における負荷情報を取得する取得手段と、
   前記取得手段により取得された負荷情報に基づいて、前記入力手段により入力されたパケットを前記外部装置により処理させるか否かを決定する決定手段と、
   前記決定手段により前記外部装置により処理させると決定されたパケットを前記外部装置に送信し、該外部装置から処理されたパケットを受信する、処理依頼手段と、
   前記入力手段により入力されたパケットまたは前記外部装置により処理されたパケットを出力する出力手段と、
   を備えることを特徴とする情報処理装置。
2. 動画データに対する所定の画像処理を外部装置を用いて実行する情報処理装置であって、
   パケットとして動画データを入力する入力手段と、
   前記外部装置における負荷情報を取得する取得手段と、
   前記取得手段により取得された負荷情報に基づいて、前記入力手段により入力されたパケットを前記外部装置により処理させるか否かを決定する決定手段と、
   前記決定手段による決定に基づいて、前記入力手段により入力されたパケットに対し前記外部装置における処理を許可するか否かを示す許可情報を付与する付与手段と、
   前記許可情報が付与されたパケットを前記外部装置に送信し、該外部装置からパケットを受信する、通信手段と、
   を備え、
   前記外部装置は、前記許可情報に基づいて、入力されたパケットに対する前記画像処理の実行を制御するよう構成されている
   ことを特徴とする情報処理装置。
3. 前記外部装置は、各パケットの処理時間に基づいて前記負荷情報を生成することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記決定手段は、前記外部装置が各パケットの処理時間に基づいて前記負荷情報を生成することを特徴とする請求項１または２に記載の情報処理装置。
5. 前記決定手段は、前記処理時間をパケットの各々に付されたタイムスタンプに基づいて導出することを特徴とする請求項４に記載の情報処理装置。
6. 動画データに対する所定の画像処理を外部装置を用いて実行する情報処理装置の制御方法であって、
   パケットとして動画データを入力する入力工程と、
   前記外部装置における負荷情報を取得する取得工程と、
   前記取得工程により取得された負荷情報に基づいて、前記入力手段により入力されたパケットを前記外部装置により処理させるか否かを決定する決定工程と、
   前記決定工程により前記外部装置により処理させると決定されたパケットを前記外部装置に送信し、該外部装置から処理されたパケットを受信する、処理依頼工程と、
   前記入力工程により入力されたパケットまたは前記外部装置により処理されたパケットを出力する出力工程と、
   を備えることを特徴とする情報処理装置の制御方法。
7. 動画データに対する所定の画像処理を外部装置を用いて実行する情報処理装置の制御方法であって、
   パケットとして動画データを入力する入力工程と、
   前記外部装置における負荷情報を取得する取得工程と、
   前記取得工程により取得された負荷情報に基づいて、前記入力工程により入力されたパケットを前記外部装置により処理させるか否かを決定する決定工程と、
   前記決定工程による決定に基づいて、前記入力手段により入力されたパケットに対し前記外部装置における処理を許可するか否かを示す許可情報を付与する付与工程と、
   前記許可情報が付与されたパケットを前記外部装置に送信し、該外部装置からパケットを受信する、通信工程と、
   を備え、
   前記外部装置は、前記許可情報に基づいて、入力されたパケットに対する前記画像処理の実行を制御するよう構成されている
   ことを特徴とする情報処理装置の制御方法。
8. 少なくとも２つが直列に接続された請求項２に記載の情報処理装置を含むデータ処理システムであって、
   前記情報処理装置の少なくとも１つは、
   前記決定手段は、前記取得手段により取得された負荷情報に基づいて、前記入力手段により入力されたパケットを、後段の情報処理装置に接続された外部装置により処理させるか否かを決定する第２決定手段と、
   前記付与手段は、前記第２決定手段による決定に基づいて、前記入力工程により入力されたパケットに対し、前記後段の情報処理装置に接続された外部装置における処理を許可するか否かを示す許可情報を付与する第２付与手段と、
   をさらに備えることを特徴とするデータ処理システム。

Images