JP2009218696A - データ処理装置及びデータ処理方法 - Google Patents

Abstract

【課題】処理負荷をあまりかけずに、映像に乱れが生じることを防止することを目的とする。
【解決手段】映像データと、音声データと、を含むパケットデータを受信するパケットデータ受信手段と、パケットデータの受信時刻を測定する受信時刻測定手段と、パケットデータ内に含まれる到着予定時刻と、受信時刻測定手段で測定された受信時刻と、の時間差を算出する時間差算出手段と、時間差算出手段で算出された時間差と、時間閾値と、を比較する比較手段と、比較手段での比較の結果に応じて、音声処理手段における音声データに対する処理を実行させるか否か選択する選択手段と、を有することによって課題を解決する。
【選択図】図１

Description

本発明は、データ処理装置及びデータ処理方法に関する。

一般的に、映像処理システムにおいて、映像出力部は画像と音声等のデータとを同期を取り出力する必要がある。即ち、画像と音声とが一致するように映像出力部は出力を同期させなければならない。

画像と音声との同期を可能とするために、国際標準の符号化方式であるＭＰＥＧ１やＭＰＥＧ２は、出力タイミング情報であるタイムスタンプをパケットデータのヘッダ内に付加するように規定している。ここで、ＭＰＥＧ１は、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ１の略である。また、ＭＰＥＧ２は、Ｍｏｖｉｎｇ ＰｉｃｔｕｒｅＥｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ２の略である。

図５は、従来の映像処理システムの構成の一例を示す図である。
パケット送信装置２０００の映像パケット生成回路２００１が映像入力装置１０００から映像データを受信すると、映像データをパケット化して送信する。このとき、システムタイムクロック生成回路２００２が示す時刻を基にタイムスタンプを生成しパケットのヘッダに付加する。

パケット送信装置２０００が送信したパケットは伝送路５０００を通りパケット受信装置３０００に受信される。
パケット受信装置３０００の映像データ送信回路３００１は、パケットを受信し、システムタイムクロック再生回路３００２が再生する時刻とパケットのヘッダのタイムスタンプが示す時刻とが一致すると映像データを復元して映像出力装置４０００に送信する。

特開平０７−０５９０５３号公報

従来の映像処理システムでは、パケット送信装置がパケットを送信してからパケット受信装置がパケットを受信するまでの時間はシステムによって一定でありタイムスタンプの示す時刻にはパケット受信装置にパケットが到着した。
しかしながら、パケット送信装置とパケット受信装置との間で、動画像データに依存し、パケット処理にかかる時間が変化するため、タイムスタンプに示される時刻にパケットがパケット受信装置に到着しない可能性がある。タイムスタンプに示される時刻に映像データを出力できなければ、映像に乱れが生じてしまう。

本発明はこのような問題点に鑑みなされたもので、処理負荷をあまりかけずに、映像に乱れが生じることを防止することを目的とする。

そこで、本発明は、映像データと、音声データと、を含むパケットデータを受信するパケットデータ受信手段と、前記パケットデータの受信時刻を測定する受信時刻測定手段と、前記パケットデータ内に含まれる到着予定時刻と、前記受信時刻測定手段で測定された受信時刻と、の時間差を算出する時間差算出手段と、前記時間差算出手段で算出された時間差と、時間閾値と、を比較する比較手段と、前記比較手段での比較の結果に応じて、音声処理手段における前記音声データに対する処理を実行させるか否か選択する選択手段と、を有することを特徴とする。

また、本発明は、データ処理方法としてもよい。

本発明によれば、処理負荷をあまりかけずに、映像に乱れが生じることを防止することができる。

以下、本発明の実施形態について図面に基づいて説明する。

＜実施形態１＞
図１は、パケットデータ処理装置の一例である映像音声処理装置の構成の一例を示した図である。
映像音声処理装置１００は、映像と音声とのストリームデータを分割したパケットデータを入力とし、その入力データに対して後述するような処理を行い、パケットデータとして出力する。

パケットデータ受信部１０１は、映像と音声とのストリームデータを分割したパケットデータを映像音声処理装置１００の外部から受信し、パケット形式のデータを内部処理形式に変換する。
パケット受信時刻測定部１０２は、パケットデータ受信部１０１でパケットデータを受信した時刻を測定する。

音量算出部１０３は、パケットデータ受信部１０１で受信されたパケットデータ内に含まれる音声データから音量を式（１）によって算出する。
Ｖ ＝ Σａｂｓ（Ａｉ）／Ｎ 式（１）
Ｖ ：音量
Ａｉ ：パケットデータ内に含まれる音声データサンプル値の数列
Ｎ ：パケットデータ内に含まれる音声データサンプル数
ａｂｓ（） ：絶対値関数

比較部１０４は、パケットデータ受信部１０１で受信されたパケットデータ内に含まれる到着予定時刻と、パケット受信時刻測定部１０２で計測（測定）されたパケット受信時刻と、の時間差が、予め設定されている時間閾値よりも小さいか否かの比較を行う。また、比較部１０４は、音量算出部１０３で算出された音量が、後述する算出方法により、音量閾値よりも小さいか否かの比較を行う。

音声処理選択部１０５は、比較部１０４の比較結果に応じてパケットデータ受信部１０１で受信した映像音声データを、音声処理部１０６に渡すか、音声処理をスキップして後段の画像処理部１０７に渡すかを選択、実行する。
音声処理部１０６は、パケットデータ受信部１０１で受信したパケットデータ内に含まれる音声データに関して、高音質処理等を行う。

画像処理部１０７は、パケットデータ受信部１０１で受信したパケットデータ内に含まれる映像データに関して、高画音質処理等を行う。
パケットデータ送信部１０８は、内部処理形式の映像データと音声データとをパケット形式に変換し、パケットデータとして映像音声処理装置１００の外部に送信する。

図２は、映像音声処理装置１００を含むシステム構成の一例を示す図である。
このシステムはディスプレイ等の外部機器から入力された映像、音声を表示するものであり、音声入力装置１１０で外部機器映像、音声を入力し、映像音声処理装置１００に映像及び音声を渡す。そして、映像音声処理装置１００からの出力を映像音声処理装置１００と構成は同一で、映像処理及び音声処理の内容が異なる映像音声処理装置１００'に渡す。そして、映像音声処理装置でパイプライン式に処理した映像、音声データを映像音声表示装置１２０で出力する。

図３は、比較部１０４で比較に使用する音量閾値の変化の一例を示す図である。
２０１は時間差、２０２は時間閾値、２０３は音量閾値で、式（２）の関係で表わされる。
Ｖｔ ＝ Ａ・（Ｔｔ−Ｄ）＋Ｂ 式（２）
Ｖｔ ：音量閾値２０３
Ｄ ：到着予定時刻とパケット受信時刻との時間差２０１
Ｔｔ ：時間閾値２０２
Ａ ：第一の定数
Ｂ ：第二の定数

到着予定時刻は映像音声表示装置１２０に到着する時刻を示しており、この時刻とパケット受信時刻との時間差２０１は、後段の映像音声処理装置を含む処理に費やすことが可能な時間である。つまり、時間差２０１の値が小さくなればなるほど高速に処理を行い、費やす時間を小さくする必要がある。

この式（２）を用いて音量閾値２０３を決定することで、時間差２０１が小さければ小さいほど、音量閾値２０３は大きな値をとる。比較部１０４での比較においては、音量算出部１０３で算出した音量が音量閾値２０３よりも小さい場合に音声処理選択部１０５は音声処理をスキップする。

よって、時間差２０１の値が小さくなり処理に費やす時間を小さくする必要があるほど、音声処理をスキップするデータが増加し、映像音声処理装置１００全体の処理時間を短縮する。また、システム全体として処理時間に余裕がある場合には時間差２０１の値が大きくなり、音量閾値２０３は小さくなるため、音声処理をスキップするデータは減少し、本来の高音質処理等を行う。

次に、映像音声処理装置１００の映像、音声処理の流れを、図４を用いて説明する。図４は、映像、音声処理の一例を示すフローチャートである。
まず、パケットデータ受信部１０１によって映像と音声とのストリームデータを分割したパケットデータを映像音声処理装置１００の外部から受信する（ステップＳ１）。
パケット受信時刻測定部１０２は、パケットデータ受信部１０１でパケットデータを受信した時刻を測定する（ステップＳ２）。

比較部１０４は、パケットデータ受信部１０１で受信されたパケットデータ内に含まれる到着予定時刻とパケット受信時刻測定部１０２で測定されたパケット受信時刻との時間差を算出し（時間差算出）、この時間差と、時間閾値と、を比較する（ステップＳ３）。例えば音声処理選択部１０５は、比較部１０４での比較の結果、時間差が時間閾値未満であった場合、処理をステップＳ４に進め、時間差が時間閾値未満でなかった場合、処理をステップＳ６に進める。

ステップＳ４では、音量算出部１０３が、パケットデータ受信部１０１で受信されたパケットデータ内に含まれる音声データから音量を算出する。
比較部１０４は、音量算出部１０３で算出された音量が、音量閾値未満であるか否かを比較する（ステップＳ５）。例えば音声処理選択部１０５は、比較部１０４での比較の結果、音量が音量閾値未満であった場合、処理をステップＳ７に進め、音量が音量閾値未満でなかった場合、処理をステップＳ６に進める。

ステップＳ６では、音声処理部１０６が、パケットデータ内に含まれる音声データに対して、例えば音質を良くする高音質処理等を行う。
一方、ステップＳ７では、画像処理部１０７が、パケットデータ内に含まれる画像データに対して、例えば画質を良くする高画質処理等を行う。
パケットデータ送信部１０８は、映像と音声データとをパケットデータとして映像音声処理装置１００の外部に送信する（ステップＳ８）。

＜実施形態２＞
本実施形態では、パケットデータを複数回受信した場合の映像音声処理装置１００の処理の一例を説明する。なお、本実施形態では、上述した実施形態と異なる点を主に説明する。

パケットデータ受信部１０１が第一のパケットデータと第二のパケットデータとを受信した場合、パケット受信時刻測定部１０２は第一のパケットデータの受信時刻を第一の受信時刻として測定し、第二のパケットデータの受信時刻を第二の受信時刻として測定する。

比較部１０４は、第一のパケットデータ内に含まれる到着予定時刻と、第一の受信時刻と、の時間差を第一の時間差として算出する。また、比較部１０４は、第二のパケットデータ内に含まれる到着予定時刻と、第二の受信時刻と、の時間差を第二の時間差として算出する。そして、比較部１０４は、第一の時間差より第二の時間差が大きい場合、音量閾値を増加させ、第一の時間差より第二の時間差が小さい場合、音量閾値を減少させる。

このような処理を行うことによって、時間差が大きくなっている場合は、音声処理をスキップ（省略）するデータを多くし、時間差が小さくなっている場合は、音声処理を行うデータを多くすることができる。

＜その他の実施形態＞
また、本発明の目的は、以下のようにすることによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム或いは装置に供給する。そして、そのシステム或いは装置の中央演算処理手段（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記録した記憶媒体は本発明を構成することになる。

また、システム或いは装置の前記中央演算処理手段が読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、システム或いは装置上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行う。その処理によって上述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、前記システム或いは装置に挿入された機能拡張カードや、接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される場合も含まれる。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

以上、上述した各実施形態によれば、映像音声処理装置に入力される映像データ（画像データ）及び音声データの内容によって処理負荷が変化するような場合でも、映像を乱すことなく出力することができる。また、高画質処理、高音質処理の処理負荷によって動的に音声処理内容を調整することで、限られたハードウェアリソースで様々な入力データに対する処理を実現することができる。また、高画質処理、高音質処理の処理負荷が高くなった場合には、入力音声データのうち音量の小さいものから順次音声処理を省くことで、映像には影響なく、音声はユーザの視聴上影響が少ないように処理負荷を調整することができる。また、処理負荷の調整として音声データの音量を基準として使用することで、映像データの解析結果を使用するよりも少ないハードウェアリソースで負荷調整を実現することができる。

つまり、上述した各実施形態によれば、処理負荷をあまりかけずに、映像に乱れが生じることを防止することができる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

パケットデータ処理装置の一例である映像音声処理装置の構成の一例を示した図である。 映像音声処理装置１００を含むシステム構成の一例を示す図である。 比較部１０４で比較に使用する音量閾値の変化の一例を示す図である。 映像、音声処理の一例を示すフローチャートである。 従来の映像処理システムの構成の一例を示す図である。

符号の説明

１００ 映像音声処理装置
１０１ パケットデータ受信部
１０２ パケット受信時刻測定部
１０３ 音量算出部
１０４ 比較部
１０５ 音声処理選択部
１０６ 音声処理部
１０７ 画像処理部
１０８ パケットデータ送信部

Claims (6)

1. 映像データと、音声データと、を含むパケットデータを受信するパケットデータ受信手段と、
   前記パケットデータの受信時刻を測定する受信時刻測定手段と、
   前記パケットデータ内に含まれる到着予定時刻と、前記受信時刻測定手段で測定された受信時刻と、の時間差を算出する時間差算出手段と、
   前記時間差算出手段で算出された時間差と、時間閾値と、を比較する比較手段と、
   前記比較手段での比較の結果に応じて、音声処理手段における前記音声データに対する処理を実行させるか否か選択する選択手段と、
   を有することを特徴とするデータ処理装置。
2. 前記選択手段は、前記比較手段での比較の結果、前記時間差が前記時間閾値未満であった場合、前記音声処理手段における前記音声データに対する処理を実行させないことを選択することを特徴とする請求項１に記載のデータ処理装置。
3. 前記パケットデータに含まれる音声データの音量を算出する音量算出手段を更に有し、
   前記比較手段は、前記音量算出手段で算出された前記音量と、音量閾値と、を更に比較し、
   前記選択手段は、前記比較手段における前記時間差と、前記時間閾値と、の比較の結果及び前記音量と、前記音量閾値と、の比較の結果に応じて、音声処理手段における前記音声データに対する処理を実行させるか否か選択することを特徴とする請求項２に記載のデータ処理装置。
4. 前記選択手段は、前記比較手段での比較の結果、前記時間差が前記時間閾値未満であり、かつ、前記音量が前記音量閾値未満であった場合、前記音声処理手段における前記音声データに対する処理を実行させないことを選択することを特徴とする請求項３に記載のデータ処理装置。
5. 前記パケットデータ受信手段で第一のパケットデータと、第二のパケットデータと、が受信された場合、
   前記受信時刻測定手段は、前記第一のパケットデータの受信時刻を第一の受信時刻として測定し、前記第二のパケットデータの受信時刻を第二の受信時刻として測定し、
   前記時間差算出手段は、前記第一のパケットデータ内に含まれる到着予定時刻と、前記第一の受信時刻と、の時間差を第一の時間差として算出し、前記第二のパケットデータ内に含まれる到着予定時刻と、前記第二の受信時刻と、の時間差を第二の時間差として算出し、
   前記比較手段は、前記第一の時間差より前記第二の時間差が大きい場合、前記音量閾値を増加させ、前記第一の時間差より前記第二の時間差が小さい場合、前記音量閾値を減少させることを特徴とする請求項３又は４に記載のデータ処理装置。
6. データ処理装置におけるデータ処理方法であって、
   映像データと、音声データと、を含むパケットデータを受信するパケットデータ受信ステップと、
   前記パケットデータの受信時刻を測定する受信時刻測定ステップと、
   前記パケットデータ内に含まれる到着予定時刻と、前記受信時刻測定ステップで測定された受信時刻と、の時間差を算出する時間差算出ステップと、
   前記時間差算出ステップで算出された時間差と、時間閾値と、を比較する比較ステップと、
   前記比較ステップでの比較の結果に応じて、音声処理ステップにおける前記音声データに対する処理を実行させるか否か選択する選択ステップと、
   を有することを特徴とするデータ処理方法。

Images