JP2005057632A - ストリーム生成方法および装置 - Google Patents

Abstract

【課題】 映像、音声データを含むＭＰＥＧ−２に、転送レートを変えることなくセンサデータを多重化し、蓄積する。
【解決手段】 ビデオカメラから取り出された映像データ１０１、その音声データ１０２はＭＰＥＧ−２ＴＳ生成部１１でＭＰＥＧ−２トランスポートストリーム圧縮符号化される。一方、センサデータ１０３はＴＳパケット化部１２でトランスポートストリームにパケット化される。ＴＳ多重化部１３では、ＭＰＥＧ−２ＴＳ生成部１１で生成されたＴＳ内のＮＵＬＬパケットと、ＴＳパケット化部１２で作成されたセンサデータのＴＳパケットを入れ替えることにより、ＴＳとＴＳパケットを多重化し、ひとつのトランスポートストリームを生成する。ＴＳ蓄積部１４は生成されたトランスポートストリームをファイル４に蓄積する。
【選択図】 図１

Description

本発明は、ビデオカメラで撮影された映像、音声データを伝送する方法、および装置に関するものである。

映像、音声データ等を伝送するセンシング装置としては、これまで以下に挙げたような監視装置がある。

例えば、特許文献１では、動画像はＭＰＥＧ−２規格、静止画像はＪＰＥＧ規格で圧縮符号化し、伝送することを考慮している。

また、監視カメラの撮影領域の異常を示すアラーム信号の伝送まで対象とした発明に関しては、特許文献２がある。ここでは、監視カメラで撮影した映像、音声データをＭＰＥＧ−２を始めとする圧縮符号化により伝送し、そのデータに異常が見られた場合に、監視側にあるアラームスイッチを入力することによって、伝送されてきた映像、音声データをアラーム信号と共に蓄積、記録する装置を主としている。
特開２００３−１６３９１４号公報 特開２００３−１０１９４３号公報

特許文献１ではセンサデータの伝送については全く考慮されていない。または、特許文献２は、アラーム信号を伝送する場合については、可能性を示しているだけで具体的な伝送の実現方法については述べていない。

このように、従来の方法では、映像、音声データのみをＭＰＥＧ−２規格で圧縮符号化し、ストリームデータとして一括して伝送する装置については提案されてきたが、センサデータまで含めて統合化して伝送する具体的な手法について考慮はされていなかった。

また、一般にも、ＭＰＥＧ−２データとセンサデータは別のデータとして伝送することが行われている。この場合には、遠隔地に伝送しようとすると、経路の違いにより両データの到着時間が異なるという問題が発生してしまう。

本発明の目的は、映像、音声データを含むＭＰＥＧ−２ストリームに、転送レートを変えることなくセンサデータを多重化し、蓄積、伝送可能なストリームデータの生成方法および装置を提供することにある。

上記目的を達成するために、本発明のストリーム生成方法は、ビデオカメラを用いてビデオカメラにより撮影された映像、および音声情報とその撮影空間内に存在するセンサの情報をひとつのストリームとして生成する方法であって、ビデオカメラを用いて実空間を撮影した映像および音声データを入力し、これらをＭＰＥＧ−２トランスポートストリームに圧縮符号化するＭＰＥＧ−２ＴＳ生成段階と、センサデータを入力し、それをトランスポートストリームパケット化するＴＳパケット化段階と、ＭＰＥＧ−２ＴＳ生成段階で生成されたトランスポートストリーム内のＮＵＬＬパケットとＴＳパケット化段階で生成されたトランスポートストリームパケットと入れ替えることにより、前記トランスポートストリームと前記トランスポートストリームパケットを多重化し、ひとつのトランスポートストリームを生成するＴＳ多重化段階と、生成されたトランスポートストリームを蓄積するＴＳ蓄積段階を有する。

映像、音声データを多重化して生成するＭＰＥＧ−２ストリーム生成時に発生するＮＵＬＬパケットと、パケット化されたセンサデータを入れ替える多重化を行う段階を有しているため、元のＭＰＥＧ−２ストリームの転送レートを落とさずに、映像、音声、センサデータを統合化したひとつのストリームを生成することができる。

本発明の実施態様では、生成されたストリームを伝送する段階を有している。そのため、生成データを遠隔地に伝送し、それを受け取ることもできる。

なお、生成されたトランスポートストリームを蓄積することなく、送出してもよい。

本発明によれば、物体につけたＩＤタグによる位置情報をセンサデータとして伝送し、物体の動きを映像、位置情報で観測するシステムも構築できるし、また、その観測結果をフィードバックさせるようなシステムに応用することも考えられる。例えば、応用システムとしては、映像データと家電制御データを統合化して伝送する遠隔地型家電制御システム、映像データとＩＤタグから得られる位置データを統合化して伝送する監視システム、映像データと撮影領域のアラーム信号を伝送する監視システムとしての利用等が考えられる。また、遠隔医療においても、映像データと医療データを統合して送ることができるようになる。

請求項１、３、４、６の発明によれば、センサデータをＭＰＥＧ−２ストリームに多重化することにより、ひとつのストリームとして蓄積でき、データの扱いが簡単になる。

請求項２、３、５、６の発明によれば、転送レートを落とさずに３種類のデータを一括して伝送することが可能となり、遠隔地に送信する場合でもデータの到着時間が異なるという問題が起こらない。

請求項７の発明によれば、処理の負荷分散を行うことができ、より自由度の高いシステムを構築することができる。

次に、本発明の実施の形態について図面を参照して説明する。

（第１の実施形態）
図１は本発明の第１の実施形態のストリーム生成装置の構成図である。

本実施形態のストリーム生成装置１ＡはＭＰＥＧ−２ＴＳ生成部１１とＴＳパケット化部１２とＴＳ多重化部１３とＴＳ蓄積部１４を有している。

ＭＰＥＧ−２ＴＳ生成部１１は、ビデオカメラ２から取り込んだ映像データ１０１、音声データ１０２をＭＰＥＧ−２ＴＳ化する。以下に、本実施形態で生成するＭＰＥＧ−２のストリームのデータ構造について説明する。なお、これはＭＰＥＧ−２規格を満たしてはいるが、完全に網羅したものではない。

本実施形態では、映像データ１０１、音声データ１０２をトランスポートストリーム（ＴＳ：Transport Stream）という方法で多重化することによりＭＰＥＧ−２ストリームを生成する。ＴＳは、信頼性が低く、エラーが発生しやすいネットワーク向け伝送に対するＭＰＥＧ−２規格で、トランスポートパケット（TS packet、以下ＴＳパケット）が複数個集まって構成される。ＴＳパケットは１８８ｂｙｔｅの固定長パケットであり、映像、音声、時刻情報等の他にＰＳＩ（Program Specific Information）と呼ばれるテーブルが規定されている。ＰＳＩには、ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）等の４種類がある。このうち、ＰＡＴには、プログラム番号に対応したＰＭＴのＰＩＤなどが記述されており、ＰＭＴにはＴＳ内に含まれているプログラムとそのプログラムを構成している映像や音声ストリームなどのプログラムの要素との関係を表すテーブル情報が規定されている。

映像データ１０１、音声データ１０２は、ＰＥＳ（Packetized Elementary Streams）と呼ばれるパケットに変換され、これらのＰＥＳは、４Ｂｙｔｅのヘッダーと共にＴＳパケット化される（図２）。この際、ＰＥＳの大きさによって、無効データのアダプテーションフィールド（adaptation field）が入る場合もある。図３に生成トランスポートストリームのイメージを示す。図中のＰＣＲ（Program Clock Reference）は生成時の時刻を示すＴＳパケットである。また、ＭＰＥＧ−２ストリーム生成時には、処理にマージンを持たせるため、送信レートよりも少ないＴＳパケットを生成し、残りはＮＵＬＬパケットでパディングする。これは通常のＭＰＥＧ−２ストリーム生成の過程でも行われており、例えば特開２００３−１０１９４３でも行われている。

以上を満たすＭＰＥＧ−２ストリームは通常のＭＰＥＧ−２エンコーダで生成可能であり、例えば、長沼らの文献「ＭＰＥＧ−２エンコーダＰＣカード」（２０００年映像情報メディア学会年次大会講演予稿集，ｐｐ．３９１−３９２，２０００）のような方法で行うことが考えられる。

ＴＳパケット化部１２では、センサデータ１０３をＴＳパケットの仕様に合わせ、４Ｂｙｔｅのヘッダーを含む１８８Ｂｙｔｅのパケット（以下、センサＴＳパケット）に変換する。ここでは、ヘッダーにはパケットＩＤ（ＰＩＤ）を書き込み、識別を可能とする。センサデータが１８４Ｂｙｔｅに満たない場合、ＮＵＬＬデータでパディングし、パケットサイズを１８８Ｂｙｔｅとする。センサデータ１０３が１８４Ｂｙｔｅを超える場合には、センサデータを複数に分割し、個々のパケットサイズが１８８Ｂｙｔｅとなるようにする。図４に生成センサＴＳパケットのイメージを示す。

ＴＳ多重化部１３では、ＭＰＥＧ−２ＴＳ生成部１１で発生したＴＳ内のＮＵＬＬパケットと、ＴＳパケット化部１２で作成されたセンサＴＳパケットを入れ替えることにより、ＴＳとＴＳパケットを多重化する。図５に多重化処理前後の生成ストリームの変化イメージを示す。また、ＭＰＥＧ−２ストリーム内のＰＭＴについても、ユーザー定義用ＩＤにＴＳパケットのＩＤを入れる。分離時にはこのＩＤでセンサデータ１０３の識別を行う。

生成ストリームの蓄積は、ＴＳ蓄積部１４において、生成パケット順にファイル４に記録していくことにより行う。この場合のファイル４としては、コンピュータのハードディスク、ＤＶＤ等が考えられる。

（第２の実施形態）
図６は本発明の第２の実施形態のストリーム生成装置の構成図である。

本実施形態のストリーム生成装置１Ｂは図１のストリーム生成装置１Ａにストリーム送出部１５を付加して構成されている。

生成ストリームの伝送は、ストリーム送出部１５にＬＡＮインタフェース回路を用いることにより、ネットワーク上にある指定ＩＰアドレスを持つ受信・復号装置に対して行う。受信・復号は、図７に示したように、ストリーム分離部２１とＭＰＥＧ−２分離復号部２２を有するストリーム受信・復号装置５によりストリーム生成時と逆の操作により行えばよい。

（第３の実施形態）
図８は本発明の第３の実施形態のストリーム生成装置の構成図である。

本実施形態のストリーム生成装置１ＣはＭＰＥＧ−２ＴＳ生成部１１とＴＳパケット化部１２とＴＳパケット化部１２とＴＳ多重化部１３とストリーム送出部１５から構成されている。

図９に以上の実施形態の遠隔医療システムでの利用イメージを示す。

本実施形態における伝送システムを用いれば、遠隔医療において、例えば患者の血圧や心電図等の生体情報や医療情報と患者の様子を撮影した映像情報を同時に伝送し、診察を行うこともできる。また、各種の遠隔監視システム、遠隔制御システムにも適用可能である。

（第４の実施形態）
図１０は本発明の第４の実施形態のストリーム生成装置の構成図である。

本実施形態のストリーム生成装置１Ｄは図１のストリーム生成装置１Ａにセンサデータを受信する受信部１６を付加して構成されている。

センサデータ１０３はセンサデータ送出装置６によりネットワークを通じてストリーム生成装置１Ｄに送信される。

本実施形態では、センサデータ取得時のシステムの時刻もセンサデータに加えて送る。この場合のセンサデータ送出装置６の構成図を図１１に示す。センサデータ送出装置６において、データ整形部３１でセンサデータ１０３と時刻情報１０４をＴＳパケット化部１２への送信フォーマットに変換した後、ＬＡＮインタフェース回路３２を通してストリーム生成装置１Ｃの受信部１６に送る。それを受信部１６に設けたＬＡＮインタフェース回路で受信し、ＴＳパケット化部１２では、受け取ったデータを第１、第２の実施形態と同様にＴＳパケットに変換する。また、この場合、復号時にもセンサデータ１０３と時刻情報の両方を取り出すことが可能である。

（第５の実施形態）
図１２は本発明の第５の実施形態のストリーム生成装置の構成図である。

本実施形態のストリーム生成装置１Ｅは図１０のストリーム生成装置１Ｄにストリーム送出部１５を付加して構成されている。

図１３に、第４、第５の実施形態の、室内の様子を遠隔地で監視するシステムでの利用イメージを示す。ここでは例えば、室内に設置するセンサとして、明かりを計測する照度計や、物体の位置を示すＩＤタグ等が考えられる。

なお、以上の実施形態と利用例において、それぞれ全ての適用範囲は、これに限定されるものではない。例えば、第１の実施形態において、時刻情報をセンサデータに加えることも考えられるし、第２の実施形態を遠隔医療に利用することも考えられる。また、本発明において使用するセンサは複数となる場合も考えられる。例えば、図１３において、照度計データとＩＤタグの両方を送ることもあり得る。

本発明の第１の実施形態のストリーム生成装置の構成を表す図である。 ＭＰＥＧ−２のＴＳパケットのイメージを表す図である。 ＭＰＥＧ−２のトランスポートストリームのイメージを表す図である。 センサＴＳパケットのイメージを表す図である。 ＭＰＥＧ−２ストリームとセンサＴＳパケットの多重化処理の様子を表す図である。 本発明の第２の実施形態のストリーム生成装置の構成を示す図である。 第２の実施形態のストリーム生成装置で生成されたストリームを受信・復号する受信・復号装置の構成を示す図である。 本発明の第３の実施形態のストリーム生成装置の構成を示す図である。 第１と第２と第３の実施形態を遠隔医療に利用したイメージを表す図である。 本発明の第４の実施形態のストリーム生成装置の構成を示す図である。 第４の実施形態のストリーム生成装置で生成されたシステムの時刻情報をセンサデータに加える場合のセンサデータ送出装置の構成を表す図である。 本発明の第５の実施形態のストリーム生成装置の構成を示す図である。 第４、第５の実施形態のストリーム生成装置を監視システムに利用したイメージを表す図である。

符号の説明

１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ ストリーム生成装置
２ ビデオカメラ
３ センサ
４ ファイル
５ ストリーム受信・復号装置
６ センサデータ送出装置
１１ ＭＰＥＧ−２ＴＳ生成部
１２ ＴＳパケット化部
１３ ＴＳ多重化部
１４ ＴＳ蓄積部
１５ ストリーム送出部
１６ 受信部
２１ ストリーム分離部
２２ ＭＰＥＧ−２分離復号部
３１ データ整形部
３２ ＬＡＮインタフェース回路
１０１ 映像データ
１０２ 音声データ
１０３ センサデータ
１０４ システムクロック情報

Claims (7)

1. ビデオカメラにより撮影された映像、および音声情報とその撮影空間内に存在するセンサの情報をひとつのストリームとして生成する方法であって、
   ビデオカメラを用いて実空間を撮影した映像および音声データを入力し、これらをＭＰＥＧ−２トランスポートストリームに圧縮符号化するＭＰＥＧ−２ＴＳ生成段階と、
   センサデータを入力し、それをトランスポートストリームパケット化するＴＳパケット化段階と、
   ＭＰＥＧ−２ＴＳ生成段階で生成されたトランスポートストリーム内のＮＵＬＬパケットとＴＳパケット化段階で生成されたトランスポートストリームパケットと入れ替えることにより、前記トランスポートストリームと前記トランスポートストリームパケットを多重化し、ひとつのトランスポートストリームを生成するＴＳ多重化段階と、
   生成されたトランスポートストリームを蓄積するＴＳ蓄積段階を有するストリーム生成方法。
2. 蓄積されたトランスポートストリームを送出するＴＳ送出段階をさらに有する、請求項１に記載のストリーム生成方法。
3. ビデオカメラにより撮影された映像、および音声情報とその撮影空間内に存在するセンサの情報をひとつのストリームとして生成する方法であって、
   ビデオカメラを用いて実空間を撮影した映像および音声データを入力し、これらをＭＰＥＧ−２トランスポートストリームに圧縮符号化するＭＰＥＧ−２ＴＳ生成段階と、
   センサデータを入力し、それをトランスポートストリームパケット化するＴＳパケット化段階と、
   ＭＰＥＧ−２ＴＳ生成段階で生成されたトランスポートストリーム内のＮＵＬＬパケットとＴＳパケット化段階で生成されたトランスポートストリームパケットと入れ替えることにより、前記トランスポートストリームと前記トランスポートストリームパケットを多重化し、ひとつのトランスポートストリームを生成するＴＳ多重化段階と、
   生成されたトランスポートストリームを送出するＴＳ送出段階を有するストリーム生成方法。
4. ビデオカメラにより撮影された映像、および音声情報とその撮影空間内に存在するセンサの情報をひとつのストリームとして生成する装置であって、
   ビデオカメラを用いて実空間を撮影した映像および音声データを入力し、これらをＭＰＥＧ−２トランスポートストリームに圧縮符号化するＭＰＥＧ−２ＴＳ生成手段と、
   センサデータを入力し、それをトランスポートストリームパケット化するＴＳパケット化手段と、
   ＭＰＥＧ−２ＴＳ生成手段で生成されたトランスポートストリーム内のＮＵＬＬパケットとＴＳパケット化手段で生成されたトランスポートストリームパケットとを入れ替えることにより、前記トランスポートストリームと前記トランスポートストリームパケットを多重化し、ひとつのトランスポートストリームを生成するＴＳ多重化手段と、
   生成されたトランスポートストリームを蓄積するＴＳ蓄積手段を有するストリーム生成装置。
5. 蓄積されたトランスポートストリームを送出するＴＳ送出手段をさらに有する、請求項４に記載のストリーム生成装置。
6. ビデオカメラにより撮影された映像、および音声情報とその撮影空間内に存在するセンサの情報をひとつのストリームとして生成する装置であって、
   ビデオカメラを用いて実空間を撮影した映像および音声データを入力し、これらをＭＰＥＧ−２トランスポートストリームに圧縮符号化するＭＰＥＧ−２ＴＳ生成手段と、
   センサデータを入力し、それをトランスポートストリームパケット化するＴＳパケット化手段と、
   ＭＰＥＧ−２ＴＳ生成手段で生成されたトランスポートストリーム内のＮＵＬＬパケットとＴＳパケット化手段で生成されたトランスポートストリームパケットとを入れ替えることにより、前記トランスポートストリームと前記トランスポートストリームパケットを多重化し、ひとつのトランスポートストリームを生成するＴＳ多重化手段と、
   生成されたトランスポートストリームを送出するＴＳ送出手段を有するストリーム生成装置。
7. ネットワークを介してＴＳパケット化手段に入力されるセンサデータを受信する受信手段をさらに有する、請求項４から６のいずれかに記載のストリーム生成装置。

Images