JP2002165201A - Ｔｃｐ／ｉｐパケットフォーマットによる映像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 ＴＣＰ／ＩＰフォーマットのまま映像処理を
施すＴＣＰ／ＩＰパケットフォーマットによる映像処理
装置を提供する。 【解決手段】 映像処理装置１は、パケット送信側に、
画素データの配列情報を含む配列情報パケットを要求す
ると共に、この配列情報パケットを受信する画素データ
配列処理部３と、各画素データパケット間のタイミング
を調整するパケット間同期調整部４と、画素データパケ
ットのヘッダ部および画素データ部を分離するヘッダデ
ータ分離部５と、画素データパケットの順番を示すシー
ケンス番号を抽出するシーケンス番号抽出部７と、画素
データ部の画素データの画像出力位置を計算する画像位
置計算部９と、画素データ部の画素データを、映像デー
タとして映像処理するパケットデータ処理部１１と、こ
の処理された画素データにヘッダ部を付加修正して送出
先に送出するパケット送出部１５とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワークのプ
ロトコルとしてＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏ
ｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎ
ｅｔ Ｐｒｏｔｏｃｏｌ）を使用したＴＣＰ／ＩＰネッ
トワークに、映像信号をパケット化して転送すると共
に、映像処理するＴＣＰ／ＩＰパケットフォーマットに
よる映像処理装置に関する。

【０００２】

【従来の技術】近年、コンピュータの処理速度の向上や
ネットワークの広帯域化に伴い、従来、放送局から放送
していた映像や音声データを、汎用ネットワーク（例え
ばＴＣＰ／ＩＰを用いたインターネット）を使って転送
しようという技術が開発されつつある。この技術では、
汎用ネットワークにおいて、映像や音声データだけでは
なく、気象情報の数値データや放送中の被写体の動きデ
ータ等の多様なデータを付加して統合し、この統合され
たデータを扱えることが想定されている。

【０００３】ところで、従来、放送局から放送していた
映像を処理する映像処理装置は、デジタル圧縮のかかっ
ていない、映像モニタで直接視認できる画像フォーマッ
トであるベースバンド信号を加工処理する装置であり、
映像データをベースバンド上の画像フォーマットで処理
していた。

【０００４】そして、この従来の映像処理装置を汎用ネ
ットワークに接続して、この汎用ネットワークを介して
流通する映像や音声データを含む多様なデータのデータ
処理に利用したいとの要請がある。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
映像処理装置を汎用ネットワークに直接接続することは
できず、接続するためには映像信号フォーマットからパ
ケットフォーマットに変換するための回路（映像データ
メモリ、映像同期信号回路など）が必要である。つま
り、従来の映像処理装置では、いったん、パケットフォ
ーマットされた映像信号をもとのベースバンド信号に戻
す必要があり、また、従来の映像処理装置からネットワ
ークに映像データを送出する場合に、この映像処理装置
ではベースバンド信号を再パケット化する必要があっ
た。

【０００６】したがって、従来の映像処理装置では、ネ
ットワークを介して、他の装置と映像信号を送受信する
場合、映像信号の入出力に映像信号フォーマット変換回
路やパケット変換回路等の複雑なインターフェースを新
たに付加しなければならないという問題があった。ま
た、映像信号を再パケット化するパケット化処理に掛か
る遅延時間が生じるという問題があった。

【０００７】そこで、本発明の目的は前記した従来の技
術が有する課題を解消し、ＴＣＰ／ＩＰフォーマットの
まま映像処理を施すＴＣＰ／ＩＰパケットフォーマット
による映像処理装置を提供することにある。

【０００８】

【課題を解決するための手段】請求項１記載の発明は、
ＴＣＰ／ＩＰパケットフォーマットにされ、映像データ
を構成する画像データの最小単位である画素データを含
む画素データパケットを、パケット送信側からパケット
受信側に送信するのに先だって、前記パケット受信側か
ら前記パケット送信側に、前記画素データの配列情報を
含む配列情報パケットを要求すると共に、この配列情報
パケットを受信する画素データ配列処理部と、前記画素
データパケットを受信すると共に、複数のパケット送信
側から送信された場合に各画素データパケット間のタイ
ミングを調整するパケット間同期調整部と、受信した複
数の画素データパケットのヘッダ部および映像データが
格納される画素データ部を分離するヘッダデータ分離部
と、前記ヘッダ部に含まれた画素データパケットの順番
を示すシーケンス番号を抽出するシーケンス番号抽出部
と、前記画素データ部の画素データを、出力装置に出力
する際に、シーケンス番号に基づき映像データとして画
像出力位置を計算する画像位置計算部と、前記画素デー
タ部の画素データを、前記配列情報および前記画像出力
位置に基づいて映像処理するパケットデータ処理部と、
この処理された画素データを含んで新たな画素データ部
とし、この新たな画素データ部にヘッダ部を付加修正し
て送出するパケット送出部とを備えたことを特徴とする
ＴＣＰ／ＩＰパケットフォーマットでの映像処理装置に
関するものである。

【０００９】この発明によれば、画素データパケットを
受信するのに先立って、画素データの配列情報を含む配
列情報パケットを受信するので、映像処理装置では、画
素データパケット内に含まれる画素データがどのように
分割されているかが把握される。

【００１０】ここで、配列情報パケットには、画素デー
タの配列情報の他に、画素のサイズ等の情報が含められ
る。

【００１１】また、ＴＣＰ／ＩＰパケットは、「ヘッダ
部」と「データ部」等で構成されており、シーケンス番
号抽出部で抽出されたヘッダ部の「シーケンス番号」の
データによって、パケットの受信側でパケットの送出順
序が把握されると共に、画像位置計算部で「シーケンス
番号」に基づいて出力装置に出力する際の画像出力位置
が算出される。そして、パケットデータ処理装置では、
画素データの配列情報と、送出順序と、画像出力位置と
に基づいて映像データが生成され、パケットデータ処理
部で映像データが映像処理される。

【００１２】ここでパケットデータ処理とは、１画面全
体の画像データを再構成することなく、各画素データパ
ケットの画素データ部に格納されている画素データを逐
次映像処理することで、複数の画像データによって構成
される映像データを加工する処理である。

【００１３】映像データの映像処理がなされた後、この
映像データは、そのまま、新たな画素データパケットに
おける新たな画素データとされ、この画素データは新た
な画素データ部に格納され、パケット送出部で付加修正
されたヘッダ部が付され、新たな画素データパケットと
して送出される。

【００１４】また、ここで、映像データとは、複数の画
像データが集まったものを指している。また、画像デー
タとは、複数の画素データが集まったものを指してい
る。

【００１５】

【発明の実施の形態】以下、本発明の一実施形態を図面
に基づいて詳細に説明する。 （映像処理装置の構成）図１は映像処理装置のブロック
図である。図１に示すように、映像処理装置１は、画素
データ配列処理部３と、パケット間同期調整部４と、ヘ
ッダデータ分離部５と、シーケンス番号抽出部７と、画
像位置計算部９と、映像処理部１１と、映像データ分解
部１３と、パケット送出部１５とを備えている。以下、
各構成を説明する。

【００１６】画素データ配列処理部３は、映像データを
構成する画像データの最小単位である画素データの配列
情報を含む配列情報パケットＡＰを画素データパケット
ＰｉＰの送信側に要求すると共に、受信した配列情報パ
ケットＡＰから画素データの配列情報を抽出し、この配
列情報を映像処理部１１に伝達するものである。配列情
報は、画素データのヘッダ部のシーケンス番号と、この
画素データが一つの画面上のどの位置に相当するかとい
うこととを関係付けている。

【００１７】パケット間同期調整部４は、複数のパケッ
ト送信側から送信される各画素データパケットＰｉＰの
タイミング調整を行うものである。

【００１８】ここで、図２を参照して、画素データパケ
ットＰｉＰの概略構成を説明する。画素データパケット
ＰｉＰは、総データ長が３２ビット、６フィールドから
なるパケットであり、５層のヘッダ部と１層の画素デー
タ部とから構成されている。

【００１９】ヘッダ部は、送信元ポート番号および送信
先ポート番号が格納された第１のフィールドと、シーケ
ンス番号が格納された第２のフィールドと、確認応答番
号が格納された第３のフィールドと、データオフセッ
ト、予約、コード・ビット（Ｕ、Ａ、Ｐ、Ｒ、Ｓ、Ｆ）
およびウインドウが格納された第４のフィールドと、チ
ャックサムおよび緊急ポインタが格納された第５のフィ
ールドとから構成されている。各構成の説明に使用した
用語については、一般的なＴＣＰパケットで用いられる
用語であるので説明は省略する。画素データ部は、画像
データが分割された画素データが格納された第６のフィ
ールドによって構成されている。

【００２０】ヘッダデータ分離部５は、画素データパケ
ットＰｉＰを受信すると、パケット送信側に、画素デー
タパケットＰｉＰを受信したことを報知するために、画
素データパケットＰｉＰのヘッダ部に格納される確認応
答信号（図１の破線矢印）をパケット送信側に送信す
る、確認応答を行うものである。その後、ヘッダデータ
分離部５は、受信した画素データパケットＰｉＰを、シ
ーケンス番号等が格納されているヘッダ部と、画素デー
タが格納されている画素データ部とに分離するものであ
る。

【００２１】また、ヘッダデータ分離部５の入力ポート
には、ヘッダデータ分離部５に複数の画素データパケッ
トＰｉＰが入力された場合に、複数の画素データパケッ
トＰｉＰの同期を取るためのバッファ（図示せず）が設
けられている。

【００２２】シーケンス番号抽出部７は、ヘッダデータ
分離部５によって分離されたヘッダ部から、このヘッダ
部に格納されているシーケンス番号を抽出するものであ
る。

【００２３】画像位置計算部９は、ヘッダ部に格納され
ているシーケンス番号に基づき、画素データの集合体で
ある画像データが、出力装置（図示せず）に出力される
際に、次の画像データとどの位置で切り替わるかを計算
するものである。

【００２４】パケットデータ処理部１１は、画素データ
パケットＰｉＰに含まれる画素データから形成された画
像データが複数集まった映像データに、この映像データ
同士を合成或いは映像データを編集加工したりするもの
である。

【００２５】パケット送出部１５は、新たな画素データ
パケットＮＰｉＰを生成し、送出先の他の装置（図中の
破線部）に送出するものである。この新たな画素データ
パケットＮＰｉＰは、パケットデータ処理部１１で映像
処理された映像データを、そのまま、新たな画素データ
として格納される画素データ部と、ヘッダデータ分離部
５で分離されたヘッダ部に基づいて生成され付与される
ヘッダ部等によって構成されている。

【００２６】（映像処理装置の動作）次に、この映像処
理装置の動作について説明する。映像処理装置１の動作
を図３に示すフローチャートを参照して説明する。ま
ず、画素データ配列処理部３が、画素データの配列情報
を含む配列情報パケットＡＰをパケット送信側に対し要
求する（Ｓ１）。画素データ配列処理部３は配列情報パ
ケットＡＰを受信するまで待機する（Ｓ２）。

【００２７】画素データ配列処理部３は配列情報パケッ
トＡＰを受信すると、この配列情報パケットＡＰから送
信される画素データパケットＰｉＰの配列情報を、配列
情報パケットＡＰのデータ部から抽出し、保持するとと
もに、パケット間同期調整部４に対し、画素データパケ
ットＰｉＰを受信可能状態になったことを伝達する。

【００２８】パケット間同期調整部４は、複数のパケッ
ト送信側から送信される各画素データパケットＰｉＰ間
でタイミング調整を行い（Ｓ３）、パケット間同期調整
部４が複数の画素データパケットＰｉＰを受信すると
（Ｓ４）、タイミング調整された複数の画素データパケ
ットＰｉＰはヘッダデータ分離部５に伝達される。

【００２９】ヘッダデータ分離部５はタイミング調整さ
れた複数の画素データパケットＰｉＰを受信すると、ヘ
ッダデータ分離部５では各画素データパケットＰｉＰの
ヘッダ部とデータ部とを分離する（Ｓ５）。

【００３０】次に、分離されたヘッダ部は、シーケンス
番号抽出部７に伝達され、このシーケンス番号抽出部７
は、分離されたヘッダ部からシーケンス番号を抽出する
（Ｓ６）。

【００３１】また、抽出されたシーケンス番号は、画像
位置計算部９に伝達され、この画像位置計算部９では、
抽出されたシーケンス番号に基づいて画像出力位置を計
算する（Ｓ７）。ここで、シーケンス番号は、出力装置
（図示せず）に画素データの集合体である画像データを
出力させる際に、次の画像データとどの位置で切り替わ
るかを算出するために用いられるものである。

【００３２】そして、画素データ配列処理部３から配列
情報と、シーケンス番号抽出部７から画素データパケッ
トＰｉＰの送出順序と、画像位置計算部９から画像出力
位置とが、パケットデータ処理部１１に伝達される。こ
の映像処理部１１は、これら配列情報とシーケンス番号
と画像出力位置とに基づいて映像データを生成すると共
に、映像処理を行う（Ｓ８）。

【００３３】ここで映像処理とは、通常パケット送信側
で、映像データが付加された後、パケット化された画素
データパケットＰｉＰを送信した場合、この画素データ
パケットＰｉＰを受信する映像処理装置１では、配列情
報とシーケンス番号と画像出力位置とによって映像デー
タが把握され、各画素データパケットＰｉＰ内の画素デ
ータ毎に加工編集したりすることである。

【００３４】パケットデータ処理部１１で映像処理され
た映像データは、そのまま新たな画素データパケットの
画素データとなり、新たな画素データは、パケット送出
部１５に伝達され、パケット送出部１５は、この新たな
画素データにヘッダデータ分離部５で分離されたヘッダ
部に基づいて新たなヘッダ部を付加修正する（Ｓ９）。

【００３５】パケット送出部１５は新たな画素データパ
ケットＮＰｉＰをパケット送出先に送出する（Ｓ１
０）。

【００３６】（映像処理装置の動作例）図４は、前記し
たパケット送信側の送信装置Ａ、Ｂと映像処理装置１と
を簡略化して示した説明図である。この図４を参照して
映像処理装置１の動作例を説明する。

【００３７】画素データパケットＰｉＰのヘッダ部に含
まれるシーケンス番号は、例えば、オクテット（８ビッ
ト）単位で付与されている。つまり、パケット送信側か
ら映像処理装置１に送信する画素データパケットＰｉＰ
１、ＰｉＰ２の画素データ部に格納される画素データ
が、１０００オクテット単位であれば、シーケンス番号
は、１パケット受信するごとに１０００オクテットずつ
増加することになる。

【００３８】そして、画素データパケットＰｉＰ１、Ｐ
ｉＰ２を受信した映像処理装置１は、ヘッダデータ分離
部５から送信装置Ａ、Ｂに対する確認応答として次に受
信すべきシーケンス番号を送信装置Ａ、Ｂに返信する。
つまり、この確認応答は、送信された画素データパケッ
トＰｉＰ１のシーケンス番号が３００１の場合は、ヘッ
ダデータ分離部５から送信装置Ａに応答する際の「確認
応答番号」は４００１番になる。

【００３９】画素データパケットＰｉＰ１、ＰｉＰ２に
よって生成され、処理される映像データが単純な垂直ワ
イプの例で説明する。垂直ワイプとは図４に示すよう
に、あるラインの上下で２つの画像データが切り替わる
ことである。この切替ラインを変化させることで、画面
上に写っている画像データ１と画像データ２の割合が変
化する。

【００４０】送信装置Ａからは画素データパケットＰｉ
Ｐ１が、送信装置Ｂからは画素データパケットＰｉＰ２
が送出されて、パケットフォーマットのまま映像処理
（映像加工（垂直ワイプ））を行うことのできる映像処
理装置１に入力される。

【００４１】映像処理装置１からは、映像処理後、同じ
くパケットフォーマットの新たな画素データパケットＮ
ＰｉＰが送出先（モニタ）に出力される。加工処理後の
画素データパケットＮＰｉＰでは、パケット送出部１５
によって、ヘッダ部の送出先はモニタ、送出元は映像処
理装置１の、ＩＰアドレス／ポート番号に置き換えられ
ている。

【００４２】送出先（モニタ）では、画素データパケッ
トＮＰｉＰの画素データをベースバンドの映像データに
戻して、画像表示できるデータにして表示される。

【００４３】この映像処理装置１の動作例によれば、
「配列情報」「シーケンス番号」「画像出力位置」をも
とに、画素データパケットＰｉＰの画素データ部の各画
素データが、映像データを構成する画像データの上でど
の位置に当たるか等が計算され、従来のベースバンド映
像の処理装置と等価な処理を行うことができる。すなわ
ち、ＴＣＰ／ＩＰフォーマットのままで映像処理を行う
ことができる。

【００４４】画素データパケットＰｉＰから新たな画素
データパケットＮＰｉＰが生成されるので、パケット送
信側から送信された映像データ（映像信号）をベースバ
ンド信号に戻す必要がなく、さらに再パケット化する必
要がない。

【００４５】これらを踏まえて、図５を用いてデータ加
工処理を具体的に説明する。送信装置Ａ、Ｂが送信する
映像データの画面サイズを水平１０００画素、垂直１０
００ラインとし、１画素は８ビット（＝１オクテット）
であるとする。画素データパケットＰｉＰの１パケット
の画素データ部が格納できるオクテット数を１０００と
すると、１パケットで１ラインの画素データを映像処理
装置１に転送することができる。

【００４６】そして、この画素データパケットＰｉＰの
ヘッダ部に格納される「シーケンス番号」のカウントは
画面の左上を０として、スキャンの順にカウントアップ
するものとする（送信装置Ａ、Ｂともに）。

【００４７】例えば、７００ライン目で画素データパケ
ットＰｉＰ１（送信装置Ａ）と画素データパケットＰｉ
Ｐ２（送信装置Ｂ）を切り替えたい場合、映像処理装置
１では「シーケンス番号」の値をチェックして７００ｘ
１０００（ライン数ｘ１ラインのオクテット数）で計算
したオクテット値になった場合に、そのモニタに出力す
る画素データパケットＰｉＰを画素データパケットＰｉ
Ｐ１から画素データパケットＰｉＰ２に切り替える。

【００４８】この切り替えの数値（７００）を時間と共
に変化させれば、日常、テレビ放送で見ているような垂
直方向の画面切り替え処理を行うことができる。

【００４９】尚、このような処理の際には映像処理装置
１が画素データパケットＰｉＰのシーケンス番号と映像
の画面上の位置関係（対応）を知っていることが前提で
ある。また、画素データパケットＰｉＰの画素データ部
を処理する回路（図示せず）に画素データが入力される
場合、画素データの切り替え位置においては、画素デー
タパケットＰｉＰ１の画素データ部と画素データパケッ
トＰｉＰ２の画素データ部の位相が揃っている必要があ
る。

【００５０】上記した映像処理は単純な垂直切替（スイ
ッチャー）の例であるが、この映像処理装置１では、よ
り複雑な合成の例でも用いることができる。

【００５１】例えば、図４の構成に「送信装置Ｃ」を加
え、送信装置Ｃが送信するキー信号パケット（図示せ
ず）が、画素データパケットＰｉＰ１と画素データパケ
ットＰｉＰ２の合成比率（キー信号）をパケット化した
ものであるとする。

【００５２】すると、映像処理装置１では、画素データ
パケットＰｉＰ１、画素データパケットＰｉＰ２、キー
信号パケットのヘッダ部に格納されているシーケンス番
号を揃えて（各パケット間のデータ部に格納されている
データの同期を取って）、キー信号パケットのデータ部
に格納されているデータの数値に基づき、画素データパ
ケットＰｉＰ１と画素データパケットＰｉＰ２とを加重
加算する処理を行えば、パケットフォーマットでの合成
処理を行うことができる。

【００５３】また、この実施の形態により、映像機器を
扱う分野、例えば放送業界において、汎用ネットワーク
を用いることによって、放送局のデータ放送番組の制作
手法が、高度化（統合化）されるという利点がある。

【００５４】以上、一実施形態を説明したが、実施形態
はこれに限定されるものではない。

【００５５】

【発明の効果】請求項１記載の映像処理装置によれば、
配列情報パケットの配列情報と、画素データパケットの
ヘッダ部に格納されるシーケンス番号から画素データの
画面上の位置が計算され、複数の画素データパケットに
分割して乗せられた映像データの加工処理を行い、さら
に送出先に、新たな配列情報パケットと画素データパケ
ットとを送出するので、汎用ネットワークとして普及し
ているＴＣＰ／ＩＰネットワークを用いてパケット転送
される映像信号を加工処理する際にもＴＣＰ／ＩＰパケ
ットフォーマットのまま出力することができる。

【図面の簡単な説明】

【図１】本発明による映像処理装置のブロック図であ
る。

【図２】ＴＣＰパケットの概略構成を説明した説明図で
ある。

【図３】映像処理装置の動作を示すフローチャートであ
る。

【図４】映像処理装置の動作例を説明した説明図であ
る。

【図５】図４におけるモニタの画像データの切り替えを
説明した説明図である。

【符号の説明】

１ 映像処理装置 ３ 画素データ配列処理部 ５ ヘッダデータ分離部 ７ シーケンス番号抽出部 ９ 画像位置計算部 １１ パケットデータ処理部 １３ 映像データ分解部 １５ パケット送出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山本 真 東京都世田谷区砧一丁目10番11号 日本放 送協会放送技術研究所内 (72)発明者 和泉 吉則 東京都世田谷区砧一丁目10番11号 日本放 送協会放送技術研究所内 Ｆターム(参考） 5C059 KK39 PP04 RB02 RB09 RC02 RC04 RC26 RC32 RE02 RE09 SS08 SS26 5C064 BA01 BC11 BC16 BC23 BD02 BD08 BD09 BD14 5K030 GA08 HA08 HB02 HB15 HB16 HB29 HC01 JA05 JT04 KA13 LA15 MB08 MB13

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ＴＣＰ／ＩＰパケットフォーマットにさ
   れ、映像データを構成する画像データの最小単位である
   画素データを含む画素データパケットが、パケット送信
   側から送信されるのに先だって、前記パケット送信側
   に、前記画素データの配列情報を含む配列情報パケット
   を要求すると共に、この配列情報パケットを受信する画
   素データ配列処理部と、 前記画素データパケットを受信すると共に、複数のパケ
   ット送信側から送信された場合に各画素データパケット
   間のタイミングを調整するパケット間同期調整部と、 受信した複数の画素データパケットのヘッダ部および画
   素データが格納される画素データ部を分離するヘッダデ
   ータ分離部と、 前記ヘッダ部に含まれた画素データパケットの順番を示
   すシーケンス番号を抽出するシーケンス番号抽出部と、 前記画素データ部の画素データを、出力装置に出力する
   際に、前記シーケンス番号に基づいて画像出力位置を計
   算する画像位置計算部と、 前記画素データ部の画素データを、前記配列情報および
   前記画像出力位置に基づき映像データとして映像処理す
   るパケットデータ処理部と、 この処理された画素データを含んで新たな画素データ部
   とし、この新たな画素データ部にヘッダ部を付加修正し
   て送出先に送出するパケット送出部とを備えたことを特
   徴とするＴＣＰ／ＩＰパケットフォーマットによる映像
   処理装置。