JP2004032112A - 映像無線伝送システム、送信装置及び受信装置、並びに映像無線伝送方法 - Google Patents

映像無線伝送システム、送信装置及び受信装置、並びに映像無線伝送方法 Download PDF

Info

Publication number
JP2004032112A
JP2004032112A JP2002182044A JP2002182044A JP2004032112A JP 2004032112 A JP2004032112 A JP 2004032112A JP 2002182044 A JP2002182044 A JP 2002182044A JP 2002182044 A JP2002182044 A JP 2002182044A JP 2004032112 A JP2004032112 A JP 2004032112A
Authority
JP
Japan
Prior art keywords
video
timing
signal
timing information
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002182044A
Other languages
English (en)
Other versions
JP4049621B2 (ja
Inventor
Kenji Nakajima
中島 健二
Tetsuomi Ikeda
池田 哲臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2002182044A priority Critical patent/JP4049621B2/ja
Publication of JP2004032112A publication Critical patent/JP2004032112A/ja
Application granted granted Critical
Publication of JP4049621B2 publication Critical patent/JP4049621B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】本発明の課題は、簡単な構成で映像無線伝送システムの信号処理を映像システムの基準信号に同期させることができる映像無線伝送システムを提供することである。
【解決手段】上記課題は、無線回線を介して映像信号を送受信する送信装置と受信装置とからなる映像無線伝送システムにおいて、映像出力を選択制御する映像出力制御装置と接続され、前記受信装置は、前記映像信号の伝送距離に応じた時間分だけ、前記映像出力制御装置の基準タイミングから先行させたタイミング情報を生成するタイミング情報生成手段と、生成したタイミング情報を、前記無線回線を介して前記送信装置に伝送するタイミング情報伝送手段とを有することを特徴とする映像無線伝送システムにて解決される。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、テレビジョン番組製作において、映像信号を無線によって伝送する映像無線伝送システム、送信装置及び受信装置、並びに映像無線伝送方法に関する。
【0002】
【従来の技術】
取材現場などから放送スタジオ(以下、スタジオという)までニュース映像やイベントの実況映像などの番組素材を伝送する際には、無線により映像信号を伝送する映像無線伝送システムが使用される。この映像無線伝送システムは、従来から、ケーブル敷設の困難な環境下での番組制作に欠かせない手段として使用され、代表的なものに、FPU (Field Pick−up Unit)装置がある。このFPU装置は、放送番組素材を取材現場からスタジオ又はTSL(Transmitter to Studio Linkの略で、FPUからの放送番組素材の信号を受信してスタジオへ中継する無線回線をいう)へ伝達するための移動無線設備であり、屋外での中継番組において長年使用されている。
【0003】
ところで、近年のデジタル伝送技術の急速な進歩によって、従来のアナログ伝送技術では困難であった、マルチパス(電波が送信点から複数の伝搬路を通って受信点に到達する現象をいう)妨害の影響が大きいスタジオのような屋内環境でも使用可能な映像無線伝送システムの開発も進められている。このマルチパスに耐性のある映像無線伝送システムとして、カメラ操作中のケーブルの煩わしさを開放することのできるワイヤレスカメラの開発が進められており、注目されている。このワイヤレスカメラは、カメラ装置(ここでは、「端末装置」という)とカメラ映像制御装置(ここでは、「メイン装置」という)とが組み合わされて構成され、端末装置により撮像された映像信号や収音された音声信号が無線によりメイン装置に送信されるため、従来のようなケーブル接続していた場合と比較して、ケーブル敷設や撤去の手間が省け、さらに、カメラアングルや撮影位置の自由度が広くなり、撮影現場でのカメラの機動性が向上する。
【0004】
また、上記メイン装置に送られた映像信号は、スタジオ側の映像システム(=映像出力制御装置)に送られ、同システムでは、この送られてきた映像をもとに、所望の画像を選択したり、合成したりして番組の制作が行われる。
【0005】
図15は、上で示した映像無線伝送システム(=ワイヤレスカメラ)の概略構成を示す図である。
【0006】
図15において、この映像無線伝送システム1040は、端末装置1010とメイン装置1000とから構成される。同図中の矢印は、端末装置1010からメイン装置1000方向に所望の信号が流れることを示している。
【0007】
上記端末装置1010は、撮像手段(図示省略)により撮影された映像信号のレベル補正等の処理を行う映像送信処理回路1014を具備する映像信号処理部1011と、該映像信号処理部1011から出力される映像信号や制御信号の変調処理を行う伝送送信処理回路1016を具備する伝送信号処理部1012とから構成される。また、上記メイン装置1000は、端末装置1010から無線により伝送されてきた映像信号や制御信号の復調処理を行う伝送受信処理回路1005を具備する伝送信号処理部1002と、該伝送信号処理部1002から出力された映像信号のレベル補正等の処理を行う映像受信処理回路1003を具備する映像信号処理部1001とから構成される。
【0008】
上記映像無線伝送システムからの映像出力S1031は、外部の映像システムと接続される。図16は、この映像システムの構成例を示す図である。
【0009】
図16において、この映像システム812は、基準信号発生装置810と、映像出力装置8−1〜8−Nと、映像スイッチャ−装置811とから構成され、各々は有線(ケーブル)で接続される。各映像出力装置8−1〜8−Nは、基準信号発生装置810から出力される基準信号S810が供給され、その基準信号S810に同期して動作する。つまり、各映像出力装置8−1〜8−Nは、映像システム812の基準信号をもとに映像信号処理を行い、基準信号に同期した映像信号を出力する。このため、映像スイッチャ−装置811に入力される映像信号には、時間的な進みや遅れが無く、映像スイッチャ−装置811において各映像S8−1〜S8−Nを切り替えても映像出力に同期乱れはない。
【0010】
上で説明したように、従来の映像無線伝送システム(図15参照)には、映像システム(図16参照)からの基準信号は入力されない。したがって、映像無線伝送システムから出力される映像信号は映像システムに同期していないので、映像スイッチャ−装置811に直接入力することはできない。このため、映像無線伝送システムの使用に際しては、特殊装置であるFS(Frame Synchronizer)装置を設ける必要があった。
【0011】
続いて、このFS装置を用いて、映像無線伝送システムを映像システムに接続する場合を図17により説明する。
【0012】
図17において、映像システム912は、基準信号発生装置910と、映像出力装置9−2〜9−Nと、FS装置901と、映像スイッチャ−装置911とから構成され、映像無線伝送システム922は、前述の図15と同様の構成となっており、端末装置920とメイン装置921とから構成され、両装置間で無線により映像信号S920の伝送が行われる。
【0013】
映像無線伝送システム922からの映像出力S921は、有線で接続される映像システム912内のFS装置901を経由して、映像スイッチャ−装置911に入力される。FS装置901は、映像無線伝送システム922からの映像信号S921を自装置901内部の映像フレームメモリに書き込んだ後、映像システム912の基準信号に同期して映像フレームメモリからデータを読み出して映像信号を出力する。すなわち、FS装置901を経由することで、映像無線伝送システム922の出力である映像信号を映像システム912の基準信号に同期させることができるようになっている。FS装置901の出力である映像信号は、他の映像出力装置9−2〜9−Nの映像信号S9−2〜S9−Nと映像タイミングが一致しており、映像スイッチャ−装置911で各映像を切り替えても映像出力には同期乱れがなく、同期のとれた映像信号S911が他装置に出力される。
【0014】
【発明が解決しようとする課題】
上述したように、従来の映像無線伝送システム内の信号処理は、映像信号の出力先となる映像システムの基準信号と同期していない。このため、従来は、映像システム内にFS装置という特殊な装置を設け、映像無線伝送システムからの映像信号を、FS装置を介すことで映像システムの基準信号と同期をとっていた。
【0015】
ところが、FS装置内では、映像フレームメモリへの書き込み/読み出し動作によって、映像出力に最低でも映像1フレーム程度(約33msec)の遅延が発生するため映像と音声とでずれが生じ、それを補償するために音声も遅延させる必要があった。このようにFS装置を使用すれば、システム全体が複雑化するという不都合があった。
【0016】
本発明は、上記のような問題点に鑑みてなされたもので、その課題とするところは、簡単な構成で映像無線伝送システムの信号処理を映像システムの基準信号に同期させることができる映像無線伝送システム、送信装置及び受信装置、並びに映像無線伝送方法を提供することである。
【0017】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項1に記載されるように、無線回線を介して映像信号を送受信する送信装置と受信装置とからなる映像無線伝送システムにおいて、映像出力を選択制御する映像出力制御装置と接続され、前記受信装置は、前記映像信号の伝送距離に応じた時間分だけ、前記映像出力制御装置の基準タイミングから先行させたタイミング情報を生成するタイミング情報生成手段と、生成したタイミング情報を、前記無線回線を介して前記送信装置に伝送するタイミング情報伝送手段とを有することを特徴としている。
【0018】
請求項2の発明は、前記映像無線伝送システムにおいて、前記タイミング情報は、前記送信装置及び前記受信装置内の処理遅延時間を含んで生成されることを特徴としている。
【0019】
請求項3の発明は、前記映像無線伝送システムにおいて、前記送信装置は、前記タイミング情報伝送手段により伝送されてきた前記タイミング情報を抽出するタイミング情報抽出手段を有し、抽出したタイミング情報が示すタイミングで映像信号を発生し、その発生した前記映像信号を前記受信装置に伝送することを特徴としている。
【0020】
請求項4の発明は、前記映像無線伝送システムにおいて、前記タイミング情報生成手段は、前記送信装置から無線区間を介して受信した映像信号のタイミングと、前記映像出力制御装置から入力された基準信号のタイミングとのタイミング差を検出するタイミング差検出手段と、前記タイミング差に対応して前記映像信号の遅延量を可変する第1のタイミング可変手段とを有することを特徴としている。
【0021】
請求項5の発明は、前記映像無線伝送システムにおいて、前記タイミング情報生成手段は、前記映像信号の伝送距離に応じた伝送時間の変動を補償する補償用データをメモリに保持する補償用データ保持手段と、前記タイミング差検出手段によって検出されたタイミング差を前記補償用データ保持手段に保持されている補償用データによって補償する補償手段と、前記補償手段により補償されたタイミング差に対応して前記映像信号の遅延量を可変する第2のタイミング可変手段とを有することを特徴としている。
【0022】
請求項6の発明は、前記映像無線伝送システムにおいて、前記補償用データ保持手段は、前記伝送距離に応じた伝送時間の変動を補償する補償量を求める際に、前記送信装置と受信装置の設置環境、気象条件のうちの少なくとも1つの情報を使用することを特徴としている。
【0023】
請求項7の発明は、前記映像無線伝送システムにおいて、前記補償用データ保持手段は、前記伝送距離に応じた伝送時間の変動を補償するに充分な補償量を予め設定して保持する固定補償用データ発生手段を有することを特徴としている。
【0024】
請求項8の発明は、前記映像無線伝送システムにおいて、前記タイミング情報伝送手段は、前記タイミング情報生成手段により生成した前記タイミング情報をパイロット信号に含め、伝送すべき信号帯域の所定の位置に当該パイロット信号を挿入して前記送信装置に伝送することを特徴としている。
【0025】
請求項9の発明は、前記映像無線伝送システムにおいて、前記受信装置は、前記第2のタイミング可変手段によって可変された前記映像信号の遅延量に基づくタイミングで前記送信装置より伝送されてきた映像信号を、入力された前記映像出力制御装置の基準タイミングに同期させて外部装置に出力するタイミング調整手段を有することを特徴としている。
【0026】
本発明は、上述のように、映像システムの基準信号に同期させて動作させるための基準タイミングの情報を、受信側の装置が生成して送信側の装置に伝送するため、送信装置では発生する映像信号を映像システムの基準信号に同期させて出力することができる。その結果、受信装置からの映像出力を、直接、映像スイッチャ−等の映像出力制御装置に入力できるようになるため、FS装置が不要になり、システムの簡略化を図ることができる。
【0027】
また、上記基準タイミングの情報生成は、送信装置や受信装置の移動に伴う伝送距離の変動分が補償されて生成されるので、送信装置と受信装置間の位置関係が変わっても送信装置の信号処理下では映像システムの基準信号に同期維持される。その結果、より安定した映像無線伝送システムを実現することができる。
【0028】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【0029】
(実施の形態1)
本発明の第1の実施形態に係る映像無線伝送システムは、例えば、図1に示すように構成される。
【0030】
図1において、この映像無線伝送システム140は、無線で対向するメイン装置(=受信装置)100と、端末装置(=送信装置)110とからなり、前述と同様ワイヤレスカメラを例とすれば、端末装置110がカメラ装置に相当し、カメラ映像制御装置がメイン装置100に相当する。
【0031】
上記メイン装置100は、接続される外部のシステム、すなわち映像システムから入力される基準信号S130から各信号処理部へ供給する基準信号を生成する基準信号発生部109と、端末装置110との間の伝送信号を送受信して変復調等の処理を行う伝送信号処理部102と、伝送信号処理部102と受け渡される映像信号のレベル制御などの処理を行う映像信号処理部101と、端末装置110へ送る端末装置用タイミング情報信号を生成するタイミング情報生成部107とから構成される。
【0032】
上記伝送信号処理部102は、端末装置110からの伝送信号を受信して復調処理を行う伝送受信処理回路105、端末装置110へ送る映像信号の変調処理を行う伝送送信処理回路106を備え、上記映像信号処理部101は、映像信号の映像レベル等を調整して映像システムへ出力する映像受信処理回路103、端末装置110へ送る映像信号の映像レベル等を調整する映像送信処理回路104を備える。
【0033】
上で述べたように、上記基準信号発生部109には、映像システムの基準信号発生装置より発生した基準信号が入力される。この基準信号は、例えば、日本のデジタル放送の映像フォーマットとして認められているHDTV規格(High Definition Television)の場合は、3値同期信号(ITU−R BT.709−4で定義された正負極性3値同期信号)、NTSC(National Television Standard Committee)規格の場合は、ブラックバースト信号(SMPTE170M−1999で定義されたNTSC同期信号波形をいう。また、SMPTEは、Society of Motion Picture and Television Engineersの略)である。なお、映像システムの基準信号がアナログ信号であるかデジタル信号であるかは、映像システムの構成によって異なるが、どちらかの信号が入力されていれば、基準信号発生部109で処理に必要な基準信号を生成することができる。
【0034】
一方、上記端末装置110は、伝送信号を送受信して変復調などの処理を行う伝送信号処理部112、伝送信号処理部112と受け渡しされる映像信号のレベル制御等の処理を行う映像信号処理部111を有する。
【0035】
上記伝送信号処理部112は、メイン装置100からの伝送信号を受信して復調処理を行う伝送受信処理回路115、メイン装置へ送る映像信号を変調する伝送送信処理回路116を備え、上記映像信号処理部111は、伝送受信処理回路115からの映像信号の映像レベルなどを調整する映像受信処理回路113、メイン装置100へ送る映像信号の映像レベル等を調整する映像送信処理回路114を備える。
【0036】
次に、上記のように構成された映像無線伝送システムにおいて、本発明の動作原理について説明する。なお、以下の説明で用いられる「基準信号」は、基準クロック及び基準タイミングから構成される信号のことを意味する。
【0037】
(本発明の動作原理)
上記メイン装置100は、端末装置110の映像信号処理のための基準タイミング(以下、「端末装置用タイミング情報信号」という)を、伝送信号S121に重畳して端末装置110に送る。上記端末装置用タイミング情報信号は、端末装置110とメイン装置100間で送受される映像信号に生じる伝送時間や、メイン装置100及び端末装置110内の信号処理等に費やされる処理時間を考慮したタイミングが生成され、その生成方法については後述する。端末装置110では、上記端末装置用タイミング情報信号に含まれる基準タイミングの情報を抽出し、その抽出した基準タイミングにしたがって内部の信号処理を同期させる。
【0038】
このように、本発明の映像無線伝送システムでは、映像システムの基準信号に同期させて動作させるための基準タイミングの情報(端末装置用タイミング情報信号)を、メイン装置100で生成して端末装置110に伝送するようにしたため、端末装置110からの映像信号を映像システムの基準信号に同期させて出力することができる。これにより、メイン装置100からの映像出力を直接、映像システムの映像スイッチャ−装置に入力することができ、FS装置のような別装置を使用しなくても済むようになる。
【0039】
上記端末装置用タイミング情報信号は、メイン装置100のタイミング情報生成部107で生成されて伝送送信処理回路106に送られる。次に、このタイミング情報生成部107で生成される上記端末装置用タイミング情報信号の生成方法について説明する。
【0040】
(端末装置用タイミング情報信号の生成方法)
まず、メイン装置100のタイミング情報生成部107で生成すべき端末装置用タイミング情報信号の概念について説明し、次いで、その端末装置用タイミング情報信号の生成方法の一例を説明する。
(1)端末装置用タイミング情報信号の生成概念
端末装置用タイミング情報信号に含まれる基準タイミングの情報は、端末装置110とメイン装置100間で送受される映像信号に生じる伝送時間や、メイン装置100及び端末装置110内の信号処理等に費やされる処理時間を考慮した時間を示す情報である。
【0041】
映像システムにおいて、映像スイッチャ−装置に入力される各映像と、切り替えた後の映像間で時間的なずれがあると、それらの映像を切り替えたときに同期乱れが発生してしまうが、一般的な映像システムでは、このような問題が生じないよう映像スイッチャ−装置に入力されるそれぞれの映像信号間で時間的な進みや遅れがないように構成されている。
【0042】
その一方で、映像信号処理や伝送信号処理を行うと、その処理に伴う信号処理時間が必然的に発生する。図2は、メイン装置100と端末装置110内の信号処理によって生じる遅延量の一例を示すタイムチャートである。
【0043】
同図において、端末装置110の映像送信処理回路114で発生した映像信号は、
▲1▼端末装置110の映像送信処理回路114と伝送送信処理回路116における処理遅延(それぞれD1、D2)
▲2▼端末装置110からメイン装置100への映像信号の伝送による伝送遅延(D3、端末装置とメイン装置間の伝送距離等に応じてD3の遅延量は変化)
▲3▼メイン装置100の伝送受信処理回路105と映像受信処理回路103における処理遅延(それぞれD4、D5)
を合計した遅延時間D0(=D1+D2+D3+D4+D5)分だけ遅れることになる。つまり、映像無線伝送システムの映像出力を、映像システムの基準信号に同期した他の映像出力装置の映像と同じタイミングで出力するためには、端末装置110の映像送信処理回路114において、D0分の時間だけ映像システムの基準信号より先行させたタイミングで映像信号を発生させなければならない。
【0044】
したがって、メイン装置100のタイミング情報生成部107で生成される上記端末装置用タイミング情報信号に含まれる基準タイミングの情報には、映像システムの基準信号よりD0分だけ先行させたタイミングが示される。
【0045】
(2)タイミング情報生成部107における端末装置用タイミング情報信号の生成例
次に、タイミング情報生成部107の動作について図3を用いて説明する。図3において、このタイミング情報生成部107は、タイミング差検出部301と、タイミング可変部302とから構成される。タイミング差検出部301には、基準信号発生部109からの基準信号S109と、映像受信処理回路103からの映像信号S103が入力され、両信号(基準信号S109と映像信号S103)間のタイミング差がここで検出される。両信号間のタイミング差の検出方法については後述する。タイミング可変部302は、タイミング差検出部301から出力されるタイミング差情報信号S301(この信号には、両信号間のタイミング差を示す情報が含まれる)を用いて、入力される基準信号S109のタイミングを調整し、伝送送信処理回路106に出力する。
【0046】
ここで、基準信号S109と映像信号S103間のタイミング差の検出方法を説明する。この両信号間のタイミング差の検出は、例えば、図4に示す方法にしたがって検出される。本例では、基準信号発生部109からの基準信号S109と、映像受信処理回路103からの映像信号S103との間のタイミング差をD秒と仮定している。
【0047】
図4のa)に示す方法は、検出用パルス列信号を用いる方法である。基準信号S109の立ち上がりから映像信号S103のパルスの立ち上がりにかけての期間内の、検出用パルス(T〔秒〕間隔)の数(Y個)からタイミング差Dを求める方法である。つまり、図4のa)の場合は、タイミング差DはY×T〔秒〕となる。
【0048】
また、図4のb)に示す方法は、タイミング差という時間軸の情報を電圧値に変換して表現する方法である。基準信号S109のパルスの立ち上がりから検出用電圧を、1〔V〕当たりの検出用電圧をZ〔秒〕に換算できるように設計して比例的に上げていき、映像信号S103のパルスの立ち上がり時における電圧値によってタイミング差を表す方法である。図4のb)の場合では、タイミング差DはZ×V〔秒〕となる。
【0049】
上記のようにして得られるタイミング差D〔秒〕は、タイミング差情報信号として、タイミング可変部302に送られる。タイミング可変部302では、上記タイミング差情報信号を用いて、基準信号S109のタイミングを調整する。この基準信号S109のタイミング調整は、例えば、次のようにして行われる。図5は、上記タイミング調整を行うタイミング可変部の構成例を示す図である。
【0050】
図5において、このタイミング可変部302は、デジタル信号を一時的に記憶できるデジタル信号記憶部501を備える。デジタル信号記憶部501では、基準信号発生部109からの基準信号S109をメモリ等の記憶手段に書き込んで、タイミング差D〔秒〕分の時間を遅らせてデータを読み出すことにより、基準信号S109のタイミングを上記タイミング差Dに追随して調整することができる。
【0051】
デジタル信号記憶部501からの出力は、端末装置用タイミング情報信号S107として、伝送送信処理回路106に送られる。伝送送信処理回路106は、端末装置用タイミング情報信号S107を変調して、1本の連続周波数(CW)のパイロット信号として帯域外縁部の周波数に重畳(図6参照)して端末装置110側に送信する。伝送送信処理回路106で行われる端末装置用タイミング情報信号S107の重畳は、図6に示す方法以外にも、2本の連続周波数を用いてパイロット信号間の周波数差を端末装置用タイミング情報信号S107に含まれる基準タイミングに設定する方法(図7参照)あるいは、パケット化された伝送映像データのヘッダ部に端末装置用タイミング情報信号S107連続周波数信号として挿入してもよい(図8参照)。
【0052】
このようにして伝送送信処理回路106で重畳された端末装置用タイミング情報信号S107は、端末装置110の伝送受信処理回路115で抽出される。端末装置110での端末装置用タイミング情報信号S107の抽出方法は、前述した端末装置用タイミング情報信号S107の重畳方法(図6〜図8のいずれか)によって異なる。例えば、端末装置用タイミング情報信号S107の重畳方法として、図6、図7に示したようなパイロット信号を用いる場合、帯域通過フィルタによって、パイロット信号の成分を抽出すればよい。また、図8のように、伝送すべきパケットのヘッダ部に端末装置用タイミング情報信号S107を時間軸多重する場合、時間方向のゲート回路等を用いてヘッダ部分を抜き取ることで、端末装置用タイミング情報信号S107を抽出することができる。
【0053】
上記のようにして端末装置110の伝送受信処理回路115で抽出された端末装置用タイミング情報信号は、端末装置110の映像送信処理回路115に送られ、映像信号処理に使用される。これにより、映像送信処理回路114で発生した映像信号の処理を、映像システムの基準信号に同期させることが可能となる。上記映像信号は、映像送信処理回路114から伝送送信処理回路116に出力され、同回路116で変調されて無線周波数信号に変換された後、メイン装置100に伝送される。
【0054】
このように、第1の実施形態によれば、メイン装置100において、端末装置110からの映像信号と映像システムの基準信号とのタイミング差が検出され、その差に応じた時間分だけ基準タイミングが調整されて端末装置110に伝送される。端末装置110は、メイン装置100から伝送されてきた端末装置用タイミング情報信号S107から基準タイミングの情報を抽出し、その抽出した基準タイミングにしたがって信号処理の同期をとる。これにより、映像無線伝送システムの信号処理を、実時間的(リアルタイム)に映像システムの基準信号に同期させることができるので、従来のようなFS装置を使用しなくても映像無線伝送システムの映像出力を、直接映像スイッチャ−装置に入力することができる。
【0055】
(実施の形態2)
本発明の第2の実施形態に係る映像無線伝送システムは、例えば、図9に示すように構成される。
【0056】
図9において、この映像無線伝送システム140は、第1の実施形態の映像無線伝送システム140と比較して、メイン装置100の映像信号処理部101にタイミング調整回路108が付加される。図10は、このタイミング調整回路の構成例を示す図である。
【0057】
図10において、このタイミング調整回路108は、基準信号発生部109からの基準信号S109を用いて入力される映像信号S103のタイミングを調整するデジタル信号記憶部701と、装置外部の映像システムに接続するための外部インターフェース機能を有する映像出力インターフェース部702とから構成される。
【0058】
上記タイミング調整回路108のデジタル信号記憶部701には、基準信号S109と、映像受信処理回路103からの映像信号S103が入力される。デジタル信号記憶部701は、映像信号S103を入力すると、メモリ等の記憶手段に、映像信号S103を書き込み、基準信号S109のタイミングに合わせてデータS701を読み出す。これにより、映像信号S103と基準信号S109のタイミングにずれが生じていても、映像信号S103を外部装置に出力する前の段階で、基準信号とのタイミングのずれを調整(微調)することができる。デジタル信号記憶部701から出力された映像信号は、映像出力インターフェース部702に送られ、インピーダンスや電圧などの特性について、映像システムと不整合の無いようにマッチングされた後、映像無線伝送システムの出力映像信号S131として出力される。
【0059】
このように、本実施形態では、映像無線伝送システムの映像出力を映像システムに出力する際に、映像信号の出力タイミングが映像システムの基準信号に合うように微調されて出力されるので、映像無線伝送システムと映像システム間のマッチングをより正確に行うことができる。
【0060】
上記本発明の第2実施形態におけるタイミング情報生成107部のタイミング可変部302は、タイミング差検出部301から出力されるタイミング差情報信号を用いて、基準信号発生部109から出力される基準信号S109のタイミングを調整し、伝送送信処理回路106に出力するというものであったが、本発明は、このようなタイミング調整方法に限定されるものではない。例えば、図11に示すような実施形態であってもよい。
【0061】
(タイミング可変部の動作変形例)
図11において、このタイミング可変部302は、前述したデジタル信号記憶部501の他に、補償用データ発生部502が備えられる。前述したように、タイミング情報生成部107から出力される端末装置用タイミング情報信号に含まれる基準タイミングは、映像システムの基準準号を、装置(メイン装置100及び端末装置110)間の信号伝送時間、該装置内の信号処理時間分先行させたものである。しかし、上記装置間で送受される信号は無線によって伝送されるため、端末装置110あるいはメイン装置100の移動により、両者の位置関係が変わり、上記信号伝送時間は変動してしまう。また、両装置の設置環境や周囲の環境条件(降雨など)によっても上記信号伝送時間が変動する場合がある。
【0062】
補償用データ発生部502は、上記のような変動要因を吸収するための「タイミング変動量」を、補償用データとして発生する機能を備える。具体的には、端末装置用タイミング差情報信号の値に幅を持たせた固定値、例えば、伝送時間の変動量に追随するに充分な大きさの固定値(例:映像信号1ライン分の時間)を発生する。
補償用データ発生部502は、タイミング差検出部301から出力されたタイミング差情報信号S301を入力し、その信号で示されるタイミング差に対応した伝送時間の変動分を補償する余裕分と加算された後、補償用データS502としてデジタル信号記憶部501に出力される。デジタル信号記憶部501は、基準信号S109をメモリ等の記憶手段に書き込み、上記補償用データS502で示される時間分だけ遅らせてデータを読み出して基準信号のタイミングを調整し、調整後の結果を伝送送信処理回路106に出力する。なお、伝送時間の変動に対応するために加算された上記補償用データS502に相当する時間のずれは、上述したメイン装置100のタイミング調整回路108にて吸収される。
【0063】
このように、本実施形態では、端末装置110とメイン装置100の移動に伴う伝送距離の変化により変動した伝送時間を補償する余裕分が補償用データとし発生されて、タイミング差情報信号に加算されるので、上記のような伝送距離の変化により変動した基準タイミングのずれを実時間的(リアルタイム)に補正することが可能となる。
【0064】
(実施の形態3)
本発明の第3の実施形態に係る映像無線伝送システムは、例えば、図12に示すように構成される。
【0065】
図12において、この映像無線伝送システムは、第2の実施形態の映像無線伝送システムと比較して、タイミング情報生成部107の構成が異なり、かつ同部には映像受信処理回路103からの映像信号S103が入力されない構成となっている。
【0066】
上記のような映像無線伝送システムにおいて、タイミング情報生成部107は、例えば、図13に示すように構成される。
【0067】
図13において、このタイミング情報生成部107は、タイミング可変部302のみで構成される。タイミング可変部302は、基準信号発生部109からの基準信号S109を入力し、予め定められた固定量のタイミング可変を行って伝送送信処理回路106に出力する。このタイミング可変部302の構成は、例えば、図14に示すように構成される。
【0068】
図14において、このタイミング可変部302は、補償用データ発生部502と、デジタル信号記憶部501とから構成される。補償用データ発生部502では、通常の伝送距離(端末装置110とメイン装置100間の信号の伝送距離)の変動よりも充分大きな固定量の補償用データS502を発生し、デジタル信号記憶部501に出力する。デジタル信号記憶部501では、基準信号発生部109から入力された基準信号S109の基準タイミングを、上記補償用データS502に基づいて可変し、その結果を伝送送信処理回路106に出力する。
【0069】
このように、本実施形態では、伝送時間の変動分を補償するに十分な補償用データを固定値として発生し、その補償用データにおける余裕分をタイミング調整回路にて吸収させるようにしたため、伝送距離の変動に対する基準タイミングのずれを補正の追随性を極端に劣化させずに、タイミング情報生成部107の構成を簡素化することができる。
【0070】
以上説明してきたように、本発明によれば、上記実施形態のいずれにおいても、映像無線伝送システムの信号処理を映像システムに同期させることができる。その結果、FS装置のような別装置を経由しなくても、所望の映像出力を映像スイッチャ−装置に直接入力することができるようになり、複数の映像素材間の切り替えによる同期乱れを確実になくすことができ、映像無線伝送システムの映像出力の遅延時間を最小にすることができる。
【0071】
また、上で述べたように、本発明はFS装置を省略できるので、簡素で効率的な映像無線伝送システムの実現が可能である。
【0072】
また、さらに、タイミング調整が自動化されるため、従来必要であった、人手による複雑なタイミング調整作業が不要となる効果を有する。
【0073】
上記例において、映像無線伝送システムのメイン装置100のタイミング情報生成部107のタイミング情報生成機能がタイミング情報生成手段に、伝送送信処理回路106のタイミング情報重畳伝送機能がタイミング情報伝送手段に対応する。また、上記タイミング情報生成部107のタイミング差検出部301のタイミング差検出機能がタイミング差検出手段に、タイミング可変部302のタイミング調整機能が第1のタイミング可変手段及び第2のタイミング可変手段に対応する。また、上記タイミング可変部302の補償用データ発生部502の補償データ発生・保持機能が補償用データ保持手段に、同部502の変動補償機能が補償手段に対応する。さらに、上記補償用データ発生部502の固定補償データ発生・保持機能が固定補償用データ発生手段に対応する。また、メイン装置100のタイミング調整回路108の出力映像信号微調機能がタイミング調整手段に対応する。また、端末装置110の伝送受信処理回路115のタイミング情報抽出機能がタイミング情報抽出手段に対応する。
【0074】
【発明の効果】
以上の説明より明らかなように、本発明によれば、映像システムの基準信号に同期させて動作させるための基準タイミングの情報を、受信側の装置が生成して送信側の装置に伝送するため、送信装置では発生する映像信号を映像システムの基準信号に同期させて出力することができる。その結果、受信装置からの映像出力を、直接、映像スイッチャ−等の映像出力制御装置に入力できるようになるため、FS装置が不要になり、システムの簡略化を図ることができる。
【0075】
また、上記基準タイミングの情報生成は、送信装置や受信装置の移動に伴う伝送距離の変動分が補償されて生成されるので、送信装置と受信装置間の位置関係が変わっても送信装置の信号処理下では映像システムの基準信号に同期維持される。その結果、より安定した映像無線伝送システムを実現することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る映像無線伝送システムの構成例を示す図である。
【図2】メイン装置100と端末装置110内の信号処理によって生じる遅延量の一例を示すタイムチャートである。
【図3】タイミング情報生成部107の構成例を示す図である。
【図4】基準信号と映像信号間のタイミング差の検出方法を示す図である。
【図5】タイミング可変部の構成例(その1)を示す図である。
【図6】端末装置用タイミング情報信号をパイロット信号として伝送信号に重畳する方法(その1)の一例を示す図である。
【図7】端末装置用タイミング情報信号をパイロット信号として伝送信号に重畳する方法(その2)の一例を示す図である。
【図8】端末装置用タイミング情報信号を伝送パケットのヘッダに挿入する例を示す図である。
【図9】本発明の第2の実施形態に係る映像無線伝送システムの構成例を示す図である。
【図10】図9に示す映像無線伝送システムのタイミング調整回路の構成例を示す図である。
【図11】タイミング可変部の構成例(その2)を示す図である。
【図12】本発明の第3の実施形態に係る映像無線伝送システムの構成例を示す図である。
【図13】図12に示す映像無線伝送システムのタイミング情報生成部の構成例を示す図である。
【図14】図13に示すタイミング可変部の構成例を示すである。
【図15】従来の映像無線伝送システム(=ワイヤレスカメラ)の概略構成を示す図である。
【図16】図15に示す従来の映像無線伝送システムと接続される映像システムの構成例を示す図である。
【図17】FS装置を用いて、映像無線伝送システムを映像システムに接続する場合の全体の構成図である。
【符号の説明】
8−1〜8−N、9−2〜9−N 映像出力装置
100、921、1000 メイン装置(受信装置)
101、1001 映像信号処理部(メイン装置側)
102、1002 伝送信号処理部(メイン装置側)
103、1003 映像受信処理回路(メイン装置側)
104 映像送信処理回路(メイン装置側)
105、1005 伝送受信処理回路(メイン装置側)
106 伝送送信処理回路(メイン装置側)
107 タイミング情報生成部(メイン装置側)
108 タイミング調整回路(メイン装置側)
109 基準信号発生部(メイン装置側)
110、920、1010 端末装置(送信装置)
111、1011 映像信号処理部(端末装置側)
112、1012 伝送信号処理部(端末装置側)
113 映像受信処理回路(端末装置側)
114、1014 映像送信処理回路(端末装置側)
115 伝送受信処理回路(端末装置側)
116、1016 伝送送信処理回路(端末装置側)
140、922、1040 映像無線伝送システム
301 タイミング差検出部
302 タイミング可変部
501、701 デジタル信号記憶部
502 補償用データ発生部
702 映像出力インターフェース部
810、910 基準信号発生装置
811、911 映像スイッチャ−装置
812、912 映像システム
901 FS装置
S8−1〜S8−N 映像出力装置8−1〜8−Nからの出力映像信号
S9−2〜S9−N 映像出力装置9−2〜9−Nからの出力映像信号
S103 映像信号処理部101からの出力映像信号
S1031 映像信号処理部1001からの出力映像信号
S104 映像信号処理部101からの映像信号
S105 伝送信号処理部102からの映像信号
S107 端末装置用タイミング情報信号
S109 基準信号
S114 映像信号処理部111からの映像信号
S115 伝送信号処理部112からの映像信号
S118 映像処理用基準信号
S120 端末装置110からの映像信号
S1020 端末装置1010からの映像信号
S121 メイン装置100からの映像信号
S130 映像システムの基準信号
S131 タイミング調整後の映像信号処理部101からの出力映像信号
S301 タイミング差情報信号
S502 補償用データ
S701 映像信号読み出しデータ
S810 基準信号発生装置810からの基準信号
S811 映像スイッチャ−装置811からの出力映像信号
S901 FS装置901からの出力映像信号
S910 基準信号発生装置910からの基準信号
S911 映像スイッチャ−装置911からの出力映像信号
S920 端末装置920−メイン装置921間で伝送される映像信号
S921 メイン装置からの出力映像信号

Claims (21)

  1. 無線回線を介して映像信号を送受信する送信装置と受信装置とからなる映像無線伝送システムにおいて、
    映像出力を選択制御する映像出力制御装置と接続され、
    前記受信装置は、前記映像信号の伝送距離に応じた時間分だけ、前記映像出力制御装置の基準タイミングから先行させたタイミング情報を生成するタイミング情報生成手段と、
    生成したタイミング情報を、前記無線回線を介して前記送信装置に伝送するタイミング情報伝送手段とを有することを特徴とする映像無線伝送システム。
  2. 請求項1記載の映像無線伝送システムにおいて、
    前記タイミング情報は、前記送信装置及び前記受信装置内の処理遅延時間を含んで生成されることを特徴とする映像無線伝送システム。
  3. 請求項1又は2記載の映像無線伝送システムにおいて、
    前記送信装置は、前記タイミング情報伝送手段により伝送されてきた前記タイミング情報を抽出するタイミング情報抽出手段を有し、
    抽出したタイミング情報が示すタイミングで映像信号を発生し、その発生した前記映像信号を前記受信装置に伝送することを特徴とする映像無線伝送システム。
  4. 請求項1又は2記載の映像無線伝送システムにおいて、
    前記タイミング情報生成手段は、前記送信装置から無線区間を介して受信した映像信号のタイミングと、前記映像出力制御装置から入力された基準信号のタイミングとのタイミング差を検出するタイミング差検出手段と、
    前記タイミング差に対応して前記映像信号の遅延量を可変する第1のタイミング可変手段とを有することを特徴とする映像無線伝送システム。
  5. 請求項1又は2記載の映像無線伝送システムにおいて、
    前記タイミング情報生成手段は、前記映像信号の伝送距離に応じた伝送時間の変動を補償する補償用データをメモリに保持する補償用データ保持手段と、
    前記タイミング差検出手段によって検出されたタイミング差を前記補償用データ保持手段に保持されている補償用データによって補償する補償手段と、
    前記補償手段により補償されたタイミング差に対応して前記映像信号の遅延量を可変する第2のタイミング可変手段とを有することを特徴とする映像無線伝送システム。
  6. 請求項5記載の映像無線伝送システムにおいて、
    前記補償用データ保持手段は、前記伝送距離に応じた伝送時間の変動を補償する補償量を求める際に、前記送信装置と受信装置の設置環境、気象条件のうちの少なくとも1つの情報を使用することを特徴とする映像無線伝送システム。
  7. 請求項5記載の映像無線伝送システムにおいて、
    前記補償用データ保持手段は、前記伝送距離に応じた伝送時間の変動を補償するに充分な補償量を予め設定して保持する固定補償用データ発生手段を有することを特徴とする映像無線伝送システム。
  8. 請求項1記載の映像無線伝送システムにおいて、
    前記タイミング情報伝送手段は、前記タイミング情報生成手段により生成した前記タイミング情報をパイロット信号に含め、伝送すべき信号帯域の所定の位置に当該パイロット信号を挿入して前記送信装置に伝送することを特徴とする映像無線伝送システム。
  9. 請求項5記載の映像無線伝送システムにおいて、
    前記受信装置は、前記第2のタイミング可変手段によって可変された前記映像信号の遅延量に基づくタイミングで前記送信装置より伝送されてきた映像信号を、入力された前記映像出力制御装置の基準タイミングに同期させて外部装置に出力するタイミング調整手段を有することを特徴とする映像無線伝送システム。
  10. 映像信号の送受信を、無線区間を介して接続される送信装置との間で行う受信装置において、
    映像出力を選択制御する映像出力制御装置と接続され、
    前記映像信号の伝送距離に応じた時間分だけ、前記映像出力制御装置の基準タイミングから先行させたタイミング情報を生成するタイミング情報生成手段と、生成したタイミング情報を、前記無線回線を介して前記送信装置に伝送するタイミング情報伝送手段とを有することを特徴とする受信装置。
  11. 請求項10記載の受信装置において、
    前記タイミング情報は、前記送信装置及び前記受信装置内の処理遅延時間を含んで生成されることを特徴とする受信装置。
  12. 請求項10又は11記載の受信装置において、
    前記タイミング情報生成手段は、前記送信装置から無線区間を介して受信した映像信号のタイミングと、前記映像出力制御装置から入力された基準信号のタイミングとのタイミング差を検出するタイミング差検出手段と、
    前記タイミング差に対応して前記映像信号の遅延量を可変する第1のタイミング可変手段とを有することを特徴とする受信装置。
  13. 請求項10又は11記載の受信装置において、
    前記タイミング情報生成手段は、前記映像信号の伝送距離に応じた伝送時間の変動を補償する補償用データをメモリに保持する補償用データ保持手段と、
    前記タイミング差検出手段によって検出されたタイミング差を前記補償用データ保持手段に保持されている補償用データによって補償する補償手段と、
    前記補償手段により補償されたタイミング差に対応して前記映像信号の遅延量を可変する第2のタイミング可変手段とを有することを特徴とする受信装置。
  14. 請求項13記載の受信装置において、
    前記補償用データ保持手段は、前記伝送距離に応じた伝送時間の変動を補償する補償量を求める際に、前記送信装置と受信装置の設置環境、気象条件のうちの少なくとも1つの情報を使用することを特徴とする受信装置。
  15. 請求項13記載の受信装置において、
    前記補償用データ保持手段は、前記伝送距離に応じた伝送時間の変動を補償するに充分な補償量を予め設定して保持する固定補償用データ発生手段を有することを特徴とする受信装置。
  16. 請求項10記載の受信装置において、
    前記タイミング情報伝送手段は、前記タイミング情報生成手段により生成した前記タイミング情報をパイロット信号に含め、伝送すべき信号帯域の所定の位置に当該パイロット信号を挿入して前記送信装置に伝送することを特徴とする受信装置。
  17. 請求項13記載の受信装置において、
    前記第2のタイミング可変手段によって可変された前記映像信号の遅延量に基づくタイミングで前記送信装置より伝送されてきた映像信号を、入力された前記映像出力制御装置の基準タイミングに同期させて外部装置に出力するタイミング調整手段を有することを特徴とする受信装置。
  18. 映像信号の送受信を、無線区間を介して接続される受信装置との間で行う送信装置において、
    前記受信装置より伝送されてきたタイミング情報を含む信号を抽出するタイミング情報抽出手段を有し、
    抽出したタイミング情報が示すタイミングで映像信号を発生し、その発生した前記映像信号を前記受信装置に伝送することを特徴とする送信装置。
  19. 送信装置及び受信装置間での映像信号を無線にて行う映像無線伝送方法において、
    前記受信装置は、前記映像信号の伝送距離に応じた時間分だけ、前記映像出力制御装置の基準タイミングから先行させたタイミング情報を生成し、
    生成したタイミング情報を、前記無線にて前記送信装置に伝送することを特徴とする映像無線伝送方法。
  20. 請求項19記載の映像無線伝送方法において、
    前記生成されるタイミング情報は、前記送信装置及び前記受信装置内の処理時間分を含むことを特徴とする映像無線伝送方法。
  21. 請求項19又は20記載の映像無線伝送方法において、
    前記送信装置は、前記受信装置から伝送されてきた前記タイミング情報を抽出し、
    抽出したタイミング情報が示すタイミングで映像信号を発生し、
    その発生した前記映像信号を前記受信装置に伝送することを特徴とする映像無線伝送方法。
JP2002182044A 2002-06-21 2002-06-21 映像無線伝送システム及び受信装置 Expired - Fee Related JP4049621B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002182044A JP4049621B2 (ja) 2002-06-21 2002-06-21 映像無線伝送システム及び受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002182044A JP4049621B2 (ja) 2002-06-21 2002-06-21 映像無線伝送システム及び受信装置

Publications (2)

Publication Number Publication Date
JP2004032112A true JP2004032112A (ja) 2004-01-29
JP4049621B2 JP4049621B2 (ja) 2008-02-20

Family

ID=31178711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002182044A Expired - Fee Related JP4049621B2 (ja) 2002-06-21 2002-06-21 映像無線伝送システム及び受信装置

Country Status (1)

Country Link
JP (1) JP4049621B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008166859A (ja) * 2006-12-26 2008-07-17 Canon Inc 撮像表示装置、撮像表示制御方法及びシステム
JP2010130395A (ja) * 2008-11-28 2010-06-10 Hitachi Kokusai Electric Inc 符号化−復号化装置および映像伝送システム
JP2015149761A (ja) * 2015-04-13 2015-08-20 日立マクセル株式会社 符号化信号送信装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008166859A (ja) * 2006-12-26 2008-07-17 Canon Inc 撮像表示装置、撮像表示制御方法及びシステム
JP2010130395A (ja) * 2008-11-28 2010-06-10 Hitachi Kokusai Electric Inc 符号化−復号化装置および映像伝送システム
JP2015149761A (ja) * 2015-04-13 2015-08-20 日立マクセル株式会社 符号化信号送信装置

Also Published As

Publication number Publication date
JP4049621B2 (ja) 2008-02-20

Similar Documents

Publication Publication Date Title
JP2009105902A (ja) 圧縮された情報信号を接続する方法及び装置
US20190149702A1 (en) Imaging apparatus
JP2004282667A (ja) 再生同期ずれ補正機能を備えた送信機及び受信機、並びにそれらを有する伝送装置
JP4472547B2 (ja) テレビカメラシステム、制御装置およびカメラ
JP4049621B2 (ja) 映像無線伝送システム及び受信装置
JP5075383B2 (ja) 字幕送出装置および字幕送出方法
JP2002271307A (ja) 端末同期方法、通信システム及び端末装置
JP5833433B2 (ja) 映像信号伝送システム
JP5359929B2 (ja) 送信装置、受信装置、通信システム、送信方法および変換方法
JP4738251B2 (ja) 同期自動調整装置
KR20190071303A (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
JP3908584B2 (ja) 映像無線伝送システム及びその装置
JP2004165772A (ja) ビデオ信号伝送装置
JPH0918844A (ja) 伝送方法およびその装置
US20110149162A1 (en) Transmission system, imaging apparatus, and transmission method
JP3323979B2 (ja) テレビジョン番組制作装置
JP2008028554A (ja) 信号送受信システム、信号送信装置及び信号受信装置並びに信号送受信方法、信号送信方法及び信号受信方法
JP2004146929A (ja) 字幕調整機能付き受信装置、及び字幕表示の調整システム
JPH1188847A (ja) 映像・音声同期方式
JPS61269477A (ja) 映像伝送及び受信方式
JP2008011302A (ja) デジタル放送受信機
JP2601201B2 (ja) 移動体通信方式
JP4322478B2 (ja) テレビジョン放送番組中継送出システムとそのテレビジョン放送信号受信処理装置及びこのテレビジョン放送信号受信処理装置で使用される信号処理制御方法
KR100294232B1 (ko) Stb신호의 포맷검출장치
JPS625513B2 (ja)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071127

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101207

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111207

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121207

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131207

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees