JP2004194200A - データ伝送システムとデコード方法とデコード装置 - Google Patents
データ伝送システムとデコード方法とデコード装置 Download PDFInfo
- Publication number
- JP2004194200A JP2004194200A JP2002362464A JP2002362464A JP2004194200A JP 2004194200 A JP2004194200 A JP 2004194200A JP 2002362464 A JP2002362464 A JP 2002362464A JP 2002362464 A JP2002362464 A JP 2002362464A JP 2004194200 A JP2004194200 A JP 2004194200A
- Authority
- JP
- Japan
- Prior art keywords
- data
- decoding
- video
- speed
- data storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【課題】映像を見易いように受信側で制御できるデータ伝送システムを提供する。
【解決手段】映像データを符号化して伝送するエンコード装置242と、映像データを受信して復号化し、映像を再生するデコード装置251とを備えるシステムにおいて、デコード装置251に、受信データの一時蓄積手段54と、一時蓄積手段54に対する映像データの書き込み及び読み出しを制御する蓄積制御手段52と、映像データのデコード手段56とを設け、書き込み速度と異なる読み出し速度で一時蓄積手段54から映像データを読み出してデコード手段56に供給し、デコード装置251で再生される映像の表示速度を、エンコード装置242から伝送された映像の表示速度に対して変更する。映像を受信側で、映像内容が見極め易いようにスロー表示させることができる。
【選択図】 図1
【解決手段】映像データを符号化して伝送するエンコード装置242と、映像データを受信して復号化し、映像を再生するデコード装置251とを備えるシステムにおいて、デコード装置251に、受信データの一時蓄積手段54と、一時蓄積手段54に対する映像データの書き込み及び読み出しを制御する蓄積制御手段52と、映像データのデコード手段56とを設け、書き込み速度と異なる読み出し速度で一時蓄積手段54から映像データを読み出してデコード手段56に供給し、デコード装置251で再生される映像の表示速度を、エンコード装置242から伝送された映像の表示速度に対して変更する。映像を受信側で、映像内容が見極め易いようにスロー表示させることができる。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、映像データなどをネットワークを介して伝送するデータ伝送システムと、符号化されているデータを復号化するデコード方法と、その方法を実施するデコード装置に関し、特に、映像など再生速度を受信側で可変できるようにしたものである。
【0002】
【従来の技術】
従来、監視領域の映像を離れた場所で監視する遠隔監視システムでは、例えば特開平11−239329号公報に開示されているように、監視カメラの映像がネットワークを介して伝送され、これを受信した監視センターのモニタに表示され、あるいは映像記録装置に録画される。
【0003】
図9は、こうしたデータ伝送システムの一例を示している。ネットワークは、公衆網30、LAN10、20及び支線LAN14、15、24、25で構成され、ATM、IEEE1394、イーサネット(登録商標)等から成るLAN10、20は、ルータやブルータ13、23を介して、広域通信網を構成する公衆網30に接続し、イーサネット(登録商標)等から成る支線LAN14、15、24、25は、ブリッジやハブ11、12、21、22を介してLAN10、20に接続している。映像を撮影して映像データを送出する撮像伝送装置142、143、152、242、243、252と、撮像伝送装置142、143、152、242、243、252の撮影方向等を制御するとともに、受信した映像データを復号化して表示または記録するデコード制御装置141、151、241、251とは、支線LAN14、15、24、25に接続している。
【0004】
例えば、NTSC方式の撮像伝送装置242の映像をデコード制御装置141で監視する場合、撮像伝送装置242は、NTSC方式のフレーム周波数(30Hz)で切り換わる動画像のピクチャを生成し、その映像信号をデジタル化して圧縮符号化する。また、撮像伝送装置242にマイクが付属している場合には、マイクで収集した音声も圧縮符号化し、映像データと多重化する。
このデータは、撮像伝送装置242により、デコード制御装置141を宛先とするパケットに成形され、支線LAN24、ブリッジ21、LAN20、ルータ23、公衆網30、ルータ13、LAN10、ブリッジ11、支線LAN14を経てデコード制御装置141に送られる。
デコード制御装置141は、自らを宛先とするパケットをネットワークから受信し、映像データと音声データとを分離してそれぞれを復号化し、映像をモニタに、音声をスピーカに表示する。また、この映像や音声を記録装置で記録する。
【0005】
また、特開平6−189282号公報には、伝送された映像データの遅延ジッタを、フレームメモリを用いて除去するビデオデコーダが開示されている。この装置は、受信した映像データを復号化する復号手段と、復号化された映像データを記憶する、1フレーム分の映像データの記憶容量を持つフレームメモリと、フレームメモリから映像データを読み出して表示する表示手段とを備えている。
この装置の復号手段と表示手段とは、互いに非同期で動作を行う。復号手段は、遅延ジッタを消去せずに、受信したパケットの復号化処理を行い、復号化した映像データをフレームメモリに書き込む。一方、表示手段は、フレームメモリから、表示すべき画素を一様の速度で検索し、その映像データをビデオスクリーン上に表示する。
【0006】
【発明が解決しようとする課題】
監視システムでは、発生した状況を正確に見極めるため、監視地域の映像や音声をスローで表示することが必要になる場合がある。
しかし、従来の監視システムでは、監視センターでの映像の表示や記録は、監視カメラのNTSCのフレーム周波数(30Hz)に拘束されるため、アラーム発生時や、注目したい状況が発生したときに、監視者は、リアルタイムの映像を凝視して状況を見極めたり、または、映像を一旦記録した後、スロー再生で状況を確認したりする必要があり、非常に使いにくいと云う問題点がある。
この場合、監視カメラの撮像速度を、NTSCの規格を超えて可変させるためには、複雑な仕組みが必要であり、大幅なコスト上昇を招くことになる。
【0007】
本発明は、こうした従来の問題点を解決するものであり、リアルタイムで伝送された情報の時間軸を、見やすいように、あるいは、聞きやすいように、受信側で変更することができるデータ伝送システムを提供し、また、その変更を可能にするデコード方法とその方法を実施するデコード装置とを提供することを目的としている。
【0008】
【課題を解決するための手段】
そこで、本発明では、時間的に変化する情報の伝送機能を持ち、この情報のデータを符号化して伝送するエンコード装置と、ネットワークを介してエンコード装置から符号化された符号化データを受信して復号化し、前記情報を再生するデコード装置とを備えるデータ伝送システムにおいて、デコード装置に、受信した符号化データを一時的に蓄積するデータ蓄積手段と、データ蓄積手段に対する符号化データの書き込み及び読み出しを制御するデータ蓄積制御手段と、データ蓄積手段から読み出された符号化データを復号化するデコード手段とを設け、データ蓄積手段への符号化データの書き込み速度と異なる読み出し速度でデータ蓄積手段から符号化データを読み出してデコード手段に供給し、デコード装置で再生される情報の時間的な変化を、エンコード装置から伝送された情報の時間的な変化に対して変更するようにしている。
こうした構成により、リアルタイムで送られて来る映像や音声情報を受信したデコード装置の側で、それらをスロー表示させたり、高速表示させたりすることが可能になる。
【0009】
また、本発明では、時間的に変化する情報の符号化された符号化データを受信して復号化し、前記情報を再生するデコード方法において、受信した符号化データをデータ蓄積手段に一時的に蓄積し、データ蓄積手段への符号化データの書き込み速度と異なる読み出し速度でデータ蓄積手段から符号化データを読み出して復号化することにより、再生する情報の時間的な変化を、受信した情報の時間的な変化に対して変更するようにしている。
こうした構成により、受信した映像や音声情報が見やすくなるように、あるいは、聞きやすくなるように、映像や音声の時間軸を変更することができる。
【0010】
また、本発明では、時間的に変化する情報の符号化された符号化データを受信して復号化し、前記情報を再生するデコード装置において、受信した符号化データを一時的に蓄積するデータ蓄積手段と、データ蓄積手段に対する符号化データの書き込み及び読み出しを制御するデータ蓄積制御手段と、データ蓄積手段から読み出された符号化データを復号化するデコード手段とを設け、データ蓄積制御手段が、データ蓄積手段への符号化データの書き込み速度と異なる読み出し速度でデータ蓄積手段から符号化データを読み出してデコード手段に供給し、再生する情報の時間的な変化を、受信した情報の時間的な変化に対して変更するように構成している。
こうした構成により、受信した映像や音声を、見逃しや聞き逃しがないように変更して表示したり、記録したりすることが可能になる。
【0011】
また、本発明では、撮影した映像の伝送機能を持ち、映像のデータを符号化して伝送するエンコード装置と、ネットワークを介してエンコード装置から符号化された映像データを受信して復号化し、映像を再生するデコード装置とを備えるデータ伝送システムにおいて、デコード装置に、受信した映像データを一時的に蓄積するデータ蓄積手段と、データ蓄積手段に対する映像データの書き込み及び読み出しを制御するデータ蓄積制御手段と、データ蓄積手段から読み出された映像データを復号化するデコード手段とを設け、データ蓄積手段への映像データの書き込み速度と異なる読み出し速度でデータ蓄積手段から映像データを読み出してデコード手段に供給し、デコード装置で再生される映像の時間的な変化を、エンコード装置から伝送された映像の時間的な変化に対して変更するように構成している。
こうした構成により、監視カメラや、テレビ電話、撮像手段を備えた携帯電話などを用いる映像伝送システムにおいて、受信側で見やすいように、あるいは、見逃しにくいように、映像を変更することが可能になる。
【0012】
また、本発明では、符号化された映像データを受信して復号化し、映像を再生するデコード装置において、受信した映像データを一時的に蓄積するデータ蓄積手段と、データ蓄積手段に対する映像データの書き込み及び読み出しを制御するデータ蓄積制御手段と、データ蓄積手段から読み出された映像データを復号化するデコード手段とを設け、データ蓄積制御手段が、データ蓄積手段への映像データの書き込み速度と異なる読み出し速度でデータ蓄積手段から映像データを読み出してデコード手段に供給し、再生する映像の時間的な変化を、受信した映像の時間的な変化に対して変更するように構成している。
こうした構成により、受信した映像の時間軸を変更して、映像を見極め易くすることができる。
【0013】
【発明の実施の形態】
(第1の実施形態)
本発明の第1の実施形態では、図2に示すネットワーク上で、撮像伝送装置242から、支線LAN24、ブリッジ21、LAN20、ブリッジ22及び支線LAN25を経て、デコード制御装置251に映像を伝送し、デコード制御装置251で表示するデータ伝送システムについて説明する。
撮像伝送装置242は、図1に示すように、撮影された映像を表すNTSC方式の映像信号を生成する撮像制御部44と、映像信号の符号化処理を行うCPUから成るエンコード部41と、映像データをパケットに成形する通信処理部42と、LAN20との間でパケットの受け渡しを行う通信インタフェース(I/F)部43とを備えている。
【0014】
一方、デコード制御装置251は、LAN20との間でパケットの受け渡しを行う通信I/F部53と、ユーザの指示を受け入れるユーザインタフェース(UI)部55と、ユーザの指示に基づいてデコード制御装置251の動作を制御するCPU51と、撮像伝送装置242から受信した映像データを一時蓄積するデータ記憶部54と、データ記憶部54へのデータの書き込み/読み出しを制御するデータ蓄積制御手段として機能する通信処理部52と、映像データを復号化するデコーダ56と、映像を表示する表示部57とを備えている。
【0015】
次に、図3のフロー図に基づいて、このシステムの動作について説明する。なお、フロー図では、“ステップ”を“St”と表記している。
ユーザは、デコード制御装置251で映像を表示しようとする撮像伝送装置242を選択する(ステップ501)。ユーザの選択操作による入力がデコード制御装置251のUI部55に発生すると(ステップ502)、デコード制御装置251は、ネットワーク20を通じて撮像伝送装置242に接続し、撮像伝送装置242の設定情報を取得する(または、デコード制御装置251は撮像伝送装置242の設定情報をあらかじめ保持している)。撮像伝送装置242は、この設定情報に基づいて、NTSC方式の映像信号をエンコード部41で符号化し、映像データの伝送を開始する(ステップ503)。撮像伝送装置242から送出された映像データは、ネットワーク20を経由してデコード制御装置251に到達する。
【0016】
デコード制御装置251の通信処理部52は、このデータを一時、データ記憶部54に蓄積した後、通常の映像表示速度(NTSCのフレーム速度)に対応する読み出し速度でデータ記憶部54からデータを読み出してデコーダ56に転送する(ステップ504)。この場合、データ記憶部54からのデータの読み出し速度は、データ記憶部54へのデータの書き込み速度と同じとなる。
デコーダ56は、符号化されている映像データを通常の映像表示速度に対応するデコード速度で復号化し、表示部57は、映像を通常のNTSCのフレーム速度で表示する。
【0017】
なお、デコーダ56で復号化されたデータは、前述する特開平6−189282号公報の装置と同様に、一旦、フレームメモリ(不図示)に書き込み、表示部57が、このフレームメモリから画素データを順次読み出して映像を表示するようにしても良い。この場合、デコーダ56が映像データを通常の速度で復号化することにより、フレームメモリの画素データはNTSCのフレーム速度で更新され、この画素データが表示部57に順次読み出されて、NTSCと同じ速度でピクチャが変化する映像が表示される。
【0018】
ユーザは、映像をスロー表示させる場合、UI部55からスロー表示の操作を実行する。CPU51は、スロー表示の操作入力を認識すると(ステップ505)、通信処理部52にスロー表示の指示を出す。指示を受けた通信処理部52は、撮像伝送装置242から受信する映像データを通常の速度でデータ記憶部54に書き込みながら、データ記憶部54からのデータの読み出し速度を通常の速度よりも遅く、例えば通常の速度の1/2に設定し、この速度で読み出したデータをデコーダ56に転送する(ステップ506)。デコーダ56は、このデータを通常の1/2のデコード速度で復号化し、表示部57は、NTSCの1/2の速度(2倍の周期)でピクチャが切り替わる映像を表示する。
【0019】
デコーダ56で復号化されたデータをフレームメモリに書き込む場合では、フレームメモリの画素データの更新速度は、NTSCにおけるフレーム速度の1/2の15Hzとなる。このフレームメモリから表示部57が画素データを順次読み出して表示することにより、表示映像のピクチャの切り替わる周期は、NTSCの2倍となる。
CPU51は、スロー表示の終了操作が行われたか否かを識別し(ステップ507)、スロー表示の終了操作が行われるまでステップ506の処理を継続する。また、スロー表示の終了操作が行われたときは(ステップ507でイエス(Y)の場合)、ステップ504からの手順を繰り返す。
【0020】
このスロー表示の場合、データ記憶部54に書き込まれるデータ量が読み出しのデータ量の倍になるため、データ記憶部54におけるデータの蓄積残量が徐々に増えることになるが、通常の表示に戻った際に、データ記憶部54からデコーダ56へのデータ転送速度を通常よりも速い速度に設定し、それとともに、デコーダ56のデコード速度を速めたり、デコーダ56でデータを間引いて復号化したりすることにより、データ記憶部54のデータ蓄積残量を減少させることができる。
【0021】
なお、ここでは、スロー表示を行うために、データ記憶部54からのデータの読み出し速度を遅くする場合について説明したが、データ記憶部54からのデータの読み出し速度を速め、且つ、デコーダ56のデコード速度を速めて、ユーザの要求する速い表示速度で映像を表示することも可能である。ただ、この場合、読み出し速度を速める前に、読み出し速度を遅くしたり、読み出し開始時間を遅らせたりして、予めデータ記憶部54に十分な量のデータを蓄積しておく必要がある。
【0022】
また、ここでは、映像の表示について説明したが、撮像伝送装置242から伝送されるデータに音声データが多重化されている場合には、音声の表示速度についても、映像と同様にリアルタイムで可変することができる。この場合、音声データは、映像データから分離されてデータ記憶部54に一旦蓄積された後、ユーザの指示に応じて、通常より速い読み出し速度、または、通常より遅い読み出し速度で読み出され、デコーダ56で通常より速いデコード速度、または、通常より遅いデコード速度で復号化されて、表示部57から音声表示される。
【0023】
また、撮像伝送装置242から伝送されるデータに時刻等の情報が多重化されている場合には、それらの情報の表示についても、同様にリアルタイムで可変することができる。
また、ユーザがUI部55から入力操作を行う代わりに、ネットワーク20に接続された外部機器または撮像装置242から入力操作を行い、それを通信により、通信I/F53を経由してCPU51に伝えるようにしても良い。
【0024】
また、スロー表示の開始及び終了は、監視領域に設置した動く物体を検知する赤外線センサ等の出力によって起動したり、表示部57に表示された映像を解析して動く物体を識別する画像センシングや、音声認識の結果に基づいて起動したりすることも可能である。この場合、監視領域に不審人物等が出現すると、デコーダ56は、デコード速度をあらかじめ設定された遅いデコード速度に変更し、スロー表示が自動的に開始される。
【0025】
また、スロー表示は、あらかじめ設定された有効時間が経過した時点で自動的に終了するようにしても良い。図4は、この場合のフロー図を示している。ステップ601からステップ606までの手順は、図3のフロー図のステップ501からステップ506までと同じである。ユーザがスロー表示の操作を行うと(ステップ605)、通信処理部52がデータ記憶部54からのデータの読み出し速度を遅らせ(ステップ606)、デコーダ56がデコード速度を落としてスロー表示が開始される。CPU51は、スロー表示の有効時間が終了したか否かを識別し(ステップ607)、有効時間が終了するまでステップ606の処理を継続する。スロー表示の有効時間が終了したときは(ステップ607でイエス(Y)の場合)、ステップ604からの手順を繰り返す。
【0026】
また、デコーダ56のデコード速度を変更するには、次のような方法がある。
▲1▼デコードクロックを可変する。この場合、デコーダ56の動作速度が変化して、デコード速度が変わる。
▲2▼デコーダが同期して各ピクチャのデコードを開始するタイミング信号の周期を可変する。この場合、デコーダ56の動作速度は変わらないが、タイミング信号の周期に応じて、単位時間当たりの復号化されるピクチャ数が変化し、実質的にデコード速度が可変する。
▲3▼デコードすべき情報を間引く。この場合、デコーダ56の動作速度は変わらないが、情報の間引きにより、復号化すべきピクチャの時間軸上での位置が速やかに進み、実質的にデコード速度が速まる。
▲4▼情報を一定量繰り返しデコードする。この場合、デコーダ56の動作速度は変わらないが、同一データを繰り返してデコードすることにより、実質的に復号化されるピクチャの時間軸上における位置の進みは停滞し、実質的にデコード速度が遅くなる。
【0027】
これらの各方法を実施するデコード制御装置の具体的構成については、第3〜5の実施形態で詳述する。
【0028】
このように、この実施形態の映像データ伝送システムでは、撮像伝送装置から映像データを受信するデコード側で、リアルタイムで再生する映像の表示速度を変えることができ、伝送された映像を見やすく、見間違いが無いように表示させることができる。
【0029】
(第2の実施形態)
本発明の第2の実施形態では、復号化された映像信号を記録する映像データ伝送システムについて説明する。
このシステムのデコード制御装置は、図5に示すように、デコーダ56で復号化された映像信号をNTSC方式の信号に変換するNTSC変換部58を備えており、NTSC変換部58で変換された信号が記録装置59に記録される。その他の構成は第1の実施形態(図1)と変わりがない。
【0030】
このシステムの撮像伝送装置242の各部、及び、デコード制御装置251のNTSC変換部58を除く各部の動作は、第1の実施形態(図3)と同じである。即ち、撮像伝送装置242から伝送された映像データは、ネットワーク20を介して、デコード制御装置251に到達し、データ記憶部54に一時記憶された後、通常の表示速度の映像を記録する場合では、データ記憶部54から、記憶時の書き込み速度と同一の読み出し速度で読み出され、デコーダ56に転送されて通常の速度でデコードされる。
【0031】
また、ユーザがUI部55から通常より遅い表示速度の映像の記録を指定した場合は、CPU51の指示を受けて、通信処理部52が、データ記憶部54からのデータの読み出し速度を書き込み速度よりも遅く設定し、デコーダ56は、データ記憶部54から転送されたデータを通常よりも遅いデコード速度で復号化する。
NTSC変換部58は、デコーダ56で復号化された映像信号をNTSC方式の信号に変換し、記録装置59はNTSC変換部58から出力された映像信号を記録媒体に記録する。
【0032】
データ記憶部54からのデータの読み出し速度、及び、デコーダ56のデコード速度がNTSCのフレーム速度に対応する通常の速度であるときは、デコーダ56で復号化された映像信号をNTSC変換部58でNTSC信号に変換することにより、記録装置19の記録媒体には、撮像伝送装置242で撮影された映像のNTSC信号と同じものがそのまま記録される。
【0033】
一方、データ記憶部54からのデータの読み出し速度、及び、デコーダ56のデコード速度を、例えば通常の1/2に設定すると、デコーダ56で復号化された映像信号をNTSC変換部58でNTSC信号に変換することにより、記録装置59の記録媒体には、同一のピクチャが倍のこま数で記録される。従って、記録媒体に記録された映像信号を通常再生すれば、撮像伝送装置242で撮影された映像がスロー表示されることになる。
【0034】
このように、この実施形態の映像データ伝送システムでは、撮像伝送装置から映像データを受信するデコード側で、記録する映像の時間軸上のピクチャ間隔を広げることができる。そのため、その記録映像を通常再生して、監視領域の異常を検索する場合に、検索が容易であり、異常事態の見逃しを防止できる。
【0035】
なお、この第2の実施形態と、本発明の第1の実施形態とを組み合わせることにより、撮像伝送装置242から伝送された映像を表示し、且つ、記録するデコード制御装置251を構成することができる。
また、本発明の第1の実施形態で説明した各種の変形は、この第2の実施形態においても可能である。例えば、記録する映像の時間軸上のピクチャ間隔は、広げる方向だけで無く、狭める方向への変更(即ち、記録映像を再生したとき高速表示するように変更すること)も可能である。また、映像だけで無く、音声の記録に対しても同様の変更が可能である。また、こうした記録時の変更指示は、UI部55からの操作だけでなく、ネットワーク20に接続する外部機器等からも行うことができ、また、監視領域に設置したセンサや、画像センシングに基づいて変更を開始することもできる。
【0036】
(第3の実施形態)
本発明の第3の実施形態では、デコーダに供給するデコードクロックを可変してデコード速度を変更するデコード制御装置について説明する。
このデコード制御装置は、図6に示すように、通信I/F部53、通信処理部52、データ記憶部54、CPU51、デコーダ56の他に、デコーダ56に供給するクロックを生成するデコードクロック(dCLK)部60を具備し、また、通信処理部52は、データ記憶部54へのデータの書き込みを制御する書き込み(Write)制御部81と、データ記憶部54からのデータの読み出しを制御する読み出し(Read)制御部82と、データ記憶部54に書き込まれているピクチャの数をカウントするピクチャカウンタ83とを備えている。
【0037】
この装置の動作について説明する。
撮像伝送装置から伝送された映像データは、通信I/F部53を通じて通信処理部52に渡され、書き込み制御部81は、この映像データをデータ記憶部54に書き込む。また、書き込み制御部81は、データ記憶部54にピクチャを書き込むごとに、その旨をピクチャカウンタ83に伝える。
【0038】
読み出し制御部82は、データ記憶部54に書き込まれた映像データを読み出し、デコーダ56は、読み出された映像データを復号化する。デコーダ56は、この復号化処理をdCLK部60から与えられるクロックに基づいて行う。そのため、デコーダ56のデコード速度は、dCLK部60から与えられるクロックによって決定される。デコーダ56は、デコードした映像を表示部57(図1)やNTSC変換部58(図5)に出力し、また、ピクチャをデコードするごとに、その旨をピクチャカウンタ83に伝える。
【0039】
ピクチャカウンタ83は、データ記憶部54にピクチャが書き込まれるごとにカウント数をインクリメントし、逆に、ピクチャがデコードされるごとにカウント数をデクリメントし、それにより、データ記憶部54内に存在するピクチャの数を計数する。
CPU52は、映像を通常の速度で表示する場合には、dCLK部60からデコーダ56に通常の速さのクロックを出力させ、また、ピクチャカウンタ83に対し、カウント数が1増加するごとに、読み出し制御部82に読み出し指示を出力するように制御する。読み出し制御部82は、ピクチャカウンタ83から読み出し指示を受けると、データ記憶部54に書き込まれている1つのピクチャの映像データを読み出し、デコーダ56は、読み出された映像データを復号化する。
【0040】
また、CPU51は、ユーザの操作などで表示速度を1/2に落とすスロー表示の指示を受けた場合には、dCLK部60に対して、デコーダ56に供給するクロックの速度を1/2に低下させ、また、ピクチャカウンタ83に対して、カウント数が2増加するごとに、読み出し制御部82に1つのピクチャの読み出し指示を出力するように制御する。クロックの速度が低下したデコーダ56のデコード速度は遅くなり、表示速度はスローになる。
【0041】
また、CPU51は、ユーザの操作などで表示速度を上げる指示を受けた場合には、ピクチャカウンタ83のカウント数が所定数に達するまで読み出し制御部82の読み出しを抑えた後、dCLK部60に対して、デコーダ56に供給するクロックの速度を速め、また、ピクチャカウンタ83に対して、データ記憶部54へのピクチャの書き込み回数よりも読み出し回数の方が多くなるように、読み出し制御部82にピクチャの読み出し指示を出力するように制御する。クロックの速度が速まるとデコーダ56のデコード速度は速くなり、表示速度が上がる。
このように、このデコード制御装置では、デコーダに供給するデコードクロックを可変してデコード速度を変更することができる。
【0042】
(第4の実施形態)
本発明の第4の実施形態では、デコーダに供給するタイミング信号の周期を可変してデコード速度を変更するデコード制御装置について説明する。
このデコード制御装置は、図7に示すように、dCLK部に代えて、デコーダ56に供給するためのタイミング信号を生成するタイミング生成部61を備えている。その他の構成は第3の実施形態(図6)と変わりがない。
【0043】
デコーダ56は、タイミング生成部61から入力するタイミング信号に同期して、データ記憶部54から読み出されたピクチャのデコードを開始する。デコーダ56は、この復号化処理を一定速度のクロックのもとで実行する。そのため、デコーダ56に供給するタイミング信号を遅らせることにより、デコーダ56から出力される各ピクチャのデコード信号の出力タイミングが遅れ、デコード速度が低下する。即ち、デコーダ56のデコード速度は、タイミング生成部61から与えられる信号のタイミングで決定されることになる。
CPU51は、ユーザの操作などで表示速度の変更の指示を受けると、タイミング生成部61に対して、デコーダ56に与えるタイミング信号の周期の変更を指示し、デコーダ56のデコード速度を変更する。
【0044】
なお、CPU51の制御を受けるピクチャカウンタ83や、読み出し制御部82などの動作は第3の実施形態(図6)と変わりがない。
このように、このデコード制御装置では、デコーダに供給するタイミング信号の周期を可変することにより、デコード速度を変更することができる。
【0045】
(第5の実施形態)
本発明の第5の実施形態では、デコードの対象となる情報量を可変してデコード速度を変更するデコード制御装置について説明する。
この装置では、デコード速度を速める場合に、デコードの対象となる情報を間引き、また、デコード速度を遅らせる場合に、情報を一定量繰り返してデコードさせる。
【0046】
このデコード制御装置は、図8に示すように、ピクチャカウンタに代えて、デコードの対象となる情報を制御することによりデコード速度を可変する速度制御部84を備えている。その他の構成は第4の実施形態(図7)と変わりがない。
この装置のCPU51は、表示速度を上げる場合に、速度制御部84を通じて、読み出し制御部82に対し、データ記憶部54から読み出したデータの一部を廃棄し、残りのデータをデコーダ56に渡すように指示する。そのため、デコーダ56は、時間軸上に並ぶピクチャを飛び飛びに間引いて復号化することになるので、時間軸上での復号化処理の進みが速くなり、実質的にデコード速度が速まる。CPU51は、表示速度に応じて、読み出し制御部82からデコーダ56に渡すデータの量と、読み出し制御部82で廃棄するデータの量との比率を、速度制御部84を通じて変更する。
【0047】
また、CPU51は、表示速度を遅くする場合に、速度制御部84を通じて、読み出し制御部82に対し、データ記憶部54に記憶された同一データを、例えば2度ずつ読み出してデコーダ56に送るように指示する。そのため、デコーダ56は、時間軸上に並ぶピクチャを繰り返して復号化することになるので、時間軸上での復号化処理の進みが遅滞し、実質的にデコード速度が遅くなる。CPU51は、表示速度に応じて、読み出し制御部82による同一データの繰り返し読み出し回数や繰り返して読み出すデータ量を変化させる。
【0048】
このように、このデコード制御装置では、デコーダ56に送るデータを間引き、または、デコーダ56に同一データを繰り返して送ることにより、デコード速度を変更することができる。
なお、本発明の実施形態では、監視映像を伝送するデータ伝送システムを例に説明したが、本発明は、テレビ電話や、撮像手段を備えた携帯電話などを用いて映像データを伝送するシステムなどにも適用できる。
【0049】
また、本発明の実施形態では、説明を容易にするため、データ記憶部54からのデータの読み出し速度を、データ記憶部54へのデータの書き込み速度の整数倍、または整数分の1倍に設定する場合について説明したが、この読み出し速度は、書き込み速度に対して任意の比率で設定することができ、それにより、映像の表示速度を任意に変えることができる。
また、本発明の実施形態では、映像を伝送する場合を中心に説明したが、本発明は、映像と音声とを多重化して伝送する場合や、音声だけを単独で伝送する場合などにも適用できる。
【0050】
【発明の効果】
以上の説明から明らかなように、本発明のデータ伝送システムでは、リアルタイムで送られて来る映像や音声情報を受信したデコード装置の側で、その映像や音声を、見やすい状態、聞き易い状態、あるいは見逃しにくい状態に変更して表示したり、記録したりすることができる。
【0051】
また、このデータ伝送システムでは、こうした変更を簡単な構成で実現することができる。
また、本発明のデコード方法では、受信した映像や音声情報が見やすくなるように、あるいは、聞きやすくなるように、映像や音声の時間軸を変更することができる。
また、本発明のデコード装置は、受信した映像や音声を、見逃しや聞き逃しがないように変更して表示したり、記録したりすることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態におけるデータ伝送システムの撮像伝送装置とデコード制御装置との構成を示すブロック図
【図2】本発明の第1の実施形態におけるデータ伝送システムのネットワークの構成を示す図
【図3】本発明の第1の実施形態におけるデータ伝送システムの動作を示す処理フロー図
【図4】本発明の第1の実施形態におけるデータ伝送システムの他の動作を示す処理フロー図
【図5】本発明の第2の実施形態におけるデータ伝送システムの撮像伝送装置とデコード制御装置との構成を示すブロック図
【図6】本発明の第3の実施形態におけるデコード制御装置の構成を示すブロック図
【図7】本発明の第4の実施形態におけるデコード制御装置の構成を示すブロック図
【図8】本発明の第5の実施形態におけるデコード制御装置の構成を示すブロック図
【図9】従来のデータ伝送システムのネットワーク構成を示す図
【符号の説明】
10、20 LAN
11、12、21、22 ブリッジまたはハブ
13、23 ルータまたはブルータ
14、15、24、25 支線LAN
141、151、241、251 デコード制御装置
142、143、152、242、243、252 撮像伝送装置
30 公衆網
41 エンコード部
42 通信処理部
43 通信I/F部
44 撮像制御部
51 CPU
52 通信処理部
53 通信I/F部
54 データ記憶部
55 UI部
56 デコーダ
57 表示部
58 NTSC変換部
59 記録装置
60 dCLK部
61 タイミング生成部
81 書き込み制御部
82 読み出し制御部
83 ピクチャカウンタ
84 速度制御部
【発明の属する技術分野】
本発明は、映像データなどをネットワークを介して伝送するデータ伝送システムと、符号化されているデータを復号化するデコード方法と、その方法を実施するデコード装置に関し、特に、映像など再生速度を受信側で可変できるようにしたものである。
【0002】
【従来の技術】
従来、監視領域の映像を離れた場所で監視する遠隔監視システムでは、例えば特開平11−239329号公報に開示されているように、監視カメラの映像がネットワークを介して伝送され、これを受信した監視センターのモニタに表示され、あるいは映像記録装置に録画される。
【0003】
図9は、こうしたデータ伝送システムの一例を示している。ネットワークは、公衆網30、LAN10、20及び支線LAN14、15、24、25で構成され、ATM、IEEE1394、イーサネット(登録商標)等から成るLAN10、20は、ルータやブルータ13、23を介して、広域通信網を構成する公衆網30に接続し、イーサネット(登録商標)等から成る支線LAN14、15、24、25は、ブリッジやハブ11、12、21、22を介してLAN10、20に接続している。映像を撮影して映像データを送出する撮像伝送装置142、143、152、242、243、252と、撮像伝送装置142、143、152、242、243、252の撮影方向等を制御するとともに、受信した映像データを復号化して表示または記録するデコード制御装置141、151、241、251とは、支線LAN14、15、24、25に接続している。
【0004】
例えば、NTSC方式の撮像伝送装置242の映像をデコード制御装置141で監視する場合、撮像伝送装置242は、NTSC方式のフレーム周波数(30Hz)で切り換わる動画像のピクチャを生成し、その映像信号をデジタル化して圧縮符号化する。また、撮像伝送装置242にマイクが付属している場合には、マイクで収集した音声も圧縮符号化し、映像データと多重化する。
このデータは、撮像伝送装置242により、デコード制御装置141を宛先とするパケットに成形され、支線LAN24、ブリッジ21、LAN20、ルータ23、公衆網30、ルータ13、LAN10、ブリッジ11、支線LAN14を経てデコード制御装置141に送られる。
デコード制御装置141は、自らを宛先とするパケットをネットワークから受信し、映像データと音声データとを分離してそれぞれを復号化し、映像をモニタに、音声をスピーカに表示する。また、この映像や音声を記録装置で記録する。
【0005】
また、特開平6−189282号公報には、伝送された映像データの遅延ジッタを、フレームメモリを用いて除去するビデオデコーダが開示されている。この装置は、受信した映像データを復号化する復号手段と、復号化された映像データを記憶する、1フレーム分の映像データの記憶容量を持つフレームメモリと、フレームメモリから映像データを読み出して表示する表示手段とを備えている。
この装置の復号手段と表示手段とは、互いに非同期で動作を行う。復号手段は、遅延ジッタを消去せずに、受信したパケットの復号化処理を行い、復号化した映像データをフレームメモリに書き込む。一方、表示手段は、フレームメモリから、表示すべき画素を一様の速度で検索し、その映像データをビデオスクリーン上に表示する。
【0006】
【発明が解決しようとする課題】
監視システムでは、発生した状況を正確に見極めるため、監視地域の映像や音声をスローで表示することが必要になる場合がある。
しかし、従来の監視システムでは、監視センターでの映像の表示や記録は、監視カメラのNTSCのフレーム周波数(30Hz)に拘束されるため、アラーム発生時や、注目したい状況が発生したときに、監視者は、リアルタイムの映像を凝視して状況を見極めたり、または、映像を一旦記録した後、スロー再生で状況を確認したりする必要があり、非常に使いにくいと云う問題点がある。
この場合、監視カメラの撮像速度を、NTSCの規格を超えて可変させるためには、複雑な仕組みが必要であり、大幅なコスト上昇を招くことになる。
【0007】
本発明は、こうした従来の問題点を解決するものであり、リアルタイムで伝送された情報の時間軸を、見やすいように、あるいは、聞きやすいように、受信側で変更することができるデータ伝送システムを提供し、また、その変更を可能にするデコード方法とその方法を実施するデコード装置とを提供することを目的としている。
【0008】
【課題を解決するための手段】
そこで、本発明では、時間的に変化する情報の伝送機能を持ち、この情報のデータを符号化して伝送するエンコード装置と、ネットワークを介してエンコード装置から符号化された符号化データを受信して復号化し、前記情報を再生するデコード装置とを備えるデータ伝送システムにおいて、デコード装置に、受信した符号化データを一時的に蓄積するデータ蓄積手段と、データ蓄積手段に対する符号化データの書き込み及び読み出しを制御するデータ蓄積制御手段と、データ蓄積手段から読み出された符号化データを復号化するデコード手段とを設け、データ蓄積手段への符号化データの書き込み速度と異なる読み出し速度でデータ蓄積手段から符号化データを読み出してデコード手段に供給し、デコード装置で再生される情報の時間的な変化を、エンコード装置から伝送された情報の時間的な変化に対して変更するようにしている。
こうした構成により、リアルタイムで送られて来る映像や音声情報を受信したデコード装置の側で、それらをスロー表示させたり、高速表示させたりすることが可能になる。
【0009】
また、本発明では、時間的に変化する情報の符号化された符号化データを受信して復号化し、前記情報を再生するデコード方法において、受信した符号化データをデータ蓄積手段に一時的に蓄積し、データ蓄積手段への符号化データの書き込み速度と異なる読み出し速度でデータ蓄積手段から符号化データを読み出して復号化することにより、再生する情報の時間的な変化を、受信した情報の時間的な変化に対して変更するようにしている。
こうした構成により、受信した映像や音声情報が見やすくなるように、あるいは、聞きやすくなるように、映像や音声の時間軸を変更することができる。
【0010】
また、本発明では、時間的に変化する情報の符号化された符号化データを受信して復号化し、前記情報を再生するデコード装置において、受信した符号化データを一時的に蓄積するデータ蓄積手段と、データ蓄積手段に対する符号化データの書き込み及び読み出しを制御するデータ蓄積制御手段と、データ蓄積手段から読み出された符号化データを復号化するデコード手段とを設け、データ蓄積制御手段が、データ蓄積手段への符号化データの書き込み速度と異なる読み出し速度でデータ蓄積手段から符号化データを読み出してデコード手段に供給し、再生する情報の時間的な変化を、受信した情報の時間的な変化に対して変更するように構成している。
こうした構成により、受信した映像や音声を、見逃しや聞き逃しがないように変更して表示したり、記録したりすることが可能になる。
【0011】
また、本発明では、撮影した映像の伝送機能を持ち、映像のデータを符号化して伝送するエンコード装置と、ネットワークを介してエンコード装置から符号化された映像データを受信して復号化し、映像を再生するデコード装置とを備えるデータ伝送システムにおいて、デコード装置に、受信した映像データを一時的に蓄積するデータ蓄積手段と、データ蓄積手段に対する映像データの書き込み及び読み出しを制御するデータ蓄積制御手段と、データ蓄積手段から読み出された映像データを復号化するデコード手段とを設け、データ蓄積手段への映像データの書き込み速度と異なる読み出し速度でデータ蓄積手段から映像データを読み出してデコード手段に供給し、デコード装置で再生される映像の時間的な変化を、エンコード装置から伝送された映像の時間的な変化に対して変更するように構成している。
こうした構成により、監視カメラや、テレビ電話、撮像手段を備えた携帯電話などを用いる映像伝送システムにおいて、受信側で見やすいように、あるいは、見逃しにくいように、映像を変更することが可能になる。
【0012】
また、本発明では、符号化された映像データを受信して復号化し、映像を再生するデコード装置において、受信した映像データを一時的に蓄積するデータ蓄積手段と、データ蓄積手段に対する映像データの書き込み及び読み出しを制御するデータ蓄積制御手段と、データ蓄積手段から読み出された映像データを復号化するデコード手段とを設け、データ蓄積制御手段が、データ蓄積手段への映像データの書き込み速度と異なる読み出し速度でデータ蓄積手段から映像データを読み出してデコード手段に供給し、再生する映像の時間的な変化を、受信した映像の時間的な変化に対して変更するように構成している。
こうした構成により、受信した映像の時間軸を変更して、映像を見極め易くすることができる。
【0013】
【発明の実施の形態】
(第1の実施形態)
本発明の第1の実施形態では、図2に示すネットワーク上で、撮像伝送装置242から、支線LAN24、ブリッジ21、LAN20、ブリッジ22及び支線LAN25を経て、デコード制御装置251に映像を伝送し、デコード制御装置251で表示するデータ伝送システムについて説明する。
撮像伝送装置242は、図1に示すように、撮影された映像を表すNTSC方式の映像信号を生成する撮像制御部44と、映像信号の符号化処理を行うCPUから成るエンコード部41と、映像データをパケットに成形する通信処理部42と、LAN20との間でパケットの受け渡しを行う通信インタフェース(I/F)部43とを備えている。
【0014】
一方、デコード制御装置251は、LAN20との間でパケットの受け渡しを行う通信I/F部53と、ユーザの指示を受け入れるユーザインタフェース(UI)部55と、ユーザの指示に基づいてデコード制御装置251の動作を制御するCPU51と、撮像伝送装置242から受信した映像データを一時蓄積するデータ記憶部54と、データ記憶部54へのデータの書き込み/読み出しを制御するデータ蓄積制御手段として機能する通信処理部52と、映像データを復号化するデコーダ56と、映像を表示する表示部57とを備えている。
【0015】
次に、図3のフロー図に基づいて、このシステムの動作について説明する。なお、フロー図では、“ステップ”を“St”と表記している。
ユーザは、デコード制御装置251で映像を表示しようとする撮像伝送装置242を選択する(ステップ501)。ユーザの選択操作による入力がデコード制御装置251のUI部55に発生すると(ステップ502)、デコード制御装置251は、ネットワーク20を通じて撮像伝送装置242に接続し、撮像伝送装置242の設定情報を取得する(または、デコード制御装置251は撮像伝送装置242の設定情報をあらかじめ保持している)。撮像伝送装置242は、この設定情報に基づいて、NTSC方式の映像信号をエンコード部41で符号化し、映像データの伝送を開始する(ステップ503)。撮像伝送装置242から送出された映像データは、ネットワーク20を経由してデコード制御装置251に到達する。
【0016】
デコード制御装置251の通信処理部52は、このデータを一時、データ記憶部54に蓄積した後、通常の映像表示速度(NTSCのフレーム速度)に対応する読み出し速度でデータ記憶部54からデータを読み出してデコーダ56に転送する(ステップ504)。この場合、データ記憶部54からのデータの読み出し速度は、データ記憶部54へのデータの書き込み速度と同じとなる。
デコーダ56は、符号化されている映像データを通常の映像表示速度に対応するデコード速度で復号化し、表示部57は、映像を通常のNTSCのフレーム速度で表示する。
【0017】
なお、デコーダ56で復号化されたデータは、前述する特開平6−189282号公報の装置と同様に、一旦、フレームメモリ(不図示)に書き込み、表示部57が、このフレームメモリから画素データを順次読み出して映像を表示するようにしても良い。この場合、デコーダ56が映像データを通常の速度で復号化することにより、フレームメモリの画素データはNTSCのフレーム速度で更新され、この画素データが表示部57に順次読み出されて、NTSCと同じ速度でピクチャが変化する映像が表示される。
【0018】
ユーザは、映像をスロー表示させる場合、UI部55からスロー表示の操作を実行する。CPU51は、スロー表示の操作入力を認識すると(ステップ505)、通信処理部52にスロー表示の指示を出す。指示を受けた通信処理部52は、撮像伝送装置242から受信する映像データを通常の速度でデータ記憶部54に書き込みながら、データ記憶部54からのデータの読み出し速度を通常の速度よりも遅く、例えば通常の速度の1/2に設定し、この速度で読み出したデータをデコーダ56に転送する(ステップ506)。デコーダ56は、このデータを通常の1/2のデコード速度で復号化し、表示部57は、NTSCの1/2の速度(2倍の周期)でピクチャが切り替わる映像を表示する。
【0019】
デコーダ56で復号化されたデータをフレームメモリに書き込む場合では、フレームメモリの画素データの更新速度は、NTSCにおけるフレーム速度の1/2の15Hzとなる。このフレームメモリから表示部57が画素データを順次読み出して表示することにより、表示映像のピクチャの切り替わる周期は、NTSCの2倍となる。
CPU51は、スロー表示の終了操作が行われたか否かを識別し(ステップ507)、スロー表示の終了操作が行われるまでステップ506の処理を継続する。また、スロー表示の終了操作が行われたときは(ステップ507でイエス(Y)の場合)、ステップ504からの手順を繰り返す。
【0020】
このスロー表示の場合、データ記憶部54に書き込まれるデータ量が読み出しのデータ量の倍になるため、データ記憶部54におけるデータの蓄積残量が徐々に増えることになるが、通常の表示に戻った際に、データ記憶部54からデコーダ56へのデータ転送速度を通常よりも速い速度に設定し、それとともに、デコーダ56のデコード速度を速めたり、デコーダ56でデータを間引いて復号化したりすることにより、データ記憶部54のデータ蓄積残量を減少させることができる。
【0021】
なお、ここでは、スロー表示を行うために、データ記憶部54からのデータの読み出し速度を遅くする場合について説明したが、データ記憶部54からのデータの読み出し速度を速め、且つ、デコーダ56のデコード速度を速めて、ユーザの要求する速い表示速度で映像を表示することも可能である。ただ、この場合、読み出し速度を速める前に、読み出し速度を遅くしたり、読み出し開始時間を遅らせたりして、予めデータ記憶部54に十分な量のデータを蓄積しておく必要がある。
【0022】
また、ここでは、映像の表示について説明したが、撮像伝送装置242から伝送されるデータに音声データが多重化されている場合には、音声の表示速度についても、映像と同様にリアルタイムで可変することができる。この場合、音声データは、映像データから分離されてデータ記憶部54に一旦蓄積された後、ユーザの指示に応じて、通常より速い読み出し速度、または、通常より遅い読み出し速度で読み出され、デコーダ56で通常より速いデコード速度、または、通常より遅いデコード速度で復号化されて、表示部57から音声表示される。
【0023】
また、撮像伝送装置242から伝送されるデータに時刻等の情報が多重化されている場合には、それらの情報の表示についても、同様にリアルタイムで可変することができる。
また、ユーザがUI部55から入力操作を行う代わりに、ネットワーク20に接続された外部機器または撮像装置242から入力操作を行い、それを通信により、通信I/F53を経由してCPU51に伝えるようにしても良い。
【0024】
また、スロー表示の開始及び終了は、監視領域に設置した動く物体を検知する赤外線センサ等の出力によって起動したり、表示部57に表示された映像を解析して動く物体を識別する画像センシングや、音声認識の結果に基づいて起動したりすることも可能である。この場合、監視領域に不審人物等が出現すると、デコーダ56は、デコード速度をあらかじめ設定された遅いデコード速度に変更し、スロー表示が自動的に開始される。
【0025】
また、スロー表示は、あらかじめ設定された有効時間が経過した時点で自動的に終了するようにしても良い。図4は、この場合のフロー図を示している。ステップ601からステップ606までの手順は、図3のフロー図のステップ501からステップ506までと同じである。ユーザがスロー表示の操作を行うと(ステップ605)、通信処理部52がデータ記憶部54からのデータの読み出し速度を遅らせ(ステップ606)、デコーダ56がデコード速度を落としてスロー表示が開始される。CPU51は、スロー表示の有効時間が終了したか否かを識別し(ステップ607)、有効時間が終了するまでステップ606の処理を継続する。スロー表示の有効時間が終了したときは(ステップ607でイエス(Y)の場合)、ステップ604からの手順を繰り返す。
【0026】
また、デコーダ56のデコード速度を変更するには、次のような方法がある。
▲1▼デコードクロックを可変する。この場合、デコーダ56の動作速度が変化して、デコード速度が変わる。
▲2▼デコーダが同期して各ピクチャのデコードを開始するタイミング信号の周期を可変する。この場合、デコーダ56の動作速度は変わらないが、タイミング信号の周期に応じて、単位時間当たりの復号化されるピクチャ数が変化し、実質的にデコード速度が可変する。
▲3▼デコードすべき情報を間引く。この場合、デコーダ56の動作速度は変わらないが、情報の間引きにより、復号化すべきピクチャの時間軸上での位置が速やかに進み、実質的にデコード速度が速まる。
▲4▼情報を一定量繰り返しデコードする。この場合、デコーダ56の動作速度は変わらないが、同一データを繰り返してデコードすることにより、実質的に復号化されるピクチャの時間軸上における位置の進みは停滞し、実質的にデコード速度が遅くなる。
【0027】
これらの各方法を実施するデコード制御装置の具体的構成については、第3〜5の実施形態で詳述する。
【0028】
このように、この実施形態の映像データ伝送システムでは、撮像伝送装置から映像データを受信するデコード側で、リアルタイムで再生する映像の表示速度を変えることができ、伝送された映像を見やすく、見間違いが無いように表示させることができる。
【0029】
(第2の実施形態)
本発明の第2の実施形態では、復号化された映像信号を記録する映像データ伝送システムについて説明する。
このシステムのデコード制御装置は、図5に示すように、デコーダ56で復号化された映像信号をNTSC方式の信号に変換するNTSC変換部58を備えており、NTSC変換部58で変換された信号が記録装置59に記録される。その他の構成は第1の実施形態(図1)と変わりがない。
【0030】
このシステムの撮像伝送装置242の各部、及び、デコード制御装置251のNTSC変換部58を除く各部の動作は、第1の実施形態(図3)と同じである。即ち、撮像伝送装置242から伝送された映像データは、ネットワーク20を介して、デコード制御装置251に到達し、データ記憶部54に一時記憶された後、通常の表示速度の映像を記録する場合では、データ記憶部54から、記憶時の書き込み速度と同一の読み出し速度で読み出され、デコーダ56に転送されて通常の速度でデコードされる。
【0031】
また、ユーザがUI部55から通常より遅い表示速度の映像の記録を指定した場合は、CPU51の指示を受けて、通信処理部52が、データ記憶部54からのデータの読み出し速度を書き込み速度よりも遅く設定し、デコーダ56は、データ記憶部54から転送されたデータを通常よりも遅いデコード速度で復号化する。
NTSC変換部58は、デコーダ56で復号化された映像信号をNTSC方式の信号に変換し、記録装置59はNTSC変換部58から出力された映像信号を記録媒体に記録する。
【0032】
データ記憶部54からのデータの読み出し速度、及び、デコーダ56のデコード速度がNTSCのフレーム速度に対応する通常の速度であるときは、デコーダ56で復号化された映像信号をNTSC変換部58でNTSC信号に変換することにより、記録装置19の記録媒体には、撮像伝送装置242で撮影された映像のNTSC信号と同じものがそのまま記録される。
【0033】
一方、データ記憶部54からのデータの読み出し速度、及び、デコーダ56のデコード速度を、例えば通常の1/2に設定すると、デコーダ56で復号化された映像信号をNTSC変換部58でNTSC信号に変換することにより、記録装置59の記録媒体には、同一のピクチャが倍のこま数で記録される。従って、記録媒体に記録された映像信号を通常再生すれば、撮像伝送装置242で撮影された映像がスロー表示されることになる。
【0034】
このように、この実施形態の映像データ伝送システムでは、撮像伝送装置から映像データを受信するデコード側で、記録する映像の時間軸上のピクチャ間隔を広げることができる。そのため、その記録映像を通常再生して、監視領域の異常を検索する場合に、検索が容易であり、異常事態の見逃しを防止できる。
【0035】
なお、この第2の実施形態と、本発明の第1の実施形態とを組み合わせることにより、撮像伝送装置242から伝送された映像を表示し、且つ、記録するデコード制御装置251を構成することができる。
また、本発明の第1の実施形態で説明した各種の変形は、この第2の実施形態においても可能である。例えば、記録する映像の時間軸上のピクチャ間隔は、広げる方向だけで無く、狭める方向への変更(即ち、記録映像を再生したとき高速表示するように変更すること)も可能である。また、映像だけで無く、音声の記録に対しても同様の変更が可能である。また、こうした記録時の変更指示は、UI部55からの操作だけでなく、ネットワーク20に接続する外部機器等からも行うことができ、また、監視領域に設置したセンサや、画像センシングに基づいて変更を開始することもできる。
【0036】
(第3の実施形態)
本発明の第3の実施形態では、デコーダに供給するデコードクロックを可変してデコード速度を変更するデコード制御装置について説明する。
このデコード制御装置は、図6に示すように、通信I/F部53、通信処理部52、データ記憶部54、CPU51、デコーダ56の他に、デコーダ56に供給するクロックを生成するデコードクロック(dCLK)部60を具備し、また、通信処理部52は、データ記憶部54へのデータの書き込みを制御する書き込み(Write)制御部81と、データ記憶部54からのデータの読み出しを制御する読み出し(Read)制御部82と、データ記憶部54に書き込まれているピクチャの数をカウントするピクチャカウンタ83とを備えている。
【0037】
この装置の動作について説明する。
撮像伝送装置から伝送された映像データは、通信I/F部53を通じて通信処理部52に渡され、書き込み制御部81は、この映像データをデータ記憶部54に書き込む。また、書き込み制御部81は、データ記憶部54にピクチャを書き込むごとに、その旨をピクチャカウンタ83に伝える。
【0038】
読み出し制御部82は、データ記憶部54に書き込まれた映像データを読み出し、デコーダ56は、読み出された映像データを復号化する。デコーダ56は、この復号化処理をdCLK部60から与えられるクロックに基づいて行う。そのため、デコーダ56のデコード速度は、dCLK部60から与えられるクロックによって決定される。デコーダ56は、デコードした映像を表示部57(図1)やNTSC変換部58(図5)に出力し、また、ピクチャをデコードするごとに、その旨をピクチャカウンタ83に伝える。
【0039】
ピクチャカウンタ83は、データ記憶部54にピクチャが書き込まれるごとにカウント数をインクリメントし、逆に、ピクチャがデコードされるごとにカウント数をデクリメントし、それにより、データ記憶部54内に存在するピクチャの数を計数する。
CPU52は、映像を通常の速度で表示する場合には、dCLK部60からデコーダ56に通常の速さのクロックを出力させ、また、ピクチャカウンタ83に対し、カウント数が1増加するごとに、読み出し制御部82に読み出し指示を出力するように制御する。読み出し制御部82は、ピクチャカウンタ83から読み出し指示を受けると、データ記憶部54に書き込まれている1つのピクチャの映像データを読み出し、デコーダ56は、読み出された映像データを復号化する。
【0040】
また、CPU51は、ユーザの操作などで表示速度を1/2に落とすスロー表示の指示を受けた場合には、dCLK部60に対して、デコーダ56に供給するクロックの速度を1/2に低下させ、また、ピクチャカウンタ83に対して、カウント数が2増加するごとに、読み出し制御部82に1つのピクチャの読み出し指示を出力するように制御する。クロックの速度が低下したデコーダ56のデコード速度は遅くなり、表示速度はスローになる。
【0041】
また、CPU51は、ユーザの操作などで表示速度を上げる指示を受けた場合には、ピクチャカウンタ83のカウント数が所定数に達するまで読み出し制御部82の読み出しを抑えた後、dCLK部60に対して、デコーダ56に供給するクロックの速度を速め、また、ピクチャカウンタ83に対して、データ記憶部54へのピクチャの書き込み回数よりも読み出し回数の方が多くなるように、読み出し制御部82にピクチャの読み出し指示を出力するように制御する。クロックの速度が速まるとデコーダ56のデコード速度は速くなり、表示速度が上がる。
このように、このデコード制御装置では、デコーダに供給するデコードクロックを可変してデコード速度を変更することができる。
【0042】
(第4の実施形態)
本発明の第4の実施形態では、デコーダに供給するタイミング信号の周期を可変してデコード速度を変更するデコード制御装置について説明する。
このデコード制御装置は、図7に示すように、dCLK部に代えて、デコーダ56に供給するためのタイミング信号を生成するタイミング生成部61を備えている。その他の構成は第3の実施形態(図6)と変わりがない。
【0043】
デコーダ56は、タイミング生成部61から入力するタイミング信号に同期して、データ記憶部54から読み出されたピクチャのデコードを開始する。デコーダ56は、この復号化処理を一定速度のクロックのもとで実行する。そのため、デコーダ56に供給するタイミング信号を遅らせることにより、デコーダ56から出力される各ピクチャのデコード信号の出力タイミングが遅れ、デコード速度が低下する。即ち、デコーダ56のデコード速度は、タイミング生成部61から与えられる信号のタイミングで決定されることになる。
CPU51は、ユーザの操作などで表示速度の変更の指示を受けると、タイミング生成部61に対して、デコーダ56に与えるタイミング信号の周期の変更を指示し、デコーダ56のデコード速度を変更する。
【0044】
なお、CPU51の制御を受けるピクチャカウンタ83や、読み出し制御部82などの動作は第3の実施形態(図6)と変わりがない。
このように、このデコード制御装置では、デコーダに供給するタイミング信号の周期を可変することにより、デコード速度を変更することができる。
【0045】
(第5の実施形態)
本発明の第5の実施形態では、デコードの対象となる情報量を可変してデコード速度を変更するデコード制御装置について説明する。
この装置では、デコード速度を速める場合に、デコードの対象となる情報を間引き、また、デコード速度を遅らせる場合に、情報を一定量繰り返してデコードさせる。
【0046】
このデコード制御装置は、図8に示すように、ピクチャカウンタに代えて、デコードの対象となる情報を制御することによりデコード速度を可変する速度制御部84を備えている。その他の構成は第4の実施形態(図7)と変わりがない。
この装置のCPU51は、表示速度を上げる場合に、速度制御部84を通じて、読み出し制御部82に対し、データ記憶部54から読み出したデータの一部を廃棄し、残りのデータをデコーダ56に渡すように指示する。そのため、デコーダ56は、時間軸上に並ぶピクチャを飛び飛びに間引いて復号化することになるので、時間軸上での復号化処理の進みが速くなり、実質的にデコード速度が速まる。CPU51は、表示速度に応じて、読み出し制御部82からデコーダ56に渡すデータの量と、読み出し制御部82で廃棄するデータの量との比率を、速度制御部84を通じて変更する。
【0047】
また、CPU51は、表示速度を遅くする場合に、速度制御部84を通じて、読み出し制御部82に対し、データ記憶部54に記憶された同一データを、例えば2度ずつ読み出してデコーダ56に送るように指示する。そのため、デコーダ56は、時間軸上に並ぶピクチャを繰り返して復号化することになるので、時間軸上での復号化処理の進みが遅滞し、実質的にデコード速度が遅くなる。CPU51は、表示速度に応じて、読み出し制御部82による同一データの繰り返し読み出し回数や繰り返して読み出すデータ量を変化させる。
【0048】
このように、このデコード制御装置では、デコーダ56に送るデータを間引き、または、デコーダ56に同一データを繰り返して送ることにより、デコード速度を変更することができる。
なお、本発明の実施形態では、監視映像を伝送するデータ伝送システムを例に説明したが、本発明は、テレビ電話や、撮像手段を備えた携帯電話などを用いて映像データを伝送するシステムなどにも適用できる。
【0049】
また、本発明の実施形態では、説明を容易にするため、データ記憶部54からのデータの読み出し速度を、データ記憶部54へのデータの書き込み速度の整数倍、または整数分の1倍に設定する場合について説明したが、この読み出し速度は、書き込み速度に対して任意の比率で設定することができ、それにより、映像の表示速度を任意に変えることができる。
また、本発明の実施形態では、映像を伝送する場合を中心に説明したが、本発明は、映像と音声とを多重化して伝送する場合や、音声だけを単独で伝送する場合などにも適用できる。
【0050】
【発明の効果】
以上の説明から明らかなように、本発明のデータ伝送システムでは、リアルタイムで送られて来る映像や音声情報を受信したデコード装置の側で、その映像や音声を、見やすい状態、聞き易い状態、あるいは見逃しにくい状態に変更して表示したり、記録したりすることができる。
【0051】
また、このデータ伝送システムでは、こうした変更を簡単な構成で実現することができる。
また、本発明のデコード方法では、受信した映像や音声情報が見やすくなるように、あるいは、聞きやすくなるように、映像や音声の時間軸を変更することができる。
また、本発明のデコード装置は、受信した映像や音声を、見逃しや聞き逃しがないように変更して表示したり、記録したりすることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態におけるデータ伝送システムの撮像伝送装置とデコード制御装置との構成を示すブロック図
【図2】本発明の第1の実施形態におけるデータ伝送システムのネットワークの構成を示す図
【図3】本発明の第1の実施形態におけるデータ伝送システムの動作を示す処理フロー図
【図4】本発明の第1の実施形態におけるデータ伝送システムの他の動作を示す処理フロー図
【図5】本発明の第2の実施形態におけるデータ伝送システムの撮像伝送装置とデコード制御装置との構成を示すブロック図
【図6】本発明の第3の実施形態におけるデコード制御装置の構成を示すブロック図
【図7】本発明の第4の実施形態におけるデコード制御装置の構成を示すブロック図
【図8】本発明の第5の実施形態におけるデコード制御装置の構成を示すブロック図
【図9】従来のデータ伝送システムのネットワーク構成を示す図
【符号の説明】
10、20 LAN
11、12、21、22 ブリッジまたはハブ
13、23 ルータまたはブルータ
14、15、24、25 支線LAN
141、151、241、251 デコード制御装置
142、143、152、242、243、252 撮像伝送装置
30 公衆網
41 エンコード部
42 通信処理部
43 通信I/F部
44 撮像制御部
51 CPU
52 通信処理部
53 通信I/F部
54 データ記憶部
55 UI部
56 デコーダ
57 表示部
58 NTSC変換部
59 記録装置
60 dCLK部
61 タイミング生成部
81 書き込み制御部
82 読み出し制御部
83 ピクチャカウンタ
84 速度制御部
Claims (24)
- 時間的に変化する情報の伝送機能を持ち、前記情報のデータを符号化して伝送するエンコード装置と、ネットワークを介して前記エンコード装置から符号化された符号化データを受信して復号化し、前記情報を再生するデコード装置とを備えるデータ伝送システムであって、
前記デコード装置は、受信した前記符号化データを一時的に蓄積するデータ蓄積手段と、前記データ蓄積手段に対する前記符号化データの書き込み及び読み出しを制御するデータ蓄積制御手段と、前記データ蓄積手段から読み出された前記符号化データを復号化するデコード手段とを備え、前記データ蓄積手段への前記符号化データの書き込み速度と異なる読み出し速度で前記データ蓄積手段から前記符号化データを読み出して前記デコード手段に供給し、前記デコード装置で再生される前記情報の時間的な変化を、前記エンコード装置から伝送された前記情報の時間的な変化に対して変更することを特徴とするデータ伝送システム。 - 前記デコード装置が、再生した前記情報を表示することを特徴とする請求項1に記載のデータ伝送システム。
- 前記デコード装置が、再生した前記情報を記録することを特徴とする請求項1に記載のデータ伝送システム。
- 前記エンコード装置から伝送される前記情報が、映像情報であることを特徴とする請求項1から3のいずれかに記載のデータ伝送システム。
- 前記エンコード装置から伝送される前記情報が、音声情報であることを特徴とする請求項1から3のいずれかに記載のデータ伝送システム。
- 時間的に変化する情報の符号化された符号化データを受信して復号化し、前記情報を再生するデコード方法であって、
受信した前記符号化データをデータ蓄積手段に一時的に蓄積し、前記データ蓄積手段への前記符号化データの書き込み速度と異なる読み出し速度で前記データ蓄積手段から前記符号化データを読み出して復号化することにより、再生する前記情報の時間的な変化を、受信した前記情報の時間的な変化に対して変更することを特徴とするデコード方法。 - 時間的に変化する情報の符号化された符号化データを受信して復号化し、前記情報を再生するデコード装置であって、
受信した前記符号化データを一時的に蓄積するデータ蓄積手段と、
前記データ蓄積手段に対する前記符号化データの書き込み及び読み出しを制御するデータ蓄積制御手段と、
前記データ蓄積手段から読み出された前記符号化データを復号化するデコード手段とを備え、前記データ蓄積制御手段が、前記データ蓄積手段への前記符号化データの書き込み速度と異なる読み出し速度で前記データ蓄積手段から前記符号化データを読み出して前記デコード手段に供給し、再生する前記情報の時間的な変化を、受信した前記情報の時間的な変化に対して変更することを特徴とするデコード装置。 - 再生した前記情報を表示する表示手段を備えることを特徴とする請求項7に記載のデコード装置。
- 再生した前記情報を記録する記録手段を備えることを特徴とする請求項7に記載のデコード装置。
- 撮影した映像の伝送機能を持ち、前記映像のデータを符号化して伝送するエンコード装置と、ネットワークを介して前記エンコード装置から符号化された映像データを受信して復号化し、前記映像を再生するデコード装置とを備えるデータ伝送システムであって、
前記デコード装置は、受信した前記映像データを一時的に蓄積するデータ蓄積手段と、前記データ蓄積手段に対する前記映像データの書き込み及び読み出しを制御するデータ蓄積制御手段と、前記データ蓄積手段から読み出された前記映像データを復号化するデコード手段とを備え、前記データ蓄積手段への前記映像データの書き込み速度と異なる読み出し速度で前記データ蓄積手段から前記映像データを読み出して前記デコード手段に供給し、前記デコード装置で再生される前記映像の時間的な変化を、前記エンコード装置から伝送された前記映像の時間的な変化に対して変更することを特徴とするデータ伝送システム。 - 前記デコード装置が、再生した前記情報を表示することを特徴とする請求項10に記載のデータ伝送システム。
- 前記デコード装置が、再生した前記情報を記録することを特徴とする請求項10または11に記載のデータ伝送システム。
- 前記エンコード装置は、符号化した音声データを前記映像データと多重化して伝送し、前記デコード装置は、前記音声データを前記映像データから分離して前記データ蓄積手段へ書き込み、前記データ蓄積手段への書き込み速度と異なる読み出し速度で前記データ蓄積手段から前記音声データを読み出して復号化し、再生した音声の時間的な変化を、前記エンコード装置から伝送された音声の時間的な変化に対して変更することを特徴とする請求項10に記載のデータ伝送システム。
- 前記デコード装置は、操作手段からの操作を契機として、再生する前記映像の時間的な変化を前記エンコード装置から伝送された前記映像の時間的な変化に対して変更することを特徴とする請求項10から13のいずれかに記載のデータ伝送システム。
- 前記デコード装置は、外部装置からの信号の入力を契機として、再生する前記映像の時間的な変化を前記エンコード装置から伝送された前記映像の時間的な変化に対して変更することを特徴とする請求項10から13のいずれかに記載のデータ伝送システム。
- 前記デコード装置は、前記エンコード装置から伝送された映像または音声を検知し、予め設定された状態が検知されたことを契機として、再生する前記映像の時間的な変化を前記エンコード装置から伝送された前記映像の時間的な変化に対して変更することを特徴とする請求項10から13のいずれかに記載のデータ伝送システム。
- 前記デコード装置は、再生する前記映像の時間的な変化を予め設定された状態に変更し、変更した前記状態を予め設定された時間に渡って維持することを特徴とする請求項14から16のいずれかに記載のデータ伝送システム。
- 符号化された映像データを受信して復号化し、映像を再生するデコード装置であって、
受信した前記映像データを一時的に蓄積するデータ蓄積手段と、
前記データ蓄積手段に対する前記映像データの書き込み及び読み出しを制御するデータ蓄積制御手段と、
前記データ蓄積手段から読み出された前記映像データを復号化するデコード手段と
を備え、前記データ蓄積制御手段が、前記データ蓄積手段への前記映像データの書き込み速度と異なる読み出し速度で前記データ蓄積手段から前記映像データを読み出して前記デコード手段に供給し、再生する映像の時間的な変化を、受信した映像の時間的な変化に対して変更することを特徴とするデコード装置。 - 前記デコード手段により復号化された前記映像データを表示する表示手段を備えることを特徴とする請求項18に記載のデコード装置。
- 前記デコード手段により復号化された前記映像データをNTSC方式の信号に変換するNTSC変換手段と、前記NTSC変換手段によって変換された映像信号を記録する記録手段とを備えることを特徴とする請求項18または19に記載のデコード装置。
- 前記データ蓄積制御手段が、前記データ蓄積手段から書き込み速度と異なる読み出し速度で読み出した前記映像データを前記デコード手段に供給するとき、前記デコード手段に与えるクロックの速さを変更することを特徴とする請求項18から20のいずれかに記載のデコード装置。
- 前記データ蓄積制御手段が、前記データ蓄積手段から書き込み速度と異なる読み出し速度で読み出した前記映像データを前記デコード手段に供給するとき、前記デコード手段が同期してピクチャの復号を開始するタイミング信号の周期を変更することを特徴とする請求項18から20のいずれかに記載のデコード装置。
- 前記データ蓄積制御手段は、前記データ蓄積手段への映像データの書き込み速度と前記データ蓄積手段からの前記映像データの読み出し速度とを違えるために、前記データ蓄積手段から読み出した前記映像データを間引いて前記デコード手段に供給することを特徴とする請求項18から20のいずれかに記載のデコード装置。
- 前記データ蓄積制御手段は、前記データ蓄積手段への映像データの書き込み速度と前記データ蓄積手段からの前記映像データの読み出し速度とを違えるために、前記データ蓄積手段から映像データの一定量を繰り返し読み出して前記デコード手段に供給することを特徴とする請求項18から20のいずれかに記載のデコード装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002362464A JP2004194200A (ja) | 2002-12-13 | 2002-12-13 | データ伝送システムとデコード方法とデコード装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002362464A JP2004194200A (ja) | 2002-12-13 | 2002-12-13 | データ伝送システムとデコード方法とデコード装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004194200A true JP2004194200A (ja) | 2004-07-08 |
Family
ID=32760903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002362464A Pending JP2004194200A (ja) | 2002-12-13 | 2002-12-13 | データ伝送システムとデコード方法とデコード装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004194200A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008167423A (ja) * | 2006-12-05 | 2008-07-17 | Fujifilm Corp | 出力装置、出力方法、及びプログラム |
JP2013543699A (ja) * | 2010-09-28 | 2013-12-05 | アルカテル−ルーセント | 監視カメラによって取り込まれたディジタルビデオストリームを制御可能に見るためのシステムおよび方法 |
-
2002
- 2002-12-13 JP JP2002362464A patent/JP2004194200A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008167423A (ja) * | 2006-12-05 | 2008-07-17 | Fujifilm Corp | 出力装置、出力方法、及びプログラム |
US8169501B2 (en) | 2006-12-05 | 2012-05-01 | Fujifilm Corporation | Output apparatus, output method and program |
JP2013543699A (ja) * | 2010-09-28 | 2013-12-05 | アルカテル−ルーセント | 監視カメラによって取り込まれたディジタルビデオストリームを制御可能に見るためのシステムおよび方法 |
US9179103B2 (en) | 2010-09-28 | 2015-11-03 | Alcatel Lucent | System and method for controllably viewing digital video streams captured by surveillance cameras |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4515465B2 (ja) | 動画撮影装置および動画撮影方法、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法 | |
US20130166769A1 (en) | Receiving device, screen frame transmission system and method | |
JP2004180290A (ja) | 伝送装置と伝送方法と再生装置と再生方法およびプログラムと記録媒体 | |
JP3911380B2 (ja) | 転送レート制御装置 | |
JP2000244914A (ja) | 映像音声多重化カメラ装置 | |
JP2004349993A (ja) | 画像記録装置 | |
JP2004356695A (ja) | データ配信システムおよびデータ配信方法、ならびにデータ受信装置およびデータ受信方法 | |
JP4474063B2 (ja) | ディジタル監視カメラシステムおよび制御装置 | |
JP3632028B2 (ja) | 多チャンネル動映像圧縮方法及び装置 | |
JP4735666B2 (ja) | コンテンツサーバ、情報処理装置、ネットワーク機器、コンテンツ配信方法、情報処理方法およびコンテンツ配信システム | |
JP2004194200A (ja) | データ伝送システムとデコード方法とデコード装置 | |
JP2004289295A (ja) | データ処理システム、データ処理装置及びデータ処理方法 | |
JP4828354B2 (ja) | 複数チャンネル画像転送装置 | |
JP3279186B2 (ja) | 動画像データの再生制御方式 | |
JP2005176164A (ja) | 映像蓄積配信装置および映像配信システム | |
JP3883438B2 (ja) | 画像伝送方法及び遠隔画像監視システム | |
JP2003284044A (ja) | 遠隔制御画像監視システム | |
JP2003309847A (ja) | 画像伝送方法および画像伝送装置 | |
JP2004088480A (ja) | 撮像装置及びそのデータ伝送制御方法 | |
JP3750217B2 (ja) | 動画像符号化伝送装置 | |
JPWO2005032131A1 (ja) | デコード装置及び方法 | |
JP3871217B2 (ja) | 動画像受信装置 | |
JP2006180315A (ja) | 動画撮影装置、動画再生装置および動画撮影方法、動画再生方法 | |
JPH10294939A (ja) | 画像伝送システム及び画像伝送装置 | |
JP4219883B2 (ja) | 転送レート制御装置、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080430 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080909 |