JP2008211405A - 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム - Google Patents
映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム Download PDFInfo
- Publication number
- JP2008211405A JP2008211405A JP2007044723A JP2007044723A JP2008211405A JP 2008211405 A JP2008211405 A JP 2008211405A JP 2007044723 A JP2007044723 A JP 2007044723A JP 2007044723 A JP2007044723 A JP 2007044723A JP 2008211405 A JP2008211405 A JP 2008211405A
- Authority
- JP
- Japan
- Prior art keywords
- video
- component
- video signal
- components
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】遠隔操作により自走可能なロボット1に搭載されたカメラ11により得られる映像信号を成分分解部13にて時間方向及び空間方向に複数の映像成分に分解し、成分選択部16により状況に応じて映像成分を適切に選択して送信し、受信側で映像を再生表示させるようにして、常に映像成分のすべてを伝送する場合と比較して、伝送するデータ量を低減し、データの伝送に要する伝送路の帯域を低減できるようにする。
【選択図】図1
Description
また、本発明の映像伝送システムは、撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、前記選択手段により選択された映像成分を送信する送信手段と、前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された映像成分を受信する受信手段と、前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備えることを特徴とする。
本発明の映像伝送方法は、撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送方法であって、前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解工程と、前記分解工程にて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択工程と、前記選択工程にて選択された映像成分を送信する送信工程とを有することを特徴とする。
本発明のプログラムは、撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する処理をコンピュータに実行させるためのプログラムであって、前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解ステップと、前記分解ステップにて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択ステップと、前記選択ステップにて選択された映像成分を送信する送信ステップとをコンピュータに実行させることを特徴とする。
本発明の探査ロボットは、移動機能を有する探査ロボットであって、移動中であるか観察中であるかを検知する状況検知手段と、映像を撮影する撮像手段と、前記撮像手段により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、前記状況検知手段での検知結果に応じて、前記分解手段により分解された複数の映像成分の中から、伝送路を介して遠隔地の受信側装置に送信する映像成分を選択する選択手段と、前記選択手段により選択された映像成分を前記伝送路に対して送信する送信手段とを備えることを特徴とする。
本発明の第1の実施形態における映像伝送システムは、自走式ロボットに搭載されたカメラにより得られる映像信号を、データ伝送路を介して遠隔地の受信側装置に伝送するシステムであって、映像信号を複数の映像成分に分解して、利用状況に応じて映像成分を選択し圧縮伝送する。
(ロボット1)
ロボット1は、撮像装置であるカメラ11を搭載し、遠隔操作により自走することが可能な移動機能を有する自走式ロボットであり、例えば消防活動や救助活動等で使用される探査ロボットである。ロボット1は、カメラ11、映像信号処理部(送信側)12A、映像送信部17、制御信号受信部18、移動制御部19、走行装置20、及び状況検知部21を有する。
成分分解部13は、カメラ11により得られた映像信号に時空間分解処理を施す。成分分解部13は、時間的順変換部14及び空間的順変換部15を有し、映像信号を時間方向及び空間方向に複数の映像成分に分解する。
受信側装置3は、ロボット1からの映像を受けてロボット1を遠隔操作する。受信側装置3は、映像受信部31、映像信号処理部(受信側)32A、映像表示部36、操作制御部37、及び制御信号送信部38を有する。
映像信号処理部32Aは、成分合成部33を有し、映像受信部31により得られた映像信号に対して所定の処理を施す。
時間的逆変換部34は、時間的順変換部14で施される処理の逆方向のフレーム間処理により時間方向の成分として合成する。また、空間的逆変換部35は、空間的順変換部15で施される処理の逆方向のフレーム内処理により空間方向の成分として合成する。
まず、時間的順変換部14及び時間的逆変換部34にてそれぞれ行われる時間方向の分解処理及びその逆処理について説明する。
成分選択部16は、時間的順変換部14により時間方向に分解して得られた第1成分及び第2成分を利用状況に応じて選択する。
時間的逆変換部34は、成分選択部16によって選択されたフレームを受信して合成し映像信号を生成する。したがって、ブロック内の最初の1フレーム(L成分)のみが選択されている場合には、受信側装置3では1/2にコマ落としされた映像が出力され、時間分解能が低くなる。
時間的逆変換部34は、M×M点の逆方向の直交変換を行い、映像信号を生成する。なお、低域に選択されたM×M点を配置し高域にゼロ値を配置してから、N×N点の逆方向の直交変換を行うようにしても良い。
また、例えばハール基底に基づくウェーブレット変換を用いることで、加減算とシフト演算のみで上述した処理を高速に実現することができる。
成分選択部16は、空間的順変換部15により空間方向に分解して得られた第1成分及び第2成分を利用状況に応じて選択する。
空間的逆変換部35は、成分選択部16によって選択されたL成分を受信して合成し映像信号を生成する。したがって、L成分のみが選択されている場合には、受信側装置3では画素数が縦横共に1/2に間引かれた映像が出力され、空間分解能が低くなる。
空間的逆変換部35は、M×M点の逆方向の直交変換を行い、映像信号を生成する。なお、低域に選択されたM×M点を配置し高域にゼロ値を配置してから、N×N点の逆方向の直交変換を行うようにしても良い。
次に、本発明の第2の実施形態について説明する。
図3は、第2の実施形態における映像伝送システムの構成例を示すブロック図である。この図3において、図1に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
次に、本発明の第3の実施形態について説明する。
図4は、第3の実施形態における映像伝送システムの構成例を示すブロック図である。この図4において、図1に示したブロック等と同一の機能を有するブロック等には同一の符号を付し、重複する説明は省略する。
なお、上述した実施形態は、コンピュータのCPU又はMPU、RAM、ROM等で構成可能なものであり、RAMやROMに記憶されたプログラムが動作することによって実現でき、前記プログラムは本発明の実施形態に含まれる。また、コンピュータが上述の実施形態の機能を果たすように動作させるプログラムを、例えばCD−ROMのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものであり、前記プログラムを記録した記録媒体は本発明の実施形態に含まれる。前記プログラムを記録する記録媒体としては、CD−ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。
また、コンピュータがプログラムを実行し処理を行うことにより、上述の実施形態の機能が実現されるプログラムプロダクトは、本発明の実施形態に含まれる。前記プログラムプロダクトとしては、上述の実施形態の機能を実現するプログラム自体、前記プログラムが読み込まれたコンピュータ、ネットワークを介して通信可能に接続されたコンピュータに前記プログラムを提供可能な送信装置、及び当該送信装置を備えるネットワークシステム等がある。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているOS(オペレーティングシステム)又は他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理のすべて又は一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
2 データ伝送路
3 受信側装置
11 カメラ
12 映像信号処理部
13 成分分解部
14 時間的順変換部
15 空間的順変換部
16 成分選択部
17 映像送信部
31 映像受信部
32 映像信号処理部
33 成分合成部
34 時間的逆変換部
35 空間的逆変換部
36 映像表示部
Claims (18)
- 撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送装置であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段とを備えることを特徴とする映像伝送装置。 - 前記選択手段は、前記ロボットの観察時には、時間解像度を低くするように映像成分を選択し、前記ロボットの移動動作時には空間解像度を低くするように成分を選択することを特徴とする請求項1記載の映像伝送装置。
- 前記分解手段は、前記撮像装置により得られる映像信号を、当該映像信号を構成する複数のフレームについてのフレーム間処理により時間方向に複数の成分に分解する時間的順変換手段と、
フレーム内処理により空間方向に複数の成分に分解する空間的順変換手段とを備えることを特徴とする請求項1又は2記載の映像伝送装置。 - 前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割し、各フレーム群から1つのフレームを選択して時間方向に係る第1成分とし、各フレーム群における残りのフレームを時間方向に係る第2成分とすることを特徴とする請求項3記載の映像伝送装置。
- 前記時間的順変換手段は、前記映像信号を構成する連続したフレームを隣接する複数のフレームからなるフレーム群に分割して、各フレーム群に対して順方向に時間的変換処理を施し、前記時間的変換処理して得られた特定の成分を時間方向に係る第1成分とし、残りの成分を時間方向に係る第2成分とすることを特徴とする請求項3記載の映像伝送装置。
- 前記時間的変換処理としてN×N画素(Nは正の整数)の順方向の直交変換を施し、低域のM×M画素(Mは正の整数かつM<N)を前記時間方向に係る第1成分とすることを特徴とする請求項5記載の映像伝送装置。
- 前記時間的変換処理としてSステージ(Sは正の整数)のオクターブ分割を施し、第Tステージ(Tは正の整数かつT>S)の低域成分の復号に用いられる成分を前記時間方向に係る第1成分とすることを特徴とする請求項5記載の映像伝送装置。
- 前記空間的順変換手段は、前記映像信号を構成する各フレーム内の画素を隣接する複数の画素からなる画素群に分割し、各画素群から1つの画素を選択して空間方向に係る第1成分とし、各画素群における残りの画素を空間方向に係る第2成分とすることを特徴とする請求項3〜7の何れか1項に記載の映像伝送装置。
- 前記空間的順変換手段は、前記映像信号を構成する各フレーム内の画素を隣接する複数の画素からなる画素群に分割して、各画素群に対して順方向に空間的変換処理を施し、前記空間的変換処理して得られた特定の成分を空間方向に係る第1成分とし、残りの成分を空間方向に係る第2成分とすることを特徴とする請求項3〜7の何れか1項に記載の映像伝送装置。
- 前記空間的変換処理としてP×P画素(Pは正の整数)の順方向の直交変換を施し、低域のQ×Q画素(Qは正の整数かつQ<P)を前記空間方向に係る第1成分とすることを特徴とする請求項9記載の映像伝送装置。
- 前記空間的変換処理としてXステージ(Xは正の整数)のオクターブ分割を施し、第Yステージ(Yは正の整数かつY>X)の低域成分の復号に用いられる成分を前記空間方向に係る第1成分とすることを特徴とする請求項9記載の映像伝送装置。
- 請求項1に記載の映像伝送装置から送信された映像成分を受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備えることを特徴とする映像伝送装置。 - 前記合成手段により生成された映像信号の各フレーム画像を繋ぎ合わせてパノラマ画像を生成し前記表示手段に表示させるパノラマ生成手段を備えることを特徴とする請求項12記載の映像伝送装置。
- 撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された映像成分を受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備えることを特徴とする映像伝送システム。 - 撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する映像伝送方法であって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解工程と、
前記分解工程にて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択工程と、
前記選択工程にて選択された映像成分を送信する送信工程とを有することを特徴とする映像伝送方法。 - 撮像装置を搭載した移動機能を有するロボットの前記撮像装置により得られる映像信号を、伝送路を介して遠隔地の受信側装置に伝送する処理をコンピュータに実行させるためのプログラムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解ステップと、
前記分解ステップにて分解して得られる複数の映像成分の中から、状況に応じて送信する映像成分を選択する選択ステップと、
前記選択ステップにて選択された映像成分を送信する送信ステップとをコンピュータに実行させるためのプログラム。 - 移動機能を有する探査ロボットであって、
移動中であるか観察中であるかを検知する状況検知手段と、
映像を撮影する撮像手段と、
前記撮像手段により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記状況検知手段での検知結果に応じて、前記分解手段により分解された複数の映像成分の中から、伝送路を介して遠隔地の受信側装置に送信する映像成分を選択する選択手段と、
前記選択手段により選択された映像成分を前記伝送路に対して送信する送信手段とを備えることを特徴とする探査ロボット。 - 撮像装置を搭載した移動機能を有するロボットと遠隔地の受信側装置とが、伝送路を介して通信可能に接続される映像伝送システムであって、
前記撮像装置により得られる映像信号を時空間分解処理して複数の映像成分に分解する分解手段と、
前記分解手段により分解された複数の映像成分を送信する送信手段と、
前記送信手段と前記伝送路を介して接続され、前記送信手段より送信された複数の映像成分の中から、状況に応じた映像成分だけを選択して受信する受信手段と、
前記受信手段により受信した映像成分を合成して映像信号を生成する合成手段と、
前記合成手段により生成された映像信号に係る映像を表示する表示手段とを備えることを特徴とする映像伝送システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007044723A JP5017646B2 (ja) | 2007-02-23 | 2007-02-23 | 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007044723A JP5017646B2 (ja) | 2007-02-23 | 2007-02-23 | 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008211405A true JP2008211405A (ja) | 2008-09-11 |
JP5017646B2 JP5017646B2 (ja) | 2012-09-05 |
Family
ID=39787356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007044723A Active JP5017646B2 (ja) | 2007-02-23 | 2007-02-23 | 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5017646B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021180426A (ja) * | 2020-05-14 | 2021-11-18 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 遠隔作業装置とそのプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027448A (ja) * | 2000-04-28 | 2002-01-25 | Matsushita Electric Ind Co Ltd | 画像処理装置および監視システム |
JP2002040335A (ja) * | 2000-07-24 | 2002-02-06 | Tokyo Electron Ind Co Ltd | ミラーを用いた管渠内面検査装置 |
WO2005011285A1 (ja) * | 2003-07-24 | 2005-02-03 | Nippon Telegraph And Telephone Corporation | 画像符号化装置,画像復号装置,画像符号化方法,画像復号方法,画像符号化プログラム,画像復号プログラム,画像符号化プログラムを記録した記録媒体,画像復号プログラムを記録した記録媒体 |
JP2005267218A (ja) * | 2004-03-18 | 2005-09-29 | Nara Institute Of Science & Technology | 情報配信装置、情報配信システムおよび情報配信方法 |
JP2006180026A (ja) * | 2004-12-21 | 2006-07-06 | Matsushita Electric Ind Co Ltd | 監視映像記録システム |
-
2007
- 2007-02-23 JP JP2007044723A patent/JP5017646B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002027448A (ja) * | 2000-04-28 | 2002-01-25 | Matsushita Electric Ind Co Ltd | 画像処理装置および監視システム |
JP2002040335A (ja) * | 2000-07-24 | 2002-02-06 | Tokyo Electron Ind Co Ltd | ミラーを用いた管渠内面検査装置 |
WO2005011285A1 (ja) * | 2003-07-24 | 2005-02-03 | Nippon Telegraph And Telephone Corporation | 画像符号化装置,画像復号装置,画像符号化方法,画像復号方法,画像符号化プログラム,画像復号プログラム,画像符号化プログラムを記録した記録媒体,画像復号プログラムを記録した記録媒体 |
JP2005267218A (ja) * | 2004-03-18 | 2005-09-29 | Nara Institute Of Science & Technology | 情報配信装置、情報配信システムおよび情報配信方法 |
JP2006180026A (ja) * | 2004-12-21 | 2006-07-06 | Matsushita Electric Ind Co Ltd | 監視映像記録システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021180426A (ja) * | 2020-05-14 | 2021-11-18 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 遠隔作業装置とそのプログラム |
WO2021230366A1 (ja) * | 2020-05-14 | 2021-11-18 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 遠隔作業装置とそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5017646B2 (ja) | 2012-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPWO2016140083A1 (ja) | 画像処理装置および画像処理方法 | |
WO2019131577A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN109040601B (zh) | 一种多尺度非结构化的十亿像素vr全景摄影系统 | |
US8774539B2 (en) | Encoder, decoder, encoder system, decoder system, transmission adapter, encoding method, decoding method, and imaging apparatus | |
JP2011035576A (ja) | デジタル放送受信機、送信機及び端末装置 | |
WO2020213430A1 (ja) | 映像処理装置、映像処理方法及び映像処理プログラム | |
US20040208493A1 (en) | Video signal processing apparatus, video signal processing method, imaging apparatus, reproduction apparatus, and reception apparatus | |
Fiala | Pano-presence for teleoperation | |
JP2009044538A (ja) | 監視システムおよびこれに用いる撮像装置 | |
JP5017646B2 (ja) | 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム | |
KR101029466B1 (ko) | 복수 영상신호 송수신 시스템 및 그 운용 방법 | |
JP2008187678A (ja) | 映像生成装置及び映像生成プログラム | |
JP2007013786A (ja) | 可視光通信方法及び可視光通信装置 | |
TWI538519B (zh) | 視訊影像之擷取裝置 | |
JP2004040351A (ja) | 画像配信システム及び画像配信再生システム | |
Gül et al. | Low latency volumetric video edge cloud streaming | |
JP2012095052A (ja) | 映像伝送システムとその送信処理装置、受信処理装置及び映像伝送方法 | |
WO2016117480A1 (ja) | テレコミュニケーションシステム | |
JP2005064785A (ja) | 画像伝送装置、画像再生装置および画像伝送システム | |
CN107835433B (zh) | 一种赛事宽视角直播系统、相关联的设备和直播方法 | |
KR101652095B1 (ko) | 디지털 비디오 레코더를 이용한 실시간 원격 모니터링 및 재생 시스템 및 그 방법 | |
JP2020080479A (ja) | 動画記録再生装置、動画伝送システムおよび方法 | |
JP2013085128A (ja) | 映像多重装置、映像分離装置、映像信号伝送システム及びプログラム | |
JP4616153B2 (ja) | データ通信装置、データ通信方法およびデータ通信プログラム | |
JP3969183B2 (ja) | 画像表示システムと画像送信装置及び画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100108 |
|
A977 | Report on retrieval |
Effective date: 20110916 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110927 |
|
A521 | Written amendment |
Effective date: 20111125 Free format text: JAPANESE INTERMEDIATE CODE: A523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Effective date: 20120515 Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |