JP2007036650A - マルチメディア通信装置 - Google Patents

Abstract

【課題】触覚情報を再生するタイミングと、視覚情報、聴覚情報を再生するタイミングとの間にずれが生じないマルチメディア通信装置を提供する。
【解決手段】
被操作部２側の被操作制御部２１からの信号が、操作部１の操作制御部１１に到達するまでの遅延時間を遅延検出部３２で検出する。また、画像音声記録部２３からの信号が画像音声再生部１３に到達するまでの遅延時間を遅延検出部３５で検出する。演算部３６において、遅延検出部３２と遅延検出部３５で検出されたそれぞれの遅延時間に基づいて、符号化部２４、送受信部２５、送受信部１５、復号化部１４を設定するための最適なパラメータを選択し、このパラメータの選択に基づいて適正制御部３７が送受信部２５、送受信部１５、復号化部１４の設定を変更する。

【選択図】 図２

Description

本発明は、視聴覚情報に加えて触覚情報も伝送することができるマルチメディア通信装置に関する。

近年、インターネット等のネットワーク或いは通信回線の発達に伴い、これらを利用した遠隔医療等が注目されている。遠隔医療は、例えば、手術等の医療作業を遠隔からの機器操作で行うものであるが、このとき、操作者には視聴覚情報に加えて触覚情報を適切にフィードバックすることが、機器操作の操作性向上のために重要である。

特許文献１（特開２００３−２８１６７２号公報）には、遠隔医療用通信ステムとして、第１情報処理装置側の三次元形状計測部、表面テクスチャ生成部、弾力特性データ生成部、物理特性データ生成部からデータを通信部にて多重化して、該通信部からネットワークを介して第２情報処理装置に伝送する形状情報伝達システムが開示されている。
特開２００３−２８１６７２号公報

しかしながら、上記特許文献１に開示された形状情報伝達システムでは、ネットワークのトラフィックの状況によっては、第２情報処理装置側に情報が到達するのが大幅に遅れてしまうことがある。第１情報処理装置側から送信される情報は多重化されたものであるので、遅れて第２情報処理装置に到達した多重化情報を、第２情報処理装置側ではさらに分離して再生しなければならない。そうなると、第２情報処理装置側で再生されるタイミングは、第１情報処理装置側で実際にデータが取得されたタイミングから大幅にずれてしまう。

第１情報処理装置から第２情報処理装置へ送信される情報が視聴覚情報のみであれば、多少の遅延が生じても大きな問題とはならないが、遠隔医療における機器操作を想定した場合、触覚情報が遅れて到達することは、操作者に違和感を生じさせるため非常に問題となる。

そこで、視覚情報、聴覚情報、触覚情報を送信する際には、触覚情報のみ高品質な回線を用い、視覚情報、聴覚情報には品質は高くはないものの帯域は広い回線を用いるというように、送信する情報に応じて使用する回線を分けることが提案されている。この方法では、視覚情報と聴覚情報を多重化して、品質は高くはないが帯域は広い回線で送信する。受信側では、この回線で送信されてきた情報を、視覚情報と聴覚情報とに分離、さらに別の高品質回線で送信された触覚情報とをこれらに合わせて再生する。

このような手法を用いることにより、遠隔医療における機器操作にとって極めて重要な触覚情報を遅延させることなく確実に伝送することが可能となる。

しかしながら、このような手法を用いた場合、受信側において、触覚情報を再生するタイミングと、視覚情報、聴覚情報を再生するタイミングとの間にずれが生じてしまうという問題があった。このようなずれは、遠隔医療での機器操作において看過できない問題であり、遠隔医療を実現するために解決すべき技術的な課題となっていた。

このような課題を解決するために、請求項１に係る発明は、操作部と被操作部とを第１通信回線及び第２通信回線の２つの通信回線を介して、触覚情報、視覚情報、聴覚情報を伝送するマルチメディア通信装置において、該操作部は、該第１通信回線と情報を送受信する操作部側第１通信回線用送受信部と、該操作部側第１通信回線用送受信部と情報を授受する操作制御部と、該第２通信回線と情報を送受信する操作部側第２通信回線用送受信部と、該操作部側第２通信回線用送受信部からの情報を復号化する復号化部と、該復号化部で復号化された画像データ及び音声データを再生する画像音声再生部とから成り、該被操作部は、該第１通信回線からの情報を送受信する被操作部側第１通信回線用送受信部と、該被操作部側第１通信回線用送受信部と情報を授受する被操作制御部と、画像音声記録部と、該画像音声記録部で取得された画像データ及び音声データを符号化する符号化部と、該符号化部で符号化された情報を該第２通信回線へ送信する被操作部側第２通信回線用送受信部とから成り、該被操作制御部からの信号が該操作制御部に到達するまでの遅延時間を検出する第１遅延検出部と、該画像音声記録部からの信号が該画像音声再生部に到達するまでの遅延時間を検出する第２遅延検出部と、を具備し、該第１遅延検出部と該第２遅延検出部で検出されたそれぞれの遅延時間に基づいて、該符号化部、該被操作部側第２通信回線用送受信部、該操作部側第２通信回線用送受信部、該復号化部のうち少なくとも一つの設定を変更することを特徴とするものである。

また、請求項２に係る発明は、請求項１に記載のマルチメディア通信装置において、該画像音声記録部からの信号が該画像音声再生部に到達するまでの遅延時間の検出は、該画像音声記録部で取得された画像データが、該画像音声再生部の表示画面で再生されるまでの時間を計測することにより行うことを特徴とするものである。

また、請求項３に係る発明は、請求項１又は請求項２に記載のマルチメディア通信装置において、該第２通信回線は、該第１通信回線より広帯域であることを特徴とする。

また、請求項４に係る発明は、請求項１乃至請求項３のいずれかに記載のマルチメディア通信装置において、該第2通信回線は、複数の通信回線からなることを特徴とする。

また、請求項５に係る発明は、請求項１乃至請求項４のいずれかに記載のマルチメディア通信装置において、該符号化部には、該符号化部の設定変更を行う符号化調整部が設けられ、該符号化調整部で、解像度の選択、圧縮アルゴリズムの種類の選択、圧縮率の変更、フレームレートの変更、フレーム構成の変更を行うことを特徴とするものである。

また、請求項６に係る発明は、請求項１乃至請求項４のいずれかに記載のマルチメディア通信装置において、該被操作部側第２通信回線用送受信部には、該被操作部側第２通信回線用送受信部の設定変更を行うパケット平滑化調整・バッファ調整部が設けられ、該パケット平滑化調整・バッファ調整部で、パケット平滑化の度合いの変更、送信バッファのサイズの変更を行うことを特徴とするものである。

また、請求項７に係る発明は、請求項１乃至請求項４のいずれかに記載のマルチメディア通信装置において、該操作部側第２通信回線用送受信部には、該操作部側第２通信回線用送受信部の設定変更を行うバッファ調整部が設けられ、該バッファ調整部で、受信バッファのサイズの変更を行うことを特徴とするものである。

また、請求項８に係る発明は、請求項１乃至請求項４のいずれかに記載のマルチメディア通信装置において、該復号化部には、該復号化部の設定変更を行う復号化調整部が設けられ、該復号化調整部で、復号化処理を打ち切る率の変更を行うことを特徴とするものである。

本発明では、被操作制御部からの信号が操作制御部に到達するまでの遅延時間を検出する第１遅延検出部と、画像音声記録部からの信号が画像音声再生部に到達するまでの遅延時間を検出する第２遅延検出部と、第１遅延検出部と第２遅延検出部で検出されたそれぞれの遅延時間に基づいて、符号化部、被操作部側第２通信回線用送受信部、操作部側第２通信回線用送受信部、復号化部のうち少なくとも一つの設定を変更するように構成されているので、操作部において触覚情報、視覚情報、聴覚情報がほぼ同時に再生され、操作者にとって違和感なく機器操作ができるという格別な効果を得ることができる。

特に、画像音声記録部からの信号が画像音声再生部に到達するまでの遅延時間の検出は、画像音声記録部で取得された画像データが、画像音声再生部の表示画面で再生されるまでの時間を計測するように構成されているので、より正確な遅延時間を計測することできる。そして、このように計測された遅延時間に基づいて、各種パラメータの最適化を行うものであり、触覚情報、視覚情報、聴覚情報のずれは非常に少ないものとなる。

以下、本発明の実施の形態を図面を参照しつつ説明する。図１は、本発明の実施の形態のマルチメディア通信装置の概略構成を示すブロック図であり、１はマルチメディア通信装置の操作部であり、２はマルチメディア通信装置の被操作部である。例えば、遠隔医療を想定した場合、遠隔地の被操作部３側にいる患者に対して、操作者が操作部２側から操作を行い、施術等を行う。

なお、本発明の実施の形態では遠隔医療等を想定した状況につき説明しているが、本発明のマルチメディア通信装置は遠隔医療への応用に限らず、例えば、設備の遠隔保守作業等にも応用し得るものであり、他にも種々の応用が考え得る。

３、４は通信回線であり、３は触覚情報を伝送するために用いる高品位の通信回線であり、例えば、専用線やＩＳＤＮなどの公衆回線を用いる。また、４は通信回線３ほど品質は高くはないが広帯域の伝送が可能な回線であり、例えばインターネットなどを用いる。なお、通信回線４は、広帯域の伝送を実現するために、複数の通信回線をまとめた通信回線を用いても良い。

触覚は作用・反作用に基づく感覚である。すなわち、触覚は、押すなどの作用力に対して反作用力があって初めて触覚として知覚し得る。遠隔医療を想定したマルチメディア通信装置では、操作部２側で操作者が操作制御装置等を操作した動作が、通信回線３を通じて被操作部２側で再現され、この再現された動作が対象物に作用し、これに対する反作用として対象物から受けた力を再び通信回線を通じて、操作部１側の操作制御装置等にフィードバックして、操作者に対して操作感を提供する必要がある。このように触覚情報は作用・反作用を通信回線で送受信する必要があるので、触覚情報を送受信する際の回線は、双方向通信を用いることが基本となる。

一方、本発明のような遠隔医療等を想定した通信装置の場合、視覚情報、聴覚情報は片方向の通信が主となる。すなわち、このような装置の場合、被操作部２側で記録された画像・音声に係る大量のデータを、操作部１側の操作者に提供することがメインとなるので、視覚情報、聴覚情報は一方向の通信が主となるわけである。

通信回線の質であるが、「発明が解決しようとする課題」の欄でも述べた通り、触覚情報のみ高品質な回線を用い、視覚情報、聴覚情報には品質は高くはないものの帯域は広い回線を用いるようにする。

以上の通り、触覚情報、視覚情報、聴覚情報など伝送する情報の性質の違い、本発明の通信装置で必要となる通信回線の特性を考慮した上で、本発明では、触覚情報伝送用として、例えば、専用線やＩＳＤＮなどの高品位の通信回線３を用い、視覚情報、聴覚情報伝送用として、インターネットなどの、通信回線３ほど品質は高くはないが広帯域の伝送が可能な通信回線４を用いるものである。なお、通信回線４としては、帯域幅を確保するために、複数の通信回線をまとめたものを用いても良い。

操作部１側の１１は操作制御部であり、アクチュエータ、位置センサ等で構成されており、操作者による操作を検出する機構と、操作者に対して操作感を与える機構の双方が備えられている。また、１２は送受信部であり、操作制御部１１で検出された信号を通信回線３に送信し、通信回線３を通じて被操作部２側からの信号を受信し、操作制御部１１に伝達する役割を果たす。

２１は被操作部２側の被操作制御部であり、アクチュエータ、位置センサ等で構成されている。２２は被操作部２側の送受信部である。被操作部２側の被操作制御部２１は、送受信部２２で受信した操作制御部１１からの信号により駆動され、例えば患者の患部等の対象物に対して作用を及ぼす。この作用に対する対象物からの反作用は同じく被操作制御部２１で検出され、送受信部２２から通信回線３に対して送出される。この反作用に関する信号は、操作部１側の送受信部１２で受信され、操作制御部１１で再現され、操作者に対して操作感として伝達される。

被操作部２側において、２３は画像音声記録部であり、例えば患者の患部等の対象物の様子を撮影するカメラ、マイク等からなる。２４は符号化部であり、画像音声記録部２３で収録された画像データ及び音声データを、ＭＰＥＧ等の周知の符号化手法により符号化する。２５は、符号化部２４で符号化されたデータを通信回線４に送出する送受信部である。

操作部１側では、この符号化された信号を送受信部１５で受信し、復号化部１４で復号化、画像音声再生部１３で再生し、操作者に提示する。

以上が基本構成であって、以下本発明のマルチメディア通信装置において特有な構成について説明する。図２は、本発明の実施の形態のマルチメディア通信装置に係る詳細なブロック図である。以下、図１と同じ符号番号のものについては説明を省略する。

図２において、３１は被操作制御部２１に設けられた計時部であり、被操作制御部２１にて取得されるデータに時刻データを付加する機能を有する。このように、被操作制御部２１では、いつどの位置でどのような力が働いたかが分かる仕組みとなっている。被操作制御部２１で取得されたデータはこの時刻データと共に、通信回線３を介して、操作部１側に伝送される。３２は操作制御部１１に設けられた遅延検出部であり、被操作制御部２１から送信されたデータのうち時刻データを参照して遅延時間を検出する機能を有する。この遅延検出部３２で検出された遅延時間を、触覚情報の遅延と呼ぶこととする。

３３は画像音声記録部２３に設けられた計時部であり、画像音声記録部２３にて記録された画像及び音声データに時刻データを付加する機能を有する。この時刻データは、符号化部２４で符号化された画像及び音声データと共に通信回線４を介して、操作部１側に伝送される。

画像音声再生部１３の表示画面の一部には、光学センサ３４が設けられている。本発明では、画像音声記録部２３で取得された画像データが、実際に画像音声再生部１３の表示画面で再生されるまでの時間を計測することにより遅延時間を検出するものであり、この目的のために、光学センサ３４で実際に画面表示がなされたかどうかを検出する。画像音声再生部１３の遅延検出部３５では、この光学センサ３４で検出された情報と画像データ及び音声データに付加された時刻データとを参照して、画像データ及び音声データの遅延時間を検出する。このような方法で遅延時間を検出しているため、遅延検出部３５で検出された遅延時間には、通信回線４での遅延時間、符号化、復号化に伴う遅延時間、画像音声再生部１３で実際に画像が表示されるまでの遅延時間など、画像の再生が完了するまでの全ての遅延時間が含まれており、より正確な遅延時間を計測することできる。そして、本発明は、このように計測された遅延時間に基づいて、後述するように各種パラメータの最適化を行うものであり、触覚情報と視聴覚情報のずれはゼロに近くなる。なお、この遅延検出部３５で検出された遅延時間を、視聴覚情報の遅延と呼ぶこととする。

演算部３６では、遅延検出部３２から入力される触覚情報の遅延と、遅延検出部３５から入力される視聴覚情報の遅延との差分をとり、この差分がゼロとなるよう、すなわち、触覚情報を再生するタイミングと、視覚情報、聴覚情報を再生するタイミングとの間にずれが生じないような、符号化部２４、送受信部２５、送受信部１５、復号化部１４を設定するための最適なパラメータを演算する。

ここで、パラメータとは具体的には、
・符号化部２４における、送信する画像データの解像度、圧縮アルゴリズムの種類、圧縮率、フレーム構成などの符号化に関連するパラメータ、
・送受信部２５におけるパケット送信間隔の平滑化に係るパラメータ、送信バッファサイズなどのパラメータ、
・送受信部１５における受信バッファサイズなどのパラメータ、
・復号化部１４における復号化に関連するパラメータ、
等があり、このようなパラメータとして最適なものを用いて符号化部２４、送受信部２５、送受信部１５、復号化部１４を設定することによって、本発明では、触覚情報の遅延と、視聴覚情報の遅延との差分をゼロとなるように制御するものである。

演算部３６で演算された最適パラメータに基づいて適正制御部３７は、図２の点線で示されるように、符号化部２４における符号化調整部４４、送受信部２５におけるパケット平滑化調整・バッファ調整部４３、送受信部１５におけるバッファ調整部４２、復号化部１４における復号化調整部４１を制御する。各調整部４１〜４４での具体的な調整方法は以下の通りである。
（１）符号化調整部４４では、最適パラメータに基づいて、適切な解像度を選択し、また符号化に関連して、適切な圧縮アルゴリズムの種類を選択した上で、圧縮率やフレームレート、フレーム構成などのパラメータを調整する。このようにすることによって符号化部２４での遅延時間を制御することができる。
（２）パケット送信間隔を送受信部２５のバッファで平滑化するが、この平滑化の度合いに応じて遅延が生じる。そこで、パケット平滑化調整・バッファ調整部４３では、どの程度の平滑化を行うかを最適パラメータでもって調整する。また、パケット平滑化調整・バッファ調整部４３では、送信バッファのサイズを調整することによって遅延時間を制御する。
（３）バッファ調整部４２では、受信バッファのサイズを調整することにより遅延時間の最適化を図るものである。受信バッファのサイズを大きくすればパケット破棄率が低下するが遅延時間が大きくなる。逆に受信バッファのサイズを小さくすれば、パケット破棄率は高くなる。このような特性を利用して、受信バッファの最適なサイズが決定される。
（４）復号化部１４において、時間的余裕がある場合には、できるだけ多くのデータを復号化しようとするが、画像音声再生部１３で画像の再生が間に合わない場合、復号化を適宜打ち切る処理を行う。復号化調整部４１では、最適パラメータを得て、このような調整を行う。

なお、本発明では、このような調整部４１〜４４を全て設けることは必ずしも必須ではなく、本発明は、どれか一つの調整部のみの構成でも良いし、或いは調整部をいくつか組み合わせた構成でもよい。

以上のように、本発明では、演算部３６で演算された最適パラメータに基づいて、適正制御部３７が各調整部を制御するように構成されているので、本発明は、触覚情報の遅延と視聴覚情報の遅延との間の差分がほとんどなくなり、操作部１において触覚情報、視聴覚情報がほぼ同時に再生されることとなるので、操作者にとって違和感なく機器操作ができるという格別な効果を得ることができる。

本発明の実施の形態のマルチメディア通信装置の概略構成を示すブロック図である。 本発明の実施の形態のマルチメディア通信装置に係る詳細なブロック図である。

符号の説明

１・・・操作部、２・・・被操作部、３・・・通信回線、４・・・通信回線、１１・・・操作制御部、１２・・・送受信部、１３・・・画像音声再生部、１４・・・復号化部、１５・・・送受信部、２１・・・被操作制御部、２２・・・送受信部、２３・・・画像音声記録部、２４・・・符号化部、２５・・・送受信部、３１・・・計時部、３２・・・遅延検出部、３３・・・計時部、３４・・・センサ、３５・・・遅延検出部、３６・・・演算部、３７・・・適正制御部、４１・・・復号化調整部、４２・・・バッファ調整部、４３・・・パケット平滑化調整・バッファ調整部、４４・・・符号化調整部

Claims (8)

1. 操作部と被操作部とを第１通信回線及び第２通信回線を介して、触覚情報、視覚情報、聴覚情報を伝送するマルチメディア通信装置において、
   該操作部は、該第１通信回線と情報を送受信する操作部側第１通信回線用送受信部と、
   該操作部側第１通信回線用送受信部と情報を授受する操作制御部と、
   該第２通信回線と情報を送受信する操作部側第２通信回線用送受信部と、
   該操作部側第２通信回線用送受信部からの情報を復号化する復号化部と、
   該復号化部で復号化された画像データ及び音声データを再生する画像音声再生部とから成り、
   該被操作部は、該第１通信回線からの情報を送受信する被操作部側第１通信回線用送受信部と、
   該被操作部側第１通信回線用送受信部と情報を授受する被操作制御部と、
   画像音声記録部と、
   該画像音声記録部で取得された画像データ及び音声データを符号化する符号化部と、
   該符号化部で符号化された情報を該第２通信回線へ送信する被操作部側第２通信回線用送受信部とから成り、
   該被操作制御部からの信号が該操作制御部に到達するまでの遅延時間を検出する第１遅延検出部と、
   該画像音声記録部からの信号が該画像音声再生部に到達するまでの遅延時間を検出する第２遅延検出部と、を具備し、
   該第１遅延検出部と該第２遅延検出部で検出されたそれぞれの遅延時間に基づいて、
   該符号化部、該被操作部側第２通信回線用送受信部、該操作部側第２通信回線用送受信部、該復号化部のうち少なくとも一つの設定を変更することを特徴とするマルチメディア通信装置。
2. 該画像音声記録部からの信号が該画像音声再生部に到達するまでの遅延時間の検出は、該画像音声記録部で取得された画像データが、該画像音声再生部の表示画面で再生されるまでの時間を計測することにより行うことを特徴とする請求項１に記載のマルチメディア通信装置。
3. 該第２通信回線は、該第１通信回線より広帯域であることを特徴とする請求項１又は請求項２に記載のマルチメディア通信装置。
4. 該第2通信回線は、複数の通信回線からなることを特徴とする請求項１乃至請求項３のいずれかに記載のマルチメディア通信装置。
5. 該符号化部には、該符号化部の設定変更を行う符号化調整部が設けられ、該符号化調整部で、解像度の選択、圧縮アルゴリズムの種類の選択、圧縮率の変更、フレームレートの変更、フレーム構成の変更を行うことを特徴とする請求項１乃至請求項４のいずれかに記載のマルチメディア通信装置。
6. 該被操作部側第２通信回線用送受信部には、該被操作部側第２通信回線用送受信部の設定変更を行うパケット平滑化調整・バッファ調整部が設けられ、該パケット平滑化調整・バッファ調整部で、パケット平滑化の度合いの変更、送信バッファのサイズの変更を行うことを特徴とする請求項１乃至請求項４のいずれかに記載のマルチメディア通信装置。
7. 該操作部側第２通信回線用送受信部には、該操作部側第２通信回線用送受信部の設定変更を行うバッファ調整部が設けられ、該バッファ調整部で、受信バッファのサイズの変更を行うことを特徴とする請求項１乃至請求項４のいずれかに記載のマルチメディア通信装置。
8. 該復号化部には、該復号化部の設定変更を行う復号化調整部が設けられ、該復号化調整部で、復号化処理を打ち切る率の変更を行うことを特徴とする請求項１乃至請求項４のいずれかに記載のマルチメディア通信装置。

Images