JP2009060251A - 情報処理装置及び遠隔診断システム - Google Patents

Abstract

【課題】ユーザのニーズ及びクライアント２，２’との間の通信速度等に応じた適切な画像送信を実現することが可能なサーバを提供する。
【解決手段】俯瞰画像及び拡大画像を符号化する画像処理部４３と、画像処理部４３により符号化された画像を、クライアント２、２’に送信する通信制御部４５と、ビデオカメラ５により撮影される俯瞰画像に動きが無い場合に、俯瞰画像を送信する第１モードと、俯瞰画像に動きがある場合に、俯瞰画像を送信する第２モードと、拡大用カメラにより撮影される拡大画像を送信する第３モードとで、画像処理部４３による符号化方式及び通信制御部４５による送信方法を変更する制御部４６と、を備えることを特徴とする。
【選択図】図２

Description

本発明は情報処理装置及び遠隔診断システムに関し、特に対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続されるとともに、少なくとも拡大画像撮影装置を遠隔操作する遠隔操作装置が接続された情報処理装置、及び該情報処理装置を備える遠隔診断システムに関する。

従来より、ビデオカメラ及びプロジェクタが接続されているサーバ（例えばコンピュータ）と、ネットワークを介して当該サーバに接続される遠隔地のクライアント（例えばコンピュータ）とを備え、サーバ側に存在する診断対象物を、クライアント側で診断する遠隔診断システムが知られている（例えば、特許文献１参照）。

この遠隔診断システムでは、サーバは、サーバに接続されているビデオカメラにより撮影される対象物の撮影画像を、ネットワークを介してクライアントに送信するものであり、クライアントは、表示装置の表示画面に立体物を含む撮影画像を表示し、当該表示画面上にアノテーション画像（線、図形、文字）などが書き込まれると、当該アノテーション画像をネットワークを介してサーバに送信するものである。また、サーバは受信したアノテーション画像をプロジェクタに送信し、プロジェクタは受信したアノテーション画像を対象物を含む投影領域の適切な位置（これは、クライアントが、撮影画像の範囲内でアノテーション画像を書き込んだ位置に対応する）に投影する。

このような遠隔診断システムでは、効率的な診断を行うために、サーバとクライアントとの間における撮影画像の送信を効率的に行うことが必要となる。このような観点から、最近では、撮影した画像中に動きが検出されない場合には、ＵＤＰ（User Datagram Protocol）により画像を送信し、画像中に動きが検出された場合には、信頼性の高いＴＣＰ（Transmission Control Protocol）により画像を送信する技術が提案されている（例えば、特許文献２参照）。

特開２００５−３３７５６号公報 特開２０００−２２４５６９号公報

上記特許文献２に記載の技術では、画像内に動きがあるときには、高品質の画像がクライアントに送信され、画像内に動きがないときには低品質の画像が送信されることになる。しかるに、当該技術を、上記遠隔指示システムに採用した場合、クライアント側のユーザが重要視する画像が高品質で送信されないことや、ユーザがほとんど重要視しない画像が高品質で送信されることがあり、必ずしもユーザの要求に適合しないことが判明してきた。

そこで、本発明は上記の課題に鑑みてなされたものであり、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能な情報処理装置、及び適切な画像に基づく対象物の診断を行うことが可能な遠隔診断システムを提供することを目的とする。

上記課題を解決するために、本発明の情報処理装置は、対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続されるとともに、少なくとも前記拡大画像撮影装置を遠隔操作する遠隔操作装置が接続されたものであり、前記俯瞰画像及び前記拡大画像を符号化する符号化手段と、前記符号化手段により符号化された画像を、前記遠隔操作装置に送信する送信手段と、前記俯瞰画像撮影装置により撮影される前記俯瞰画像に継続した変化が無い場合に、前記俯瞰画像を送信する第１モードと、前記俯瞰画像に継続した変化がある場合に、前記俯瞰画像を送信する第２モードと、前記拡大画像撮影装置により撮影される拡大画像を送信する第３モードとで、前記符号化手段による符号化方式及び前記送信手段による送信方法を変更する変更手段と、を備えることを特徴とする。

これによれば、俯瞰画像に継続した変化が無い場合にその俯瞰画像を送信する第１モードと、俯瞰画像に継続した変化がある場合にその俯瞰画像を送信する第２モードと、拡大画像撮影装置により撮影される拡大画像を送信する第３モードとで、符号化方式と送信方法を変更して、画像の送信を行うので、高画質な画像の送信が必要な場合、比較的低画質な画像の送信で良い場合、及び拡大画像の送信を行う場合など、各画像に応じた適切な符号化方式及び送信方法を選択することで、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能となる。

この場合において、前記第１モードの符号化方式は、前記第２モードの符号化方式と比較して、前記俯瞰画像が高画質となる符号化方式であり、前記第１モードの送信方法は、前記第２モードの送信方法と比較して、信頼性の高い送信方法であることとすることができる。かかる場合には、俯瞰画像に継続した変化（動き）がある場合には、対象物の移動や俯瞰画像撮影装置のパン・チルト・ズーム動作などが行われている場合が多く、その画像は、俯瞰画像を観察するユーザにとっては比較的重要ではない画像である可能性が高く、その一方で、俯瞰画像に継続した変化（動き）がない場合には、その画像は、俯瞰画像を観察するユーザにとって比較的重要な画像である可能性が高いので、それらの事情を考慮した適切な符号化方式及び送信方法を選択することにより、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能となる。

また、前記第３モードの符号化方式は、前記第２モードの符号化方式と比較して、前記俯瞰画像が高画質となる符号化方式であり、前記第３モードの送信方法は、前記第２モードの送信方法と比較して、信頼性の高い送信方法であることとすることができる。かかる場合には、拡大画像は、その画像を観察するユーザにとって重要度が高い画像である可能性が高いので、当該重要度を考慮した適切な符号化方式及び送信方法を選択することで、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能となる。

この場合において、前記第２モード及び第３モードの符号化方式は、動画用の符号化方式であることとすることができる。また、前記変更手段は、前記第３モードにおいて前記拡大画像に継続的な変化がない場合に、前記第１モードと同一の符号化方式及び送信方法に設定することとすることができる。かかる場合には、拡大画像に継続的変化がない場合には、第１モードと同様に扱うことにより、拡大画像を、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じて適切に送信することが可能となる。更に、前記第３モードの符号化方式及び送信方法を、ユーザからの指示に従って設定する設定手段を更に備えることとすることができる。かかる場合には、ユーザにとって重要度の高い画像を高品質かつ高信頼度で送信するなど、ユーザのニーズにあわせた画像送信を実現することが可能となる。

本発明の情報処理装置では、前記送信手段は、前記拡大画像を送信している間は、前記俯瞰画像の送信を中止することとすることができる。かかる場合には、拡大画像を送信している間は、ユーザは拡大画像のみを観察している可能性が高いと考えられるので、俯瞰画像の送信を中止することにより、遠隔操作装置との間の通信回線等への負担を軽減することが可能となる。

また、本発明の情報処理装置では、前記対象物に対して図形を投影する投影装置が更に接続され、前記投影された図形内の画像を抽出する抽出手段を更に備え、前記変更手段は、前記抽出手段により抽出された画像を、前記第１モードと同一のモードで前記遠隔操作装置に送信することとすることができる。かかる場合には、ユーザにより描画された図形内の画像を抽出して、第１モードと同一のモードで画像を送信することにより、ユーザの要求に応じた画像を適切に送信することが可能となる。

また、本発明の情報処理装置では、前記第１モードでは、プログレッシブ符号化により、前記俯瞰画像を送信することとすることができる。かかる場合には、通信回線の性能等にかかわらず、画像全体を遠隔操作装置に送信することが可能となる。

本発明の遠隔診断システムは、対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続された本発明の情報処理装置と、少なくとも前記拡大画像撮影装置を遠隔操作するとともに、前記情報処理装置から送信された画像を表示する遠隔操作装置と、を備えることを特徴とする。

これによれば、適切な画像の送信を行うことが可能な情報処理装置により送信された画像が、遠隔操作装置において表示されるので、適切な画像に基づく対象物の診断を行うことが可能となる。

本発明によれば、ユーザのニーズ及び遠隔操作装置との間の通信速度等に応じた適切な画像送信を実現することが可能な情報処理装置、及び適切な画像に基づく対象物の診断を行うことが可能な遠隔診断システムを提供することができる。

以下、本発明の一実施形態について図１〜図７に基づいて詳細に説明する。

図１には、本実施形態の遠隔診断システム１００の構成が概略的に示されている。

図１の遠隔診断システム１００は、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（情報処理装置）を含むサーバシステム１０と、クライアントとして機能するＰＣ２（遠隔操作装置）を含むクライアントシステム２０と、ＰＣ２’（遠隔操作装置）を含むクライアントシステム２０’と、を備えている。なお、以下においては、説明の便宜上、ＰＣ１を「サーバ１」と呼び、ＰＣ２、ＰＣ２’を「クライアント２」、「クライアント２’」と呼ぶものとする。

サーバ１とクライアント２とは、イントラネット２３に接続されている。また、クライアント２’は、イントラネット２３’に接続されている。また、イントラネット２３は、ファイヤーウォール２５を介してインターネット３に接続されており、イントラネット２３’は、ファイヤーウォール２５’を介してインターネット３に接続されている。

サーバ１には、プロジェクタ４（投影装置）と、ビデオカメラ５（俯瞰画像撮影装置）と、拡大用カメラ６（拡大画像撮影装置）と、がそれぞれ接続されている。

プロジェクタ４は、サーバ１からの制御コマンドに基づいて、診断対象物７に対して、ハーフミラー８を介して単なる光線を照射したり、アノテーション画像（注釈画像）等を投影したりする。なお、アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。

ビデオカメラ５は、診断対象物７の反射画像をハーフミラー８を介して撮影し、撮影画像（俯瞰画像）をサーバ１に向けて出力する。拡大用カメラ６は、診断対象物７の一部を拡大した状態で撮影することが可能なパン・チルト・ズーム機能付きのビデオカメラであり、撮影した画像（拡大画像）をサーバ１に出力する。

クライアント２には、ディスプレイ（表示手段）２１とマウスなどの入力インタフェース２４が接続されており、ディスプレイ２１には、俯瞰画像と拡大画像とが、別々のウィンドウ２２ａ，２２ｂ内に表示される。また、クライアント２’には、ディスプレイ（表示手段）２１’と入力インタフェース２４’が接続されており、ディスプレイ２１’にも、ディスプレイ２１に表示された画像と同一の俯瞰画像及び拡大画像が、別々のウィンドウ２２ａ，２２ｂ内に表示される。なお、クライアント２（２’）を、ディスプレイ２１（２１’）を備える一体型のパーソナルコンピュータにより構成することとしても良い。

ウィンドウ２２ａそれぞれには、ペン、テキスト、消去、ズームなどのボタン群、線種や色種のアイコンが表示されている。ウィンドウ２２ａ内の表示領域２３ａ内には、ビデオカメラ５で撮影された撮影画像（俯瞰画像）が表示される。図１では、診断対象物７をビデオカメラ５により撮影した撮影画像（俯瞰画像）がウィンドウ２２ａの表示領域２３ａ内に表示された状態が示されている。

このように構成されるウィンドウ２２ａにおいては、クライアント２（又は２’）に接続された入力インタフェース２４（又は２４’）により、ペンボタンがクリックされて、マウスポインタの移動により、診断対象物７上に図形等が記載されると、当該図形の情報（具体的には、当該図形を示す、表示領域２３ａにおける座標（ｘ、ｙ））はクライアント２からサーバ１に出力される。サーバ１は、当該図形の情報をプロジェクタ４の座標の情報に変換し、プロジェクタ４に出力する。プロジェクタ４は当該変換された図形の情報に基づいて診断対象物７上に当該図形を投影する。なお、撮影画像は表示領域２３ａに表示されるため、撮影画像における座標（ｘ、ｙ）は、表示領域２３ａにおける座標（ｘ、ｙ）と一致する。

また、ウィンドウ２２ａにおいては、例えば、クライアント２（２’）に接続された入力インタフェース２４（２４’）により、ズームボタンがクリックされて、マウスポインタで、診断対象物７上の一部の領域（例えば、図１において点線で囲まれた領域）が指定されると、その操作情報が、クライアント２からネットワーク（３、２３，２３’）を介してサーバ１に送られ、サーバ１は、拡大用カメラ６を制御して、指定された領域に該当する部分を撮影する。また、撮影画像（拡大画像）は、サーバ１から、クライアント２に送られる。クライアント２では、ディスプレイ２１上のウィンドウ２２ｂの表示領域２３ｂ内に、当該拡大画像を表示する。なお、ウィンドウ２２ｂには、表示領域２３ｂのほか、ズームイン、ズームアウト、及び上下左右への画像移動ボタンが設けられている。

次に、サーバ１の機能構成について、図２（ａ）に基づいて説明する。サーバ１は、図２（ａ）に示されるように、画像入力部４１と、動き検出部４２と、画像処理部４３と、画像出力部４４と、通信制御部４５と、制御部４６と、操作処理部４７とを備えている。

画像入力部４１は、ビデオカメラ５及び拡大用カメラ６から入力される画像信号をデジタルデータ化する。動き検出部４２は、画像入力部４１から入力された画像に継続的な変化（動き）があったか否かを検出し、その検出結果を制御部４６に通知する。

画像処理部４３は、制御部４６の指示の下、画像入力部４１から入力された画像を、処理（圧縮等）する。これについて、更に詳述すると、画像処理部４３は、図３（ａ）に示されるように、符号化切り替え部６１を備えており、この符号化切り替え部６１は、制御部４６の指示の下、画像圧縮方式を、例えば、ＪＰＥＧ（低圧縮）、ＪＰＥＧ（高圧縮・プログレッシブ化）、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４から選択して、画像の圧縮処理を行う。ＪＰＥＧは、静止画の符号化アルゴリズムであり、符号化パラメータの制御により、圧縮率を制御することが可能であるので、適宜、高圧縮率にしたり、低圧縮率にしたりすることができる。ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４は、動画符号化アルゴリズムである。ＭＰＥＧ２は、比較的高画質で送信できる点に特徴を有し、ＭＰＥＧ４は、低い転送レートでも送信できる点に特徴を有し、Ｈ．２６４は、高画質で送信できる点に特徴を有している。制御部４６は、例えば、図３（ｂ）に示されるようなマトリクスに基づいて、画像圧縮方法を切り替える（これについては、後に更に詳述する）。

図２（ａ）に戻り、画像出力部４４は、操作処理部４７の指示に従って、プロジェクタ４を制御してアノテーション（図形）等を診断対象物７に描画する。通信制御部４５は、画像処理部４３で処理された画像データの送信や、クライアント２，２’との間のカメラ操作情報の送信制御を行う。これについて、更に詳述すると、通信制御部４５は、図４に示されるように、通信方法切り替え部６２を含んでおり、この通信方法切り替え部６２は、制御部４６の指示の下、例えば、送信方法（送信プロトコル）をＵＤＰ（User Datagram Protocol）とＴＣＰ（Transmission Control Protocol）とから選択して切り替え、画像データの通信を行う。

図２（ａ）に戻り、制御部４６は、動き検出部４２や操作処理部４７からの信号に応じて、画像処理部４３や通信制御部４５を制御する。操作処理部４７は、通信制御装置４５を介してクライアント２（２’）のユーザからの指示や、サーバ１の近傍にいるユーザからの指示を受け、その操作指示を、画像処理部４３、通信制御部４５、制御部４６などに通知する。

次に、クライアント２（２’）の機能構成について、図２（ｂ）に基づいて説明する。クライアント２（２’）は、図２（ｂ）に示されるように、画像表示部５１と、画像処理部５２と、操作入力部５３と、通信制御部５４と、操作処理部５５とを備えている。

画像表示部５１は、サーバ１から送信されてきた画像を、ディスプレイ２１（２１’）に表示する。画像処理部５２は、サーバ１からの画像を、符号化方式及び送信方法（送信プロトコル）に応じて、表示用に画像データを処理する。操作入力部５３は、ユーザにより入力インタフェース２４（２４’）を介して入力される操作情報を受け取るとともに、その操作情報を通信制御部５４に通知する。通信制御部５４は、サーバ１から送信されてくる画像データを受信したり、操作入力部５３から送られてくるユーザの操作情報をサーバ１側（操作処理部４７（図２（ａ）参照））に送信する。操作処理部５５は、操作入力部５３により受け取られた操作情報を処理して、通信制御部５４に対して出力する。

次に、本実施形態の遠隔診断システム１００における処理について、図５、図６に基づいて説明する。なお、この処理の前提として、通信路の状態は、「良好」であるものとする。すなわち、本実施形態では、動きのない俯瞰画像を送信する場合には、図３（ｂ）のマトリクスに示されるように、圧縮形式としてＪＰＥＧ（低圧縮）を選択するととともに、送信方法（送信プロトコル）としてＴＣＰを選択する（これを「第１モード」と呼ぶ）。また、動きのある俯瞰画像を送信する場合には、動きを優先する（すなわち、画像が動いているときは、画質の低下を許容する）ため、図３（ｂ）のマトリクスに示されるように、圧縮形式としてＭＰＥＧ２を選択するとともに、送信方法（送信プロトコル）としてＵＤＰを選択する（これを「第２モード」と呼ぶ）。さらに、拡大画像を送信する場合には、画質を優先する（すなわち、画像が動いているときでも、高画質の画像が送信されるようにする）ため、図３（ｂ）のマトリクスに示されるように、圧縮形式としてＨ．２６４を選択するとともに、送信方法（送信プロトコル）としてＴＣＰを選択する（これを「第３モード」と呼ぶ）。これらを表にまとめたものが図７に示されている。

まず、図５のフローチャートに沿って、サーバ１による俯瞰画像の送信処理について説明する。

図５のステップＳ１０では、ユーザにより不図示の診断台上に診断対象物７が載置されるとともに、入力インタフェース２４（２４’）を介して、診断開始ボタン等が押されることにより診断開始指示が出され、操作処理部４７が、その診断開始指示を受け取ったか否かを、サーバ１の制御部４６により判断する。ここでの判断が肯定されると、ステップＳ１２に移行して、遠隔診断を開始し、ステップＳ１４に移行して、制御部４６が、通信制御部４５からクライアント２、２’に対して、ビデオカメラ５で撮影された俯瞰画像が既に送信されているか否かを判断する。

このステップＳ１４の判断が否定されると、ステップＳ１６に移行し、制御部４６は、画像送信のモード（以下、「画像送信モード」と呼ぶ）を「第１モード」に設定（画像処理部４３の圧縮方式をＪＰＥＧ（低圧縮）形式に設定するとともに、通信制御部４５の通信プロトコルをＴＣＰに設定）し、通信制御部４５において、ＴＣＰにてＪＰＥＧ（低圧縮）で圧縮された画像データを、クライアント２、２’に向けて送信した後、ステップＳ１８に移行する。これに対し、クライアント２、２’では、通信制御部５４を介して画像データを受け取ると、画像処理部５２に画像データを送り、そこで復号化して、画像表示部５１に送る。画像表示部５１では、ディスプレイ２１（２１’）のウィンドウ２２ａの表示領域２３ａ内に復号化された俯瞰画像を表示する。

これに対し、ステップＳ１４の判断が肯定された場合（すなわち、俯瞰画像（データ）が既に送信されていた場合）には、上記ステップＳ１６を経ずに、ステップＳ１８に移行する。

ステップＳ１８では、動き検出部４２が、俯瞰画像に動きがあるか否かを判断する。そして、俯瞰画像に動きが生じた段階（例えば所定数以上の画素において継続的に変化があった段階）で、ステップＳ１８の判断が肯定され、次のステップＳ２０に移行して、画像送信モードを「第２モード」に変更する（画像処理部４３の圧縮方式をＭＰＥＧ２形式に切り替えるとともに、通信制御部４５の通信プロトコルをＵＤＰに切り替える）。

次いで、ステップＳ２２では、画像処理部４３にて俯瞰画像をＭＰＥＧ２で圧縮した画像データを、通信制御部４５がＵＤＰにてクライアント２、２’に送信する。その後、動きが終了するまで、第２モードで画像データを送り続け（ステップＳ２４）、動きが終了した段階で、ステップＳ２６に移行する。なお、クライアント２、２’では、通信制御部５４を介して画像データを受け取ると、画像処理部５２に俯瞰画像データを送り、そこで復号化して、画像表示部５１に送る。画像表示部５１では、ディスプレイ２１（２１’）のウィンドウ２２ａの表示領域２３ａ内に復号化された俯瞰画像（動画）を表示する。

次いで、ステップＳ２６では、画像送信モードを再度第１モード（ＪＰＥＧ（低圧縮）、ＴＣＰ）に変更し、ステップＳ２８に移行する。そして、ステップＳ２８では、動きが終了した状態の俯瞰画像（画像処理部４３にて処理された画像データ）を、通信制御部４５を介して、第１モードでクライアント２，２’に送信し、図５の全処理を終了する。なお、クライアント２，２’では、通信制御部５４を介して画像データを受け取ると画像処理部５２に俯瞰画像データを送り、そこで復号化して、画像表示部５１に送る。画像表示部５１では、ディスプレイ２１（２１’）のウィンドウ２２ａの表示領域２３ａ内に復号化された俯瞰画像を表示する。

次に、図６のフローチャートに沿って、サーバ１による、拡大画像の送信処理について説明する。

図６のステップＳ３０では、クライアント２（２’）のユーザにより、入力インタフェース２４（２４’）を介して、拡大用カメラの利用ボタンが押されることにより、拡大用カメラ６の利用設定がされたか否かを制御部４６が判断する。ここでの判断が肯定されると、ステップＳ３２に移行して、制御部４６は、画像送信モードを、「第３モード」に変更する（画像処理部４３の圧縮方式をＨ．２６４形式に切り替えるとともに、通信制御部４５の通信プロトコルをＴＣＰに切り替える）。

次いで、ステップＳ３４では、画像処理部４３においてＨ．２６４により圧縮処理された拡大画像の画像データを、通信制御部４５が、クライアント２、２’の通信制御部５４に向けて送信する。クライアント２、２’では、通信制御部５４を介して拡大画像データを受け取ると、画像処理部５２に俯瞰画像データを送り、そこで復号化して、画像表示部５１に送る。画像表示部５１では、ディスプレイ２１（２１’）のウィンドウ２２ａの表示領域２３ａ内に復号化された拡大画像を表示する。

次のステップＳ３６では、クライアント２（２’）のユーザにより、入力インタフェース２４（２４’）を介して、拡大用カメラ６の利用終了ボタンが押されることにより、拡大用カメラ６の利用設定が解除されたか否かを制御部４６が判断する。通信制御部４５は、ここでの判断が肯定されるまで、拡大画像データを送信するが、判断が肯定された段階で、拡大画像データの送信を中止し、ステップＳ３８に移行して、画像送信モードを「第１モード」に変更する。

次のステップＳ４０では、拡大用カメラ６を利用している間に、俯瞰画像に変化があったか否かを判断する。ここでの判断が肯定された場合には、ステップＳ４２において俯瞰画像（俯瞰画像データ）をクライアント２及び２’に向けて第１モードで送信した後、図６の全フローチャート（処理・判断）を終了する。なお、クライアント２、２’では、通信制御部５４を介して画像データを受け取ると、画像処理部５２に俯瞰画像データを送り、そこで復号化して、画像表示部５１に送る。画像表示部５１では、ディスプレイ２１（２１’）のウィンドウ２２ａの表示領域２３ａ内に復号化された俯瞰画像を表示する。

これに対し、ステップＳ４０の判断が否定された場合には、ステップＳ４２を経ずに、図６の全処理を終了する。

以上詳細に説明したように、本実施形態の遠隔診断システムによると、俯瞰画像に動き（継続した変化）が無い場合にその俯瞰画像を送信する第１モードと、俯瞰画像に動きがある場合にその俯瞰画像を送信する第２モードと、拡大用カメラ６を用いて撮影された拡大画像を送信する第３モードとで、符号化方式と送信方法を変更して、画像の送信を行うので、各画像に応じた適切な符号化方式及び送信方法を選択することで、ユーザのニーズ及びサーバ・クライアント間の通信速度等に応じた適切な画像送信を実現することができる。特に、本実施形態では、俯瞰画像に動きがある場合には、診断対象物７の移動やビデオカメラ５のパン・チルト・ズーム動作などが行われている場合が多いため、その画像は、俯瞰画像を観察するユーザにとっては重要ではない画像である可能性が高く、その一方で、俯瞰画像に動きがない場合には、その画像は、俯瞰画像を観察するユーザにとって比較的重要な画像である可能性が高いので、それらの事情を考慮した適切な符号化方式及び送信方法（前者の場合は、例えばＭＰＥＧ２及びＵＤＰ、後者の場合は、例えばＪＰＥＧ（低圧縮）及びＴＣＰ）を選択することにより、適切な画像送信を実現することができる。

また、本実施形態では、第３モードの符号化方式を、第２モードの符号化方式（ＭＰＥＧ２）よりも、俯瞰画像が高画質となる符号化方式（Ｈ．２６４）とし、第３モードの送信方法（送信プロトコル）を、第２モードの送信方法（ＵＤＰ）よりも、信頼性の高い送信方法（ＴＣＰ）としているので、画像を観察するユーザ（診断対象物７を診断するユーザ）にとって重要な画像である可能性の高い拡大画像を、適切に送信することができる。

なお、上記実施形態では、図５、図６の処理と並行して、図８のような処理を行うこととしても良い。この図８の処理は、クライアント２（２’）のユーザが選択した部分の画像を、サーバ１からクライアント２，２’へ送信するというものである。

具体的には、クライアント２（２’）において、ユーザが入力インタフェース２４（２４’）を介して俯瞰画像上の一部分を囲む図形を描き、かつその図形により囲まれた一部分（選択された領域）を拡大して送信する旨の指示を出した場合には、その指示情報は、クライアント２（２’）の操作入力部５３、操作処理部５５を介して、通信制御部５４から、サーバ１の操作処理部４７に送られるため、制御部４６では、そのような指示情報がクライアント２，２’側から送られてきたか否かを、図８のステップＳ４４において判断する。ここでの判断が肯定されると、ステップＳ４６に移行する。

ステップＳ４６では、画像出力部４４が、操作処理部４７に入力された指示情報に基づいて、プロジェクタ４を介して、診断対象物７上に図形（選択された領域に対応）を投影する。この投影状態の具体例が、図９（ａ）に示されている（投影されている図形には、符号「７１」が付されている）。

次いで、ステップＳ４８では、画像処理部４３が、当該選択された領域を画像入力部４１に入力された画像から認識して、抽出する。

次いで、ステップＳ５０では、制御部４６が、画像送信モードを「第１モード」に設定し、次のステップＳ５２では、抽出された部分の画像のみを、画像処理部４３が圧縮形式ＪＰＥＧ（低圧縮）で圧縮し、その圧縮データを、通信制御部４５からＴＣＰにてクライアント２，２’に向けて送信し、図８の全処理を終了する。なお、クライアント２２’では、通信制御部５４を介して抽出画像データを受け取ると、画像処理部５２に抽出部分の画像データを送り、そこで復号化して、画像表示部５１に送る。画像表示部５１では、図９（ｂ）に示されるように、ディスプレイ２１（２１’）のウィンドウ２２ｂの表示領域２３ｂ内に復号化された抽出部分の画像を表示する。

このようにすることにより、ユーザは、特に観察したい部分（診断したい部分）を図形で囲むだけで、その部分の高画質画像をディスプレイ２１（２１’）上に表示することが可能である。なお、上記においては、サーバ１は、図形により囲まれた部分のみをクライアント２，２’に送信することとしたが、これに限られるものではなく、例えば、図形により囲まれた部分のみを高画質、それ以外の部分を低画質として、俯瞰画像全体を送信するようにしても良い。

なお、上記実施形態では、拡大画像データの送信が、常に第３モード（圧縮方式としてＨ．２６４が設定され、送信方法としてＴＣＰが設定された状態）で行われる場合について説明したが、これに限られるものではなく、例えば、拡大画像に動きが無いような場合（クライアント２，２’のユーザが拡大用カメラ６のパン・チルト・ズーム操作をしない場合など）には、サーバ１は、拡大画像を、静止画としてクライアント２、２’に送信することとしても良い。この場合、例えば、拡大画像データを、第１モードと同一の設定（符号化方式及び送信方法）で送ることとすることができる。また、例えば、拡大画像においても俯瞰画像と同様、拡大画像に動きがあるときには低画質で送信し、動きが無いときにのみ高画質で送信するようにしても良い。

また、上記実施形態においては、ユーザが、各モードの符号化方式や送信方法を選択することができるようにしても良い。特に、第３モードの拡大画像データについて、ユーザのニーズ（動きを優先するか画質を優先するかなどのニーズ）に応じた符号化方式及び送信方法を決定できるような機能（設定手段）を、クライアント２，２’及びサーバ１に設けておくこととしても良い。

なお、上記実施形態では、特に説明をしなかったが、ユーザが拡大用カメラ６を利用している間においては、サーバ１からクライアント２、２’に対する俯瞰画像の送信を中止（一時中断）することとしても良いし、あるいは、拡大画像の送信と並行して俯瞰画像の送信を行うが、拡大画像の送信の方を優先する（すなわち、俯瞰画像の送信の際には画質を落としたり、通信速度を落としたりする）こととしても良い。

なお、上記実施形態では、通信路の状態が良好である場合を前提に説明したが、通信路の状態は不良である場合もある。このような場合には、図３（ｂ）の右列に表示されている圧縮方式をそれぞれ選択することが可能である。例えば、通信路が不良の状態で、動きのない俯瞰画像を送る場合には、常に画像全体を構成できるような符号化方式及び送信方法を選択する。すなわち、低品質画像を構成できるデータを優先的に送信し、その送信方法で問題が無ければ、より高品質画像を送信することが可能な画像データを送信するという、いわゆるプログレッシブ符号化方式を採用することが可能である。

なお、上記実施形態では、俯瞰画像に動きがない場合には、俯瞰画像に変化が発生するまでの間は、俯瞰画像を送らない場合について説明したが（図５のステップＳ１６やステップＳ２８参照）、これに限られるものではなく、俯瞰画像に変化がない場合であっても、クライアント２，２’に俯瞰画像を常時送り続けるようにしても良い。

なお、上記実施形態では、俯瞰画像全体で動きの有無を判断し、それにあわせた送信方法を設定する場合について説明したが、これに限られるものではなく、例えば、俯瞰画像をより小さい領域に分割し、各領域ごとに動き検出などを行って、その検出結果に基づいて、領域ごとに符号化方式及び送信方法を設定することとしても良い。

なお、上記実施形態では、クライアントが２台（クライアント２、２’）である場合について説明したが、これに限らず、クライアントが３台以上あっても良い。また、ネットワーク構成は、図１のネットワーク構成に限られるものではなく、種々の構成（例えば、サーバ１、クライアント２，２’のいずれかがインターネット３に直接接続されている構成や、サーバ１、クライアント２，２’のそれぞれが同一のイントラネットに接続されている構成）などを採用することが可能である。

なお、上記実施形態の図３（ａ）、図３（ｂ）で示した符号化方式、及び図４で示した送信方法（送信プロトコル）は、一例である。したがって、その他の符号化方式や送信方法を採用することももちろん可能である。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

一実施形態に係る遠隔診断システムの概略構成を示す図である。 サーバ及びクライアントの機能構成を示すブロック図である。 図３（ａ）は、図２の画像処理部の具体的構成を示すブロック図であり、図３（ｂ）は、符号化方式に関するマトリクスを示す図である。 図２の通信制御部の具体的構成を示すブロック図である。 サーバによる俯瞰画像の送信処理を示すフローチャートである。 サーバによる拡大画像の送信処理を示すフローチャートである。 第１〜第３モードにおける具体的な符号化方式及び送信方法について示す図である。 変形例に係るサーバの処理を示すフローチャートである。 変形例に係るサーバの処理の具体例を示す図である。

符号の説明

１ サーバ
２ クライアント
２’ クライアント
４ プロジェクタ
５ ビデオカメラ
６ 拡大用カメラ
７ 診断対象物
４３ 画像処理部
４５ 通信制御部
４６ 制御部
７１ 図形
１００ 遠隔診断システム

Claims (10)

1. 対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続されるとともに、少なくとも前記拡大画像撮影装置を遠隔操作する遠隔操作装置が接続された情報処理装置であって、
   前記俯瞰画像及び前記拡大画像を符号化する符号化手段と、
   前記符号化手段により符号化された画像を、前記遠隔操作装置に送信する送信手段と、
   前記俯瞰画像撮影装置により撮影される前記俯瞰画像に継続した変化が無い場合に、前記俯瞰画像を送信する第１モードと、前記俯瞰画像に継続した変化がある場合に、前記俯瞰画像を送信する第２モードと、前記拡大画像撮影装置により撮影される拡大画像を送信する第３モードとで、前記符号化手段による符号化方式及び前記送信手段による送信方法を変更する変更手段と、を備える情報処理装置。
2. 前記第１モードの符号化方式は、前記第２モードの符号化方式と比較して、前記俯瞰画像が高画質となる符号化方式であり、
   前記第１モードの送信方法は、前記第２モードの送信方法と比較して、信頼性の高い送信方法であることを特徴とする請求項１に記載の情報処理装置。
3. 前記第３モードの符号化方式は、前記第２モードの符号化方式と比較して、前記俯瞰画像が高画質となる符号化方式であり、
   前記第３モードの送信方法は、前記第２モードの送信方法と比較して、信頼性の高い送信方法であることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記第２モード及び第３モードの符号化方式は、動画用の符号化方式であることを特徴とする請求項３に記載の情報処理装置。
5. 前記変更手段は、前記第３モードにおいて前記拡大画像に継続的な変化がない場合に、前記第１モードと同一の符号化方式及び送信方法に設定することを特徴とする請求項４に記載の情報処理装置。
6. 前記第３モードの符号化方式及び送信方法を、ユーザからの指示に従って設定する設定手段を更に備える請求項４又は５に記載の情報処理装置。
7. 前記送信手段は、前記拡大画像を送信している間は、前記俯瞰画像の送信を中止することを特徴とする請求項１〜６のいずれか一項に記載の情報処理装置。
8. 前記対象物に対して図形を投影する投影装置が更に接続され、
   前記投影された図形内の画像を抽出する抽出手段を更に備え、
   前記変更手段は、前記抽出手段により抽出された画像を、前記第１モードと同一のモードで前記遠隔操作装置に送信することを特徴とする請求項１〜７のいずれか一項に記載の情報処理装置。
9. 前記第１モードでは、プログレッシブ符号化により、前記俯瞰画像を送信することを特徴とする請求項１〜８のいずれか一項に記載の情報処理装置。
10. 対象物の俯瞰画像を撮影する俯瞰画像撮影装置及び前記対象物の拡大画像を撮影する拡大画像撮影装置が接続された請求項１〜９のいずれか一項に記載の情報処理装置と、
    少なくとも前記拡大画像撮影装置を遠隔操作するとともに、前記情報処理装置から送信された画像を表示する遠隔操作装置と、を備える遠隔診断システム。

Images