JP2010288230A - 動画情報中継システム、及び動画情報中継プログラム - Google Patents

Abstract

【課題】低速ネットワーク回線を少なくとも一部に含むネットワーク環境下で動画情報をクライアント側に中継し、通信環境における負荷を低減し、動画情報を表示手段に出力制御する中継システムの提供を課題とするものである。
【解決手段】中継システム１は、 複数のクライアント２と、クライアント２とＬＡＮ接続された中継サーバ３と、中継サーバ３とインターネットＮを介して接続された動画サーバ４と、動画サーバ４とＬＡＮ接続されたカメラ５とを具備する。そして、カメラ５によって取得された動画情報９を接続情報６に基づいて領域毎に分割し、表示品質の調整された注視動画情報１８及び非注視動画情報１９をそれぞれ低速ネットワーク回線ＮＢを介して送出し、中継サーバ３によって中継された注視動画情報１８及び非注視動画情報１９を統合し、統合動画情報を得ることができる。
【選択図】図１

Description

本発明は、動画情報中継システム、及び動画情報中継プログラムに関するものであり、特に、低速ネットワーク回線を少なくとも一部に含む通信ネットワークを使用し、動画による品質管理または作業監視を安定的に実施することが可能な動画情報中継システム、及び動画情報中継プログラムに関するものである。

近年の情報通信技術及び情報通信機器の発達及び進歩により、互いに離間した遠隔地同士に設置された各端末の間で、テキスト情報、音声情報、及び画像情報等の各種情報を送受することが行われている。特に、画像情報等の比較的大容量のファイルサイズを送受可能とすることにより、世界中に映像及び音声を同時に配信することができ、インターネット電話やリアルタイムの動画配信等の従来にはないコミュニケーション手段の一つとして使用することができる。さらに、係る情報通信は、個人的使用に限定されるものではなく、例えば、国内企業と海外取引先との間の情報伝達、及び国内企業と海外現地法人等の間で情報を共有化するなど、ビジネスにおいても特に重要なものとなっている。すなわち、インターネット等の情報通信技術（通信ネットワーク）を使用した情報伝達が企業活動の態様を大きく変化させている。

ここで、インターネット等を用いた情報通信は、既存の通信手段（国際電話や国際ＦＡＸ）或いは現地に直接赴いた打ち合わせ等に比べ、通信コストや旅費等の必要経費を大幅に削減することができる。さらに、情報の共有化等によって連絡ミスやコミュニケーション不足を解消することができ、業務上のミスやトラブルの発生を小さくすることができる。また、近年の情報通信技術に対する暗号化技術等のセキュリティ性能の向上によって、極めて機密度の高い情報であってもインターネット回線を通じ、第三者へ漏洩する可能性がほとんどない状態で送出することが可能となっている。これにより、インターネット回線を利用した通信手段は、飛躍的に増大している。

さらに、上記技術を応用し、遠隔地から工場内の作業状態の監視や製品品質のチェック等が行われている。具体的に説明すると、例えば、現地工場内に設置したカメラ（ネットワークカメラ）によって製造作業の様子をインターネットを通じて動画として取得し、機械停止等のトラブルの発生の有無、正しい作業手順で生産活動を行っているか否かの確認、製品品質のチェック等を行う監視・チェックシステムが構築されている。

しかしながら、上記情報通信に係る技術は、下記に掲げる問題点を生ずることがあった。すなわち、互いに離間した遠隔地をインターネット等の通信ネットワークで接続するために、個々の端末が設置された国や地域における通信設備の実情によって通信品質が著しく制限されることがあった。例えば、日本、韓国、米国、及び欧州諸国等の上記の情報通信技術やインフラ整備が十分に進んだ国や地域の場合、画像情報等の容量の大きなデータを相互に通信することは、通信状態に特にストレスを感じることはなかった。しかしながら、インターネット回線の整備の進んでいない開発途上国では、高速のデータ通信を行うことができず、所謂「ナローバンド」の低速ネットワーク回線を利用した通信しかできなかった。例えば、シンガポールでは、ＡＤＳＬ回線の通信速度は約２Ｍｂｉｔ／ｓであり、ベトナムでは２８〜３００Ｋｂｉｔ／ｓであり、日本等と比べてかなり低い通信速度しか得られないことがあった。したがって、日本と上記の国や地域との間で大容量の動画情報を利用した監視・チェックシステムを構築した場合、低い通信速度によってデータ転送が制限され、データ（情報）の配信遅延やデータ欠落等の問題が発生することがあった。そのため、日本で当該動画を確認している担当者は、大きなストレスを感じることがあった。特に、動画による監視・チェックの作業を行う場合、トラブル発生等を未然に防止するため、リアルタイム性が重要視され、データの配信遅延に係る問題は解決することが特に期待されていた。しかしながら、国や地域の情報通信技術に係るインフラ整備は、多大な費用を要するものであり、容易に改善されるものではない。そのため、これらの低速ネットワーク回線であってもストレスなく大容量の動画情報等に基づく映像配信が可能なシステムの構築が望まれていた。

そこで、本発明は、上記実情に鑑み、低速ネットワーク回線を少なくとも一部に含むネットワーク環境下であっても、取得した動画情報を通信環境に負荷を強いることなく、クライアント側に中継し、モニタ等の表示手段に表示可能なように出力制御する動画情報中継システム、及び動画情報中継プログラムの提供を課題とするものである。

上記の課題を解決するため、本発明の動画情報中継システムは、「ユーザの操作するクライアントと、前記クライアントと接続された中継サーバと、前記中継サーバと少なくとも一部に低速ネットワーク回線を含む通信ネットワークを介して接続された動画サーバと、前記動画サーバと接続され、動画情報を取得するネットワークカメラとを具備し、前記クライアントは、前記ネットワークカメラによって取得された前記動画情報から、前記ユーザの注視する注視領域及び非注視領域を画面上の座標位置に従って指定した領域座標データの入力を受付ける領域指定手段と、前記注視領域及び前記非注視領域のそれぞれの表示品質を指定する品質データの入力を受付ける品質指定手段と、入力を受付けた前記領域座標データ及び前記品質データを含む接続情報を、前記中継サーバに送出する接続情報送出手段と、前記領域座標データの前記座標位置に基づいて前記動画情報が領域毎に分割された、前記注視領域に対応する注視動画情報及び前記非注視領域に対応する非注視動画情報をそれぞれ前記中継サーバを介して受付ける動画情報受付手段と、受付けた前記注視動画情報及び前記注視動画情報に対応する前記非注視動画情報を前記座標位置を合わせて一つに統合し、統合動画情報を作成する動画情報統合手段と、統合し、作成された前記統合動画情報を信号制御して表示手段に出力する表示制御手段とを具備し、前記中継サーバは、前記クライアントから送出された前記接続情報を受付け、前記通信ネットワークを介して前記動画サーバに中継する接続情報中継手段と、前記動画サーバで分割処理及び表示品質処理された前記注視動画情報及び前記非注視動画情報をそれぞれ受付け、前記クライアントに中継する動画情報中継手段とをさらに具備し、前記動画サーバは、前記ネットワークカメラによって取得された前記動画情報の入力を受付ける動画情報受付手段と、前記接続情報を前記中継サーバから前記通信ネットワークを介して受付ける接続情報受付手段と、前記動画情報を前記領域座標データに基づいて前記注視動画情報及び前記非注視動画情報に分割処理する動画分割手段と、分割処理された前記注視動画情報及び前記非注視動画情報の少なくともいずれか一方に、前記品質データに基づいて前記注視動画情報に対し前記非注視動画情報の表示品質を相対的に抑制し、調整する表示品質調整手段と、相対的に表示品質の調整された前記注視動画情報及び前記非注視動画情報を前記中継サーバに対してそれぞれ送出する中継サーバ送出手段とを具備し、前記ネットワークカメラは、カメラ撮像範囲の映像を撮像し、前記動画情報として取得する動画情報取得手段と、取得した前記動画情報を前記画像処理サーバに対して送出する動画情報送出手段と」を主に具備して構成されている。

ここで、クライアント、中継サーバ、画像処理サーバ、及びネットワークカメラは、市販のパーソナルコンピュータ、サーバ、及び、ネットワーク接続側のカメラ等の既存の構成を使用し、各機器に設けられたインターフェイスに通信用ケーブルを接続することによって本願発明の動画情報中継システムを構築することが可能である。さらに、具体的に説明すると、クライアント及び中継サーバは、同一敷地内に設けられ、ローカルエリアネットワーク（ＬＡＮ）によって高速でのデータ通信が可能となっている。一方、クライアント及び中継サーバと異なる遠隔地には、同様に動画サーバ及びネットワークカメラがＬＡＮによって高速でのデータ通信が可能に構成されている。これにより、例えば、クライアント及び中継サーバを日本国内の本社に設置し、一方、動画処理サー及びネットワークカメラを海外現地法人の工場内に設置するものが示される。そして、中継サーバ及び動画サーバの間を公衆利用可能なインターネット回線等の通信ネットワークによって接続するものである。

さらに、通信ネットワークには、低速度でデータ通信を行う低速ネットワーク回線（ナローバンド）がその一部に少なくとも含まれている。ここで、低速ネットワーク回線は、一般に１２８ｋｂｓ以下の速度を持つ、例えば、ダイヤルアップ接続やＩＳＤＮ回線を使用したものとして定義されていることが多い。しかしながら、本願発明においては、高速及び大容量のデータ通信が可能な光ファイバーやＡＤＳＬ等（所謂「ブロードバンド」）に対する低速な通信回線を意味している。そのため、各国の通信インフラによっては、ＡＤＳＬ回線であっても、本願発明の低速ネットワーク回線に該当することもある。

領域指定手段とは、クライアントを操作するユーザが注視する領域（注視領域）またはそれ以外の領域（非注視領域）を画面上の座標位置に従って指定するものである。一例を説明すると、本願発明の動画中継システムを、工場内作業の監視システムに適用した場合、作業者の手元付近や作業者の動きが大きな箇所については、特に注視が必要であり、注視領域として指定する。一方、工場内の背景等のほとんど動きがなく注視する必要がない箇所については非注視領域として指定する。係る指定は、例えば、動画情報の画面上にマウスのポインタでドラッグ操作によって矩形状に注視領域を指定することによって、ドラッグ操作の始点及び終点に基づく座標位置によって個々の領域を指定することができる。

一方、品質指定手段とは、上記手段によって領域指定された注視領域及び非注視領域のそれぞれについての表示品質を指定するものである。すなわち、動画情報を端末及びサーバ間等でデータ通信する場合、動画のサイズや容量によって通信速度が大きく影響されることがある。そこで、特に注視する必要のない非注視領域に対しては、表示品質を低下させることにより、全体として相手方に送出する際のデータ量を軽減した状態に画像処理した上で転送（送出）処理を行う。これにより、通信ネットワークに係る負荷を軽減し、低速ネットワーク回線の回線であってもストレスなくデータの送受が可能となる。そのため、品質指定データによって表示品質が指定される。なお、指定されるパラメータは、動画情報の転送量を変化させることが可能であれば特に限定されない。なお、画像処理サーバで行われる表示品質調整手段は、例えば、注視動画情報については取得されたままの状態で送出され、非注視動画情報については画素数を低下させたり、動画の圧縮率を高くし、転送サイズを小さくすることにより、注視動画情報に対して相対的に表示品質を抑えた（劣化させた）ものが想定される。

なお、本発明の動画情報中継システムにおいて、使用される動画情報の記録形式は特に限定されないが、例えば、Ｍｏｔｉｏｎ ＪＰＥＧ或いはＭＰＥＧ等の周知の記録形式を採用することができる。ここで、Ｍｏｔｉｏｎ ＪＰＥＧは、各フレーム毎の映像をＪＰＥＧ圧縮したものを連続して記録するものである。フレーム間の圧縮が行われないため圧縮率はそれほど高くないが、圧縮／伸長が容易であり、ソフトウェア・ハードウェアの負担が少ない為、リアルタイム性が高い利点を有している。一方、ＭＰＥＧは、画像単位でＪＰＥＧ圧縮したものを連続形式の圧縮を行い、次フレームと前フレームを比較して動きの検索を行い、差分を送ることにより、上記Ｍｏｔｉｏｎ ＪＰＥＧより圧縮率を高めることができる記録方式である。しかしながら、ソフトウェア・ハードウェアに掛かる負担が大きい為、リアルタイム性が低下する欠点を有している。したがって、本発明では、それぞれの利点及び欠点を比較考量し、適切な記録形式の動画情報を適宜選択することができる。

したがって、本発明の動画情報中継システムによれば、クライアントによって入力された領域指定データ及び品質指定データを含む接続情報に基づいて、画像処理サーバがネットワークカメラによって取得された動画情報を指定された領域毎に分割し、さらに圧縮率等の表示変更を相対的に変化させる調整が行われる。これにより、動きが少ない等のユーザにとって注視する対象でない領域については、画質が劣る等の低表示品質の非注視動画情報を生成される。これにより、中継サーバ及び動画サーバの間の低速ネットワーク回線を含む通信ネットワークであっても、係る動画情報の転送に負荷をかけることが少なくなる。一方、動きが多い等のユーザにとて注視する必要がある領域については、細部まで確認可能な高画質の動画情報（大容量サイズ）が送出される。すなわち、一つの動画情報であっても、ユーザの選択によって重要及び非重要の箇所で表示品質を変化させることにより、全体としての転送量を抑制し、通信ネットワークへの負荷を軽減し、ストレスなく動画情報を送出することができる。

さらに、本発明の動画情報中継システムは、上記構成に加え、「前記品質指定手段によって入力される前記品質データは、前記注視動画情報及び前記非注視動画情報の少なくともいずれか一方の画像圧縮率及びフレームレートを指定する数値を含む」ものであっても構わない。

したがって、本発明の動画情報中継システムによれば、表示品質を調整するためのパラメータとして、画像圧縮率及びフレームレートの２つが使用される。これらを数値によって指定することにより、相対的に表示品質が抑制され、低速ネットワーク回線であってもストレスなく動画情報を中継サーバに対して送出することが可能となる。

さらに、本発明の動画情報中継システムは、上記構成に加え、「前記中継サーバに対し、複数の前記クライアントが接続され、前記動画情報中継手段は、前記ネットワークカメラによって取得された前記動画情報を前記動画サーバによって分割処理及び相対的に表示品質の調整して生成された前記注視動画情報及び前記非注視動画情報を、複数の前記クライアントにそれぞれ共通化して中継する共通中継手段を」具備するものであっても構わない。

したがって、本発明の動画情報中継システムによれば、複数のクライアントに対して、一つのネットワークカメラによって取得され、動画サーバによって処理された注視動画情報及び非注視動画情報がそれぞれ中継サーバにおける処理を共通化して送出されることになる。その結果、動画サーバ及びネットワークカメラ、さらには動画サーバと接続した低速ネットワーク回線を含む通信ネットワークに係る負担が減らすことができる。

さらに、本発明の動画情報中継システムは、上記構成に加え、「前記クライアントは、前記ネットワークカメラの画角変更、撮影範囲の拡大及び縮小、及び前記動画情報の画質補正を含む制御データの入力を受付ける制御データ受付手段と、前記制御データを前記中継サーバを介して前記動画サーバに送出する制御データ送出手段とをさらに具備し、前記中継サーバは、送出された前記制御データを受付け、前記動画サーバに中継して送出する制御データ中継手段をさらに具備し、前記動画サーバは、前記制御データを受付け、前記ネットワークカメラを制御するカメラ制御手段を」具備するものであっても構わない。

したがって、本発明の動画情報中継システムによれば、クライアントのよってネットワークカメラの画角変更等の各種制御が可能となる。これにより、ユーザの希望する適切な動画情報を取得することが可能となる。

一方、本発明の動画情報中継プログラムによれば、「取得された動画情報から、ユーザの注視する注視領域及び非注視領域を画面上の座標位置に従って指定した領域座標データの入力を受付ける領域指定手段、前記注視領域及び前記非注視領域のそれぞれの表示品質を指定する品質データの入力を受付ける品質指定手段、入力を受付けた前記領域座標データ及び前記品質データを含む接続情報を、中継サーバに送出する接続情報送出手段、領域座標データの前記座標位置に基づいて前記動画情報が領域毎に分割された、前記注視領域に対応する注視動画情報及び前記非注視領域に対応する非注視動画情報をそれぞれ前記中継サーバを介して受付ける動画情報受付手段、受付けた前記注視動画情報及び前記注視動画情報に対応する前記非注視動画情報を前記座標位置を合わせて一つに統合し、統合動画情報を作成する動画情報統合手段、及び、統合し、作成された前記統合動画情報を信号制御して表示手段に出力する表示制御手段として、前記ユーザの操作するクライアントを機能させ、前記クライアントから送出された前記接続情報を受付け、少なくとも一部に低速ネットワーク回線を含む通信ネットワークを介して動画サーバに中継する接続情報中継手段、及び、前記動画サーバで分割処理及び表示品質処理された前記注視動画情報及び前記非注視動画情報をそれぞれ受付け、前記クライアントに中継する動画情報中継手段として、前記中継サーバを機能させ、ネットワークカメラによって取得された前記動画情報の入力を受付ける動画情報受付手段、前記接続情報を前記中継サーバから前記通信ネットワークを介して受付ける接続情報受付手段、前記動画情報を前記領域座標データに基づいて前記注視動画情報及び前記非注視動画情報に分割処理する動画分割手段、分割処理された前記注視動画情報及び前記非注視動画情報の少なくともいずれか一方、前記品質データに基づいて前記注視動画情報に対し前記非注視動画情報の表示品質を相対的に抑制し、調整する表示品質調整手段、及び、相対的に表示品質の調整された前記注視動画情報及び前記非注視動画情報を前記中継サーバに対してそれぞれ送出する中継サーバ送出手段つぃて、前記動画サーバを機能させ、カメラ撮像範囲の映像を撮像し、前記動画情報として取得する動画情報取得手段、及び、取得した前記動画情報を前記画像処理サーバに対して送出する動画情報送出手段として、前記ネットワークカメラを機能させる」ものから主に構成され、さらに上記構成に加え、「前記ネットワークカメラによって取得された前記動画情報を前記動画サーバによって分割処理及び相対的に表示品質の調整して生成された前記注視動画情報及び前記非注視動画情報を、前記中継サーバに対して接続された複数のクライアントにそれぞれ共通化して中継する共通中継手段として、前記中継サーバをさらに機能させる」或いは「前記ネットワークカメラの画角変更、撮影範囲の拡大及び縮小、及び前記動画情報の画質補正を含む制御データの入力を受付ける制御データ受付手段、及び、前記制御データを前記中継サーバを介して前記動画サーバに送出する制御データ送出手段として、前記クライアントをさらに機能させ、送出された前記制御データを受付け、前記動画サーバに中継して送出する制御データ中継手段として、前記中継サーバをさらに機能させ、前記制御データを受付け、前記ネットワークカメラを制御するカメラ制御手段として、前記動画サーバをさらに機能させる」ものであっても構わない。

したがって、本発明の動画情報中継プログラムによれば、動画情報中継プログラムを稼働させることにより、クライアント、中継サーバ、動画サーバ、及びネットワークカメラに対し、上述した優れた作用を奏させることが可能となる。

本発明の効果として、上記動画情報中継システムを動画情報中継プログラムに基づいて構築することにより、ユーザが重要と認める領域（注視領域）及びそれほど重要でない領域（非注視領域）の動画情報に対し、それぞれ表示品質を調整する処理を行うことにより、非注視領域については転送量を小さく抑えることが可能となり、通信ネットワークにかかる負担を軽減することができる。その結果、通信ネットワークのインフラ整備が進んでおらず、低速の通信回線しか整備されていない国や地域との間で遠隔監視システム等を構築する場合であっても、必要な箇所については従来通り高画質の動画情報が送信され、あまり必要でない箇所については低画質の動画情報が選択的に送出されることになる。そして、クライアントで、それぞれ個別に受付けた動画情報（注視動画情報及び非注視動画情報）を一つの動画情報（統合動画情報）にまとめることにより、通信ネットワークの速度に依存することによるストレスを感じることなく、中継された動画情報の表示を確認することができる。

本実施形態の動画情報中継システムの概略構成を示す説明図である。 動画情報中継システムにおけるクライアント及び中継サーバの機能的構成を示すブロック図である。 動画情報中継システムにおける動画サーバ及びネットワークカメラの機能的構成を示すブロック図である。 （ａ）分離された非注視画像、（ｂ）分離された注視画像、及び（ｃ）統合画像の一例を模式的に示す説明図である。 動画情報中継システムにおける各構成の処理の流れを示すフローチャートである。 動画情報中継システムにおける各構成の処理の流れを示すフローチャートである。

以下、本発明の一実施形態である動画情報中継システム１（以下、単に「中継システム１」と称す）について、図１乃至図６に基づいて説明する。ここで、図１は本実施形態の中継システム１の概略構成を模式的に示す説明図であり、図２は中継システム１におけるクライアント２及び中継サーバ３の機能的構成を示すブロック図であり、図３は中継システム１の動画サーバ４及びネットワークカメラ５（以下、単に「カメラ５」と称す）の機能的構成を示す説明図であり、図４は（ａ）分離された注視画像６、（ｂ）分離された非注視画像７、及び（ｃ）統合画像８の一例を模式的に示す説明図であり、図５及び図６は中継システム１における各構成２，３，４，５の処理の流れを示すフローチャートである。

本実施形態の中継システム１は、図１乃至図３等に主として示すように、クライアント２と、中継サーバ３と、動画サーバ４と、カメラ５とを具備して構成されている。ここで、クライアント２及び中継サーバ３は、日本国内に設置され、ローカルエリアネットワーク（ＬＡＮ）が構築され、高速データ通信可能に接続されている。一方、動画サーバ４及びカメラ５は、海外に設置され、同様にＬＡＮによって接続されている。そして、中継サーバ３と動画サーバ４がインターネットＮを介して互いに通信可能に接続されている。ここで、国内に設置された中継サーバ３は、高速ネットワーク回線ＢＢ（光ファイバー通信等の所謂「ブロードバンド」）を利用して接続され、大容量のファイルサイズのデータを比較的ストレスなく送受することができる。そのため、高品質の動画や音声を送受することに適している。一方、海外に設置された動画サーバ４は、低速ネットワーク回線ＮＢ（ダイヤルアップ接続等の所謂「ナローバンド」）を利用して接続され、高速ネットワーク回線ＢＢに比して大容量のファイルサイズデータを送受する際に遅延等の負荷がかかることがある。なお、本実施形態の中継システム１は、上記構成を採用し、複数のクライアント２と接続した中継サーバ３の設置された日本国内の本社ＨＯ（図１参照）から、複数のカメラ５と接続した動画サーバ４の設置された海外現地法人の工場ＦＡ（図１参照）の様子をモニタすることを可能とするものであり、工場内における作業の進捗に係る情報、作業者が手順通りに作業を進めているかのチェック、或いはトラブルの発生有無等を遠隔地にいながら確認することを可能とするために使用されている。なお、図１に示すように、複数のクライアント２及び複数のカメラ５を有して構成されるものを示したが、中継サーバ３及び動画サーバ４には、それぞれ少なくとも一つのクライアント２及びカメラ５が接続されているものであればよい。

さらに、具体的に説明すると、クライアント２は、その機能的構成として、図２に示すように、カメラ５によって得られた工場内の様子に係る動画情報９に基づいて、ユーザ（本社の作業管理者等）が重要であると認識し、精緻な高品質の画像によって詳細をチェックする必要のある領域（注視領域１０）をクライアント２のモニタ（表示手段）の画面上の座標位置に従って指定した領域座標データ１１の入力を受付ける領域指定手段１２と、注視領域１０及びそれ以外の特に重要でない領域（非注視領域１３）のクライアント２によるそれぞれの表示品質を、画像圧縮率及びフレームレートの二つのパラメータを指定することによって調整するため、当該パラメータの値が指示された品質データ１４の入力を受付ける品質指定手段１５と、受付けた領域座標データ１１及び品質データ１４を含む接続情報１６を、ケーブル接続された中継サーバ３に対して送出する接続情報送出手段１７と、領域座標データ１１によって指定された座標位置に基づいて動画情報９が分割され注視領域１０に対応する注視動画情報１８及び非注視領域１３に対応する非注視動画情報１９をそれぞれ中継サーバ３による中継を介して動画サーバ４から受付ける動画情報受付手段２０と、それぞれ個別に中継サーバ３から受付けた注視動画情報１８及び当該注視動画情報１８と対応し、統合可能な非注視動画情報１９を互いの座標位置を合わせて一つに統合し、統合動画情報２１を作成する動画情報統合手段２２と、統合し、作成された統合動画情報２１を信号制御して表示出力する表示制御手段２３とを主に具備している。

なお、クライアント２は、市販のパーソナルコンピュータを利用して構築することが可能である。そのため、クライアント２は、その他一般的な構成として、ユーザがクライアント２を操作するための操作指示及び各種データ等の入力を行うためのキーボード及びマウス等の操作手段２４と、表示制御手段２３と接続し、統合画像情報２１及び処理前の動画情報９等を座標位置を指定可能に表示する液晶ディスプレイ等の表示手段２５と、ＬＡＮ及び高速ネットワーク回線ＢＢと接続し、各種信号の送受を制御する通信制御手段２６と、入力されたデータ及び受付けた動画情報９等を保存し、記憶するＨＤＤ等の記憶手段２７とをさらに具備している。

加えて、クライアント２は、カメラ５によって撮像される動画情報９の取得環境を変化させるため、カメラ５の画角を変化させ、撮像範囲を位置を変化させたり、或いはズームイン及びズームアウトを制御し、撮像範囲の大きさを変化させたり、得られた動画情報９の色調や逆光時の補正等の画質補正に係る指示を含むカメラ制御用の制御データ２８の入力をユーザから受付ける制御データ受付手段２９と、受付けた制御データ２８を中継サーバ３に対して送出し、動画サーバ４に送出するための制御データ送出手段３０とを具備している。

これに対し、中継サーバ３は、その機能的構成として、図２に示すように、クライアント２から送出された接続情報１６を受付け、高速ネットワーク回線ＢＢのインターネットＮを介して動画サーバ４に当該情報１６を中継する接続情報中継手段３１と、動画サーバ４によって処理された注視動画情報１８及び非注視動画情報１９を受付け、クライアント２に独立して中継する動画情報中継手段３２と、注視動画情報１８等を複数のクライアントに対して共通化して中継する共通中継手段３３と、クライアント２から送出された制御データ２８を受付け、動画サーバ４に中継して送出する制御データ中継手段３４と、各種データ等をクライアント２及び動画サーバ４の間で中継するための通信制御手段３５とを主に具備している。なお、中継サーバ３は、市販のサーバを利用することができる。

一方、動画サーバ４は、カメラ５によって取得された動画情報９の入力を受付ける動画情報受付手段３６と、接続情報１６を中継サーバ３からインターネットＮを介して受付ける接続情報受付手段３７と、動画情報９を領域座標データ１１に基づいて注視動画情報１８及び非注視動画情報１９に分割処理する動画分割手段３８と、分割処理された注視動画情報１８及び非注視動画情報１９に対し、品質データ１４に基づいて非注視動画情報１９の表示品質を注視動画情報１８よりも相対的に抑制し、調整する表示品質調整手段３９と、調整された注視動画情報１８及び非注視動画情報１９を中継サーバ３に対してそれぞれ送出する中継サーバ送出手段４０と、制御データ２８を受付け、カメラ５を制御するカメラ制御手段４１とを具備して構成されている。なお、画像処理サーバ４は、中継サーバ３と同様に市販のサーバを利用することが可能であり、各種データ及び情報を中継サーバ３及びカメラ５との間で送受するための周知の通信制御手段４２を具備している。さらに、各種データ及び情報を記憶するための記憶手段４５を有している。

一方、カメラ５は、動画サーバ４と接続され、周囲のカメラ撮像範囲の映像を動画情報９として取得する動画情報取得手段４３と、取得した動画情報９を画像処理サーバ４に対して送出する動画情報送出手段４４とを具備している。

次に、本実施形態の中継サーバ３による動画中継処理の一例について、主に図４乃至図６に基づいて説明する。ここで、各構成２，３，４，５を起動し、それぞれの接続状態（リンク状態）を確立する（ステップＡ１）。さらに、クライアント２からの指示により、動画サーバ４に接続された複数のカメラ５の中から動画情報９の配信を受ける一つのカメラ５が選択され（ステップＡ２）、選択されたカメラ５によって撮像された映像に係る動画情報９が取得され（ステップＶ１）、これを動画サーバ４に送出している（ステップＶ２）。そして、動画サーバ４及び中継サーバ３を介して係る動画情報９がクライアント２の表示手段２５に表示される（ステップＡ３）。なお、これらの動画情報９の表示処理は、従来から周知の技術であり、各構成２，３，４についての処理の詳細については省略している。

これにより、ユーザが当該動画情報９を視認することができる。このとき、動画サーバ４及びカメラ５の設置された海外では、前述したように、インターネットＮとの接続が低速ネットワーク回線ＮＢを介して行われているため、大容量のファイルサイズを有する動画情報９を送出することは、当該回線ＮＢに多大な負荷がかかっている。そのため、クライアント２で係る動画情報９を表示した場合、現地の通信事情によっては映像が途切れたり、動画情報９の送信が遅延したり、或いはコマ落ちのようなスムーズな再生が安定的に行えないことがある。そのため、上記動画情報９の表示の際は、動画情報９全体の圧縮率を高くしたり、表示する画面サイズを小さくし、全体のファイルサイズを小さくした処理を動画サーバ４で行っても構わない。

上記動画情報９がクライアント２の表示手段２５に表示された状態で、クライアント２を操作するユーザは、マウス操作によって、表示手段２５の画面上の座標位置をドラッグ操作を利用して始点Ｐ０（Ｘ，Ｙ）及び終点Ｐ１（Ｘ，Ｙ）を指定することにより、矩形状の領域を指定する操作を行う。これにより、注視領域１０及びそれ以外の非注視領域１３を区別して指定する領域指定データ１１を入力が可能となり、クライアント２はこれを受付ける（ステップＳ１）。さらに、指定した注視領域１０及び非注視領域１３に対するそれぞれの表示品質を指定するために、画像圧縮率及びフレームレートの個々の数値を指定し、品質データ１４が入力され、これを受付ける（ステップＳ２）。ここで、画像圧縮率が高い、或いはフレームレートの数値が低い場合、処理前の動画情報９に対して表示品質が低下したものとなり、インターネットＮ間で送受されるファイルサイズを小さくしたものとなり、低速ネットワーク回線ＮＢであってもストレスなく当該情報の送受を行うことができる。

その後、指定し、入力された領域座標データ１１及び品質データ１４を含む接続情報１６を中継サーバ３に送出する（ステップＳ３）。これに対し、ＬＡＮ接続された中継サーバ３は、当該接続情報１６が送出されるか否かを検出し（ステップＴ１）、検出が有る場合（ステップＴ１においてＹＥＳ）、これを受付け、さらにインターネットＮを介して動画サーバ４に接続情報１６を中継する処理を行う（ステップＴ２）。一方、接続情報１６が送出されない場合（ステップＴ１においてＮＯ）、接続情報１６を検出するまでステップＴ１の処理を継続する。ここで、中継サーバ３に対して接続された複数のクライアント２から、同一のカメラ５からの注視動画情報１８及び非注視動画情報１９の中継を求める入力がある場合（ステップＴ３においてＹＥＳ）、パラメータＦ＝１を与える（ステップＴ４）。一方、そのような他のクライアント２からの入力がない場合（ステップＴ３においてＮＯ）、ステップＴ４の処理はキャンセルされる。その後、中継サーバ３は動画サーバ４からの注視動画情報１８等の送出が検出されるのを待機する。

一方、低速ネットワーク回線ＮＢで接続した動画サーバ４は、中継サーバ３から接続情報１６が送出されるか否かを検出する（ステップＵ１）。そして、接続情報１６の送出が検出される場合（ステップＵ１においてＹＥＳ）、当該接続情報１６を受付ける（ステップＵ２）。一方、接続情報１６の中継サーバ３からの送出がない場合（ステップＵ１）、接続情報１６を検出するまでステップＵ１の処理を継続する。なお、クライアント２から中継サーバ３を介して送出される係る接続情報１６は、各領域６，７の座標位置の指定及び表示品質の条件を指定するのみであり、動画情報９に比べてそのデータサイズは著しく小さなものである。そのため、低速ネットワーク回線ＮＢであってもストレスなく動画サーバ４まで伝達される。これにより、低速ネットワーク回線ＮＢ及び動画サーバ４に大きな負担が課せられることがない。

ここで、カメラ５は動画情報取得手段４３によって、工場の撮像範囲に係る映像を動画情報９として取得し（ステップＶ１）、これを動画サーバ４に送出する処理を継続している。そして、動画サーバ４は、係る動画情報９を受付ける（ステップＵ３）。この受付処理は、前述のステップＡ２及びステップＡ３の処理の一部機能を利用している。そして、受付けた動画情報９を接続情報１６の領域座標データ１１に基づいて始点及び終点の座標Ｐ０，Ｐ１に囲まれた領域を注視領域１０として、当該注視領域１０に対応する注視動画情報１８と、非注視流域１３に対応する非注視動画情報１９にそれぞれ分割する処理を行う（ステップＵ４：図４参照）。ここで、本実施形態では、動画情報９の中央付近に矩形状に選択した箇所を注視領域１０と認定し、係る注視領域１０が刳り抜かれた周囲の枠部分の領域を非注視領域１３としている。すなわち、注視領域１０の非表示部分の境界座標と、非注視領域１３の表示部分の境界座標とが略一致してるため、係る座標位置に基づいて後述する復元処理（統合処理）が容易となっている。

そして、各領域１０，１３対応するそれぞれの動画情報１８，１９に対する表示品質を調整するために、接続情報１６の品質データ１４に基づく処理が行われる（ステップＵ５）。ここで、中央の注視画像７に対応する注視動画情報１８に対し、その周囲の非注視領域１３に対応する非注視動画情報１９が、高圧縮率、かつフレームレートの値を注視動画情報１８に対して低く設定する調整が行われる。これにより、例えば、注視動画情報１８が１秒間に４つのフレーム画像を送出するのに対し、非注視動画情報１９が１秒間に１つのフレーム画像しか送出しないように設定される。その結果、注視動画情報１８に対し、非注視動画情報１９はファイルサイズを相対的に小さなものとすることができる。その結果、低速ネットワーク回線ＮＢを利用した注視動画情報１８及び非注視動画情報１９の転送に係る全体のファイルサイズを小さくすることができる。係る処理を経た後、調整された注視動画情報１８及び非注視動画情報１９を中継サーバ３に対してそれぞれ独立して送出する（ステップＵ６）。なお、動画サーバ４は、受付けた各種情報等を一時的若しくは永続的に記憶するためのＨＤＤ等の記憶手段４５を備え、各処理の後、これらが記憶手段４５に記憶される。

一方、中継サーバ３は、動画サーバ４からの注視動画情報１８等の送出有無を検出し（ステップＴ５）、これらの注視動画情報１８等の検出がある場合（ステップＴ５においてＹＥＳ）、これを受付けるとともに、クライアント２に対して送出し、中継する（ステップＴ６）。一方、注視動画情報１８等の送出が検出されない場合（ステップＴ５においてＮＯ）、ステップＴ５の処理を継続する。

また、中継サーバ３は、注視動画情報１８等の送出を求める他のクライアント２による入力の有無を検出し、パラメータＦ＝１の場合（ステップＴ７においてＹＥＳ）、他のクライアント２に対しても同様に注視動画情報１８等を共通処理によって他のクライアント２に対して送出し、中継する（ステップＴ８）。一方、Ｆ≠１の場合（ステップＴ７においてＮＯ）、上記共通化処理による中継をキャンセルする。

これに対し、クライアント２は、中継サーバ３から注視動画情報１８等の送出有無を検出し、当該送出が検出される場合（ステップＳ４においてＹＥＳ）、これを中継サーバ３から受付ける（ステップＳ５）。一方、送出が検出されない場合（ステップＳ４においてＮＯ）、ステップＳ４の処理を継続する。その後、受付けた注視動画情報１８及びこれに対応する非注視動画情報１９を各々の座標位置を合わせることによって一つの動画情報（統合動画情報２１）として作成する（ステップＳ６）。そして、作成された統合動画情報２１を表示制御手段２３を介して液晶ディスプレイからなる表示手段２５に出力表示する（ステップＳ７）。これにより、ユーザは中央部分が高い品質で表示された注視動画情報１８及び周囲が低品質で表示された非注視動画情報１９による工場内の様子を映像として示すことができる。つまり、低速ネットワーク回線ＮＢの通信環境に応じ、特に重要でない領域について表示品質を落とし、容量を小さくした状態でクライアント２に向けて送出することができる。その結果、双方のネットワーク回線ＢＢ，ＮＢに負荷をかけることがない。

そして、ユーザーはカメラ５によって取得された動画情報９を必要な箇所のみを高い品質で表示させた状態で統合動画情報２１を視聴することができる。なお、本実施形態の中継システム１は、上記統合動画情報２１の表示処理及び視聴において、ユーザの要求に基づいて統合動画情報２１の変化処理をすることができる。すなわち、クライアント２から入力されたカメラ５の操作及び制御に係る制御データ２８を中継サーバ３及び動画サーバ４を介して送出し、カメラ５の撮像範囲の変更（画角の変更）、特定箇所に対する映像の拡大及び縮小（ズームイン及びズームアウト）、或いは撮像範囲の周囲の環境に応じ逆光補正等を行う各種画質調整、画質加工の処理を遠隔地に設置されたクライアント側端末２から指示し、制御することができる（ステップＡ４）。係る制御処理の具体例については、周知技術を転用することが可能であり、ここでは図４及び図５におけるフローチャートでの図示を省略している。そして、動画情報９の中継を終了する場合、各構成２，３，４，５における各処理を停止し、本システムを終了する（ステップＡ５）。

以上説明したように、本実施形態の中継システム１によれば、大容量のファイルサイズからなる動画情報９を高品質の注視動画情報１８と低品質の非注視動画情報１９とに分割し、それぞれ独立して低ネットワーク回線ＮＢを通じて動画サーバ４からこれを送出し、これを中継サーバ３を介してクライアント２によって受付け、統合処理を行うことによって動画情報９を表示することができる。そのため、オリジナルの動画情報９をそのまま送出するのにくらべ、比較的重要でない背景等については、非注視動画情報１９として圧縮率等の表示品質を変化させ、重要な箇所については表示品質を落とすことなくオリジナルに近い状態で送出することができる。これにより、全体のファイルサイズを抑え、かつ実用上問題のないレベルの表示品質を維持することができる。そのため、低ネットワーク回線ＮＢの通信インフラしか整備されていない国や地域からの送出であっても、大容量のファイルサイズの動画情報９を安定して得ることができる。

以上、本発明について好適な実施形態を挙げて説明したが、本発明はこれらの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。

すなわち、本実施形態の中継システム１において、日本国内の本社ＨＯと現地海外法人の工場ＦＡとの間で接続を確立し、監視等のチェックをスムーズに行うものを示したが、これに限定されるものではなく、その他の各種用途に使用することができる。さらに、注視領域１０を矩形状に選択し、その周囲の枠状の領域を非注視領域１３として指定するものを示したがこれに限定されるものではなく、例えば、円形状に注視領域を指定するものや、中央部分を非注視領域１３に指定し、その周囲を注視領域として指定するなど、注視領域及び非注視領域の選択及び指定は任意に行うものであっても構わない。

さらに、中継サーバ３が高速ネットワーク回線ＢＢに接続され、低速ネットワーク回線ＮＢに接続された動画サーバ４から送出された情報を受けるものを示したが、これに限定されるものではなく、中継サーバ３を低速ネットワーク回線ＮＢに接続したものであっても構わない。これにより、通信インフラの十分でない国や地域に対して、大容量のファイルサイズを送出する場合であっても、表示品質を低下させることなく動画情報９を安定して送出することができる。係る場合、中継サーバ３及びクライアント２は、ＬＡＮ接続されているため、この間のデータ送信は高速なものに維持されている。

１ 中継システム（動画情報中継システム）
２ クライアント
３ 中継サーバ
４ 動画サーバ
５ カメラ（ネットワークカメラ）
６ 注視画像
７ 非注視画像
８ 統合画像
９ 動画情報
１０ 注視領域
１１ 領域座標データ
１２ 領域指定手段
１３ 非注視領域
１４ 品質データ
１５ 品質指定手段
１６ 接続情報
１７ 接続情報送出手段
１８ 注視動画情報
１９ 非注視動画情報
２０ 動画情報受付手段
２１ 統合動画情報
２２ 動画情報統合手段
２８ 制御データ
２９ 制御データ受付手段
３０ 制御データ送出手段
３１ 接続情報中継手段
３２ 動画情報中継手段
３３ 共通中継手段
３４ 制御データ中継手段
３６ 動画情報受付手段
３７ 接続情報受付手段
３８ 動画分割手段
３９ 表示品質調整手段
４０ 中継サーバ送出手段
４１ カメラ制御手段
４３ 動画情報取得手段
４４ 動画情報送出手段
ＢＢ 高速ネットワーク回線（通信ネットワーク）
ＮＢ 低速ネットワーク回線（通信ネットワーク）
Ｎ インターネット（通信ネットワーク）

Claims (7)

1. ユーザの操作するクライアントと、
   前記クライアントと接続された中継サーバと、
   前記中継サーバと少なくとも一部に低速ネットワーク回線を含む通信ネットワークを介して接続された動画サーバと、
   前記動画サーバと接続され、動画情報を取得するネットワークカメラと
   を具備し、
   前記クライアントは、
   前記ネットワークカメラによって取得された前記動画情報から、前記ユーザの注視する注視領域及び非注視領域を画面上の座標位置に従って指定した領域座標データの入力を受付ける領域指定手段と、
   前記注視領域及び前記非注視領域のそれぞれの表示品質を指定する品質データの入力を受付ける品質指定手段と、
   入力を受付けた前記領域座標データ及び前記品質データを含む接続情報を、前記中継サーバに送出する接続情報送出手段と、
   前記領域座標データの前記座標位置に基づいて前記動画情報が領域毎に分割された、前記注視領域に対応する注視動画情報及び前記非注視領域に対応する非注視動画情報をそれぞれ前記中継サーバを介して受付ける動画情報受付手段と、
   受付けた前記注視動画情報及び前記注視動画情報に対応する前記非注視動画情報を前記座標位置を合わせて一つに統合し、統合動画情報を作成する動画情報統合手段と、
   統合し、作成された前記統合動画情報を信号制御して表示手段に出力する表示制御手段と
   を具備し、
   前記中継サーバは、
   前記クライアントから送出された前記接続情報を受付け、前記通信ネットワークを介して前記動画サーバに中継する接続情報中継手段と、
   前記動画サーバで分割処理及び表示品質処理された前記注視動画情報及び前記非注視動画情報をそれぞれ受付け、前記クライアントに中継する動画情報中継手段と
   をさらに具備し、
   前記動画サーバは、
   前記ネットワークカメラによって取得された前記動画情報の入力を受付ける動画情報受付手段と、
   前記接続情報を前記中継サーバから前記通信ネットワークを介して受付ける接続情報受付手段と、
   前記動画情報を前記領域座標データに基づいて前記注視動画情報及び前記非注視動画情報に分割処理する動画分割手段と、
   分割処理された前記注視動画情報及び前記非注視動画情報の少なくともいずれか一方に、前記品質データに基づいて前記注視動画情報に対し前記非注視動画情報の表示品質を相対的に抑制し、調整する表示品質調整手段と、
   相対的に表示品質の調整された前記注視動画情報及び前記非注視動画情報を前記中継サーバに対してそれぞれ送出する中継サーバ送出手段と
   を具備し、
   前記ネットワークカメラは、
   カメラ撮像範囲の映像を撮像し、前記動画情報として取得する動画情報取得手段と、
   取得した前記動画情報を前記画像処理サーバに対して送出する動画情報送出手段と
   を具備することを特徴とする動画情報中継システム。
2. 前記品質指定手段によって入力される前記品質データは、
   前記注視動画情報及び前記非注視動画情報の少なくともいずれか一方の画像圧縮率及びフレームレートを指定する数値を含むものであることを特徴とする請求項１に記載の動画情報中継システム。
3. 前記中継サーバに対し、複数の前記クライアントが接続され、
   前記動画情報中継手段は、
   前記注視動画情報及び前記非注視動画情報を、複数の前記クライアントにそれぞれ共通化して中継する共通中継手段をさらに具備することを特徴とする請求項１または請求項２に記載の動画情報中継システム。
4. 前記クライアントは、
   前記ネットワークカメラの画角変更、撮影範囲の拡大及び縮小、及び前記動画情報の画質補正を含む制御データの入力を受付ける制御データ受付手段と、
   前記制御データを前記中継サーバを介して前記動画サーバに送出する制御データ送出手段と
   をさらに具備し、
   前記中継サーバは、
   送出された前記制御データを受付け、前記動画サーバに中継して送出する制御データ中継手段をさらに具備し、
   前記動画サーバは、
   前記制御データを受付け、前記ネットワークカメラを制御するカメラ制御手段をさらに具備することを特徴とする請求項１乃至請求項３のいずれか一つに記載の動画情報中継システム。
5. 取得された動画情報から、ユーザの注視する注視領域及び非注視領域を画面上の座標位置に従って指定した領域座標データの入力を受付ける領域指定手段、前記注視領域及び前記非注視領域のそれぞれの表示品質を指定する品質データの入力を受付ける品質指定手段、入力を受付けた前記領域座標データ及び前記品質データを含む接続情報を、中継サーバに送出する接続情報送出手段、領域座標データの前記座標位置に基づいて前記動画情報が領域毎に分割された、前記注視領域に対応する注視動画情報及び前記非注視領域に対応する非注視動画情報をそれぞれ前記中継サーバを介して受付ける動画情報受付手段、受付けた前記注視動画情報及び前記注視動画情報に対応する前記非注視動画情報を前記座標位置を合わせて一つに統合し、統合動画情報を作成する動画情報統合手段、及び、統合し、作成された前記統合動画情報を信号制御して表示手段に出力する表示制御手段として、前記ユーザの操作するクライアントを機能させ、
   前記クライアントから送出された前記接続情報を受付け、少なくとも一部に低速ネットワーク回線を含む通信ネットワークを介して動画サーバに中継する接続情報中継手段、及び、前記動画サーバで分割処理及び表示品質処理された前記注視動画情報及び前記非注視動画情報をそれぞれ受付け、前記クライアントに中継する動画情報中継手段として、前記中継サーバを機能させ、
   ネットワークカメラによって取得された前記動画情報の入力を受付ける動画情報受付手段、前記接続情報を前記中継サーバから前記通信ネットワークを介して受付ける接続情報受付手段、前記動画情報を前記領域座標データに基づいて前記注視動画情報及び前記非注視動画情報に分割処理する動画分割手段、分割処理された前記注視動画情報及び前記非注視動画情報の少なくともいずれか一方、前記品質データに基づいて前記注視動画情報に対し前記非注視動画情報の表示品質を相対的に抑制し、調整する表示品質調整手段、及び、相対的に表示品質の調整された前記注視動画情報及び前記非注視動画情報を前記中継サーバに対してそれぞれ送出する中継サーバ送出手段つぃて、前記動画サーバを機能させ、
   カメラ撮像範囲の映像を撮像し、前記動画情報として取得する動画情報取得手段、及び、取得した前記動画情報を前記画像処理サーバに対して送出する動画情報送出手段として、前記ネットワークカメラを機能させることを特徴とする動画情報中継プログラム。
6. 前記注視動画情報及び前記非注視動画情報を、前記中継サーバに対して接続された複数のクライアントにそれぞれ共通化して中継する共通中継手段として、前記中継サーバをさらに機能させることを特徴とする請求項５に記載の動画情報中継プログラム。
7. 前記ネットワークカメラの画角変更、撮影範囲の拡大及び縮小、及び前記動画情報の画質補正を含む制御データの入力を受付ける制御データ受付手段、及び、前記制御データを前記中継サーバを介して前記動画サーバに送出する制御データ送出手段として、前記クライアントをさらに機能させ、
   送出された前記制御データを受付け、前記動画サーバに中継して送出する制御データ中継手段として、前記中継サーバをさらに機能させ、
   前記制御データを受付け、前記ネットワークカメラを制御するカメラ制御手段として、前記動画サーバをさらに機能させることを特徴とする請求項５または請求項６に記載の動画情報中継プログラム。