JP2020149082A - 通信システム、及び生成装置 - Google Patents

通信システム、及び生成装置 Download PDF

Info

Publication number
JP2020149082A
JP2020149082A JP2019043423A JP2019043423A JP2020149082A JP 2020149082 A JP2020149082 A JP 2020149082A JP 2019043423 A JP2019043423 A JP 2019043423A JP 2019043423 A JP2019043423 A JP 2019043423A JP 2020149082 A JP2020149082 A JP 2020149082A
Authority
JP
Japan
Prior art keywords
generation
image
client device
generation device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019043423A
Other languages
English (en)
Other versions
JP7233253B2 (ja
Inventor
俊之 池上
Toshiyuki Ikegami
俊之 池上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2019043423A priority Critical patent/JP7233253B2/ja
Publication of JP2020149082A publication Critical patent/JP2020149082A/ja
Application granted granted Critical
Publication of JP7233253B2 publication Critical patent/JP7233253B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】クライアント装置で画像を表示させること。【解決手段】通信システムは、クライアント装置300と、生成装置200を含む複数の生成装置と、管理サーバ100と、を含む。クライアント装置300は、生成装置200が生成した画像を受信した場合、当該画像をブラウザで表示する。管理サーバ100は、生成装置200の負荷情報に基づいて、生成装置200の送信処理を停止させると判定した場合、生成装置200との通信を停止すること、及び生成装置201に画像生成送信指示を送信することをクライアント装置300に指示する。生成装置201は、クライアント装置300から画像生成送信指示を受信した場合、画像を生成し、画像をクライアント装置300に送信する。クライアント装置300は、生成装置201が生成した画像を受信した場合、当該画像をブラウザで表示する。【選択図】図1

Description

本発明は、通信システム、及び生成装置に関する。
システムが構築される。例えば、システムには、監視カメラ、エンコーダ、及びクライアント装置が含まれる。監視カメラが撮像することで得られた映像は、エンコーダを介してクライアント装置に送信される。クライアント装置は、デコードするためのアプリケーションを用いて、映像を表示する。これにより、ユーザは、クライアント装置に表示された映像を見ることができる。
ここで、カメラ映像を表示する技術が提案されている(特許文献1を参照)。
特開2014−49865号公報
クライアント装置は、ブラウザで映像を表示する場合、デコードするためのアプリケーションを用いることがある。しかし、ブラウザの種類によっては、デコードするためのアプリケーションを用いることができない場合がある。
そこで、次のような方法が考えられる。例えば、装置は、送信された映像に基づいて画像を生成する。装置は、生成された画像をクライアント装置のブラウザで表示させる。装置は、HTTP(Hypertext Transfer Protocol)を備えたサーバ機である必要がある。しかし、1つの装置が画像を生成することは、装置の処理負荷を高める。例えば、1つの装置が複数のブラウザで表示させるための画像を生成することは、装置の処理負荷を高める。このように、装置の処理負荷が高くなることは、装置が停止することになる。装置が停止した場合、クライアント装置は、画像を受信しなくなる。そのため、クライアント装置では、画像が表示されなくなる。装置を複数設置すれば、負荷を分散することが可能ではあるが、そのためにはサーバ機を複数用意する必要がある。
本発明の目的は、クライアント装置で画像を表示させることである。
本発明の一態様に係る通信システムが提供される。通信システムは、クライアント装置と、エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信する第1の生成装置を含む複数の生成装置と、情報処理装置と、を含む。前記クライアント装置は、前記第1の生成装置が生成した画像を受信した場合、前記第1の生成装置が生成した画像をブラウザで表示する。前記情報処理装置は、前記第1の生成装置の負荷状態を示す情報である負荷情報を受信し、前記負荷情報に基づいて、前記第1の生成装置が実行する、前記第1の生成装置が生成した画像の送信処理を停止させるか否かを判定し、前記送信処理を停止させると判定した場合、前記第1の生成装置との通信を停止すること、及び前記複数の生成装置に含まれる第2の生成装置との通信を開始して前記第2の生成装置に、画像の生成と送信を指示する画像生成送信指示を送信することを前記クライアント装置に指示する。前記クライアント装置は、前記情報処理装置から指示を受けた場合、前記第1の生成装置との通信を停止し、前記第2の生成装置との通信を開始し、前記第2の生成装置に前記画像生成送信指示を送信する。前記第2の生成装置は、前記画像生成送信指示を受信した場合、前記エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信する。前記クライアント装置は、前記第2の生成装置が生成した画像を受信した場合、前記第2の生成装置が生成した画像を前記ブラウザで表示する。
本発明によれば、クライアント装置で画像を表示させることができる。
実施の形態1の通信システムを示す図である。 実施の形態1の管理サーバが有するハードウェアの構成を示す図である。 実施の形態1の管理サーバの構成を示す機能ブロック図である。 実施の形態1の生成装置の構成を示す機能ブロック図である。 実施の形態1の通信システムで実行される処理を示すシーケンス図(その1)である。 実施の形態1の通信システムで実行される処理を示すシーケンス図(その2)である。 実施の形態2の通信システムを示す図である。 実施の形態2の管理サーバの構成を示す機能ブロック図である。 実施の形態2の生成装置の構成を示す機能ブロック図である。 実施の形態2の現用系の生成装置が実行する処理を示すフローチャートである。 実施の形態2の予備系の生成装置が実行する処理を示すフローチャートである。 実施の形態2の管理サーバが実行する処理を示すフローチャートである。 実施の形態3の通信システムを示す図である。 実施の形態3の生成装置の構成を示す機能ブロック図である。 実施の形態3の生成装置が実行する処理を示すフローチャートである。
以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
実施の形態1.
図1は、実施の形態1の通信システムを示す図である。通信システムは、管理サーバ100、生成装置200,201,202、及びクライアント装置300を含む。通信システムは、さらに、監視カメラ400、及びエンコーダ500を含んでもよい。
このように、通信システムは、複数の生成装置を含む。また、図1は、3つの生成装置を示している。しかし、生成装置の数は、3つに限らない。
例えば、管理サーバ100は、ネットワーク10を介してクライアント装置300に接続する。
管理サーバ100は、情報処理装置とも言う。
生成装置200,201,202は、サーバ又はPC(Personal Computer)と考えてもよい。生成装置200,201,202は、映像に基づいて、画像を生成することができる。なお、映像は、複数の画像である。
ここで、通信システムでは、1つの生成装置が画像を生成するものとする。例えば、当該1つの生成装置は、生成装置200とする。また、生成装置200は、第1の生成装置とも言う。
クライアント装置300は、ブラウザを有する。クライアント装置300は、画像をブラウザで表示する。なお、クライアント装置300は、PCと考えてもよい。
次に、クライアント装置300が画像を表示するまでを説明する。
エンコーダ500は、監視カメラ400から映像を取得する。エンコーダ500は、映像をエンコードする。生成装置200は、エンコードされた映像をデコードする。生成装置200は、デコードされた映像に基づいて、画像を生成する。生成装置200は、生成した画像をクライアント装置300に送信する。クライアント装置300は、生成装置200が生成した画像を受信した場合、生成装置200が生成した画像をブラウザで表示する。これにより、ユーザは、クライアント装置300を用いた監視を実行できる。
エンコーダ500は、エンコードされた映像を送信する場合、マルチキャスト又はユニキャストを用いてもよい。ここで、後述する画像生成送信指示を受信した生成装置が、画像を生成する。例えば、生成装置200は、クライアント装置300が送信した画像生成送信指示を受信する。そのため、生成装置200が、画像を生成する。また、画像生成送信指示を受信していない生成装置201,202は、画像を生成しない。例えば、エンコーダ500がマルチキャストを用いてエンコードした映像を送信した場合、生成装置201,202は、次のように処理を行う。生成装置201,202は、画像生成送信指示を受信していないため、エンコードされた映像を受信しても、エンコードされた映像を廃棄する。また、当該処理は、次のように考えてもよい。生成装置201,202は、クライアント装置300との間でコネクションを確立していないため、エンコードされた映像を廃棄する。
次に、管理サーバ100が有するハードウェアについて説明する。
図2は、実施の形態1の管理サーバが有するハードウェアの構成を示す図である。管理サーバ100は、CPU(Central Processing Unit)101、RAM(Random Access Memory)102、及びHDD(Hard Disk Drive)103を有する。
ここで、CPUは、プロセッサとも言う。RAMは、メモリとも言う。
また、生成装置200,201,202、及びクライアント装置300は、管理サーバ100と同様に、CPU、RAM、及びHDDを有する。
図3は、実施の形態1の管理サーバの構成を示す機能ブロック図である。
管理サーバ100は、通信部110、状態管理部120、判定部130、及び指示部140を有する。
通信部110、状態管理部120、判定部130、及び指示部140の一部又は全部は、CPU101によって実現してもよい。通信部110、状態管理部120、判定部130、及び指示部140の一部又は全部は、CPU101が実行するプログラムのモジュールとして実現してもよい。
通信部110は、生成装置200,201,202から定期的に負荷情報を受信する。通信部110は、他の装置を介して、負荷情報を受信してもよい。なお、図1は、他の装置の図示を省略している。
負荷情報は、生成装置の負荷状態を示す情報である。具体的には、負荷情報は、CPUの使用率及びメモリの使用量のうちの少なくとも1つ以上を示す。例えば、生成装置200が送信する負荷情報は、生成装置200が有するCPUの使用率及び生成装置200が有するRAMの使用量のうちの1つ以上を示す。
状態管理部120は、画像を生成する装置を管理する。例えば、状態管理部120は、画像を生成する装置である生成装置200を管理する。
判定部130と指示部140の機能については、後で説明する。
ここで、生成装置200,201,202の機能ブロックは、同じである。そのため、生成装置200の機能ブロックを説明する。そして、生成装置201,202の機能ブロックの説明は、省略する。
図4は、実施の形態1の生成装置の構成を示す機能ブロック図である。生成装置200は、通信部210、状態管理部220、生成部230、及び状態取得部240を有する。
通信部210、状態管理部220、生成部230、及び状態取得部240の一部又は全部は、生成装置200が有するCPUによって実現してもよい。通信部210、状態管理部220、生成部230、及び状態取得部240の一部又は全部は、生成装置200が有するCPUが実行するプログラムのモジュールとして実現してもよい。
通信部210は、エンコーダ500によりエンコードされた映像を受信する。また、通信部210は、クライアント装置300から画像生成送信指示を受信する。通信部210は、画像生成送信指示を受信したことを状態管理部220に通知する。
状態管理部220は、当該通知を受信した場合、画像生成を生成部230に指示する。
生成部230は、エンコードされた映像をデコードする。生成部230は、デコードされた映像に基づいて、画像を生成する。そして、通信部210は、生成された画像をクライアント装置300に送信する。
状態取得部240は、定期的に負荷情報を取得する。そして、状態取得部240は、通信部210を介して、負荷情報を管理サーバ100に送信する。
次に、通信システムで実行される処理を説明する。
図5は、実施の形態1の通信システムで実行される処理を示すシーケンス図(その1)である。
(ステップS101)生成装置200の通信部210は、管理サーバ100に接続する。
ここで、ステップS101では、TCP(Transmission Control Protocol)が用いられる。
(ステップS102)クライアント装置300は、管理サーバ100に接続する。
(ステップS103)管理サーバ100の指示部140は、通信部110を介して、生成装置200との通信を開始して生成装置200に画像生成送信指示を送信することをクライアント装置300に指示する。
ここで、ステップS102,103では、WebSocketプロトコルが用いられる。
(ステップS104)生成装置200とクライアント装置300は、シグナリングを行う。これにより、生成装置200とクライアント装置300との間では、コネクションが確立する。コネクションは、DataChannelと表現してもよい。
(ステップS105)クライアント装置300は、エンコーダ500のIP(Internet Protocol)アドレスを生成装置200に送信する。
これにより、生成装置200は、エンコードされた映像に含まれている送信元のIPアドレスとエンコーダ500のIPアドレスとを比較することで、エンコーダ500が送信した映像であることを検出できる。
(ステップS106)クライアント装置300は、画像生成送信指示を生成装置200に送信する。
(ステップS107)生成装置200は、映像に基づいて生成された画像をクライアント装置300に送信する。
生成装置200は、画像を生成する度に、生成した画像をクライアント装置300に送信する。
ここで、ステップS105〜107では、WebRTC(WebReal−TimeCommunication)プロトコルのDataChannelが用いられる。
図6は、実施の形態1の通信システムで実行される処理を示すシーケンス図(その2)である。
(ステップS111)生成装置200の状態取得部240は、通信部210を介して、負荷情報を管理サーバ100に送信する。
(ステップS112)生成装置201の状態取得部は、生成装置201の通信部を介して、負荷情報を管理サーバ100に送信する。
(ステップS113)生成装置202の状態取得部は、生成装置202の通信部を介して、負荷情報を管理サーバ100に送信する。
なお、ステップS111〜113では、TCPが用いられる。
(ステップS114)管理サーバ100の判定部130は、生成装置200が送信した負荷情報に基づいて、生成装置200が実行する、生成装置200が生成した画像の送信処理を停止させるか否かを判定する。
具体的には、管理サーバ100の判定部130は、生成装置200が有するCPUの使用率が予め決められた第1の閾値以上の場合、送信処理を停止させると判定する。また、管理サーバ100の判定部130は、生成装置200が有するRAMの使用量が予め決められた第2の閾値以上の場合、送信処理を停止させると判定してもよい。さらに、管理サーバ100の判定部130は、生成装置200が有するCPUの使用率が第1の閾値以上であり、かつ生成装置200が有するRAMの使用量が予め決められた第2の閾値以上の場合、送信処理を停止させると判定してもよい。
ここで、管理サーバ100の判定部130が、画像の送信処理を停止させると判定したものとする。
管理サーバ100の指示部140は、生成装置201が送信した負荷情報と生成装置202が送信した負荷情報とを比較し、最も負荷が小さい生成装置を特定する。特定された生成装置は、生成装置201とする。
管理サーバ100では、画像を生成する装置を生成装置200から生成装置201に変更することが決定される。ここで、生成装置201は、第2の生成装置と考えてもよい。
(ステップS115)管理サーバ100の指示部140は、生成装置200との通信を停止すること、及び生成装置201との通信を開始して生成装置201に画像生成送信指示を送信することをクライアント装置300に指示する。なお、画像生成送信指示は、画像の生成と送信を指示するものである。
クライアント装置300は、管理サーバ100から指示を受けた場合、生成装置200との通信を停止する。すなわち、クライアント装置300は、生成装置200とクライアント装置300との間のコネクションを解除する。
これにより、生成装置200は、画像の送信処理を停止する。また、生成装置200は、画像を送信できないため、画像の生成処理も停止する。
また、エンコーダ500がユニキャストを用いてエンコードされた映像を送信している場合、管理サーバ100の指示部140は、エンコードされた映像の送信先を生成装置201に変更するようにエンコーダ500に指示する。
(ステップS116)生成装置201とクライアント装置300は、シグナリングを行う。これにより、生成装置201とクライアント装置300との間では、コネクションが確立する。そして、クライアント装置300は、生成装置201との通信を開始する。
(ステップS117)クライアント装置300は、エンコーダ500のIPアドレスを生成装置201に送信する。
(ステップS118)クライアント装置300は、生成装置201に画像生成送信指示を送信する。
(ステップS119)生成装置201の生成部は、画像生成送信指示を受信した場合、エンコーダ500によりエンコードされた映像をデコードする。生成装置201の生成部は、デコードされた映像に基づいて、画像を生成する。生成装置201の通信部は、生成された画像をクライアント装置300に送信する。
ここで、ステップS117〜119では、WebRTCプロトコルのDataChannelが用いられる。
生成装置201は、画像を生成する度に、生成した画像をクライアント装置300に送信する。クライアント装置300は、生成装置201が生成した画像を受信した場合、生成装置201が生成した画像をブラウザで表示する。
ステップS105,117では、クライアント装置300がエンコーダ500のIPアドレスを送信する場合を説明した。しかし、生成装置200,201が予めエンコーダ500のIPアドレスを記憶している場合、ステップS105,117は、実行されなくてよい。
実施の形態1によれば、管理サーバ100は、生成装置200の負荷が大きい場合、他の生成装置が生成した画像をクライアント装置300で表示させる。これにより、管理サーバ100は、クライアント装置300で画像が表示されなくなることを防止できる。よって、通信システムは、クライアント装置300で画像を表示させることができる。また、生成装置200、201、202はHTTPによる配信が必要ないため、サーバ機ではないどのようなPCであっても対応可能である。
実施の形態2.
次に、実施の形態2を説明する。実施の形態2は、実施の形態1と相違する事項を主に説明し、実施の形態1と共通する事項の説明を省略する。実施の形態2は、図2,4,5を参照する。
図7は、実施の形態2の通信システムを示す図である。通信システムは、管理サーバ100a、生成装置200a,201a、及びクライアント装置300aを含む。通信システムは、さらに、監視カメラ400及びエンコーダ500を含んでもよい。
生成装置200a,201aのうちの1つの装置は、現用系の装置である。現用系の装置は、メインの装置と表現してもよい。また、残りの装置は、予備系の装置である。予備系の装置は、サブの装置と表現してもよい。
ここで、1つの生成装置は、現用系の装置又は予備系の装置になる。例えば、生成装置200aは、現用系の装置になる場合がある。また、生成装置200aは、予備系の装置になる場合がある。
図8は、実施の形態2の管理サーバの構成を示す機能ブロック図である。管理サーバ100aは、通信部110a、状態管理部120a、及び指示部140aを有する。
通信部110a、状態管理部120a、及び指示部140aの機能については、後で説明する。
生成装置200a,201aの機能ブロックは、同じである。そのため、生成装置200aの機能ブロックを説明する。そして、生成装置201aの機能ブロックの説明は、省略する。
図9は、実施の形態2の生成装置の構成を示す機能ブロック図である。図4に示される構成と同じ図9の構成は、図4に示される符号と同じ符号を付している。
生成装置200aは、受信判定部250を有する。受信判定部250の一部又は全部は、生成装置200aが有するCPUによって実現してもよい。受信判定部250の一部又は全部は、生成装置200aが有するCPUが実行するプログラムのモジュールとして実現してもよい。
ここで、生成装置200aが現用系である場合、通信部210aの機能は、通信部210と同じである。また、生成装置200aが現用系である場合、受信判定部250は、エンコードされた映像を受信している否かを判定する。受信判定部250は、予め決められた期間、エンコードされた映像を受信していない場合、NIC(Network Interface Card)の再起動を行う。この後、生成装置200aは、待機系に移行する。
次に、生成装置200aが予備系である場合、通信部210aは、次の機能を有する。通信部210aは、定期的に、ヘルスチェックコマンドを生成装置201aに送信する。なお、ヘルスチェックコマンドは、生成装置201aが正常に動作しているかを確認するためのコマンドである。なお、正常に動作していない場合とは、生成装置201aが停止している場合、又は、生成装置201aの負荷が予め決められた閾値よりも高くなっている場合である。
生成装置200aが予備系である場合、受信判定部250は、予め決められた時間内に、ヘルスチェックコマンドに対する応答を受信できるか否かを判定する。通信部210aは、ヘルスチェックコマンドに対する応答が受信されなかった場合、生成装置201aが異常であることを管理サーバ100aに通知する。
当該通知の後、通信部210aは、画像生成送信指示をクライアント装置300aから受信する。これにより、予備系の生成装置200aは、現用系として動作する。
ここで、生成装置200aは、予備系の装置とする。生成装置201aは、現用系の装置とする。また、生成装置200aは、第4の生成装置とも言う。生成装置201aは、第3の生成装置とも言う。
次に、現用系の生成装置201aが実行する処理を説明する。
図10は、実施の形態2の現用系の生成装置が実行する処理を示すフローチャートである。
(ステップS11)生成装置201aの通信部は、生成装置201aとクライアント装置300aとの間でコネクションを確立したか否かを判定する。コネクションが確立された場合、通信部は、処理をステップS12に進める。コネクションが確立されていない場合、通信部は、待機する。
(ステップS12)生成装置201aの通信部は、エンコーダ500のIPアドレスをクライアント装置300aから受信する。
(ステップS13)生成装置201aの通信部は、クライアント装置300aが送信した画像生成送信指示を受信する。
(ステップS14)生成装置201aの受信判定部は、エンコードされた映像を受信したか否かを判定する。当該映像が受信されている場合、受信判定部は、処理をステップS15に進める。当該映像が受信されていない場合、受信判定部は、処理をステップS18に進める。
(ステップS15)生成装置201aの生成部は、エンコーダ500によりエンコードされた映像をデコードする。生成装置201aの生成部は、デコードされた映像に基づいて画像を生成する。
(ステップS16)生成装置201aの通信部は、画像をクライアント装置300aに送信する。
これにより、クライアント装置300aは、画像を受信する。クライアント装置300aは、生成装置201aが生成した画像を受信した場合、生成装置201aが生成した画像をブラウザで表示する。
(ステップS17)生成装置201aの通信部は、クライアント装置300aからコネクションの解除指示を受信したか否かを判定する。解除指示が受信された場合、通信部は、処理をステップS19に進める。解除指示が受信されていない場合、通信部は、処理をステップS14に進める。
(ステップS18)生成装置201aの受信判定部は、NICを再起動する。そして、受信判定部は、処理をステップS19に進める。
(ステップS19)生成装置201aの生成部は、画像の生成を停止する。
次に、予備系の生成装置200aが実行する処理を説明する。
図11は、実施の形態2の予備系の生成装置が実行する処理を示すフローチャートである。
(ステップS21)通信部210aは、予備系の装置であることを示す通知を管理サーバ100から受信したか否かを判定する。なお、当該通知は、後述するステップS33の通知である。
通知が受信された場合、通信部210aは、処理をステップS22に進める。通知が受信されていない場合、通信部210aは、待機する。
(ステップS22)通信部210aは、ヘルスチェックコマンドを生成装置201aに送信する。
(ステップS23)受信判定部250は、ヘルスチェックコマンドに対する応答を、予め決められた時間内に、生成装置201aから受信したか否かを判定する。
ヘルスチェックコマンドに対する応答が受信された場合、受信判定部250は、処理をステップS22に進める。ヘルスチェックコマンドに対する応答が受信されなかった場合、受信判定部250は、処理をステップS24に進める。
(ステップS24)通信部210aは、生成装置201aが異常であることを管理サーバ100aに通知する。また、通信部210aは、生成装置201aが停止状態であることを管理サーバ100aに通知してもよい。
なお、当該通知の後、通信部210aは、画像生成送信指示をクライアント装置300aから受信する。これにより、予備系の生成装置200aは、現用系として動作する。すなわち、現用系の生成装置200aは、図10の処理を行う。そして、現用系の生成装置200aは、生成した画像をクライアント装置300aに送信する。クライアント装置300aは、生成装置200aが生成した画像を受信した場合、生成装置200aが生成した画像をブラウザで表示する。
図12は、実施の形態2の管理サーバが実行する処理を示すフローチャートである。
(ステップS31)通信部110aは、クライアント装置300aが送信した接続コマンドを受信したか否かを判定する。接続コマンドが受信された場合、通信部110aは、処理をステップS32に進める。接続コマンドが受信されていない場合、通信部110aは、待機する。
(ステップS32)指示部140aは、通信部110aを介して、生成装置201aとの通信を開始して生成装置201aに画像生成送信指示を送信することをクライアント装置300aに指示する。
(ステップS33)通信部110aは、生成装置200aが予備系の装置であることを生成装置200aに通知する。
(ステップS34)状態管理部120aは、生成装置201aが異常であることを示す通知を生成装置200aから受信したか否かを判定する。
当該通知が受信された場合、状態管理部120aは、処理をステップS35に進める。当該通知が受信されていない場合、状態管理部120aは、待機する。
(ステップS35)指示部140aは、生成装置201aとの通信を停止すること、及び生成装置200aとの通信を開始して生成装置200aに画像生成送信指示を送信することをクライアント装置300aに指示する。
これにより、クライアント装置300aは、生成装置201aとの通信を停止する。また、クライアント装置300aは、生成装置200aとの通信を開始し、生成装置200aに画像生成送信指示を送信する。
また、エンコーダ500がユニキャストを用いてエンコードされた映像を送信している場合、管理サーバ100aの指示部140aは、エンコードされた映像の送信先を生成装置200aに変更するようにエンコーダ500に指示する。
実施の形態2によれば、予備系の生成装置200aは、ヘルスチェックコマンドを受信しなかった場合、現用系の生成装置201aが異常であることを検出する。現用系の生成装置201aが異常である場合、予備系の生成装置200aは、現用系として動作する。これにより、生成装置200aは、クライアント装置300aで画像が表示されなくなることを防止できる。よって、通信システムは、クライアント装置300aで画像を表示させることができ、PC単体では信頼性が不明であっても信頼性を確保した通信システムを構築することが可能となる。
実施の形態3.
次に、実施の形態3を説明する。実施の形態3は、実施の形態1と相違する事項を主に説明し、実施の形態1と共通する事項の説明を省略する。実施の形態3は、図2,4を参照する。
図13は、実施の形態3の通信システムを示す図である。通信システムは、生成装置200b、クライアント装置300b,301b、及びエンコーダ500,501を含む。
監視カメラ400は、エンコーダ500に接続する。監視カメラ400は、第1の撮像装置とも言う。エンコーダ500は、第1のエンコーダとも言う。
監視カメラ401は、エンコーダ501に接続する。監視カメラ401は、第2の撮像装置とも言う。エンコーダ501は、第2のエンコーダとも言う。
クライアント装置300bは、受信することで得られた画像をブラウザで表示する。クライアント装置300bは、第1のクライアント装置とも言う。
クライアント装置301bは、受信することで得られた画像をブラウザで表示する。クライアント装置301bは、第2のクライアント装置とも言う。
通信システムでは、画像がクライアント装置300bに優先して表示される。クライアント装置300bとクライアント装置301bの運用目的が、異なるからである。画像がクライアント装置300bに優先して表示されるために、クライアント装置300bとクライアント装置301bには、優先度が設定される。クライアント装置300bの優先度は、クライアント装置301bの優先度よりも高い。すなわち、クライアント装置301bは、クライアント装置300bよりも優先度が低い。
図14は、実施の形態3の生成装置の構成を示す機能ブロック図である。図4に示される構成と同じ図14の構成は、図4に示される符号と同じ符号を付している。
生成装置200bは、記憶部260、判定部270、及び廃棄部280を有する。
記憶部260は、生成装置200bが有するRAM又はHDDに確保した記憶領域として実現してもよい。
判定部270及び廃棄部280の一部又は全部は、生成装置200bが有するCPUによって実現してもよい。判定部270及び廃棄部280の一部又は全部は、生成装置200bが有するCPUが実行するプログラムのモジュールとして実現してもよい。
通信部210の機能は、受信部211と送信部212で実現される。受信部211は、エンコーダ500によりエンコードされた映像を受信する。受信部211は、エンコーダ501によりエンコードされた映像を受信する。
生成部230は、エンコーダ500によりエンコードされた映像をデコードする。生成部230は、デコードされた第1の映像に基づいて画像を生成する。そして、送信部212は、第1の映像に基づいて生成された画像をクライアント装置300bに送信する。
また、生成部230は、エンコーダ501によりエンコードされた映像をデコードする。生成部230は、デコードされた第2の映像に基づいて画像を生成する。そして、送信部212は、第2の映像に基づいて生成された画像をクライアント装置301bに送信する。
状態取得部240は、負荷情報を取得する。負荷情報は、生成装置200bの負荷状態を示す。具体的には、負荷情報は、生成装置200bが有するCPUの使用率及び生成装置200bが有するメモリの使用量のうちの少なくとも1つ以上を示す。
記憶部260は、エンコーダ500のIPアドレスとクライアント装置300bとの対応関係を示す情報を記憶する。また、記憶部260は、エンコーダ501のIPアドレスとクライアント装置301bとの対応関係を示す情報を記憶する。
判定部270は、エンコーダ500によりエンコードされた映像に含まれている送信元のIPアドレスと記憶部260が記憶する情報に基づいて、当該映像がデコードされた映像に基づいて生成される画像がクライアント装置300bに送信されることを判定できる。
また、判定部270は、エンコーダ501によりエンコードされた映像に含まれている送信元のIPアドレスと記憶部260が記憶する情報に基づいて、当該映像がデコードされた映像に基づいて生成される画像がクライアント装置301bに送信されることを判定できる。
判定部270は、受信部211がエンコーダ501によりエンコードされた映像を受信した場合、負荷情報に基づいて、生成処理を生成部230に実行させるか否かを判定する。なお、生成処理とは、第2の映像に基づいて画像を生成する処理である。
ここで、判定部270が実行する処理を詳細に説明する。判定部270は、生成装置200bが有するCPUの使用率が予め決められた第3の閾値以上の場合、生成処理を生成部230に実行させないと判定する。また、判定部270は、生成装置200bが有するRAMの使用量が予め決められた第4の閾値以上の場合、生成処理を生成部230に実行させないと判定してもよい。さらに、判定部270は、生成装置200bが有するCPUの使用率が第3の閾値以上であり、かつ生成装置200bが有するRAMの使用量が第4の閾値以上の場合、生成処理を生成部230に実行させないと判定してもよい。
廃棄部280は、生成処理を生成部230に実行させないと判定された場合、受信部211により受信されたエンコーダ501によりエンコードされた映像を廃棄する。
次に、生成装置200bが実行する処理を説明する。
図15は、実施の形態3の生成装置が実行する処理を示すフローチャートである。なお、図15では、生成装置200bとクライアント装置300bとの間、生成装置200bとクライアント装置301bとの間では、コネクションが確立されているものとする。また、図15では、生成装置200bが画像を送信する処理の説明は、省略する。さらに、生成装置200bは、エンコードされた映像を受信したときに図15の処理を実行する。
(ステップS41)状態取得部240は、CPUの使用率を取得する。
(ステップS42)判定部270は、デコードされた映像に基づいて生成される画像の送信先がクライアント装置301bであるか否かを判定する。
送信先がクライアント装置301bである場合、判定部270は、処理をステップS43に進める。送信先がクライアント装置300bである場合、判定部270は、処理をステップS44に進める。
ステップS42の処理は、次のように考えてもよい。判定部270は、受信部211がエンコーダ501によりエンコードされた映像を受信したか否かを判定する。受信部211がエンコーダ501によりエンコードされた映像を受信した場合、判定部270は、処理をステップS43に進める。受信部211がエンコーダ500によりエンコードされた映像を受信した場合、判定部270は、処理をステップS44に進める。
(ステップS43)判定部270は、ステップS41で取得されたCPUの使用率が閾値以上であるか否かを判定する。なお、当該閾値は、第3の閾値である。CPUの使用率が閾値よりも小さい場合、判定部270は、処理をステップS44に進める。CPUの使用率が閾値以上である場合、廃棄部280は、エンコードされた映像を廃棄する。そして、廃棄部280は、処理をステップS41に進める。
(ステップS44)生成部230は、エンコードされた映像をデコードする。生成部230は、デコードされた映像に基づいて画像を生成する。
実施の形態3によれば、生成装置200bは、クライアント装置300bに画像を送信する。これにより、クライアント装置300bは、ブラウザで画像を表示することができる。また、生成装置200bは、CPU使用率が閾値以上である場合、エンコーダ501によりエンコードされた映像を廃棄するので、画像を生成しない。そのため、生成装置200bは、生成装置200bの処理負荷が大きくなることを防止できる。すなわち、生成装置200bは、生成装置200bが停止することを防止できる。生成装置200bが停止しないため、生成装置200bは、少なくともクライアント装置300bで画像を表示させることができる。
以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。
10 ネットワーク、 100,100a 管理サーバ、 101 CPU、 102 RAM、 103 HDD、 110,110a 通信部、 120,120a 状態管理部、 130 判定部、 140,140a 指示部、 200,200a,200b,201,201a,202 生成装置、 210,210a 通信部、 211 受信部、 212 送信部、 220 状態管理部、 230 生成部、 240 状態取得部、 250 受信判定部、 260 記憶部、 270 判定部、 280 廃棄部、 300,300a,300b,301b クライアント装置、 400,401 監視カメラ、 500,501 エンコーダ。

Claims (9)

  1. クライアント装置と、
    エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信する第1の生成装置を含む複数の生成装置と、
    情報処理装置と、
    を含み、
    前記クライアント装置は、前記第1の生成装置が生成した画像を受信した場合、前記第1の生成装置が生成した画像をブラウザで表示し、
    前記情報処理装置は、
    前記第1の生成装置の負荷状態を示す情報である負荷情報を受信し、前記負荷情報に基づいて、前記第1の生成装置が実行する、前記第1の生成装置が生成した画像の送信処理を停止させるか否かを判定し、
    前記送信処理を停止させると判定した場合、前記第1の生成装置との通信を停止すること、及び前記複数の生成装置に含まれる第2の生成装置との通信を開始して前記第2の生成装置に、画像の生成と送信を指示する画像生成送信指示を送信することを前記クライアント装置に指示し、
    前記クライアント装置は、前記情報処理装置から指示を受けた場合、前記第1の生成装置との通信を停止し、前記第2の生成装置との通信を開始し、前記第2の生成装置に前記画像生成送信指示を送信し、
    前記第2の生成装置は、前記画像生成送信指示を受信した場合、前記エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信し、
    前記クライアント装置は、前記第2の生成装置が生成した画像を受信した場合、前記第2の生成装置が生成した画像を前記ブラウザで表示する、
    通信システム。
  2. 前記負荷情報は、前記第1の生成装置が有するプロセッサの使用率を示し、
    前記情報処理装置は、前記プロセッサの使用率が予め決められた第1の閾値以上の場合、前記送信処理を停止させると判定する、
    請求項1に記載の通信システム。
  3. 前記負荷情報は、前記第1の生成装置が有するメモリの使用量を示し、
    前記情報処理装置は、前記メモリの使用量が予め決められた第2の閾値以上の場合、前記送信処理を停止させると判定する、
    請求項1又は2に記載の通信システム。
  4. 前記情報処理装置は、前記送信処理を停止させると判定した場合、ユニキャストを用いてエンコードされた映像を送信している前記エンコーダに、エンコードされた映像の送信先を前記第2の生成装置に変更するように指示する、
    請求項1から3のいずれか1項に記載の通信システム。
  5. クライアント装置と、
    エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信する第3の生成装置と、
    第4の生成装置と、
    情報処理装置と、
    を含み、
    前記クライアント装置は、前記第3の生成装置が生成した画像を受信した場合、前記第3の生成装置が生成した画像をブラウザで表示し、
    前記第4の生成装置は、
    正常に動作しているかを確認するためのコマンドであるヘルスチェックコマンドを前記第3の生成装置に送信し、
    予め決められた時間内に、前記ヘルスチェックコマンドに対する応答を前記第3の生成装置から受信しなかった場合、前記第3の生成装置が異常であることを前記情報処理装置に通知し、
    前記情報処理装置は、前記通知を受信した場合、前記第3の生成装置との通信を停止すること、及び前記第4の生成装置との通信を開始して前記第4の生成装置に、画像の生成と送信を指示する画像生成送信指示を送信することを前記クライアント装置に指示し、
    前記クライアント装置は、前記情報処理装置から指示を受けた場合、前記第3の生成装置との通信を停止し、前記第4の生成装置との通信を開始し、前記第4の生成装置に前記画像生成送信指示を送信し、
    前記第4の生成装置は、前記画像生成送信指示を受信した場合、前記エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信し、
    前記クライアント装置は、前記第4の生成装置が生成した画像を受信した場合、前記第4の生成装置が生成した画像を前記ブラウザで表示する、
    通信システム。
  6. 前記情報処理装置は、前記通知を受信した場合、ユニキャストを用いてエンコードされた映像を送信している前記エンコーダに、エンコードされた映像の送信先を前記第4の生成装置に変更するように指示する、
    請求項5に記載の通信システム。
  7. 第1の撮像装置に接続する第1のエンコーダと、
    第2の撮像装置に接続する第2のエンコーダと、
    受信することで得られた画像をブラウザで表示する第1のクライアント装置と、
    前記第1のクライアント装置よりも優先度が低い、かつ受信することで得られた画像をブラウザで表示する第2のクライアント装置と、
    生成装置と、
    を含む通信システムのうちの生成装置であって、
    前記第1のエンコーダによりエンコードされた映像を受信し、前記第2のエンコーダによりエンコードされた映像を受信する受信部と、
    前記第1のエンコーダによりエンコードされた映像をデコードし、デコードされた第1の映像に基づいて画像を生成し、前記第2のエンコーダによりエンコードされた映像をデコードし、デコードされた第2の映像に基づいて画像を生成する生成部と、
    前記第1の映像に基づいて生成された画像を前記第1のクライアント装置に送信し、前記第2の映像に基づいて生成された画像を前記第2のクライアント装置に送信する送信部と、
    生成装置の負荷状態を示す負荷情報を取得する状態取得部と、
    前記受信部が前記第2のエンコーダによりエンコードされた映像を受信した場合、前記負荷情報に基づいて、前記第2の映像に基づいて画像を生成する処理である生成処理を前記生成部に実行させるか否かを判定する判定部と、
    前記生成処理を前記生成部に実行させないと判定された場合、前記受信部により受信された前記第2のエンコーダによりエンコードされた映像を廃棄する廃棄部と、
    を有する生成装置。
  8. プロセッサをさらに有し、
    前記負荷情報は、前記プロセッサの使用率を示し、
    前記判定部は、前記プロセッサの使用率が予め決められた第3の閾値以上の場合、前記生成処理を前記生成部に実行させないと判定する、
    請求項7に記載の生成装置。
  9. メモリをさらに有し、
    前記負荷情報は、前記メモリの使用量を示し、
    前記判定部は、前記メモリの使用量が予め決められた第4の閾値以上の場合、前記生成処理を前記生成部に実行させないと判定する、
    請求項7又は8に記載の生成装置。
JP2019043423A 2019-03-11 2019-03-11 通信システム、及び生成装置 Active JP7233253B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019043423A JP7233253B2 (ja) 2019-03-11 2019-03-11 通信システム、及び生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019043423A JP7233253B2 (ja) 2019-03-11 2019-03-11 通信システム、及び生成装置

Publications (2)

Publication Number Publication Date
JP2020149082A true JP2020149082A (ja) 2020-09-17
JP7233253B2 JP7233253B2 (ja) 2023-03-06

Family

ID=72432026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019043423A Active JP7233253B2 (ja) 2019-03-11 2019-03-11 通信システム、及び生成装置

Country Status (1)

Country Link
JP (1) JP7233253B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001244944A (ja) * 2000-02-25 2001-09-07 Hitachi Ltd ネットワークシステム及びその通信方法
JP2005318415A (ja) * 2004-04-30 2005-11-10 Canon Inc 映像配信装置および方法
JP2007243342A (ja) * 2006-03-06 2007-09-20 Yokogawa Electric Corp 画像監視装置及び画像監視システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001244944A (ja) * 2000-02-25 2001-09-07 Hitachi Ltd ネットワークシステム及びその通信方法
JP2005318415A (ja) * 2004-04-30 2005-11-10 Canon Inc 映像配信装置および方法
JP2007243342A (ja) * 2006-03-06 2007-09-20 Yokogawa Electric Corp 画像監視装置及び画像監視システム

Also Published As

Publication number Publication date
JP7233253B2 (ja) 2023-03-06

Similar Documents

Publication Publication Date Title
US9825816B2 (en) Method and system for resource-aware dynamic bandwidth control
US9037706B2 (en) Method and system for data packet queue recovery
US20100026811A1 (en) Systems and methods for managing live video data
US10959122B2 (en) Method and device for transmitting data
CN112929377B (zh) 用于对等服务器网络的视频负载均衡系统
US20220253268A1 (en) Smart screen share reception indicator in a conference
JP6406558B2 (ja) 画像処理装置及びこれを備えた画像処理システム並びに電力制御方法
JP5558279B2 (ja) 監視制御システム、およびこれに利用する監視制御装置、監視制御方法
JP7233253B2 (ja) 通信システム、及び生成装置
CA3061451A1 (en) Task based service management platform
KR101581400B1 (ko) 감시카메라의 트래픽 감시 시스템 및 이를 이용한 트래픽 감시 방법
JP2015082131A (ja) 監視システム、監視方法、監視プログラム及び監視装置
JP5005425B2 (ja) 制御装置復帰システム
JP2005244384A (ja) 受信品質通知方法、受信品質通知装置及び受信品質通知プログラム
JP4796886B2 (ja) 警備用データ管理システムおよび警備用データ管理方法
JP4382739B2 (ja) 監視システム
JP6784939B2 (ja) ネットワーク機器
JP5640759B2 (ja) シンクライアントサーバ及びアプリケーション制御方法
JP2004104671A (ja) 監視ネットワークシステム
JP2011066789A (ja) 携帯アプリケーション操作システムおよび該システムを組み込んだ携帯電話ならびにそのためのプログラム
JP2006165989A (ja) 映像伝送システム、画像送信装置、画像受信装置および映像伝送方法
JP2011048577A (ja) 障害監視システム
JP2009111655A (ja) ネットワーク管理システム
JP2007267068A (ja) ネットワーク管理システム、遠隔監視機能提供装置及びそれらに用いる遠隔制御方法
KR20230019582A (ko) IoT 기반의 네트워크 카메라 및 모니터링 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230221

R150 Certificate of patent or registration of utility model

Ref document number: 7233253

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150