JP2020149082A - 通信システム、及び生成装置 - Google Patents
通信システム、及び生成装置 Download PDFInfo
- Publication number
- JP2020149082A JP2020149082A JP2019043423A JP2019043423A JP2020149082A JP 2020149082 A JP2020149082 A JP 2020149082A JP 2019043423 A JP2019043423 A JP 2019043423A JP 2019043423 A JP2019043423 A JP 2019043423A JP 2020149082 A JP2020149082 A JP 2020149082A
- Authority
- JP
- Japan
- Prior art keywords
- generation
- image
- client device
- generation device
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Computer And Data Communications (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
ここで、カメラ映像を表示する技術が提案されている(特許文献1を参照)。
図1は、実施の形態1の通信システムを示す図である。通信システムは、管理サーバ100、生成装置200,201,202、及びクライアント装置300を含む。通信システムは、さらに、監視カメラ400、及びエンコーダ500を含んでもよい。
このように、通信システムは、複数の生成装置を含む。また、図1は、3つの生成装置を示している。しかし、生成装置の数は、3つに限らない。
例えば、管理サーバ100は、ネットワーク10を介してクライアント装置300に接続する。
生成装置200,201,202は、サーバ又はPC(Personal Computer)と考えてもよい。生成装置200,201,202は、映像に基づいて、画像を生成することができる。なお、映像は、複数の画像である。
ここで、通信システムでは、1つの生成装置が画像を生成するものとする。例えば、当該1つの生成装置は、生成装置200とする。また、生成装置200は、第1の生成装置とも言う。
クライアント装置300は、ブラウザを有する。クライアント装置300は、画像をブラウザで表示する。なお、クライアント装置300は、PCと考えてもよい。
エンコーダ500は、監視カメラ400から映像を取得する。エンコーダ500は、映像をエンコードする。生成装置200は、エンコードされた映像をデコードする。生成装置200は、デコードされた映像に基づいて、画像を生成する。生成装置200は、生成した画像をクライアント装置300に送信する。クライアント装置300は、生成装置200が生成した画像を受信した場合、生成装置200が生成した画像をブラウザで表示する。これにより、ユーザは、クライアント装置300を用いた監視を実行できる。
図2は、実施の形態1の管理サーバが有するハードウェアの構成を示す図である。管理サーバ100は、CPU(Central Processing Unit)101、RAM(Random Access Memory)102、及びHDD(Hard Disk Drive)103を有する。
また、生成装置200,201,202、及びクライアント装置300は、管理サーバ100と同様に、CPU、RAM、及びHDDを有する。
管理サーバ100は、通信部110、状態管理部120、判定部130、及び指示部140を有する。
負荷情報は、生成装置の負荷状態を示す情報である。具体的には、負荷情報は、CPUの使用率及びメモリの使用量のうちの少なくとも1つ以上を示す。例えば、生成装置200が送信する負荷情報は、生成装置200が有するCPUの使用率及び生成装置200が有するRAMの使用量のうちの1つ以上を示す。
判定部130と指示部140の機能については、後で説明する。
図4は、実施の形態1の生成装置の構成を示す機能ブロック図である。生成装置200は、通信部210、状態管理部220、生成部230、及び状態取得部240を有する。
状態管理部220は、当該通知を受信した場合、画像生成を生成部230に指示する。
状態取得部240は、定期的に負荷情報を取得する。そして、状態取得部240は、通信部210を介して、負荷情報を管理サーバ100に送信する。
図5は、実施の形態1の通信システムで実行される処理を示すシーケンス図(その1)である。
(ステップS101)生成装置200の通信部210は、管理サーバ100に接続する。
ここで、ステップS101では、TCP(Transmission Control Protocol)が用いられる。
(ステップS103)管理サーバ100の指示部140は、通信部110を介して、生成装置200との通信を開始して生成装置200に画像生成送信指示を送信することをクライアント装置300に指示する。
ここで、ステップS102,103では、WebSocketプロトコルが用いられる。
(ステップS105)クライアント装置300は、エンコーダ500のIP(Internet Protocol)アドレスを生成装置200に送信する。
これにより、生成装置200は、エンコードされた映像に含まれている送信元のIPアドレスとエンコーダ500のIPアドレスとを比較することで、エンコーダ500が送信した映像であることを検出できる。
(ステップS107)生成装置200は、映像に基づいて生成された画像をクライアント装置300に送信する。
ここで、ステップS105〜107では、WebRTC(WebReal−TimeCommunication)プロトコルのDataChannelが用いられる。
(ステップS111)生成装置200の状態取得部240は、通信部210を介して、負荷情報を管理サーバ100に送信する。
(ステップS112)生成装置201の状態取得部は、生成装置201の通信部を介して、負荷情報を管理サーバ100に送信する。
(ステップS113)生成装置202の状態取得部は、生成装置202の通信部を介して、負荷情報を管理サーバ100に送信する。
なお、ステップS111〜113では、TCPが用いられる。
具体的には、管理サーバ100の判定部130は、生成装置200が有するCPUの使用率が予め決められた第1の閾値以上の場合、送信処理を停止させると判定する。また、管理サーバ100の判定部130は、生成装置200が有するRAMの使用量が予め決められた第2の閾値以上の場合、送信処理を停止させると判定してもよい。さらに、管理サーバ100の判定部130は、生成装置200が有するCPUの使用率が第1の閾値以上であり、かつ生成装置200が有するRAMの使用量が予め決められた第2の閾値以上の場合、送信処理を停止させると判定してもよい。
管理サーバ100の指示部140は、生成装置201が送信した負荷情報と生成装置202が送信した負荷情報とを比較し、最も負荷が小さい生成装置を特定する。特定された生成装置は、生成装置201とする。
管理サーバ100では、画像を生成する装置を生成装置200から生成装置201に変更することが決定される。ここで、生成装置201は、第2の生成装置と考えてもよい。
これにより、生成装置200は、画像の送信処理を停止する。また、生成装置200は、画像を送信できないため、画像の生成処理も停止する。
(ステップS117)クライアント装置300は、エンコーダ500のIPアドレスを生成装置201に送信する。
(ステップS118)クライアント装置300は、生成装置201に画像生成送信指示を送信する。
ここで、ステップS117〜119では、WebRTCプロトコルのDataChannelが用いられる。
ステップS105,117では、クライアント装置300がエンコーダ500のIPアドレスを送信する場合を説明した。しかし、生成装置200,201が予めエンコーダ500のIPアドレスを記憶している場合、ステップS105,117は、実行されなくてよい。
次に、実施の形態2を説明する。実施の形態2は、実施の形態1と相違する事項を主に説明し、実施の形態1と共通する事項の説明を省略する。実施の形態2は、図2,4,5を参照する。
生成装置200a,201aのうちの1つの装置は、現用系の装置である。現用系の装置は、メインの装置と表現してもよい。また、残りの装置は、予備系の装置である。予備系の装置は、サブの装置と表現してもよい。
通信部110a、状態管理部120a、及び指示部140aの機能については、後で説明する。
図9は、実施の形態2の生成装置の構成を示す機能ブロック図である。図4に示される構成と同じ図9の構成は、図4に示される符号と同じ符号を付している。
生成装置200aは、受信判定部250を有する。受信判定部250の一部又は全部は、生成装置200aが有するCPUによって実現してもよい。受信判定部250の一部又は全部は、生成装置200aが有するCPUが実行するプログラムのモジュールとして実現してもよい。
当該通知の後、通信部210aは、画像生成送信指示をクライアント装置300aから受信する。これにより、予備系の生成装置200aは、現用系として動作する。
図10は、実施の形態2の現用系の生成装置が実行する処理を示すフローチャートである。
(ステップS11)生成装置201aの通信部は、生成装置201aとクライアント装置300aとの間でコネクションを確立したか否かを判定する。コネクションが確立された場合、通信部は、処理をステップS12に進める。コネクションが確立されていない場合、通信部は、待機する。
(ステップS13)生成装置201aの通信部は、クライアント装置300aが送信した画像生成送信指示を受信する。
(ステップS14)生成装置201aの受信判定部は、エンコードされた映像を受信したか否かを判定する。当該映像が受信されている場合、受信判定部は、処理をステップS15に進める。当該映像が受信されていない場合、受信判定部は、処理をステップS18に進める。
(ステップS16)生成装置201aの通信部は、画像をクライアント装置300aに送信する。
これにより、クライアント装置300aは、画像を受信する。クライアント装置300aは、生成装置201aが生成した画像を受信した場合、生成装置201aが生成した画像をブラウザで表示する。
(ステップS18)生成装置201aの受信判定部は、NICを再起動する。そして、受信判定部は、処理をステップS19に進める。
(ステップS19)生成装置201aの生成部は、画像の生成を停止する。
図11は、実施の形態2の予備系の生成装置が実行する処理を示すフローチャートである。
(ステップS21)通信部210aは、予備系の装置であることを示す通知を管理サーバ100から受信したか否かを判定する。なお、当該通知は、後述するステップS33の通知である。
通知が受信された場合、通信部210aは、処理をステップS22に進める。通知が受信されていない場合、通信部210aは、待機する。
(ステップS23)受信判定部250は、ヘルスチェックコマンドに対する応答を、予め決められた時間内に、生成装置201aから受信したか否かを判定する。
ヘルスチェックコマンドに対する応答が受信された場合、受信判定部250は、処理をステップS22に進める。ヘルスチェックコマンドに対する応答が受信されなかった場合、受信判定部250は、処理をステップS24に進める。
なお、当該通知の後、通信部210aは、画像生成送信指示をクライアント装置300aから受信する。これにより、予備系の生成装置200aは、現用系として動作する。すなわち、現用系の生成装置200aは、図10の処理を行う。そして、現用系の生成装置200aは、生成した画像をクライアント装置300aに送信する。クライアント装置300aは、生成装置200aが生成した画像を受信した場合、生成装置200aが生成した画像をブラウザで表示する。
(ステップS31)通信部110aは、クライアント装置300aが送信した接続コマンドを受信したか否かを判定する。接続コマンドが受信された場合、通信部110aは、処理をステップS32に進める。接続コマンドが受信されていない場合、通信部110aは、待機する。
(ステップS33)通信部110aは、生成装置200aが予備系の装置であることを生成装置200aに通知する。
当該通知が受信された場合、状態管理部120aは、処理をステップS35に進める。当該通知が受信されていない場合、状態管理部120aは、待機する。
これにより、クライアント装置300aは、生成装置201aとの通信を停止する。また、クライアント装置300aは、生成装置200aとの通信を開始し、生成装置200aに画像生成送信指示を送信する。
次に、実施の形態3を説明する。実施の形態3は、実施の形態1と相違する事項を主に説明し、実施の形態1と共通する事項の説明を省略する。実施の形態3は、図2,4を参照する。
監視カメラ400は、エンコーダ500に接続する。監視カメラ400は、第1の撮像装置とも言う。エンコーダ500は、第1のエンコーダとも言う。
監視カメラ401は、エンコーダ501に接続する。監視カメラ401は、第2の撮像装置とも言う。エンコーダ501は、第2のエンコーダとも言う。
クライアント装置301bは、受信することで得られた画像をブラウザで表示する。クライアント装置301bは、第2のクライアント装置とも言う。
生成装置200bは、記憶部260、判定部270、及び廃棄部280を有する。
記憶部260は、生成装置200bが有するRAM又はHDDに確保した記憶領域として実現してもよい。
通信部210の機能は、受信部211と送信部212で実現される。受信部211は、エンコーダ500によりエンコードされた映像を受信する。受信部211は、エンコーダ501によりエンコードされた映像を受信する。
また、生成部230は、エンコーダ501によりエンコードされた映像をデコードする。生成部230は、デコードされた第2の映像に基づいて画像を生成する。そして、送信部212は、第2の映像に基づいて生成された画像をクライアント装置301bに送信する。
記憶部260は、エンコーダ500のIPアドレスとクライアント装置300bとの対応関係を示す情報を記憶する。また、記憶部260は、エンコーダ501のIPアドレスとクライアント装置301bとの対応関係を示す情報を記憶する。
また、判定部270は、エンコーダ501によりエンコードされた映像に含まれている送信元のIPアドレスと記憶部260が記憶する情報に基づいて、当該映像がデコードされた映像に基づいて生成される画像がクライアント装置301bに送信されることを判定できる。
図15は、実施の形態3の生成装置が実行する処理を示すフローチャートである。なお、図15では、生成装置200bとクライアント装置300bとの間、生成装置200bとクライアント装置301bとの間では、コネクションが確立されているものとする。また、図15では、生成装置200bが画像を送信する処理の説明は、省略する。さらに、生成装置200bは、エンコードされた映像を受信したときに図15の処理を実行する。
(ステップS42)判定部270は、デコードされた映像に基づいて生成される画像の送信先がクライアント装置301bであるか否かを判定する。
送信先がクライアント装置301bである場合、判定部270は、処理をステップS43に進める。送信先がクライアント装置300bである場合、判定部270は、処理をステップS44に進める。
Claims (9)
- クライアント装置と、
エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信する第1の生成装置を含む複数の生成装置と、
情報処理装置と、
を含み、
前記クライアント装置は、前記第1の生成装置が生成した画像を受信した場合、前記第1の生成装置が生成した画像をブラウザで表示し、
前記情報処理装置は、
前記第1の生成装置の負荷状態を示す情報である負荷情報を受信し、前記負荷情報に基づいて、前記第1の生成装置が実行する、前記第1の生成装置が生成した画像の送信処理を停止させるか否かを判定し、
前記送信処理を停止させると判定した場合、前記第1の生成装置との通信を停止すること、及び前記複数の生成装置に含まれる第2の生成装置との通信を開始して前記第2の生成装置に、画像の生成と送信を指示する画像生成送信指示を送信することを前記クライアント装置に指示し、
前記クライアント装置は、前記情報処理装置から指示を受けた場合、前記第1の生成装置との通信を停止し、前記第2の生成装置との通信を開始し、前記第2の生成装置に前記画像生成送信指示を送信し、
前記第2の生成装置は、前記画像生成送信指示を受信した場合、前記エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信し、
前記クライアント装置は、前記第2の生成装置が生成した画像を受信した場合、前記第2の生成装置が生成した画像を前記ブラウザで表示する、
通信システム。 - 前記負荷情報は、前記第1の生成装置が有するプロセッサの使用率を示し、
前記情報処理装置は、前記プロセッサの使用率が予め決められた第1の閾値以上の場合、前記送信処理を停止させると判定する、
請求項1に記載の通信システム。 - 前記負荷情報は、前記第1の生成装置が有するメモリの使用量を示し、
前記情報処理装置は、前記メモリの使用量が予め決められた第2の閾値以上の場合、前記送信処理を停止させると判定する、
請求項1又は2に記載の通信システム。 - 前記情報処理装置は、前記送信処理を停止させると判定した場合、ユニキャストを用いてエンコードされた映像を送信している前記エンコーダに、エンコードされた映像の送信先を前記第2の生成装置に変更するように指示する、
請求項1から3のいずれか1項に記載の通信システム。 - クライアント装置と、
エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信する第3の生成装置と、
第4の生成装置と、
情報処理装置と、
を含み、
前記クライアント装置は、前記第3の生成装置が生成した画像を受信した場合、前記第3の生成装置が生成した画像をブラウザで表示し、
前記第4の生成装置は、
正常に動作しているかを確認するためのコマンドであるヘルスチェックコマンドを前記第3の生成装置に送信し、
予め決められた時間内に、前記ヘルスチェックコマンドに対する応答を前記第3の生成装置から受信しなかった場合、前記第3の生成装置が異常であることを前記情報処理装置に通知し、
前記情報処理装置は、前記通知を受信した場合、前記第3の生成装置との通信を停止すること、及び前記第4の生成装置との通信を開始して前記第4の生成装置に、画像の生成と送信を指示する画像生成送信指示を送信することを前記クライアント装置に指示し、
前記クライアント装置は、前記情報処理装置から指示を受けた場合、前記第3の生成装置との通信を停止し、前記第4の生成装置との通信を開始し、前記第4の生成装置に前記画像生成送信指示を送信し、
前記第4の生成装置は、前記画像生成送信指示を受信した場合、前記エンコーダによりエンコードされた映像をデコードし、デコードされた映像に基づいて画像を生成し、生成された画像を前記クライアント装置に送信し、
前記クライアント装置は、前記第4の生成装置が生成した画像を受信した場合、前記第4の生成装置が生成した画像を前記ブラウザで表示する、
通信システム。 - 前記情報処理装置は、前記通知を受信した場合、ユニキャストを用いてエンコードされた映像を送信している前記エンコーダに、エンコードされた映像の送信先を前記第4の生成装置に変更するように指示する、
請求項5に記載の通信システム。 - 第1の撮像装置に接続する第1のエンコーダと、
第2の撮像装置に接続する第2のエンコーダと、
受信することで得られた画像をブラウザで表示する第1のクライアント装置と、
前記第1のクライアント装置よりも優先度が低い、かつ受信することで得られた画像をブラウザで表示する第2のクライアント装置と、
生成装置と、
を含む通信システムのうちの生成装置であって、
前記第1のエンコーダによりエンコードされた映像を受信し、前記第2のエンコーダによりエンコードされた映像を受信する受信部と、
前記第1のエンコーダによりエンコードされた映像をデコードし、デコードされた第1の映像に基づいて画像を生成し、前記第2のエンコーダによりエンコードされた映像をデコードし、デコードされた第2の映像に基づいて画像を生成する生成部と、
前記第1の映像に基づいて生成された画像を前記第1のクライアント装置に送信し、前記第2の映像に基づいて生成された画像を前記第2のクライアント装置に送信する送信部と、
生成装置の負荷状態を示す負荷情報を取得する状態取得部と、
前記受信部が前記第2のエンコーダによりエンコードされた映像を受信した場合、前記負荷情報に基づいて、前記第2の映像に基づいて画像を生成する処理である生成処理を前記生成部に実行させるか否かを判定する判定部と、
前記生成処理を前記生成部に実行させないと判定された場合、前記受信部により受信された前記第2のエンコーダによりエンコードされた映像を廃棄する廃棄部と、
を有する生成装置。 - プロセッサをさらに有し、
前記負荷情報は、前記プロセッサの使用率を示し、
前記判定部は、前記プロセッサの使用率が予め決められた第3の閾値以上の場合、前記生成処理を前記生成部に実行させないと判定する、
請求項7に記載の生成装置。 - メモリをさらに有し、
前記負荷情報は、前記メモリの使用量を示し、
前記判定部は、前記メモリの使用量が予め決められた第4の閾値以上の場合、前記生成処理を前記生成部に実行させないと判定する、
請求項7又は8に記載の生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019043423A JP7233253B2 (ja) | 2019-03-11 | 2019-03-11 | 通信システム、及び生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019043423A JP7233253B2 (ja) | 2019-03-11 | 2019-03-11 | 通信システム、及び生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020149082A true JP2020149082A (ja) | 2020-09-17 |
JP7233253B2 JP7233253B2 (ja) | 2023-03-06 |
Family
ID=72432026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019043423A Active JP7233253B2 (ja) | 2019-03-11 | 2019-03-11 | 通信システム、及び生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7233253B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001244944A (ja) * | 2000-02-25 | 2001-09-07 | Hitachi Ltd | ネットワークシステム及びその通信方法 |
JP2005318415A (ja) * | 2004-04-30 | 2005-11-10 | Canon Inc | 映像配信装置および方法 |
JP2007243342A (ja) * | 2006-03-06 | 2007-09-20 | Yokogawa Electric Corp | 画像監視装置及び画像監視システム |
-
2019
- 2019-03-11 JP JP2019043423A patent/JP7233253B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001244944A (ja) * | 2000-02-25 | 2001-09-07 | Hitachi Ltd | ネットワークシステム及びその通信方法 |
JP2005318415A (ja) * | 2004-04-30 | 2005-11-10 | Canon Inc | 映像配信装置および方法 |
JP2007243342A (ja) * | 2006-03-06 | 2007-09-20 | Yokogawa Electric Corp | 画像監視装置及び画像監視システム |
Also Published As
Publication number | Publication date |
---|---|
JP7233253B2 (ja) | 2023-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9825816B2 (en) | Method and system for resource-aware dynamic bandwidth control | |
US9037706B2 (en) | Method and system for data packet queue recovery | |
US20100026811A1 (en) | Systems and methods for managing live video data | |
US10959122B2 (en) | Method and device for transmitting data | |
CN112929377B (zh) | 用于对等服务器网络的视频负载均衡系统 | |
US20220253268A1 (en) | Smart screen share reception indicator in a conference | |
JP6406558B2 (ja) | 画像処理装置及びこれを備えた画像処理システム並びに電力制御方法 | |
JP5558279B2 (ja) | 監視制御システム、およびこれに利用する監視制御装置、監視制御方法 | |
JP7233253B2 (ja) | 通信システム、及び生成装置 | |
CA3061451A1 (en) | Task based service management platform | |
KR101581400B1 (ko) | 감시카메라의 트래픽 감시 시스템 및 이를 이용한 트래픽 감시 방법 | |
JP2015082131A (ja) | 監視システム、監視方法、監視プログラム及び監視装置 | |
JP5005425B2 (ja) | 制御装置復帰システム | |
JP2005244384A (ja) | 受信品質通知方法、受信品質通知装置及び受信品質通知プログラム | |
JP4796886B2 (ja) | 警備用データ管理システムおよび警備用データ管理方法 | |
JP4382739B2 (ja) | 監視システム | |
JP6784939B2 (ja) | ネットワーク機器 | |
JP5640759B2 (ja) | シンクライアントサーバ及びアプリケーション制御方法 | |
JP2004104671A (ja) | 監視ネットワークシステム | |
JP2011066789A (ja) | 携帯アプリケーション操作システムおよび該システムを組み込んだ携帯電話ならびにそのためのプログラム | |
JP2006165989A (ja) | 映像伝送システム、画像送信装置、画像受信装置および映像伝送方法 | |
JP2011048577A (ja) | 障害監視システム | |
JP2009111655A (ja) | ネットワーク管理システム | |
JP2007267068A (ja) | ネットワーク管理システム、遠隔監視機能提供装置及びそれらに用いる遠隔制御方法 | |
KR20230019582A (ko) | IoT 기반의 네트워크 카메라 및 모니터링 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210922 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7233253 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |