JP2022507708A - カメラシステムへの安全なアクセスのためのシステムおよび方法 - Google Patents

カメラシステムへの安全なアクセスのためのシステムおよび方法 Download PDF

Info

Publication number
JP2022507708A
JP2022507708A JP2021527138A JP2021527138A JP2022507708A JP 2022507708 A JP2022507708 A JP 2022507708A JP 2021527138 A JP2021527138 A JP 2021527138A JP 2021527138 A JP2021527138 A JP 2021527138A JP 2022507708 A JP2022507708 A JP 2022507708A
Authority
JP
Japan
Prior art keywords
video
local network
data
video data
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021527138A
Other languages
English (en)
Inventor
アナンド セトラー,
ジョゼフ アール. マッツァレラ,
マイケル エス. ウェングロヴィッツ,
デレル リップマン,
Original Assignee
ミューチュアリンク, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミューチュアリンク, インコーポレイテッド filed Critical ミューチュアリンク, インコーポレイテッド
Publication of JP2022507708A publication Critical patent/JP2022507708A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0876Network architectures or network communication protocols for network security for authentication of entities based on the identity of the terminal or configuration, e.g. MAC address, hardware or software configuration or device fingerprint
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/19656Network used to communicate with a camera, e.g. WAN, LAN, Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0209Architectural arrangements, e.g. perimeter networks or demilitarized zones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/02Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/029Firewall traversal, e.g. tunnelling or, creating pinholes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/18Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B19/00Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00Information sensed or collected by the things
    • G16Y20/10Information sensed or collected by the things relating to the environment, e.g. temperature; relating to location
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/20Analytics; Diagnosis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Power Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

実施形態は、スマートビルディング内のカメラへの安全なアクセスを可能にする、システム、方法、コンピュータプログラム製品を含む。いくつかの実施形態は、インテリジェントなオンイベントビデオプッシュ機構を通して、ローカルネットワーク等の環境からアウトバウンドビデオを制御する。ローカルのインテリジェントなオンイベントビデオプッシュ機構は、ソースビデオカメラのIPアドレスを隠し、広域への分配のためにサイズを縮小するためにビデオをトランスコードし、ローカル環境(例えば、ローカルネットワーク)内で受信されるイベントトリガに応じて、ビデオを受信者にプッシュする。実施形態は、ローカルネットワークファイアウォールの遠方側における遠隔のビデオクライアントが、イベントまたはトリガが生じると、ローカルネットワークファイアウォールの近傍側におけるカメラのビデオストリームを視聴することを可能にする。

Description

(関連出願の相互参照)
本願は、2018年11月16日に出願され、System and Method for Secure Access to Camera Systemsと題された、米国仮特許出願第62/768,389号の利益を主張するものであり、2019年11月14日に出願され、System and Method for Secure Access to Camera Systemsと題された、米国仮特許出願第16/684,185号の利益を主張するものであり、これらの両方は、参照することによってその全体として本明細書に組み込まれる。
(分野)
実施形態は、概して、カメラおよびビデオストリームの安全な監視に関する。
(背景)
現行のカメラおよびビデオストリームの監視は、不安定であり、攻撃に対して脆弱である。例えば、銀行のようなセキュリティに敏感な場所は、外部のセキュリティ会社を採用し、その監視カメラおよびビデオを監視する。ビデオは、典型的には、外部のセキュリティ会社がビデオおよび監視カメラを監視する、クラウドまたはホストサイトにストリーミングされる。ローカルエリアネットワーク(LAN)または企業ネットワーク等のローカルネットワークは、権限付与されていないアクセスからローカルネットワークを保護するためのファイアウォールを含む。しかしながら、外部のセキュリティ会社がその監視カメラおよびビデオストリームを監視することを可能にするために、その全てがネットワーク管理者(例えば、企業情報技術(IT)管理者)にとって非常に望ましくない、ポートマッピング、ファイアウォール管理、ローカルネットワークの内側における仮想プライベートネットワーク(VPN)端末等の労力が、採用され、ファイアウォールの周囲で稼働する。これらの労力は、ローカルネットワークに対する安全を損なわせる。被られる問題のうちのいくつかは、以下、すなわち、伝送されている監視カメラのソースインターネットプロトコル(IP)アドレス、外部のセキュリティ会社におけるセキュリティガードが、把握する必要がないにもかかわらず、活動へのアクセスを有し、監視していること、および誤ったトリガイベントを生成するようになりすまされ得る、広域内に送信されている警報イベントを含む。
(発明の簡単な要約)
必要とされているものは、ローカルネットワーク(例えば、ローカルエリアネットワーク(LAN)、企業ネットワーク)上のカメラ(例えば、監視カメラ)、およびそれらのカメラからのビデオストリームへの安全なアクセスを提供する、システム、方法、およびコンピュータプログラム製品である。安全なアクセスは、ローカルネットワーク内およびローカルネットワークの外部(例えば、遠隔のビデオ視聴クライアント)からのものであり得る。
いくつかの実施形態は、ビデオプッシャ等のローカルネットワーク上の電子デバイスのための方法を含み、ビデオプッシャは、シグナリングサーバとの持続的データ接続を確立することができ、ビデオプッシャは、ローカルネットワーク上にあり、ローカルネットワークのファイアウォールの背後にあり、シグナリングサーバは、ファイアウォールの別の側にある。ビデオプッシャは、シグナリングサーバから持続的データ接続を介して第1の情報を受信し、受信された第1の情報に基づいて、ローカルネットワーク上のカメラからビデオデータを要請することができる。ビデオプッシャは、カメラから、要請されたビデオデータを受信し、受信された第1の情報に基づいて、受信されたビデオデータをファイアウォールを通して伝送することができる。ビデオデータは、次いで、例えば、遠隔のビデオ視聴クライアントにビデオデータ伝送する、ビデオキャッチャに伝送されてもよい。
ビデオデータを伝送する前に、ビデオプッシャは、受信された第1の情報に基づいて、受信されたビデオデータを処理することができる。処理の非限定的実施例は、ビデオデータを暗号化すること、ビデオフォーマットをトランスコードすること、ビデオデータの分解能またはフレームレートを変更すること、ビデオデータのビデオ圧縮を変更すること、メタデータを用いてビデオを変換すること、画像データを不明瞭にする、または改変すること、または視覚ウォータマークを挿入することを含む。受信された第1の情報に基づいて、ビデオプッシャはまた、受信者のインターネットプロトコル(IP)アドレスまたはユニフォームリソースロケータ(URL)を指定する、ビデオデータを含むローカルネットワークの複数のカメラフィードを、単一またはより少ないビデオストリームにタイリングする、ローカルネットワーク上の複数のカメラからのビデオストリームを、単一またはより少ないビデオストリームに動的に選択する、または切り替える、またはビデオデータの低分解能画像サムネイルまたはビデオデータの高分解能画像小区分を生成することができる。
ビデオプッシャはまた、シグナリングサーバを用いて認証し、ローカルネットワークに関連する情報を要請し、要請に応答して、第1の情報を受信することができる。第1の情報の実施例は、センサの一意の識別、製造番号、センサタイプ、場所、センサの読取値、読取値、記号、状態、または警告、警報、通知またはテキストメッセージ、数値、視覚表現、オーディオ信号等の表現の形態における、読取値または一連の読取値の翻訳または解釈された意味等の、ローカルネットワーク上の、またはローカルネットワークまたはローカルネットワーク上のデバイスが接続され得る別のネットワーク上のセンサまたはモノのインターネット(IoT)デバイスと関連付けられる、データ、またはジオリファレンスされた、または固定された基準座標系、マップ、見取図、または3次元モデル上の別のオブジェクトまたはモノに対するセンサの相対場所等のセンサの環境に関係のあるセンサまたは条件と関連付けられる、他の関連のある情報またはデータを含む。
ローカルネットワーク上のセンサまたはIoTデバイスは、限定ではないが、ガスセンサ、煙/火災検出器、またはスイッチまたは非常ボタンの接点開閉部、人工知能または分析論ベースのオブジェクト、イベント、条件、リアルタイムで、単独または他のものと協調してのいずれかでビデオデータを解釈する、状態変化状態検出モジュール、他のセンサ、システム、データベース、分析機能、または情報源からの履歴または予測データを含んでもよく、センサは、それ自体で、または別のデバイスまたはモジュールに結合されると、ルールベースまたは事前に指定される受信者エージェントに伝送されるべき警報、イベント通知、または警告信号を引き起こす。
ビデオプッシャは、ネットワークに関連する情報に関する要請を行うために、異なるプロトコルを利用してもよい。プロトコルのタイプの実施例は、限定ではないが、リアルタイムのパブリケーションサブスクリプション、データ同期化、または要請応答プロトコルを含む。それらの実施例は、限定ではないが、メッセージキューイングテレメトリトランスポート(MQTT)プロトコル、拡張可能メッセージングおよびプレゼンスプロトコル(XMPP)、ストリーミングテキスト指向メッセージングプロトコル(STOMP)、高度なメッセージキューイングプロトコル(AMQP)、ウェブアプリケーションメッセージングプロトコル(WAMP)、Java(登録商標)メッセージサービス(JMS)、ZeroMQ、または専用メッセージングプロトコルを含み、要請は、ローカルネットワークに関係のあるトピックをサブスクライブすることを含んでもよい。
ビデオプッシャは、従来型カメラに結合される、および/またはそれと統合されてもよく、受信された第1の情報を、従来型カメラと互換性のある第1のフォーマットに転換し、従来型カメラから第2のビデオデータを要請することができる。第2のビデオデータが従来型カメラから受信された後、ビデオプッシャは、第2のビデオデータを、第1のフォーマットと異なる第2のフォーマットに転換し、第2のフォーマットにおける第2のビデオデータをファイアウォールを通して伝送することができる。第1のフォーマットは、限定ではないが、リアルタイムストリーミングプロトコル(RTSP)、リアルタイムメッセージングプロトコル(RTMP)、ハイパーテキスト転送プロトコル(HTTP)、リアルタイムトランスポートプロトコル(RTP)、および/または同等物を含む、ビデオストリーミングプロトコルを含む。
ローカルネットワーク上のカメラは、インターネットプロトコル(IP)カメラ、ユニバーサルシリアルバス(USB)カメラ、またはアナログ/IPコンバータに結合される、アナログカメラであることができる。
ビデオを伝送するステップに先立って、ビデオプッシャは、受信された第1の情報と併せてルールベースのソフトウェアモジュールを利用してもよい。ソフトウェアモジュールは、メモリの中に記録される命令と、1つ以上のプロセッサによって実行され、ビデオプッシャが、イベントデータ、センサデータ、受信者データ、または他の基準を含むルールに基づいて、ビデオデータの受信者を決定することを可能にする、命令とを含んでもよい。例えば、イベントデータは、限定ではないが、イベントタイプ、イベント重大度、イベント優先度、または日付または時間を含んでもよい。センサデータは、限定ではないが、センサの読取値、警告、状態、条件、場所、または持続時間を含んでもよい。受信者データは、限定ではないが、受信者の識別、場所、セキュリティ分類、または権限付与レベル、機能、技能、能力、または可用性を含んでもよい。いくつかの実施形態では、ルールベースのソフトウェアモジュールが、カメラの内側において含まれる。
いくつかの実施形態は、例えば、シグナリングサーバを含み得る、電子デバイスのための方法を含む。シグナリングサーバは、ローカルネットワーク上のビデオプッシャを認証し、ビデオプッシャであって、ローカルネットワーク上のファイアウォールの背後にあり、電子デバイスが、ファイアウォールの別の側にある、ビデオプッシャとの持続的データ接続を確立し、ローカルネットワークと関連付けられるイベント信号を受信し、受信されたイベント信号に基づいて、ローカルネットワーク上のどのカメラがビデオデータをストリーミングするかを指定するメッセージを、持続的データ接続を介して伝送することができる。シグナリングサーバは、リアルタイムのパブリケーションサブスクリプション、データ同期化、または、限定ではないが、MQTT、XMPP、STOMP、AMQP、WAMP、JM、ZeroMQ、または専用メッセージングプロトコル等の要請応答プロトコルに基づいて、メッセージを伝送することができる。
伝送されるメッセージは、ストリーミングされるビデオデータを処理するための命令を含むことができる。処理の実施例は、限定ではないが、ビデオデータを暗号化すること、ビデオデータの分解能またはフレームレートを変更すること、および/またはビデオデータのビデオ圧縮コーデックを変更することを含む。処理の付加的な実施形態は、限定ではないが、ストリーミングされるビデオデータの受信者のIPアドレスまたはユニフォームリソースロケータ(URL)を指定すること、ストリーミングされるビデオデータを含む、ローカルネットワークの複数のカメラフィードを、単一またはより少ないビデオストリームにタイリングすること、ローカルネットワーク上の複数のカメラからのビデオストリームを、単一またはより少ないビデオストリームに動的に選択する、または切り替えること、および/またはストリーミングされるビデオデータの低分解能サムネイルを生成することを含む。
ローカルネットワーク上のビデオプッシャを認証するために、シグナリングサーバは、ビデオプッシャから、ローカルネットワークに関係のあるトピックのサブスクリプションを受信することができ、伝送されるメッセージは、サブスクリプションに基づく情報を含む。受信されるイベント信号は、第1のプロトコルフォーマットに基づいてもよく、シグナリングサーバは、受信されたイベント信号を、第1のプロトコルフォーマットと異なる、第2のプロトコルフォーマットに転換することができ、伝送されるメッセージは、第2のプロトコルフォーマットに基づく。
シグナリングサーバは、1つを上回るビデオプッシャと通信することができる。例えば、シグナリングサーバは、異なるローカルネットワークと関連付けられる、第2のイベント信号を受信し、受信された第2のイベント信号に基づいて、異なるローカルネットワーク上のどの第2のカメラが第2のビデオデータをストリーミングするかを示す、第2のメッセージを、第2のビデオプッシャに伝送することができる。
いくつかの実施形態は、ビデオキャッチャを含み得る、電子デバイスのための方法を含む。ビデオキャッチャは、遠隔のビデオ視聴クライアントから要請を受信することができ、要請は、ローカルネットワークのマップに基づき、遠隔のビデオ視聴クライアントは、ローカルネットワーク上にない。ビデオキャッチャは、受信された要請に基づいて、イベント信号をシグナリングサーバに伝送し、続いて、ローカルネットワークから、伝送されたイベント信号と関連付けられるビデオデータを受信し、次いで、受信されたビデオデータを遠隔のビデオ視聴クライアントに伝送することができる。
さらなる実施形態、特徴、および利点、および種々の実施形態の構造および動作が、付随の図面を参照して下記に詳細に説明される。実施形態が、例証的な目的のみのために本書に提示されることに留意されたい。付加的な実施形態が、本明細書に含有される教示に基づいて当業者に明白となるであろう。
本発明のさらなる理解を提供するために含まれ、本明細書に組み込まれ、その一部を構成する、付随の図面は、本発明の実施形態を図示し、説明とともに、本発明の原理を解説する役割を果たす。
図1は、例示的実施形態による、スマートビルディング内のカメラへの安全なアクセスを提供する、システムのブロック図を図示する。
図2は、例示的実施形態による、システムの動作を図示する。
図3は、例示的実施形態による、システム内の動作時のイベント/トリガの種々のタイプを図示する。
図4は、例示的実施形態による、システム内の動作時のファイアウォールを通したシグナリング方法を図示する。
図5は、例示的実施形態による、システム内のシグナリングサーバを図示する。
図6は、例示的実施形態による、システム内のビデオプッシャを図示する。
図7Aは、例示的実施形態による、システム内の1つを上回るビデオプッシャを図示する。
図7Bは、例示的実施形態による、アナログカメラを伴うシステム内の1つを上回るビデオプッシャを図示する。
図8は、例示的実施形態による、システム内相互作用を図示する。
図9は、例示的実施形態による、システム内のビデオキャッチャを図示する。
図10は、例示的実施形態による、システム内のユーザ相互作用を図示する。
図11は、例示的実施形態による、システム内でのビデオ管理システム(VMS)の統合を図示する。
図12は、例示的実施形態による、例示的コンピューティングシステムの略図である。
(詳細な説明)
図1は、例示的実施形態による、スマートビルディング内のカメラへの安全なアクセスを提供する、システム100のブロック図を図示する。システム100は、ローカルネットワーク110(例えば、ローカルエリアネットワーク(LAN)、企業ネットワーク)と、シグナリングサーバ120と、ビデオキャッチャ130と、インターネット140(例えば、広域ネットワーク(WAN))と、遠隔のビデオクライアント150a-150mとを含んでもよい。ローカルネットワーク110は、ファイアウォール116を含んでもよく、Lは、LANに結合される側を示し、Wは、WANに結合される側を示す。ローカルネットワーク110はまた、ビデオプッシャ114と、1つ以上のカメラ112a-112n(例えば、各カメラシステム112が異なり得る、監視カメラシステム)とを含んでもよい。カメラシステム112が、異なり得るにもかかわらず、カメラシステム112への、およびそれからの通信は、インターネットプロトコル(IP)を介してもよい。したがって、ビデオへの、およびそれからのシグナリングおよび/またはそのストリーミング等の通信が、IPに転換されてもよい。ローカルネットワーク110は、スマートビルディング、すなわち、イベント(例えば、火災警報、侵入者が検出されること)を発生させる、またはイベントをトリガし得る、モノのインターネット(IoT)デバイスおよび/またはセンサを含む建築物の内側において位置してもよい。いくつかの実施形態では、ローカルネットワーク110は、スマートビルディング内のセンサおよび/またはIoTデバイスに近接または隣接するが、スマートビルディング内ではない、または同一のスマートビルディング内ではない場所に位置してもよい。
いくつかの実施形態は、(ファイアウォール116のWAN上/遠方側における)1つ以上の遠隔のビデオ視聴クライアント150が、イベントまたはトリガが生じると、(ファイアウォール116のLAN上/近傍側における)カメラ112のビデオストリームを安全に視聴することを可能にする。ビデオプッシャ114は、ローカルネットワーク110の内側において位置し、ファイアウォール116の背後にあり、典型的には、クラウドの中に位置する、シグナリングサーバ120およびビデオキャッチャ130に結合されてもよい。結合は、安全な様式において生じ、さらにシステム100は、その全てが企業のIT管理者にとって非常に好ましくない、ポートマッピング、ファイアウォール管理、および企業の内側におけるVPN端末の使用を要求しない。
示されるデバイスまたはシステム(例えば、ビデオプッシャ114、シグナリングサーバ120、ビデオキャッチャ130、遠隔のビデオ視聴クライアント150、および/またはカメラ112(例えば、監視カメラ、IPカメラ、USBカメラ、従来型カメラ、アナログカメラ))のうちの1つ以上のものが、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して、1つ以上のコンピューティングデバイス上に実装されてもよい。そのようなコンピューティングデバイスは、限定ではないが、プロセッサと、命令を実行および記憶するための、非一過性メモリを含む、メモリとを有する、デバイスを含んでもよい。メモリは、データおよびプログラム命令を有形に具現化し得る。ソフトウェアは、1つ以上のアプリケーションと、オペレーティングシステムとを含んでもよい。ハードウェアは、限定ではないが、プロセッサ、メモリ、およびグラフィカルユーザインターフェースディスプレイを含んでもよい。コンピューティングデバイスはまた、複数のプロセッサと、複数の共有または別個のメモリ構成要素とを有してもよい。例えば、コンピューティングデバイスは、クラスタリングされたコンピューティング環境の一部または全体であってもよい。
図2は、例示的実施形態による、システム200の動作を図示し、すなわち、イベントまたはトリガが、ステップ1において、ビデオプッシャ114に到達し、ビデオプッシャ114が、シグナリングサーバ120への持続的データ接続(例えば、持続的なアウトバウンドTCP接続)を確立する。ステップ2におけるシグナリングサーバ120との後続の通信が、ファイアウォールと調和した様式、すなわち、例えば、シグナリングサーバ120が、本同一のソケットを横断して、ファイアウォールを逆に通して、ビデオプッシャ114に情報を戻すように送信し得るように、キープアライブpingを使用して、データ接続が持続し、維持される様式において、遂行される。ビデオプッシャ114は、次いで、ステップ3において、1つ以上のカメラ112からビデオを要請および受信し、それらのビデオストリームを好適に処理し、次いで、ステップ4において、これらをビデオキャッチャ130に中継する。ビデオキャッチャ130は、次いで、ステップ5において、ビデオストリームを好適に処理し、展開し、1つ以上の権限付与された遠隔のビデオ視聴クライアント150に伝送する。ある実施形態では、持続的データ接続は、ビデオプッシャ114が電気供給された後(例えば、起動時において)、確立されてもよい。
図3は、例示的実施形態による、システム300内の動作時のイベント/トリガの種々のタイプを図示する。シグナリングサーバ120に到達するイベント/トリガは、ローカルネットワーク110内に常駐するIoTデバイスおよびセンサ、および/またはセンサと通信する他の企業および/またはクラウドベースのシステム、および/またはビデオキャッチャ130、および同等物を含む、種々の複数の源から到達することができる。イベントまたはトリガは、モバイルデバイス上のアプリケーション、非常ボタン、または緊急事態ボタンからの信号を含んでもよい。イベントまたはトリガは、ローカルネットワーク110上のアグリゲータ(図示せず)によって受信されてもよく、アグリゲータは、イベントまたはトリガをビデオプッシャ114に伝送する。
例えば、ビデオキャッチャ130はまた、これらの遠隔のビデオ視聴クライアント150のうちの1つ以上のものが、屋内建築物マップまたは見取図を介してグラフィカルユーザインターフェースを視聴する、および/またはそれを相互作用すると、ビデオキャッチャ130からシグナリングサーバ120に送信されるイベントが、それによって、ビデオプッシャ114からの1つ以上のビデオストリームのアウトバンドフローをトリガするように、遠隔のビデオ視聴クライアント150と相互作用し得る。または、スマートビルディングの中に位置する、ガスセンサ、煙/火災検出器、またはスイッチまたは非常ボタンからの接点開閉部等の企業ベースのセンサが、トリガ/イベントメッセージをシグナリングサーバ120に提供する場合、これは、ひいては、ビデオプッシャ114に、ローカルネットワーク110内のカメラ112からビデオを外部にプッシュさせることができる。このように、ローカルネットワーク110は、ビデオストリームが、イベント/トリガの受信に応じて、あるカメラ112のみから、ある時間のみにおいてプッシュされるため、そのアウトバンウンドインターネット帯域を効率的に使用する。
いくつかの実施形態では、ビデオプッシャ114とシグナリングサーバ120との間の持続的接続は、ステップ2において、ジャストインタイム方式で、およびステップ1における、スマートビルディングIoTベースのセンサまたはシステム等からの緊急事態トリガが生じたときにのみ、確立される。ステップ1におけるトリガはまた、ビデオプッシャ114自体または別のシステムによって実装される、ビデオ分析論および処理によっても引き起こされ得る。緊急事態イベントの完了において、本データ接続は、切断される。いくつかの実施形態では、データ接続が、ステップ2において確立された後、ビデオキャッチャ130からの他のイベントが、ステップ3において、シグナリングサーバ120に到達し得、これは、ひいては、持続的データ接続を経由してビデオプッシャ114と相互作用する。例えば、ビデオキャッチャ130はまた、これらの遠隔のビデオ視聴クライアント150のうちの1つ以上のものが、屋内建築物マップを視聴する、および/またはそれを相互作用すると、ステップ3における、ビデオキャッチャ130からシグナリングサーバ120に送信されるイベントが、それによって、ビデオプッシャ114からの1つ以上のビデオストリームのアウトバンドフローを引き起こすように、ステップ4において、遠隔のビデオ視聴クライアント150と相互作用し得る。いくつかの実施形態では、ガスセンサ、煙/火災検出器、またはスイッチまたは非常ボタンからの接点開閉部等の企業ベースのセンサが、ステップ1において、シグナリングサーバ120にトリガメッセージを提供し、これは、ひいては、ビデオプッシャ114に、企業(例えば、ローカルネットワーク110)内のカメラ112からビデオを外部にプッシュし始めさせることができる。このように、企業(例えば、ローカルネットワーク110)は、ビデオストリームが、あるカメラのみから、ある時間のみにおいてプッシュされるため、そのアウトバンウンドインターネット帯域を効率的に使用する。
図4は、例示的実施形態による、システム400内のファイアウォール116を通したシグナリング方法を図示する。シグナリングサーバ120とビデオプッシャ114との間の通信のための例示的シグナリング方法は、メッセージキューイングテレメトリトランスポート(MQTT)であり、他のプロトコルもまた、使用され得る。具体的なローカルネットワーク110のためのビデオプッシャ114が、シグナリングサーバ120を用いて認証し、それ自体のローカルネットワーク110に関連するメッセージを要請する。シグナリング方法が、MQTTである場合では、これは、それ自体のローカルネットワーク110に関係のあるトピック/サブトピックをサブスクライブするであろう。例えば、ビデオプッシャ114は、ステップ2において、シグナリングサーバ120によってパブリッシュされる、例えば、ストリーミングするためのカメラ112aまたはカメラ112a-112f、およびまた、各カメラのオーディオもストリーミングするかどうかを指定する、メッセージを受信し得る。ビデオプッシャ114のサブスクライブされるMQTTトピック/サブトピックメッセージ内のJSONメッセージコンテンツが、図8にさらに説明されるように、ビデオプッシャ114の処理/中継を精密に制御するために使用される。
いくつかの実施形態では、ビデオプッシャ114とシグナリングサーバ120との間のシグナリング接続は、有意な緊急事態トリガが生じたときにのみ、生じるであろう。いくつかの実施形態では、接続はまた、ローカルネットワーク110によって承認された場合、ビデオプッシャ114が始動する度に、確立され得る。
図5は、例示的実施形態による、システム500内のシグナリングサーバ120を図示する。ステップ1において到達するイベント/トリガのシグナリングフォーマットが、そのための例示的プロトコルがMQTTである、ステップ2において使用されるシグナリングフォーマットと完全に異なり得ることに留意されたい。例えば、シグナリングサーバ120は、ステップ1において、1つ以上の他の源からHTTP POST/GETを受信し、これらの複数の/異なるメッセージフォーマットを、ステップ2においてビデオプッシャ114のサブスクリプションメッセージ内で伝送される、MQTTトピック/サブトピックJSONメッセージに好適に転換し得る。単一のシグナリングサーバ120が、複数のローカルネットワーク110a-110e内のビデオプッシャ114a-fへのMQTTサブスクリプションメッセージを取扱い得ることに留意されたい。例えば、シグナリングサーバ120を使用して、ローカルネットワーク110a内のセンサから到達するイベント/トリガが、ローカルネットワーク110aから外へのビデオプッシュを制御し得、ローカルネットワーク110b内のセンサから到達するイベント/トリガ(図示せず)が、ローカルネットワーク110bから外へのビデオプッシュを引き起こし得る。
図6は、例示的実施形態による、システム600内のビデオプッシャ114を図示する。ビデオプッシャ114は、RTSP、RTMP、HTTP、RTP等のそれらの既存のプロトコルを使用して、従来型IPカメラ112と統合する。例えば、建築物123の3階から送信される、煙検出器からのイベント/トリガが、ステップ3において、ビデオプッシャ114に、3階における全ての従来型カメラ112からビデオストリームを要請および受信させ得、これは、次いで、好適に処理され、ビデオキャッチャ130に外部にプッシュされる。いくつかの実施形態では、ステップ1bにおけるシグナリングサーバ120内の構成可能なビジネス論理128が、ステップ2において送信されるMQTTトピック/サブトピックJSONメッセージ/複数のメッセージ内で、どのカメラ112が選択されるか、それらが処理される方法等の詳細を規定するために、ステップ1aにおいて、単一のイベントの受信物を転換するであろう。さらに別の実施形態では、ビジネス論理118が、ステップ3aにおいて、シグナリングサーバ120の代わりに、またはそれに加えて、ビデオプッシャ114によって構成および適用され得る。故に、ビデオプッシャ114は、ステップ3bにおいて、ビデオストリームを要請および受信する。
図7Aは、例示的実施形態による、システム700内の1つを上回るビデオプッシャ114を図示する。前述の図に描写される、ローカルネットワーク110毎の単一のビデオプッシャ114に加えて、ビデオプッシャ114機能は、各ビデオプッシャ114がカメラ112のサブセットに関わる、分散型であってもよい。ある実施形態では、IoT IPベースのビデオプッシャ1 114aが、Raspberry Piまたは同等物等のIoTプロセッサを含み、IPカメラ112aにIP結合され、その単一のIPカメラ112aのみの制御、処理、およびビデオプッシュを提供する。別の実施形態では、IoT USBベースのビデオプッシャ2 114bが、Raspberry Piまたは同等物等のIoTプロセッサを含み、USBカメラ112bにUSB結合され、それによって、USBカメラ112bからの信号をIPカメラ112の信号に転換するだけではなく、シグナリングサーバ120から受信されるMQTTトピック/サブトピックJSONメッセージの受信に応じて、制御、処理、およびビデオプッシュを適用することも行う。別の実施形態では、スマートカメラベースのビデオプッシャ3 114cが、スマートカメラ112cの内側に含まれ得る。いくつかの実施形態では、シグナリングサーバ120は、各エッジベースの要素と、対応するステップ2a、2b、および/または2cにおいて、MQTTまたは同等物等の持続的なファイアウォールと調和したプロトコルを介して通信するであろう。
図7Bは、例示的実施形態による、アナログカメラ112を伴うシステム700内の1つを上回るビデオプッシャ114を図示する。ビデオプッシャ114機能は、各ビデオプッシャ114がIPエンコーダ752の使用を通してアナログカメラ112のサブセットに関わる、分散型であってもよい。単一のビデオプッシャ114d等の複数の実施形態が、存在し、アナログカメラ112dおよびIPエンコーダ752の複数の組み合わせのために使用され、IoTベースのビデオプッシャ114eが、アナログカメラ112eおよびIPエンコーダ752eの各組み合わせと関連付けられ、および/またはビデオプッシャ114fは、IPエンコーダ752fのハードウェアまたはソフトウェアの中に埋込されることができ、IPエンコーダ752fは、アナログカメラ112fに結合されることができる。
図8は、例示的実施形態による、システム800内相互作用を図示する。ビデオプッシャ114は、ビデオストリームを外部に送信する前に、ステップ3において、各カメラ112からプルされるビデオを好適に処理することができる。このように、ビデオプッシャ114は、ビデオストリームを外部にプッシュすることに先立って、ビデオストリームを暗号化する、外部にプッシュされているビデオストリームの分解能/フレームレートを変更する、外部にプッシュされているビデオストリームのビデオ圧縮コーデックを変更する、ステップ4において、受信者ビデオキャッチャ130のIPアドレス/URLを指定する、複数のカメラフィードを、単一またはより少ないビデオストリームにタイリングする、複数のカメラ112からのビデオストリームを、単一または複数の/より少ないビデオストリームに動的に選択する/切り替える、最小限にされる帯域の消費のために、低分解能サムネイルを生成する、ビデオ分析論を適用する、および同等物を行うようにコマンドされ得る。多くの可能性、変形例、および組み合わせが存在し、システム800は、将来的な機能性を含み、追加するために非常に拡張可能である。シグナリングサーバ120はまた、リソースが、ビデオプッシャ114がビデオストリームを外部にプッシュし始めると、ビデオキャッチャ130上に動的にプロビジョニングされるように、MQTTまたは他のプロトコルを使用して、ビデオキャッチャ130と通信し得る。例えば、ビデオキャッチャ130a-130gは、オンザフライで、必要に応じて自動的にクラウドの中に生成され、ビデオプッシュが開始するときに応じて、同時に実行し得る。
図9は、例示的実施形態による、システム900内のビデオキャッチャ130aを図示する。ビデオキャッチャ130aの役割は、ビデオプッシャ114から外部にプッシュされているビデオストリームを受信すること、およびこれを複数の権限付与される受信者、すなわち、遠隔のビデオ視聴クライアント150に展開することである。ビデオキャッチャ130によって提供されるメディアサービスは、屋内双方向建築物マップ、プッシュトゥトーク、および他の音声通信サービス(建築物内ビデオの視聴者が、見ている内容について話し合い得るように)、相互運用性システムサービス(外部にプッシュされている建築物内ビデオストリームを見ている視聴者が、従来型のLMR無線ユーザと通信し得るように)等の他のウェブサービスと統合されてもよい。いくつかの実施形態では、ビデオキャッチャ130は、必要に応じて、動的に準備提供および起動され、ビデオキャッチャ130は、同時に実行し、デスクトップおよびスマートフォン/モバイルクライアントの両方にビデオストリームを供給することが可能である。
図10は、例示的実施形態による、システム1000内のユーザ相互作用を図示する。ユーザは、その遠隔のビデオ視聴クライアント150と相互作用し、ビデオプッシュおよびカメラ112動作を制御し得る。例えば、エンドユーザは、例えば、ステップ1において受信されるHTTP POSTイベントと、ステップ2において受信されるMQTTと、ステップ3において受信されるオープンネットワークビデオインタフェースフォーラム(ONVIF)ストリームデータとの間で転換することによって、カメラ112上にパンチルトズーム(PTZ)動作を引き起こし得る。
図11は、例示的実施形態による、システム1100内でのビデオ管理システム(VMS)160の統合を図示する。前述の図に説明されるシステムおよび方法はまた、従来型VMSシステム160とも呼ばれる、VMSシステム160に適用可能である。ある実施形態では、片側(ステップ2)において、ビデオプッシャ114は、MQTTサブスクリプションメッセージを介して情報を交換し、他側において(ステップ3aにおいて)、従来型(例えば、構内ベースの)VMSシステム160の中の標準的な(例えば、構内ベースの)VMSクライアントとして作用する。このように、遠隔のビデオ視聴クライアント150は、従来型VMS160内の記録を視聴および相互作用(停止、一時停止、早送り等)することができ、複数のカメラフィードのすでにタイリングされたバージョンを外部にプッシュすることができ、複数のカメラを伴うPTZシーンを開始することができ、および同等物を行うことができる。
当業者は、用語「企業」および「スマートビルディング」の使用が、本明細書に説明される革新的ソリューションの可用性の例示的インジケーションであることを認識するであろう。これらのソリューションは、カメラおよびビデオストリームの安全な監視が所望される、固定および可動の用途および環境の両方に適用可能である。固定用途および環境のいくつかの実施形態は、限定ではないが、企業、スマートビルディング、キャンパス、農場、および/または行政区および領域を含む。可動用途および環境のいくつかの実施形態は、限定ではないが、自動車用および緊急事態車両、公共、私営、学校バス、他の輸送システム(例えば、鉄道システム、地下鉄システム、飛行機、水上車両)、および/または無人航空車両(UAV)/ドローンを含む。これらの種々のソリューションにおいて、用語「ローカルネットワーク」は、広義には、外界からのファイアウォール分離を伴う、固定および/または可動環境(例えば、企業、スマートビルディング、建築物、キャンパス、農場、行政および領域、自動車用および緊急事態車両、およびバス)において管理される、ネットワークを含むために使用される。さらに、カメラおよびセンサへのコネクティビティが、直接接続、およびビデオ管理システムおよび類似のソフトウェアを介した接続の両方を含むことを理解されたい。また、非IPセンサおよび非IPデバイスが、これらの非IPセンサおよび非IPデバイスに結合され、これらのセンサおよびデバイスのためのIPコネクティビティ(要求に応じて、双方向のIPコネクティビティ)を提供し得る、IP通信デバイスを使用することにより、本ソリューションによって対処されることも理解されたい。
システム実装
種々の実施形態が、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせによって実装されることができる。図12は、種々の実施形態内で説明されるシステムおよびデバイスが、コンピュータ可読コードおよび/またはテキスト可読コードとして実装され得る、例示的コンピュータシステム1200を図示する。本説明を熟読した後、他のシステムおよび/または処理アーキテクチャを使用して実施形態を実装する方法が、当業者に明白な状態となるであろう。例えば、ビデオプッシャ、シグナリングサーバ、ビデオキャッチャ、カメラ、および/または遠隔のビデオ視聴クライアントが、コンピュータシステム1200によって実装され得る。
コンピュータシステム1200は、プロセッサ1204等の1つ以上のプロセッサ(中央処理ユニットまたはCPUとも呼ばれる)を含む。プロセッサ1204は、通信インフラストラクチャまたはバス1206に接続される。1つ以上のプロセッサ1204は、それぞれ、グラフィック処理ユニット(GPU)であってもよい。ある実施形態では、GPUは、数学的に集約的なアプリケーションを処理するように設計される、特殊電子回路である、プロセッサである。GPUは、コンピュータグラフィックアプリケーション、画像、ビデオ等に共通の数学的に集約的なデータ等の大きいデータブロックの並行処理のために効率的である、並列構造を有してもよい。
コンピュータシステム1200はまた、ユーザ入力/出力インターフェース1202を通して通信インフラストラクチャ1206と通信する、モニタ、キーボード、ポインティングデバイス等のユーザ入力/出力デバイス1203を含む。コンピュータシステム1200はまた、ランダムアクセスメモリ(RAM)等のメインまたは一次メモリ1208を含む。メインメモリ1208は、1つ以上のキャッシュのレベルを含んでもよい。メインメモリ1208は、その中に、制御論理(すなわち、コンピュータソフトウェア)および/またはデータを記憶している。
コンピュータシステム1200はまた、1つ以上の二次記憶デバイスまたはメモリ1210を含んでもよい。二次メモリ1210は、例えば、ハードディスクドライブ1212および/またはリムーバブル記憶デバイスまたはドライブ1214を含んでもよい。リムーバブル記憶ドライブ1214は、フロッピーディスクドライブ、磁気テープドライブ、コンパクトディスクドライブ、光学記憶デバイス、テープバックアップデバイス、および/または任意の他の記憶デバイス/ドライブであってもよい。
リムーバブル記憶ドライブ1214は、リムーバブル記憶ユニット1218と相互作用してもよい。リムーバブル記憶ユニット1218は、その上にコンピュータソフトウェア(制御論理)および/またはデータを記憶している、コンピュータ使用可能または可読記憶デバイスを含む。リムーバブル記憶ユニット1218は、フロッピーディスク、磁気テープ、コンパクトディスク、DVD、光学記憶ディスク、および/または任意の他のコンピュータデータ記憶デバイスであってもよい。リムーバブル記憶ドライブ1214は、周知の様式において、リムーバブル記憶ユニット1218から読み取る、および/またはそれに書き込む。
例示的実施形態によると、二次メモリ1210は、コンピュータプログラムおよび/または他の命令および/またはデータが、コンピュータシステム1200によってアクセスされることを可能にするための、他の手段、媒介、または他のアプローチを含んでもよい。そのような手段、媒介、または他のアプローチは、例えば、リムーバブル記憶ユニット1222と、インターフェース1220とを含んでもよい。リムーバブル記憶ユニット1222およびインターフェース1220の実施例は、プログラムカートリッジおよびカートリッジインターフェース(ビデオゲームデバイス内に見出されるもの等)、リムーバブルメモリチップ(EPROMまたはPROM等)および関連付けられるソケット、メモリスティックおよびUSBポート、メモリカードおよび関連付けられるメモリカードスロット、および/または任意の他のリムーバブル記憶ユニットおよび関連付けられるインターフェースを含んでもよい。
コンピュータシステム1200はさらに、通信またはネットワークインターフェース1224を含んでもよい。通信インターフェース1224は、コンピュータシステム1200が、遠隔デバイス、遠隔ネットワーク、遠隔エンティティ等(個々に、および集合的に、参照番号1228によって参照される)の任意の組み合わせと通信し、相互作用することを可能にする。例えば、通信インターフェース1224は、コンピュータシステム1200が、有線および/無線であり得、LAN、WAN、インターネット等の任意の組み合わせを含み得る、通信経路1226を経由して遠隔デバイス1228と通信することを可能にしてもよい。制御論理および/またはデータが、通信経路1226を介してコンピュータシステム1200に、またはそれから伝送されてもよい。
ある実施形態では、その上に記憶される制御論理(ソフトウェア)を有する有形のコンピュータ使用可能または可読媒体を備える、有形の装置または製造品もまた、本明細書においてコンピュータプログラム製品またはプログラム記憶デバイスと称される。これは、限定ではないが、コンピュータシステム1200、メインメモリ1208、二次メモリ1210、およびリムーバブル記憶ユニット1218および1222、および前述のものの任意の組み合わせを具現化する、有形の製品を含む。そのような制御論理は、1つ以上のデータ処理デバイス(コンピュータシステム1200等)によって実行されると、そのようなデータ処理デバイスを本明細書に説明されるように動作させる。
本開示に含有される教示に基づいて、データ処理デバイス、コンピュータシステム、および/またはコンピュータアーキテクチャを使用して本発明の実施形態を作製し、使用する方法が、当業者に明白となるであろう。特に、実施形態は、本明細書に説明されるもの以外のソフトウェア、ハードウェア、および/またはオペレーティングシステム実装を用いて動作し得る。
結論
概要および要約の節(該当する場合)ではなく、詳細な説明の節が、請求項を解釈するために使用されることを意図することを理解されたい。概要および要約の節(該当する場合)は、本発明の1つ以上であるが全てではない例示的実施形態を、本発明者(ら)によって検討されるものとして記載し得、したがって、本発明または添付の請求項をいかようにも限定することを意図していない。
本発明は、例示的分野および用途に関して例示的実施形態を参照して本明細書に説明されているが、本発明が、それらに限定されるものではないことを理解されたい。他の実施形態およびそれへの修正が、可能性として考えられ、本発明の範囲および精神内のものである。例えば、本段落の一般性を限定することなく、実施形態は、図に図示される、および/または本明細書に説明される、ソフトウェア、ハードウェア、ファームウェア、および/またはエンティティに限定されない。さらに、実施形態(本明細書に明示的に説明されているかどうかにかかわらず)は、本明細書に説明される実施例以外の分野および用途に有意な有用性を有する。
実施形態は、規定される機能の実装およびその関係を図示する機能構成要素の補助を借りて本明細書に説明されている。これらの機能構成要素の境界は、説明の利便性のために本明細書において任意に定義されている。代替の境界が、規定される機能および関係(またはその均等物)が適切に実施される限り、定義され得る。また、代替実施形態が、本明細書に説明されているものと異なる順序を使用して、機能ブロック、ステップ、動作、方法等を実施し得る。
本発明の範疇および範囲は、上記に説明される例示的実施形態のうちのいずれかによって限定されるべきではなく、以下の請求項およびその均等物によってのみ定義されるべきである。

Claims (24)

  1. ローカルネットワーク上の電子デバイスのための方法であって、
    シグナリングサーバとの持続的データ接続を確立することであって、前記電子デバイスは、前記ローカルネットワークのファイアウォールの背後にあり、前記シグナリングサーバは、前記ファイアウォールの別の側にある、ことと、
    前記シグナリングサーバから前記持続的データ接続を介して第1の情報を受信することと、
    受信された前記第1の情報に基づいて、前記ローカルネットワーク上のカメラからビデオデータを要請することと、
    前記カメラから、要請された前記ビデオデータを受信することと、
    受信された前記第1の情報に基づいて、受信された前記ビデオデータを前記ファイアウォールを通して伝送することと
    を含む、方法。
  2. 前記ビデオデータを伝送する前に、受信された前記ビデオデータを、受信された前記第1の情報に基づいて処理することをさらに含み、前記処理することは、前記ビデオデータを暗号化すること、ビデオフォーマットをトランスコードすること、前記ビデオデータの分解能またはフレームレートを変更すること、前記ビデオデータのビデオ圧縮を変更すること、メタデータを用いて前記ビデオを変換すること、画像データを不明瞭にするかまたは改変すること、または視覚ウォータマークを挿入することを含む、請求項1に記載の方法。
  3. 受信者のインターネットプロトコル(IP)アドレスまたはユニフォームリソースロケータ(URL)を指定すること、
    前記ビデオデータを含む前記ローカルネットワークの複数のカメラフィードを、単一またはより少ないビデオストリームにタイリングすること、
    前記ローカルネットワーク上の複数のカメラからのビデオストリームを、単一またはより少ないビデオストリームに動的に選択するかまたは切り替えること、または
    前記ビデオデータの低分解能画像サムネイルまたは前記ビデオデータの高分解能画像小区分を生成すること
    をさらに含む、請求項1に記載の方法。
  4. 前記シグナリングサーバを用いて認証することと、
    前記ローカルネットワークに関連する情報を要請することと、
    前記要請することに応答して、前記第1の情報を受信することと
    をさらに含む、請求項1に記載の方法。
  5. 前記要請することは、リアルタイムのパブリケーションサブスクリプション、データ同期化、または、限定ではないが、メッセージキューイングテレメトリトランスポート(MQTT)プロトコル、XMPP、STOMP、AMQP、WAMP、JM、ZeroMQ、または専用メッセージングプロトコル等の要請応答プロトコルに基づいており、前記要請することは、前記ローカルネットワークに関係のあるトピックをサブスクライブすることを含む、請求項4に記載の方法。
  6. 従来型カメラと統合することと、
    受信された前記第1の情報を、前記従来型カメラと互換性のある第1のフォーマットに転換することと、
    前記従来型カメラから第2のビデオデータを要請することと、
    前記従来型カメラから前記第2のビデオデータを受信することと、
    前記第2のビデオデータを、前記第1のフォーマットと異なる第2のフォーマットに転換することと、
    前記第2のフォーマットにおける前記第2のビデオデータを、前記ファイアウォールを通して伝送することと
    をさらに含む、請求項1に記載の方法。
  7. 前記第1のフォーマットは、リアルタイムストリーミングプロトコル(RTSP)と、リアルタイムメッセージングプロトコル(RTMP)と、ハイパーテキスト転送プロトコル(HTTP)と、リアルタイムトランスポートプロトコル(RTP)と、同等物とを含む、ビデオストリーミングプロトコルを含む、請求項6に記載の方法。
  8. 前記カメラは、インターネットプロトコル(IP)カメラ、ユニバーサルシリアルバス(USB)カメラ、またはアナログ/IPコンバータに結合されるアナログカメラである、請求項1に記載の方法。
  9. ルールベースのソフトウェアモジュールが、前記カメラの内側において含まれる、請求項21に記載の方法。
  10. 前記第1の情報は、
    センサの一意の識別、製造番号、センサタイプ、場所、センサの読取値、読取値、記号、状態、または警告、警報、通知またはテキストメッセージ、数値、視覚表現、オーディオ信号等の表現の形態における、読取値または一連の読取値の翻訳または解釈された意味等の、前記ローカルネットワーク上の、または前記ローカルネットワークまたは前記ローカルネットワーク上のデバイスが接続され得る別のネットワーク上のセンサまたはモノのインターネット(IoT)デバイスと関連付けられる、データ、または
    ジオリファレンスされた、または固定された基準座標系、マップ、見取図、または3次元モデル上の別のオブジェクトまたはモノに対するセンサの相対場所等の前記センサの環境に関係のある前記センサまたは条件と関連付けられる、他の関連のある情報またはデータ
    を含む、請求項1に記載の方法。
  11. 前記ローカルネットワーク上の前記センサまたは前記IoTデバイスは、ガスセンサ、煙/火災検出器、またはスイッチまたは非常ボタンの接点開閉部、人工知能または分析論ベースのオブジェクト、イベント、条件、リアルタイムで、単独または他のものと協調してのいずれかでビデオデータを解釈する状態変化状態検出モジュール、他のセンサ、システム、データベース、分析機能、または情報源からの履歴または予測データを含み、前記センサは、それ自体で、または別のデバイスまたはモジュールに結合されると、ルールベースまたは事前に指定される受信者エージェントに伝送されるべき警報、イベント通知、または警告信号を引き起こす、請求項10に記載の方法。
  12. キープアライブpingを使用して前記持続的データ接続を維持することと、
    前記第1の情報を受信するために使用される同一のソケットを使用して、前記持続的データ接続を介して第2の情報を受信することと
    をさらに含む、請求項1に記載の方法。
  13. 電子デバイスのための方法であって、
    ローカルネットワーク上のビデオプッシャを認証することと、
    前記ビデオプッシャとの持続的データ接続を確立することであって、ビデオプッシャは、前記ローカルネットワーク上のファイアウォールの背後にあり、前記電子デバイスは、前記ファイアウォールの別の側にある、ことと、
    前記ローカルネットワークと関連付けられるイベント信号を受信することと、
    受信された前記イベント信号に基づいて、前記持続的データ接続を介して、前記ローカルネットワーク上のどのカメラがビデオデータをストリーミングするかを指定するメッセージを伝送することと
    を含む、方法。
  14. 前記メッセージは、前記ビデオデータを暗号化すること、前記ビデオデータの分解能またはフレームレートを変更すること、または前記ビデオデータのビデオ圧縮コーデックを変更することを含む、ストリーミングされる前記ビデオデータを処理することのための命令を含む、請求項13に記載の方法。
  15. 前記メッセージは、
    ストリーミングされる前記ビデオデータの受信者のIPアドレスまたはユニフォームリソースロケータ(URL)を指定すること、
    ストリーミングされる前記ビデオデータを含む前記ローカルネットワークの複数のカメラフィードを、単一またはより少ないビデオストリームにタイリングすること、
    前記ローカルネットワーク上の複数のカメラからのビデオストリームを、単一またはより少ないビデオストリームに動的に選択するかまたは切り替えること、または
    ストリーミングされる前記ビデオデータの低分解能サムネイルを生成すること
    を含む命令を含む、請求項13に記載の方法。
  16. 前記認証することは、前記ビデオプッシャから、前記ローカルネットワークに関係のあるトピックのサブスクリプションを受信することを含み、伝送される前記メッセージは、前記サブスクリプションに基づく情報を含む、請求項13に記載の方法。
  17. 受信される前記イベント信号は、第1のプロトコルフォーマットに基づいており、前記方法はさらに、受信された前記イベント信号を、前記第1のプロトコルフォーマットと異なる第2のプロトコルフォーマットに転換することを含み、伝送される前記メッセージは、前記第2のプロトコルフォーマットに基づいている、請求項13に記載の方法。
  18. 異なるローカルネットワークと関連付けられる第2のイベント信号を受信することと、
    受信された前記第2のイベント信号に基づいて、前記異なるローカルネットワーク上のどの第2のカメラが第2のビデオデータをストリーミングするかを示す第2のメッセージを第2のビデオプッシャに伝送することと
    をさらに含む、請求項13に記載の方法。
  19. 前記メッセージを伝送することは、リアルタイムのパブリケーションサブスクリプション、データ同期化、または、限定ではないが、メッセージキューイングテレメトリトランスポート(MQTT)プロトコル、XMPP、STOMP、AMQP、WAMP、JM、ZeroMQ、または専用メッセージングプロトコル等の要請応答プロトコルに基づいている、請求項13に記載の方法。
  20. 電子デバイスのための方法であって、
    遠隔のビデオ視聴クライアントから要請を受信することであって、前記要請は、ローカルネットワークのマップに基づいており、前記遠隔のビデオ視聴クライアントは、前記ローカルネットワーク上にない、ことと、
    受信された前記要請に基づいて、イベント信号をシグナリングサーバに伝送することと、
    前記ローカルネットワークから、伝送された前記イベント信号と関連付けられるビデオデータを受信することと、
    受信された前記ビデオデータを前記遠隔のビデオ視聴クライアントに伝送することと
    を含む、方法。
  21. 前記ビデオを伝送することに先立って、受信された前記第1の情報と併せてルールベースのソフトウェアモジュールを利用することであって、前記利用することは、イベントデータ、センサデータ、受信者データ、または他の基準を含む、ルールに基づいて、前記ビデオデータの受信者を決定することを含む、こと
    をさらに含み、
    イベントデータは、イベントタイプ、イベント重大度、イベント優先度、または日付または時間を含み、
    センサデータは、センサの読取値、警告、状態、条件、場所、または持続時間を含み、
    受信者データは、前記受信者の識別、場所、セキュリティ分類、または権限付与レベル、機能、技能、能力、または可用性を含む、
    請求項1に記載の方法。
  22. 前記持続的データ接続を確立することは、前記電子デバイスが給電された後に生じる、請求項1に記載の方法。
  23. 前記確立することは、
    トリガを受信することと、
    前記トリガに応答して、前記シグナリングサーバとの前記持続的データ接続を確立することと
    を含む、請求項1に記載の方法。
  24. 前記ローカルネットワーク上の前記カメラは、ビデオ管理システム(VMS)に結合され、要請ビデオデータは、前記VMSを介して伝送され、要請された前記ビデオデータは、前記VMSを介して受信される、請求項1に記載の方法。
JP2021527138A 2018-11-16 2019-11-15 カメラシステムへの安全なアクセスのためのシステムおよび方法 Pending JP2022507708A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862768389P 2018-11-16 2018-11-16
US62/768,389 2018-11-16
US16/684,185 2019-11-14
US16/684,185 US11496472B2 (en) 2018-11-16 2019-11-14 System and method for secure access to camera systems
PCT/US2019/061834 WO2020102742A1 (en) 2018-11-16 2019-11-15 System and method for secure access to camera systems

Publications (1)

Publication Number Publication Date
JP2022507708A true JP2022507708A (ja) 2022-01-18

Family

ID=70726604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021527138A Pending JP2022507708A (ja) 2018-11-16 2019-11-15 カメラシステムへの安全なアクセスのためのシステムおよび方法

Country Status (5)

Country Link
US (2) US11496472B2 (ja)
EP (1) EP3881514A1 (ja)
JP (1) JP2022507708A (ja)
CN (1) CN113228586B (ja)
WO (1) WO2020102742A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6968610B2 (ja) * 2017-08-01 2021-11-17 キヤノン株式会社 撮像装置、情報処理方法及びプログラム
US11496472B2 (en) * 2018-11-16 2022-11-08 Mutualink, Inc. System and method for secure access to camera systems
US11523125B2 (en) * 2018-12-14 2022-12-06 Special Services Group, LLC Drone video compressor for remote video viewing
US11127267B2 (en) * 2019-10-11 2021-09-21 Murat Yalcin Smart fire detection system
CN111757179A (zh) * 2020-06-28 2020-10-09 四川长虹电器股份有限公司 一种网络摄像头本地化系统及方法
CN112346048A (zh) * 2020-09-25 2021-02-09 深圳捷豹电波科技有限公司 一种基于毫米波的火灾探测搜救系统及方法
CN113163261B (zh) * 2021-03-17 2022-02-01 深圳乐播科技有限公司 加密视频的解密推送方法、装置、设备及存储介质
CN113422775B (zh) * 2021-06-23 2022-12-02 重庆紫光华山智安科技有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
JP2023069323A (ja) * 2021-11-05 2023-05-18 i-PRO株式会社 監視カメラ映像共有システムおよび監視カメラ映像共有方法
CN114285666B (zh) * 2021-12-30 2024-07-16 天翼物联科技有限公司 一种面向物联网多媒体应用的三边协同方法及系统
CN115460438B (zh) * 2022-09-22 2024-05-10 西安诺瓦星云科技股份有限公司 视频推送方法、装置、非易失性存储介质及电子设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970183B1 (en) * 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US7228429B2 (en) * 2001-09-21 2007-06-05 E-Watch Multimedia network appliances for security and surveillance applications
US6271752B1 (en) * 1998-10-02 2001-08-07 Lucent Technologies, Inc. Intelligent multi-access system
US6476858B1 (en) * 1999-08-12 2002-11-05 Innovation Institute Video monitoring and security system
US7152111B2 (en) 2002-08-15 2006-12-19 Digi International Inc. Method and apparatus for a client connection manager
US7849491B2 (en) * 2002-12-10 2010-12-07 Onlive, Inc. Apparatus and method for wireless video gaming
US11201755B2 (en) * 2004-03-16 2021-12-14 Icontrol Networks, Inc. Premises system management using status signal
US7711796B2 (en) * 2006-06-12 2010-05-04 Icontrol Networks, Inc. Gateway registry methods and systems
US20150054947A1 (en) * 2005-03-16 2015-02-26 Paul J. Dawes Device for data routing in networks
US8819178B2 (en) * 2005-03-16 2014-08-26 Icontrol Networks, Inc. Controlling data routing in integrated security systems
US8711197B2 (en) * 2005-09-09 2014-04-29 Agilemesh, Inc. Surveillance apparatus and method for wireless mesh network
JP2008154100A (ja) * 2006-12-19 2008-07-03 Sharp Corp 撮像装置、サーバ、その制御プログラムおよび該制御プログラムを記録したコンピュータ読取り可能な記録媒体、イベント管理システムならびに制御方法
US10389736B2 (en) * 2007-06-12 2019-08-20 Icontrol Networks, Inc. Communication protocols in integrated systems
US8843980B1 (en) * 2008-01-16 2014-09-23 Sprint Communications Company L.P. Network-based video source authentication
WO2010009361A1 (en) * 2008-07-17 2010-01-21 Indiana University Research And Technology Corporation Privacy-enhanced event-driven monitoring system and methodologies
US8230472B2 (en) * 2009-06-04 2012-07-24 Advanced Video Communications Camera image transmission
US9854207B2 (en) * 2009-07-31 2017-12-26 Antonio Garrett Mobile surveillance system
US8380863B2 (en) 2010-05-05 2013-02-19 Cradle Technologies Control of security application in a LAN from outside the LAN
KR101758681B1 (ko) * 2012-03-27 2017-07-14 한화테크윈 주식회사 통신 시스템 및 통신 시스템에서의 데이터 송수신 방법
US20150022666A1 (en) * 2013-07-22 2015-01-22 Intellivision Technologies Corp. System and method for scalable video cloud services
WO2015198299A1 (en) * 2014-06-26 2015-12-30 Agent Video Intelligence Ltd. System and method for management of data transmission in a communication network
TW201618517A (zh) * 2014-07-01 2016-05-16 Vid衡器股份有限公司 藉由媒體播放器裝置在媒體串流中伺服器端通信期控制
US20160088326A1 (en) * 2014-09-23 2016-03-24 Watchcorp Holdings LLC Distributed recording, managing, and accessing of surveillance data within a networked video surveillance system
DE102014015443B4 (de) * 2014-10-21 2016-05-04 Unify Gmbh & Co. Kg Telekommunikationsanordnung und Verfahren zum Traversieren einer Application-Layer-Gateway-Firewall beim Aufbau einer RTC-Kommunikationsverbindung zwischen einem RTC-Client und einem RTC-Server
CN105872453A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 网络摄像头监控方法、服务器及系统
CN106899824A (zh) * 2015-12-19 2017-06-27 西安成远网络科技有限公司 一种实时视频传输系统
US10798249B2 (en) * 2016-01-06 2020-10-06 Live View Technologies Managing live video stream connections and data usage
US10021354B2 (en) * 2016-02-17 2018-07-10 Siemens Industry, Inc. Electric vehicle charging station with integrated camera
US10878429B2 (en) * 2018-03-28 2020-12-29 Konstantinos Bakalis Systems and methods for using codes and images within a blockchain
KR20210072794A (ko) * 2018-10-02 2021-06-17 뮤츄얼링크, 인크. 블록체인 기반의 신원 서명 메커니즘을 채택한 네트워크 멤버 식별을 위한 합의 기반 투표
US11496472B2 (en) * 2018-11-16 2022-11-08 Mutualink, Inc. System and method for secure access to camera systems
GB2579071B (en) * 2018-11-19 2022-03-02 Canon Kk Method and apparatus for processing requests for thumbnail images in a video surveillance system

Also Published As

Publication number Publication date
US11496472B2 (en) 2022-11-08
US20230034535A1 (en) 2023-02-02
CN113228586A (zh) 2021-08-06
US20200162458A1 (en) 2020-05-21
WO2020102742A1 (en) 2020-05-22
EP3881514A1 (en) 2021-09-22
CN113228586B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
JP2022507708A (ja) カメラシステムへの安全なアクセスのためのシステムおよび方法
US11722806B2 (en) System, method and apparatus for remote monitoring
US10880517B2 (en) Video management with push to talk (PTT)
AU2018301495B2 (en) Mobile phone as a police body camera over a cellular network
CN108964963B (zh) 一种基于视联网的告警系统及实现告警的方法
US20150381536A1 (en) Method and system for prompt video-data message transfer to personal devices
JP6768951B2 (ja) ネットワーク分離装置およびこれを備える映像監視システム
KR101930443B1 (ko) 이벤트 서버가 구비되어 안정성을 높인 비상벨-cctv 통합 시스템
CN111431958B (zh) 可扩展的分布式数据架构
WO2020130798A1 (en) A system and method for video surveillance and monitoring
CN110072072B (zh) 一种数据上报及显示的方法及装置
JP2004126864A (ja) 監視システムと監視情報の中継装置及び中継方法
US20160112482A1 (en) Camera capture for connected devices
KR101458365B1 (ko) 영상기기 보이스 알람 시스템 및 그 운용방법
US11936981B1 (en) Autonomous camera sensitivity adjustment based on threat level
KR101460221B1 (ko) 보안 서비스 시스템 및 방법
WO2024163393A1 (en) Security system remote device access transparency
CN116881935A (zh) 数字战场多平台数据协同方法和装置及计算机可读存储介质
GB2530242A (en) Monitoring apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240723