JP2018107655A - 監視カメラシステム - Google Patents

監視カメラシステム Download PDF

Info

Publication number
JP2018107655A
JP2018107655A JP2016252729A JP2016252729A JP2018107655A JP 2018107655 A JP2018107655 A JP 2018107655A JP 2016252729 A JP2016252729 A JP 2016252729A JP 2016252729 A JP2016252729 A JP 2016252729A JP 2018107655 A JP2018107655 A JP 2018107655A
Authority
JP
Japan
Prior art keywords
server
video data
data
time
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016252729A
Other languages
English (en)
Inventor
昭弘 佐久間
Akihiro Sakuma
昭弘 佐久間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nexpoint KK
Original Assignee
Nexpoint KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nexpoint KK filed Critical Nexpoint KK
Priority to JP2016252729A priority Critical patent/JP2018107655A/ja
Priority to PCT/JP2017/006251 priority patent/WO2018123078A1/ja
Priority to TW106106497A priority patent/TW201824850A/zh
Publication of JP2018107655A publication Critical patent/JP2018107655A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/915Television signal processing therefor for field- or frame-skip recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】リアルタイムの映像を取得可能であって、サーバに負荷をかけることなく、最適化したデータ保存を可能とする監視カメラシステムを提供する。【解決手段】監視カメラシステムは、監視カメラ400と、監視カメラにネットワークを介して接続されたサーバと、を備える。監視カメラは、受光した映像を撮像して未加工の映像データを生成する撮像部401と、未加工の映像データを、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレームを含む動画データに符号化して、サーバに送信するエンコード部402と、未加工の映像データからリアルタイムの映像データを作成して、サーバに送信するライブ映像生成部403と、を有する。【選択図】図2

Description

本発明は、監視カメラシステムに関する。
防犯や調査あるいは管理といった目的で、集合住宅などの建物の出入口や店頭あるいは街頭、工場や配送センターなど、監視対象となるポイントを監視カメラにより適時撮像し、カメラ映像をインターネットなどの電気通信回線を介して、ユーザ端末のモニタに送出し、監視する監視カメラシステムが知られている(たとえば、特許文献1参照)。監視カメラの業界では、リアルタイムの映像を表示することが必須の条件とされているため、IPカメラ(ネットワークカメラ)の技術が発達してきた今でもなお、アナログ構成が優位となっている。
従来の監視カメラシステムにおいてIPカメラを使用する場合には、IPカメラからのストリーム出力は、H.264のベースラインプロファイルに限定されている。これは、監視カメラシステムが、リアルタイムでの閲覧を主としている性格上、遅延の発生するハイプロファイルでのストリームを許容しないからである。なお、本明細書において「ハイプロファイル」とは、双方向予測インターフレーム(未来予測フレーム、Bフレームなどとも表現される)を含む動画データを意味する。ハイプロファイルは、過去のフレームと未来のフレームの両方を参照して最適化を行うため、仕組み上必ず遅延が発生する。
ところで、一般に、動画データをサーバに保存する場合、データ容量が膨大になるという問題や長期保存ができないという問題がある。また、大容量のサーバを多数用意する必要があり、コストがかさむという問題がある。
動画データの容量を減らすために、従来の監視カメラシステムでは、ベースラインプロファイルの最適化や可変レートでの容量削減を行っている。また、本件出願人は、ベースラインプロファイルの動画データをハイプロファイルに変換して保存する監視カメラシステムを既に提案している(特願2016−079470)。
特開2002−77882号公報
しかしながら、従来の監視カメラシステムでは、動画データの保存をベースラインプロファイルで行っているため、容量の圧縮により映像が劣化したり、可変レートの場合は瞬時の動きに映像が乱れたりするなど、仕組み自体に限界が来ている。
一方、ベースラインプロファイルの動画データをハイプロファイルに変換して保存する構成では、最適化したデータ保存が可能とされるものの、レコーダとなるサーバのCPUリソースを使用して変換を行うため、システムにかかるコストが大きくなる傾向がある。
また、カメラからのストリーム出力はベースラインプロファイルに限定されていることから、ネットワークに複数台のカメラを接続すると、トラフィックが増大し、ネットワーク設計や機器への負荷が発生する。
本発明は、以上のような点を考慮してなされたものである。本発明の目的は、リアルタイムの映像を取得可能な監視カメラシステムであって、サーバに負荷をかけることなく、最適化したデータ保存を可能とする監視カメラシステムを提供することにある。
本発明に係る監視カメラシステムは、
監視カメラと、
前記監視カメラにネットワークを介して接続されたサーバと、
を備え、
前記監視カメラは、
受光した映像を撮像して未加工の映像データを生成する撮像部と、
前記未加工の映像データを、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレームを含む動画データに符号化して、前記サーバに送信するエンコード部と、
前記未加工の映像データからリアルタイムの映像データを作成して、前記サーバに送信するライブ映像生成部と、
を有する。
このような態様によれば、監視カメラのエンコード部が、未加工の映像データを、双方向予測インターフレーム(Bフレーム)を含む動画データに符号化してサーバに送信するため、サーバに負荷をかけることなく、最適化したデータ保存が可能となる。また、ネットワーク上を流れるデータ量が大幅に小さくなり、ネットワークトラフィックを低減することができる。これにより、ネットワーク設計や機器への負荷が低減し、ネットワーク機器を長寿命化できる。また、ネットワークに複数台のカメラを接続することが可能となる。
また、このような態様によれば、双方向予測インターフレーム(Bフレーム)を含む動画データへの符号化が、サーバのCPUリソースを使用して行われるのではなく、監視カメラの内部で行われるため、サーバの負荷が低減し、システムにかかるコストを低減できる。また、サーバの負荷が低減するので、サーバ1台当たりの監視カメラの収容台数を増やすことができる。
また、このような態様によれば、監視カメラから送信される動画データは、双方向予測インターフレーム(Bフレーム)を含むことから、必然的に遅延しているものの、ライブ映像生成部が、遅延のない未加工の映像データからリアルタイムの映像データを作成してサーバに送信するため、サーバは、リアルタイムの映像を取得可能であり、リアルタイムでの閲覧という監視カメラシステムとしての必須の要件は何ら損なわれることがない。
本発明に係る監視カメラシステムにおいて、
前記エンコード部は、前記動画データをストリーム方式で前記サーバに送信してもよい。
本発明に係る監視カメラシステムにおいて、
前記エンコード部は、前記動画データからGOP単位で撮影時刻順に分割データを作成してメモリに保存し、前記サーバから分割データ要求を受け付ける毎に、前記メモリから前記サーバに1つずつ分割データを転送し、
前記サーバは、前記監視カメラから受け取る分割データを撮影時刻順に結合して動画データを作成してもよい。
本発明に係る監視カメラシステムにおいて、
前記ライブ映像生成部は、前記サーバからライブ画像要求を受け付ける毎に、前記未加工の映像データからリアルタイムの静止画像データを切り出して前記サーバに送信してもよい。
本発明に係る監視カメラシステムにおいて、
前記ライブ映像生成部は、記未加工の映像データを、前記双方向予測インターフレームを含まないリアルタイムの動画データに符号化して、ストリーム方式で前記サーバに送信してもよい。
本発明に係る監視カメラシステムにおいて、
前記ライブ映像生成部は、予め定められたスナップショット時間間隔で、前記未加工の映像データからリアルタイムの静止画像データを切り出して前記サーバに送信することを繰り返してもよい。
本発明に係る監視カメラシステムにおいて、
前記サーバは、前記監視カメラから受け取る動画データを、前記エンコード部での符号化に係る遅延に応じて時間調整して記憶装置に保存する二次映像保存部を有してもよい。
このような態様によれば、監視カメラから送信される動画データはエンコード部での符号化により必然的に遅延しているものの、記憶装置には遅延時間に応じて時間調整された状態で保存されるため、サーバは、端末装置から時刻を特定して過去の動画データの再生要求を受け付けた場合に、要求された時刻の動画データを記憶装置から正確に抽出して端末装置に送信することができる。
本発明に係る監視カメラシステムにおいて、
前記サーバは、
前記監視カメラから受け取る静止画像データを、記憶装置に保存する一次映像保存部と、
ネットワークを介して接続された端末装置に前記静止画像データをライブ画像として送信するライブ画像送信部と、
前記端末装置から、ライブ画像からの巻き戻し要求を受け付けると、前回送信した静止画像データより一定時間分過去の時点の静止画像データを前記記憶装置から取得して、巻き戻しライブ画像として前記端末装置に送信する巻き戻しライブ画像送信部と、
前記端末装置から、巻き戻しライブ画像からの早送り要求を受け付けると、現時点の静止画像データに達するまで、前回送信した静止画像データより一定時間分未来の時点の静止画像データを前記記憶装置から取得して、早送りライブ画像として前記端末装置に送信する早送りライブ画像送信部と、
を有してもよい。
このような態様によれば、端末装置にてライブ画像を表示しているときに、ユーザが見落とし等に気付いた場合には、端末装置からサーバに巻き戻し要求を送信することで、端末装置ではそのまま過去にさかのぼって確認することができ、また、端末装置からサーバに早送り要求を送信することで、過去から現時点までを早送りで確認することができる。
本発明に係る監視カメラは、
サーバにネットワークを介して接続される監視カメラであって、
受光した映像を撮像して未加工の映像データを生成する撮像部と、
前記未加工の映像データを、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレームを含む動画データに符号化して、前記サーバに送信するエンコード部と、
前記未加工の映像データからリアルタイムの映像データを作成して、前記サーバに送信するライブ映像生成部と、
を有する。
本発明に係るサーバは、
受光した映像を撮像して未加工の映像データを生成する撮像部と、
前記未加工の映像データを、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレームを含む動画データに符号化して、前記サーバに送信するエンコード部と、
前記未加工の映像データからリアルタイムの映像データを作成して、前記サーバに送信するライブ映像生成部と、
を有する監視カメラにネットワークを介して接続されるサーバであって、
前記監視カメラから受け取るリアルタイムの映像データを、記憶装置に保存する一次映像保存部と、
前記監視カメラから受け取る動画データを、前記エンコード部での符号化に係る遅延に応じて時間調整して前記記憶装置に保存する二次映像保存部と、
を備える。
本発明によれば、リアルタイムの映像を取得可能な監視カメラシステムにおいて、サーバに負荷をかけることなく、最適化したデータ保存が可能となる。
図1は、一実施の形態に係る監視カメラシステムの概略的な構成を示す図である。 図2は、図1に示す監視カメラシステムにおける監視カメラの概略的な構成を示す図である。 図3は、図2に示す監視カメラのエンコード部の概略的な内部構成を示すブロック図である。 図4は、図3に示すエンコード部における出力フレームの遅延と並び替えを説明するための図である。 図5は、図3に示すエンコード部の原理的な動作を説明するための図である。 図6は、図3に示すエンコード部のハードウェア構成の一例を示すブロック図である。 図7は、図3に示すエンコード部のハードウェア構成の変形例を示すブロック図である。 図8は、図1に示す監視カメラシステムにおけるサーバの概略的な構成を示す図である。 図9は、図1に示す監視カメラシステムにおける端末装置(モバイル端末)の概略的な構成を示す図である。 図10は、図1に示す監視カメラシステムにおける端末装置(閲覧PC)の概略的な構成を示す図である。 図11は、図1に示す監視カメラシステムの動作の一例を示す概略図である。 図12は、一実施の形態の第1の変形例に係る監視カメラの概略的な構成を示す図である。 図13は、一実施の形態の第2の変形例に係る監視カメラの概略的な構成を示す図である。 図14は、一実施の形態の第3の変形例に係る監視カメラの概略的な構成を示す図である。
以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。
図1は、一実施の形態に係る監視カメラシステム10の概略的な構成を示す図である。
図1に示すように、監視カメラシステム10は、監視カメラ400A、400Bと、サーバ100と、端末装置200A、200B、300A〜300Cとを備えている。監視カメラ400A、400Bとサーバ100と端末装置200A、200B、300A〜300Cとは、ネットワーク500を介して互いに接続されている。
ネットワーク500は、有線回線と無線回線のいずれでもよく、回線の種類や形態は問わない。本実施の形態では、ネットワーク500は、LANやインターネット、Wi−Fi回線、3G/LTE回線などの通信網から構成される。
本実施の形態では、監視カメラ400A、400Bは、サーバ100からライブ画像要求を受け付ける毎に、カメラ映像からリアルタイムの静止画像を作成してサーバ100に送信する。サーバ100は、監視カメラ400から静止画像を取得して蓄積し、端末装置200A、200B、300A〜300Cから閲覧要求を受け付ける毎に、閲覧用の静止画像を端末装置200A、200B、300A〜300Cに送信する。図示された例では、監視カメラ400A、400Bは、サーバ100と同じLAN内に存在している。監視カメラ400A、400Bとサーバ100との通信は、TCP/IP方式であり、確実にカメラ映像を送受信することができ、信頼性が高い。
端末装置200A、200B、300A〜300Cは、ユーザが使用するものであり、スマートフォン、タブレットなどのモバイル端末、ノートブックコンピュータまたはデスクトップコンピュータなどである。端末装置200A、200B、300A〜300Cは、サーバ100と同じLAN内に存在していてもよいし、ネットワーク500にルータ600を介して接続されていれば、インターネットを介してサーバ100に接続されていてもよい。
以下の説明では、監視カメラ400A、400Bに符号400を付してまとめて表現することがある。また、モバイル端末としての端末装置200A、200Bに符号200、閲覧PCとしての端末装置300A〜300Cに符号300を付してまとめて表現することがある。
次に、監視カメラ400の構成を説明する。図2は、監視カメラ400の概略構成を示す図である。
図2に示すように、監視カメラ400は、撮像部401と、エンコード部402と、ライブ映像生成部403と、ネットワークインターフェース404などの通信制御部と、を有している。これらの各部401〜404は、同一の筐体405に一体に収容されている。
図示された例では、撮像部401は、レンズ4011と、レンズ4011を通して受光した映像を撮像する映像データ受信部4012と、撮像結果に基づいて未加工の映像データ(RAWデータなどとも表現される)を生成するRAWデータ生成部4013と、を有している。撮像部401の構成は、従来の監視カメラのものと同様であり、詳細な説明を省略する。
エンコード部402は、撮像部401に接続されており、撮像部401にて生成された未加工の映像データ(RAWデータ)を、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレーム(Bフレーム)を含む動画データに符号化して、ネットワークインターフェース404を介してサーバ100に送信する。本実施の形態では、エンコード部402は、動画データをストリーム方式(ストリーミング方式ともいう)でサーバ100に送信する。
図3は、エンコード部402の概略的な内部構成を示すブロック図である。
図3に示すように、エンコード部402は、制御回路4021と、フレーム内圧縮ブロック4022と、フレーム間圧縮ブロック4023と、可変長符号圧縮/フレーム並べ替えブロック4024と、メモリ4025と、を有している。
制御回路4021は、圧縮パラメータの設定など、各ブロックの制御を行う。フレーム内圧縮ブロック4022は、フレーム内の空間的相関関係による情報圧縮(1画面内のデータ圧縮)を行う。フレーム間圧縮ブロック4023は、前後のフレームとの時間的相関関係による情報圧縮を行う。可変長符号圧縮/フレーム並べ替えブロック4024は、出現頻度の高いデータに短い符号を割り当てることで情報を圧縮する(エントロピー符号化)とともに、符号化したフレームデータの出力の順番を並べ替える。メモリ4025は、双方向予測インターフレーム(Bフレーム)を生成するために、複数(図示された例では5フレーム)のフレームデータを蓄積する。
図4は、エンコード部402における出力フレームの遅延と並び替えを説明するための図である。
図4に示すように、エンコード部402は、RAWデータを、単独でデコーディング可能で一定時間ごとに作成されるイントラフレーム(Iフレーム)と、過去のフレームを参照してイントラフレームの間に複数作成される予測インターフレーム(Pフレーム)と、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレーム(Bフレーム)とを含む動画データに符号化する。ここで、双方向予測インターフレーム(Bフレーム)は、予測インターフレーム(Pフレーム)が確定しなければ生成できない。そのため、双方向予測インターフレーム(Bフレーム)を含むハイプロファイル出力は、双方向予測インターフレーム(Bフレーム)を含まないベースライン出力に比べて、出力までの遅延時間が長く、かつフレームの並べ替えが必要である。遅延時間が長いため、エンコード部402には、その期間のフレームを保持するメモリ4025が設けられている。
図5は、エンコード部402の原理的な動作を説明するための図である。
図5に示すように、エンコード部402は、順次入力されるRAWデータのうち最初のフレームデータについては、そのままフレーム内圧縮(空間的情報圧縮)を行う(ステップS41)。一方、エンコード部402は、2枚目以降のフレームデータについては、まず、前後のフレームのフレーム内圧縮を展開し(ステップS42)、それらを参照してフレーム間圧縮(時間的情報圧縮)を行ったのち(ステップS43)、フレーム内圧縮(空間的情報圧縮)を行う(ステップS41)。そして、エンコード部402は、フレーム内圧縮されたフレームデータに対して、符号の出現頻度による圧縮(エントロピー符号化)および並び替えを行って出力する(ステップS44)。
図6は、エンコード部402のハードウェア構成の一例を示すブロック図である。
図6に示す例では、エンコード部402は、エンコードLSI410と、インターフェースブロック411A、411Bと、を有している。エンコードLSI410は、ハイプロファイルのエンコードを行うハードウェアであり、制御回路4021と、フレーム内圧縮ブロック4022と、フレーム間圧縮ブロック4023と、可変長符号圧縮/フレーム並べ替えブロック4024(図3参照)とを含んでいる。また、図示された例では、エンコードLSI410は、内部にメモリ4025を含んでいる。インターフェースブロック411A、411Bは、データ入出力とLSIの入出力とが異なる場合に変換を行う。
エンコードLSI410としては、具体的には、たとえば、ソシオネクスト社のH.264トランスレート対応メモリ内蔵トランスコーダLSI MB86M0xが用いられる。従来、このようなエンコードLSI410は、Bフレームを生成することから、必然的に遅延を発生させるため、その性格上、テレビ、ハードディスクレコーダ、パソコンなどデジタル放送の録画機能を搭載する据置き機器、またはスマートフォンやタブレット製品向けのモバイル関連機器に利用されるものであり、本件発明者らの知るかぎり、監視カメラに利用された例は存在しない。
なお、図6に示す例では、メモリ4025はエンコードLSI410に内蔵されていたが、これに限定されず、図7に示すように、メモリ4025はエンコードLSI410に外付けされていてもよい。
また、エンコード部402のハードウェア構成は、図6および図7に示すようなエンコードLSI410を用いて実装される態様に限定されず、マイコンとソフトウェアを用いて実装される態様であってもよい。
図2に戻って、ライブ映像生成部403は、撮像部401に接続されており、遅延のない未加工の映像データ(RAWデータ)からリアルタイムの映像データを作成して、サーバ100に送信する。本実施の形態では、ライブ映像生成部403は、サーバ100からライブ画像要求を受け付ける毎に、遅延のない未加工の映像データ(RAWデータ)からリアルタイムの静止画像データを作成して(たとえば、そのまま切り出して)、ライブ画像として、ネットワークインターフェース404を介してサーバ100に送信する。なお、本明細書において「ライブ画像」とは、リアルタイムのカメラ映像を表す1枚の静止画像を意味する。
次に、サーバ100の構成を説明する。図8は、サーバ100の概略的な構成を示す図である。
図8に示すように、サーバ100は、キャッシュメモリであるメモリ102を伴うCPU101やデバイスドライバなどを有する制御・演算装置と、DRAMなどの主記憶装置やハードディスクなどの補助記憶装置を有する記憶装置110と、ネットワークインターフェース104などの通信制御装置と、表示装置としてのディスプレイ103と、キーボード105、マウス106などを含む入力装置と、を備えている。
記憶装置110には、一次映像フォルダ111と、二次映像フォルダ112と、プログラム113と、オペレーティングシステム114と、認証用データベースや環境設定フォルダ(図示しない)などと、が格納されている。
一次映像フォルダ111には、監視カメラ400から受け取るリアルタイムの映像データが保存される。本実施の形態では、一次映像フォルダ111には、監視カメラ400から受け取るリアルタイムの静止画像データが順次保存される。二次映像フォルダ112には、監視カメラ400から受け取る動画データが、予め定められた保存単位(たとえば10分)ごとに1つのファイルとして保存される。
プログラム113は、通常、記憶装置110の補助記憶装置に格納されており、実行時には主記憶装置にロードされる。認証用データベースには、ID、パスワード、各監視カメラ400や端末装置200、300のポート番号とIPアドレス、IPアドレスの無いモバイル端末200では個体識別番号(UID)などが記憶されている。環境設定フォルダには、各監視カメラ400の映像取得タイミング、各監視カメラ400のエンコード部402での符号化に係る遅延時間などが予め記憶されている。
本実施の形態では、サーバ100は、サーバと端末装置とが一体となっており、自らカメラ映像を表示する端末装置の役割も果たすため、また、メンテナンスや管理のため、表示装置としてのディスプレイ103と、入力装置としてのキーボード105やマウス106とを有している。サーバ109にてカメラ映像の表示を要しない場合は、表示装置としての端末機能は無くてもよい。
サーバ100は、CPU101が、プログラム113をメモリ102にロードして実行することにより、監視カメラ400からのカメラ映像の取得および端末装置200、300へのカメラ映像の送出が可能なコンピュータの機能を実現する。CPU101は、通常のコンピュータに搭載される演算処理装置であり、各種プログラムを実行し、各種制御等を行う。
サーバ100は、1台のサーバであってもよいし、複数のサーバからなるサーバ群であってもよい。たとえば、二次映像フォルダ112について、一定期間(たとえば24時間)経過後の動画データの保存先を、監視カメラ400から動画データを取得するサーバとは別のサーバに設けられた二次映像フォルダ112としてもよい。頻繁には再生しない過去の動画データの保存先を別にすることで、サーバ100の負荷を低減でき、さらに多くの台数のカメラを同一ネットワーク上で監視可能となる。
プログラム113は、コンピュータに、監視カメラ400から受け取る動画データを、エンコード部402での符号化に係る遅延に応じて時間調整して二次映像フォルダ112に保存する二次映像保存機能を実現させるためのプログラムである。サーバ100は、CPU101が、プログラム113をメモリ102にロードして実行することにより、監視カメラ400から受け取る動画データを、エンコード部402での符号化に係る遅延に応じて時間調整して二次映像フォルダ112に保存する二次映像保存部として機能する。
また、プログラム113は、コンピュータに、監視カメラ400から受け取る静止画像データを、たとえば予め定められた閲覧期間(たとえば24時間)、一次映像フォルダ111に保存する一次映像保存機能を実現させるためのプログラムである。サーバ100は、CPU101が、プログラム113をメモリ102にロードして実行することにより、監視カメラ400から受け取る静止画像データを、たとえば予め定められた閲覧期間、一次映像フォルダ111に保存する一次映像保存部として機能する。なお、静止画像データの閲覧期間(一次映像フォルダ111での保存期間)は、予め定められている態様に限定されず、その時の記憶装置110の空き容量に応じて適宜設定されるようになっていてもよい。
また、プログラム113は、コンピュータに、端末装置200、300からのカメラ映像の再生要求を受付するカメラ映像再生要求受付機能、一次映像フォルダ111に保存された最新の静止画像データを、ライブ画像として端末装置200、300に送信するライブ画像送信機能を実現させるためのプログラムである。サーバ100は、CPU101が、プログラム113をメモリ102にロードして実行することにより、端末装置200、300からカメラ映像再生要求を受け付けると、一次映像フォルダ111に保存された最新の静止画像データを、ライブ画像として端末装置200、300に送信するライブ画像送信部として機能する。
また、プログラム113は、コンピュータに、端末装置200、300からの、ライブ画像からの巻き戻し要求を受付する巻き戻し要求受付機能、ライブ画像からの巻き戻し要求を受け付けると、前回送信した静止画像データより一定時間分過去の時点の静止画像データを一次映像フォルダ111から取得して、巻き戻しライブ画像として端末装置200、300に送信する巻き戻しライブ画像送信機能、端末装置200、300からの、巻き戻しライブ画像からの早送り要求を受付する早送り要求受付機能、巻き戻しライブ画像からの早送り要求を受け付けると、現時点の静止画像データに達するまで、送信した静止画像データより一定時間分未来の時点の静止画像データを一次映像フォルダ111から取得して、早送りライブ画像として端末装置200、300に送信する早送りライブ画像送信機能を実現させるためのプログラムである。サーバ100は、CPU101が、プログラム113をメモリ102にロードして実行することにより、端末装置200、300から、ライブ画像からの巻き戻し要求を受け付けると、前回送信した静止画像データより一定時間分過去の時点の静止画像データを一次映像フォルダ111から取得して、巻き戻しライブ画像として端末装置200、300に送信する巻き戻しライブ画像送信部と、端末装置200、300から、巻き戻しライブ画像からの早送り要求を受け付けると、現時点の静止画像データに達するまで、前回送信した静止画像データより一定時間分未来の時点の静止画像データを一次映像フォルダ111から取得して、早送りライブ画像として端末装置200、300に送信する早送りライブ画像送信部と、して機能する。
また、プログラム113は、コンピュータに、端末装置200、300から過去の動画データの再生を受付する過去動画再生受付機能、受付した過去の動画データを二次映像フォルダ112から抽出し、抽出した動画データを端末装置200、300に送信する過去動画送信機能を実現させるためのプログラムである。
また、プログラム113は、コンピュータに、1または複数台の監視カメラ400との接続を行う監視カメラ接続機能、1または複数台の端末装置200、300との接続を行う端末装置接続機能を実現させるためのプログラムである。
本実施の形態では、監視カメラ400とサーバ100との接続は、TCP/IP方式で行い、接続すべき監視カメラ400を特定するため、サーバ100側で設定したユーザIDとパスワードで認証を行ってから、カメラ映像の取得などの要求を行う。端末装置200、300とサーバ100との接続もTCP/IP方式で行い、ユーザIDとパスワードで認証を行って、端末装置200、300がサーバ100に登録してある端末装置であることを確認してから、カメラ映像の送信を行う。認証は、サーバ100上の認証用データベースによる認証が好ましい。
端末装置200、300や監視カメラ400が同じLAN内に存在しなくても、ルータ600を介してネットワーク500で繋がっていれば、接続するルータ600のIPアドレスとそれぞれに割り振られたポート番号にて特定が行われる。インターネットで接続されているときは、両者の間のルータ600のポート番号が「有効」にされる。IPアドレスのないモバイル端末200ではUIDが利用される。
本実施の形態では、監視カメラ400からサーバ100への動画データの送信は、TCP/IPベースのRTSP(リアルストリーミングプロトコル)で行われる。本実施の形態では、動画データはH.264のハイプロファイルで圧縮して送信されるが、H.265等、次世代コーディックのハイプロファイルが用いられてもよい。
次に、モバイル端末としての端末装置200の構成を説明する。図9は、端末装置200の概略構成を示す図である。
図9に示すように、端末装置200は、メモリ202を伴うCPU201やデバイスドライバなどを有する制御・演算装置と、記憶装置210と、データの送受信などを行う通信制御装置(図示しない)と、表示装置としてのディスプレイ204と、操作ボタンあるいはタッチパネルなどの出力装置(図示しない)とを備えている。記憶装置210には、画像表示のためのプログラム213やオペレーティングシステム214が格納されている。
端末装置200は、たとえばスマートフォンなどの携帯電話などであり、CPU201がプログラム213をメモリ202にロードして実行することにより、サーバ100から送信されたカメラ映像の表示が可能なコンピュータの機能を実現する。CPU201は、通常のモバイル端末に搭載される演算処理装置であり、各種プログラムを実行し、各種制御などを行う。
次に、閲覧PCとしての端末装置300の構成を説明する。図10は、端末装置300の概略構成を示す図である。
図10に示すように、端末装置300は、メモリ302を伴うCPU301やデバイスドライバなどを有する制御・演算装置と、DRAMなどの主記憶装置やハードディスクなどの補助記憶装置を有する記憶装置310と、ネットワークインターフェース304などの通信制御装置と、表示装置としてのディスプレイ303と、キーボード305、マウス306などの出力装置と、を有している。記憶装置310には、画像表示のためのプログラム313やオペレーティングシステム314が格納されている。
端末装置300は、たとえばデスクトップコンピュータやノートブックコンピュータ、タブレット端末などであり、CPU301がプログラム313をメモリ302にロードして実行することにより、サーバ100から送信されたカメラ映像の表示が可能なコンピュータの機能を実現する。CPU301は、通常のPCに搭載される演算処理装置であり、各種プログラムを実行し、各種制御を行う。
画像表示のためのプログラム213、313は、コンピュータに、サーバ100との接続を行うサーバ接続機能、監視権限のある1または複数台の監視カメラ400に係るカメラ映像の再生をサーバ100に要求するカメラ映像再生要求機能、サーバ100から送信されたカメラ映像を表示するカメラ映像表示機能を実現させるためのプログラムである。
サーバ100は、ローカル環境にある監視カメラ400との接続開始時にIPアドレスおよびポート番号を用いた接続によって接続相手を特定し、ユーザIDとパスワードで認証する。サーバ100は、遠隔環境にある監視カメラ400との接続では、ルータ600のポート転送(ポートフォワーディングなどとも表現される)を用いることで、グローバルIPアドレスおよびポート番号を用いて接続相手を特定する。サーバ100は、端末装置200との接続開始時にUIDを用いた端末固有情報をもとに端末装置200を特定するため、ユーザIDとパスワードの認証および端末固有情報の一致によりカメラ映像の表示を可能とする。
本実施の形態では、サーバ100と閲覧PCとしての端末装置300とは、ともにパーソナルコンピュータとして構成され、通常のパーソナルコンピュータが有するクロック機能などを備えている。モバイル端末としての端末装置200および監視カメラ400もクロック機能などを備えている。
次に、このような構成からなる監視カメラシステム10の動作の一例について、図11を参照して説明する。図11は、監視カメラシステム10の動作の一例を示す概略図である。なお、図11に示す例では、モバイル端末としての端末装置200が図示されているが、閲覧PCとしての端末装置300に置き換えても動作は同様である。
図11を参照し、まず、サーバ100は、監視カメラ400にTCP/IP方式で接続を要求する。監視カメラ400は1または複数台の監視カメラで構成され、監視カメラ400とサーバ100とはユーザIDおよびパスワードで認証を行う。サーバ100の認証用データベースが参照され、認証が成功すると、監視カメラ400とサーバ100とは接続状態となる。
次に、サーバ100は、監視カメラ400にカメラ映像を撮像して送信することを要求する。監視カメラ400は、サーバ100からの映像要求を受け付けると、カメラ映像を連続して撮像し、撮像して得られた未加工の映像データ(RAWデータ)をH.264のハイプロファイルの動画データに符号化する。より詳しくは、監視カメラ400は、RAWデータを、単独でデコーディング可能で一定時間ごとに作成されるイントラフレーム(Iフレーム)と、過去のフレームを参照してイントラフレームの間に複数作成される予測インターフレーム(Pフレーム)と、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレーム(Bフレーム)とを含む動画データに符号化する。そして、監視カメラ400は、符号化した動画データをストリーム方式でサーバ100に送信する。
また、サーバ100は、予め定められたスナップショット時間間隔で、監視カメラ400にライブ画像要求を送信することを繰り返す。スナップショット時間間隔は、予め任意で設定されており、たとえば10分の1秒、1秒、3秒あるいは60秒などである。以下に説明する実施例では、スナップショット時間間隔を1秒とする。監視カメラ400は、サーバ100からライブ画像要求を受け付ける毎に、未加工の映像データ(RAWデータ)からリアルタイムの静止画像データを作成し(切り出し)、ライブ画像としてサーバ100に送信する。
サーバ100は、監視カメラ400からストリーム方式で動画データを取得すると、保存単位(たとえば10分)ごとに1つのファイルとして二次映像フォルダ112に格納する。これにより、過去の動画データの再生は動画データ保存後(たとえば10分後)から受付可能となる。
本実施の形態では、サーバ100は、監視カメラ400から受け取る動画データを、エンコード部402での符号化に係る遅延に応じて時間調整して二次映像フォルダ112に保存する。たとえば、監視カメラ400から送信される動画データが、動画データと同時に送信されるリアルタイムの静止画像データに対して1分遅延している場合には、サーバ100は、たとえば9:51:00〜10:00:59に受け取る動画データに、9:50:00〜9:59:59のタイムスタンプを付して1つのファイルとして二次映像フォルダ112に保存する。
また、サーバ100は、監視カメラ400からライブ画像としての静止画像データを取得すると、予め定められた閲覧期間(たとえば24時間)は、頻繁に見る可能性がある高解像度のデータとして一次映像フォルダ111に保存し、閲覧期間を過ぎると、一次映像フォルダ111から削除する。
端末装置200は、ユーザによるサーバ100への接続要求を受付ける。サーバ100への接続要求が端末装置200に入力されると、端末装置200は、サーバ100にTCP/IP方式で接続を要求する。モバイル端末200では、部分的に携帯電話独自のプロトコルを使用して接続することもある。端末装置200は、1または複数台の端末装置で構成され、端末装置200とサーバ100とはユーザIDおよびパスワードで認証を行う。サーバ100の認証用データベースが参照され、端末装置200の認証登録がされていない場合は、初回のみ暗号化キーを発行して登録が行われ、登録時にユーザIDとパスワードが発行される。認証が成功すると、端末装置200とサーバ100とは接続状態となる。
端末装置200は、ユーザからのカメラ一覧要求を受け付ける。端末装置200は、カメラ一覧要求が入力されると、サーバ100にカメラ一覧要求を送信する。サーバ100は、カメラ一覧要求を受信すると、要求した端末装置200が監視できる監視カメラ400についての権限情報を確認する。サーバ100は、権限のあるカメラ一覧データを端末装置200に送信する。端末装置200は、受信したカメラ一覧データをディスプレイ203に表示し、ライブ再生させるべき監視カメラについてのユーザからの選択を受け付ける。
端末装置200は、ユーザからの監視カメラの選択が入力されると、選択された監視カメラについてカメラ映像のライブ再生をサーバ100に要求する。サーバ100は、ライブ再生の要求を受け付けると、選択された監視カメラ400から取得して一次映像フォルダ111に保存された最新の静止画像データを、ライブ画像として端末装置200へ送信する。
端末装置200は、サーバ100から受け取る静止画像データを、ライブ画像としてディスプレイ203に表示する。ユーザによって監視カメラの選択が解除されるまで、あるいはライブ再生以外が選択されている間を除き、端末装置200は、監視カメラ400におけるスナップショット時間間隔と同じ時間間隔で、ライブ再生の要求を繰り返す。
端末装置200は、ライブ画像の表示中に、ユーザからの巻き戻し要求の入力を受け付ける。端末装置200は、ユーザから巻き戻し要求が入力されると、サーバ100に巻き戻し画像を要求する。
サーバ100は、巻き戻し画像の要求を受信すると、前回送信した静止画像データより一定時間分過去の時点の静止画像データを、一次映像フォルダ111から抽出し、巻き戻しライブ画像として端末装置200へ送信する。本実施例では、一定時間分過去の時点を1秒分過去の時点とし、ライブ画像が1秒ごとに取得した静止画像データであるので、最初に巻き戻し要求が入力されたときは、1枚前の静止画像データが端末装置200に送信される。
巻き戻しが選択されている間中、すなわち、巻き戻しライブ画像の表示中は、端末装置200は、サーバ100に、一定時間ごとに巻き戻しライブ画像を要求する。その際の一定時間は、ライブ画像の要求間隔より短い一定時間であって、たとえば0.2秒ごとである。したがって。端末装置200には、0.2秒ごとに、1秒ずつ前のカメラ映像の静止画像データから作成された巻き戻しライブ画像が表示されることになる。
さらに、端末装置200は、巻き戻しライブ画像の表示中に、ユーザからの早送り要求の入力を受け付ける。端末装置200は、早送り要求が入力されると、サーバ100に早送りライブ画像を要求する。サーバ100は、早送りライブ画像の要求を受信すると、前回送信した静止画像データより一定時間分未来の時点の静止画像データを、一次映像フォルダ111から抽出し、早送りライブ画像として端末装置200に送信する。本実施の形態では、一定時間分未来の時点を1秒分未来の時点とし、ライブ画像が1秒ごとに取得した画像であるので、最初に早送り要求が入力されたときは、巻き戻しライブ画像として現在表示されている静止画像データより、1秒未来の静止画像データが送信される。
早送りが選択されている間中、すなわち、早送りライブ画像の表示中は、端末装置200は、サーバ100に、一定時間ごとに早送りライブ画像を要求する。その際の一定時間は、ライブ画像の要求間隔より短い一定時間であって、たとえば0.2秒ごとである。したがって、端末装置200には、0.2秒ごとに、1秒ずつ後のカメラ映像の静止画像データから作成された早送りライブ画像が表示されることになる。早送りライブ画像が現時点の画像までたどり着いたら、ライブ画像表示に切り替わり、早送りは終了する。
さらに、端末装置200は、巻き戻しライブ画像の表示中に、ユーザからのリライブ再生要求の入力を受け付ける。本明細書において「リライブ」とは、ライブ以外の蓄積された静止画像のデータを意味する。端末装置200は、リライブ再生要求が入力されると、サーバ100にリライブ再生を要求する。サーバ100は、リライブ再生の要求を受信すると、前回送信した画像より一定時間分未来の時点の静止画像データを、一次映像フォルダ111から抽出し、リライブ画像として端末装置200に送信する。本実施の形態では、一定時間分未来の時点を1秒分未来の時点とし、ライブ画像が1秒ごとに取得した画像であるので、最初にリライブ再生の要求が入力されたときは、リライブ画像として現在表示されている静止画像データより、1枚未来の静止画像データが送信される。
リライブ再生が選択されている間中、すなわち、リライブ画像の表示中は、端末装置200は、サーバ100に、一定時間ごとにリライブ再生を要求する。その際の一定時間は、ライブ画像の要求間隔と同じ一定時間であって、本実施例では1秒ごとである。したがって、端末装置200には、1秒ごとに、1秒ずつ後の静止画像データが表示されることになる。リライブ再生以外が選択されると、リライブ画像表示は終了する。
ライブ再生に代えて、過去の動画データの再生も同様に行うことができる。サーバ100は、静止画像データの代わりに、受付した過去の動画データを、二次映像フォルダ112から抽出し、抽出した動画データを端末装置200に送信して表示させる。
静止画像データは、画像であって端末装置200に連続して送信できるほど軽く、また、動画データも、ハイプロファイルで符号化されていて、動画でありながらデータ量が極めて小さいため、端末装置200に送信できるほど軽い。また、静止画像データも、動画データも、ともに、巻き戻し、巻き戻してからの再生や早送りが可能であり、利便性が高い。
ところで、発明が解決しようとする課題の欄でも言及したように、従来の監視カメラシステムでは、動画データの保存をベースラインプロファイルで行っているため、容量の圧縮により映像が劣化したり、可変レートの場合は瞬時の動きに映像が乱れたりするなど、仕組み自体に限界が来ていた。
また、ベースラインプロファイルの動画データをハイプロファイルに変換して保存する構成では、最適化したデータ保存が可能とされるものの、レコーダとなるサーバのCPUリソースを使用して変換を行うため、システムにかかるコストが大きくなる傾向があった。
また、カメラからのストリーム出力はベースラインプロファイルに限定されていることから、ネットワークに複数台のカメラを接続すると、トラフィックが増大し、ネットワーク設計や機器への負荷が発生していた。
これに対し、本実施の形態によれば、監視カメラ400のエンコード部402が、未加工の映像データを、双方向予測インターフレーム(Bフレーム)を含む動画データに符号化してサーバに送信するため、サーバに負荷をかけることなく、最適化したデータ保存が可能となる。また、ネットワーク500上を流れるデータ量が大幅に小さくなり、ネットワークトラフィックを低減することができる。これにより、ネットワーク設計や機器への負荷が低減し、ネットワーク機器を長寿命化できる。また、ネットワーク500に複数台の監視カメラ400を接続することが可能となる。
また、本実施の形態によれば、双方向予測インターフレーム(Bフレーム)を含む動画データへの符号化が、サーバ100のCPUリソースを使用して行われるのではなく、監視カメラ400の内部で行われるため、サーバ100の負荷が低減し、システムにかかるコストを低減できる。また、サーバ100の負荷が低減するので、サーバ1台当たりの監視カメラ400の収容台数を増やすことができる。
また、本実施の形態によれば、監視カメラ400から送信される動画データは、双方向予測インターフレーム(Bフレーム)を含むことから、必然的に遅延しているものの、ライブ映像生成部403が、遅延のない未加工の映像データからリアルタイムの映像データを作成してサーバ100に送信するため、サーバ100は、リアルタイムの映像を取得可能であり、リアルタイムでの閲覧という監視カメラシステムとしての必須の要件は何ら損なわれることがない。
また、本実施の形態によれば、監視カメラ400から送信される動画データはエンコード部402での符号化により必然的に遅延しているものの、二次映像フォルダ112には遅延に応じて時間調整された状態で保存されるため、サーバ100は、端末装置200から時刻を特定して過去の動画データの再生要求を受け付けた場合に、要求された時刻の動画データを二次映像フォルダ112から正確に抽出して端末装置200に送信することができる。
また、本実施の形態によれば、端末装置200にてライブ画像を表示しているときに、ユーザが見落とし等に気付いた場合には、端末装置200からサーバ100に巻き戻し要求を送信することで、端末装置200ではそのままさかのぼって確認することができ、また、端末装置200からサーバ100に早送り要求を送信することで、過去から現時点までを早送りで確認することができる。
なお、上述した実施の形態に対して様々な変更を加えることが可能である。以下、図面を参照しながら、変形の一例について説明する。以下の説明および以下の説明で用いる図面では、上述した実施の形態と同様に構成され得る部分について、上述した実施の形態における対応する部分に対して用いた符号と同一の符号を用いるとともに、重複する説明を省略する。
(第1の変形例)
第1の変形例について、図12を参照して説明する。図12は、第1の変形例に係る監視カメラ400の概略的な構成を示す図である。
図12に示すように、第1の変形例では、監視カメラ400のエンコード部402Bは、撮像部401にて生成された未加工の映像データ(RAWデータ)を、Bフレームを含む動画データ(たとえば、H.264のハイプロファイルの動画データ)に符号化したのち、動画データからIフレームが先頭の画像となるGOP単位(たとえば1秒分)で、撮影時刻順に分割データを作成してメモリ4025に保存する。
なお、GOP(Group Of Picture)は、1つ以上のIフレーム(イントラフレーム)と複数のPフレーム(予測インターフレーム)およびBフレーム(双方向予測インターフレーム)からなるフレーム群である。エンコード部402は、たとえば、動画データからIフレームを検出すると、次のIフレームを検出した直前のフレームまでを1つの分割データとする。この場合、1つの分割データが1つのIフレームを含むことになる。なお、1つの分割データが2つ以上のIフレームを含んでもよい。
また、監視カメラ400のエンコード部402Bは、サーバ100から分割データ要求を受け付ける毎に、メモリ4025からサーバ100に1つずつ分割データを転送する。
一方、サーバ100は、監視カメラ400に分割データ要求を送信して分割データを受け取ることを繰り返す。そして、サーバ100は、監視カメラ400から受け取る分割データを撮影時刻順に結合して、保存単位(たとえば10分)ごとに1つのファイルの動画データを作成し、二次映像フォルダ112に保存する。
以上のような第1の変形例によれば、たとえばクラウド環境にサーバ100を設置して遠隔地の監視カメラ400から映像データをサーバ100に転送する際に、後で元の映像を復元可能な容量が小さい単位に分割して、ネットワーク500の混雑を回避しつつ送信できるので、クラウド環境で安定的なカメラ映像の収集が可能となる。
(第2の変形例)
第2の変形例について、図13を参照して説明する。図13は、第2の変形例に係る監視カメラ400の概略的な構成を示す図である。
図13に示すように、第2の変形例では、監視カメラ400のライブ映像生成部403Bは、未加工の映像データ(RAWデータ)を、双方向予測インターフレーム(Bフレーム)を含まないリアルタイムの動画データ、すなわち単独でデコーディング可能で一定時間ごとに作成されるイントラフレーム(Iフレーム)と、過去のフレームを参照してイントラフレームの間に複数作成される予測インターフレーム(Pフレーム)とから構成されるベースラインプロファイルの動画データに符号化して、ストリーム方式でサーバ100に送信する。
第2の変形例によっても、上述した実施の形態と同様に、監視カメラ400のエンコード部402が未加工の映像データを、双方向予測インターフレーム(Bフレーム)を含む動画データに符号化してサーバ100に送信するため、サーバ100に負荷をかけることなく最適化したデータ保存が可能となるとともに、ライブ映像生成部403が、遅延のない未加工の映像データからリアルタイムの映像データを作成してサーバ100に送信するため、サーバ100はリアルタイムの映像を取得可能であり、リアルタイムでの閲覧という監視カメラシステムとしての必須の要件は何ら損なわれることがない。
なお、第2の変形例によれば、監視カメラ400がリアルタイムの映像をストリーム方式で送出するので、上述した実施の形態に比べてネットワーク500のトラフィックが増える可能性があるものの、ローカル環境であれば問題にならない。
(第3の変形例)
第3の変形例について、図14を参照して説明する。図14は、第3の変形例に係る監視カメラ400の概略的な構成を示す図である。
図14に示すように、第3の変形例では、監視カメラ400のライブ映像生成部403Cは、タイマー409などに予め定められたスナップショット時間間隔(たとえば、1秒ごと)で、未加工の映像データ(RAWデータ)からリアルタイムの静止画像データを切り出してサーバ100に送信することを繰り返す。監視カメラ400からサーバ100への静止画像データの転送では、FTP、HTTPなどのTCP/IPベースの転送方式が用いられる。
第3の変形例によっても、上述した実施の形態と同様に、監視カメラ400のエンコード部402が未加工の映像データを、双方向予測インターフレーム(Bフレーム)を含む動画データに符号化してサーバ100に送信するため、サーバ100に負荷をかけることなく最適化したデータ保存が可能となるとともに、ライブ映像生成部403が、遅延のない未加工の映像データからリアルタイムの映像データを作成してサーバ100に送信するため、サーバ100はリアルタイムの映像を取得可能であり、リアルタイムでの閲覧という監視カメラシステムとしての必須の要件は何ら損なわれることがない。
なお、上述した実施の形態および個々の変形例の記載ならびに図面の開示は、特許請求の範囲に記載された発明を説明するための一例に過ぎず、上述した実施の形態および個々の変形例の記載または図面の開示によって特許請求の範囲に記載された発明が限定されることはない。上述した実施の形態および個々の変形例の構成要素は、発明の主旨を逸脱しない範囲で任意に組み合わせることが可能である。
10 監視カメラシステム
100 サーバ
101 CPU
102 メモリ
103 ディスプレイ
104 ネットワークインターフェース
105 キーボード
106 マウス
110 記憶装置
111 一次映像フォルダ
112 二次映像フォルダ
113 プログラム
114 オペレーティングシステム
200、200A、200B 端末装置(モバイル端末)
201 CPU
202 メモリ
203 ディスプレイ
210 記憶装置
213 プログラム
214 オペレーティングシステム
300、300A、300B、300C 端末装置(閲覧用PC)
301 CPU
302 メモリ
303 ディスプレイ
304 ネットワークインターフェース
305 キーボード
306 マウス
310 記憶装置
313 プログラム
314 オペレーティングシステム
400、400A、400B 監視カメラ
401 撮像部
4011 レンズ
4012 映像データ受信部
4013 RAWデータ生成部
402、402B エンコード部
4021 制御回路
4022 フレーム内圧縮ブロック
4023 フレーム間圧縮ブロック
4024 可変長符号圧縮/フレーム並べ替えブロック
4025 メモリ
403、403B、403C ライブ映像生成部
404 情報通信部
405 筐体
409 タイマー
410 エンコードLSI
411A、411B インターフェースブロック
500 ネットワーク
600 ルータ

Claims (10)

  1. 監視カメラと、
    前記監視カメラにネットワークを介して接続されたサーバと、
    を備え、
    前記監視カメラは、
    受光した映像を撮像して未加工の映像データを生成する撮像部と、
    前記未加工の映像データを、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレームを含む動画データに符号化して、前記サーバに送信するエンコード部と、
    前記未加工の映像データからリアルタイムの映像データを作成して、前記サーバに送信するライブ映像生成部と、
    を有する、ことを特徴とする監視カメラシステム。
  2. 前記エンコード部は、前記動画データをストリーム方式で前記サーバに送信する
    ことを特徴とする請求項1に記載の監視カメラシステム。ことを特徴とする請求項1に記載の監視カメラシステム。
  3. 前記エンコード部は、前記動画データからGOP単位で撮影時刻順に分割データを作成してメモリに保存し、前記サーバから分割データ要求を受け付ける毎に、前記メモリから前記サーバに1つずつ分割データを転送し、
    前記サーバは、前記監視カメラから受け取る分割データを撮影時刻順に結合して動画データを作成する
    ことを特徴とする請求項1に記載の監視カメラシステム。
  4. 前記ライブ映像生成部は、前記サーバからライブ画像要求を受け付ける毎に、前記未加工の映像データからリアルタイムの静止画像データを切り出して前記サーバに送信する
    ことを特徴とする請求項1〜3のいずれかに記載の監視カメラシステム。
  5. 前記ライブ映像生成部は、前記未加工の映像データを、前記双方向予測インターフレームを含まないリアルタイムの動画データに符号化して、ストリーム方式で前記サーバに送信する
    ことを特徴とする請求項1〜3のいずれかに記載の監視カメラシステム。
  6. 前記ライブ映像生成部は、予め定められたスナップショット時間間隔で、前記未加工の映像データからリアルタイムの静止画像データを切り出して前記サーバに送信することを繰り返す
    ことを特徴とする請求項1〜3のいずれかに記載の監視カメラシステム。
  7. 前記サーバは、
    前記監視カメラから受け取る静止画像データを、記憶装置に保存する一次映像保存部と、
    ネットワークを介して接続された端末装置に前記静止画像データをライブ画像として送信するライブ画像送信部と、
    前記端末装置から、ライブ画像からの巻き戻し要求を受け付けると、前回送信した静止画像データより一定時間分過去の時点の静止画像データを前記記憶装置から取得して、巻き戻しライブ画像として前記端末装置に送信する巻き戻しライブ画像送信部と、
    前記端末装置から、巻き戻しライブ画像からの早送り要求を受け付けると、現時点の静止画像データに達するまで、前回送信した静止画像データより一定時間分未来の時点の静止画像データを前記記憶装置から取得して、早送りライブ画像として前記端末装置に送信する早送りライブ画像送信部と、
    を有する、
    ことを特徴とする請求項4または6に記載の監視カメラシステム。
  8. 前記サーバは、前記監視カメラから受け取る動画データを、前記エンコード部での符号化に係る遅延に応じて時間調整して記憶装置に保存する二次映像保存部を有する、
    ことを特徴とする請求項1〜7のいずれかに記載の監視カメラシステム。
  9. サーバにネットワークを介して接続される監視カメラであって、
    受光した映像を撮像して未加工の映像データを生成する撮像部と、
    前記未加工の映像データを、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレームを含む動画データに符号化して、前記サーバに送信するエンコード部と、
    前記未加工の映像データからリアルタイムの映像データを作成して、前記サーバに送信するライブ映像生成部と、
    を有する、
    ことを特徴とする監視カメラ。
  10. 受光した映像を撮像して未加工の映像データを生成する撮像部と、
    前記未加工の映像データを、過去のフレームと未来のフレームの両方を参照して作成される双方向予測インターフレームを含む動画データに符号化して、前記サーバに送信するエンコード部と、
    前記未加工の映像データからリアルタイムの映像データを作成して、前記サーバに送信するライブ映像生成部と、
    を有する監視カメラにネットワークを介して接続されるサーバであって、
    前記監視カメラから受け取るリアルタイムの映像データを、記憶装置に保存する一次映像保存部と、
    前記監視カメラから受け取る動画データを、前記エンコード部での符号化に係る遅延に応じて時間調整して前記記憶装置に保存する二次映像保存部と、
    を備えたことを特徴とするサーバ。
JP2016252729A 2016-12-27 2016-12-27 監視カメラシステム Pending JP2018107655A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016252729A JP2018107655A (ja) 2016-12-27 2016-12-27 監視カメラシステム
PCT/JP2017/006251 WO2018123078A1 (ja) 2016-12-27 2017-02-21 監視カメラシステム
TW106106497A TW201824850A (zh) 2016-12-27 2017-02-24 監視攝影機系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016252729A JP2018107655A (ja) 2016-12-27 2016-12-27 監視カメラシステム

Publications (1)

Publication Number Publication Date
JP2018107655A true JP2018107655A (ja) 2018-07-05

Family

ID=62707129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016252729A Pending JP2018107655A (ja) 2016-12-27 2016-12-27 監視カメラシステム

Country Status (3)

Country Link
JP (1) JP2018107655A (ja)
TW (1) TW201824850A (ja)
WO (1) WO2018123078A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114760480A (zh) * 2021-01-08 2022-07-15 华为技术有限公司 图像处理方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158731A (ja) * 2001-11-20 2003-05-30 Hitachi Ltd 映像配信システムとカメラ端末及び受信端末
JP2004320822A (ja) * 2002-10-31 2004-11-11 Hitachi Kokusai Electric Inc 映像データ保存方法及び映像データ保存システム
JP2005333520A (ja) * 2004-05-21 2005-12-02 Mitsubishi Electric Corp 画像伝送装置、画像伝送方法、伝送システム、及び映像監視システム
JP2012090172A (ja) * 2010-10-21 2012-05-10 Canon Inc 監視カメラ、監視カメラの制御方法及びネットワークカメラシステム
JP2013051534A (ja) * 2011-08-31 2013-03-14 Nexpoint Co Ltd 監視カメラシステム及び監視方法
WO2015118664A1 (ja) * 2014-02-07 2015-08-13 日立マクセル株式会社 画像伝送装置と画像受信装置、並びに、これらを利用した監視カメラシステム、テレビ会議システム、そして、車載カメラシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158731A (ja) * 2001-11-20 2003-05-30 Hitachi Ltd 映像配信システムとカメラ端末及び受信端末
JP2004320822A (ja) * 2002-10-31 2004-11-11 Hitachi Kokusai Electric Inc 映像データ保存方法及び映像データ保存システム
JP2005333520A (ja) * 2004-05-21 2005-12-02 Mitsubishi Electric Corp 画像伝送装置、画像伝送方法、伝送システム、及び映像監視システム
JP2012090172A (ja) * 2010-10-21 2012-05-10 Canon Inc 監視カメラ、監視カメラの制御方法及びネットワークカメラシステム
JP2013051534A (ja) * 2011-08-31 2013-03-14 Nexpoint Co Ltd 監視カメラシステム及び監視方法
WO2015118664A1 (ja) * 2014-02-07 2015-08-13 日立マクセル株式会社 画像伝送装置と画像受信装置、並びに、これらを利用した監視カメラシステム、テレビ会議システム、そして、車載カメラシステム

Also Published As

Publication number Publication date
TW201824850A (zh) 2018-07-01
WO2018123078A1 (ja) 2018-07-05

Similar Documents

Publication Publication Date Title
US10972519B2 (en) Real-time video streaming to client video element
US10009630B2 (en) System and method for encoding video content using virtual intra-frames
US20070188594A1 (en) Communication system, communication terminal and communication method
JP5854194B2 (ja) 監視カメラシステム及び監視方法
JP6238255B2 (ja) 監視カメラシステムによる監視方法及び動画分割装置
US10356302B2 (en) Transmission apparatus, reception apparatus, transmission and reception system, transmission apparatus control method, reception apparatus control method, transmission and reception system control method, and program
US20200037001A1 (en) Method and apparatus for generating a composite video stream from a plurality of video segments
US10306173B2 (en) Imaging apparatus, imaging method, and program
US10015395B2 (en) Communication system, communication apparatus, communication method and program
JP6319970B2 (ja) 画像通信装置およびその制御方法
WO2018123078A1 (ja) 監視カメラシステム
JP2015119335A (ja) 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法
JP2012137900A (ja) 映像出力システム、映像出力方法及びサーバ装置
WO2018003685A1 (ja) 画像圧縮方法、画像復元方法、画像圧縮装置、画像復元装置、画像圧縮プログラムプロダクト及び画像復元プログラムプロダクト
JP6357188B2 (ja) 監視カメラシステム及び監視カメラデータ保存方法
KR102050416B1 (ko) 네트워크 카메라 장치 및 이의 영상 스트리밍 제공 방법
JP6468663B2 (ja) 映像コンテンツ配信装置
JP5896438B2 (ja) 監視カメラシステム及び監視方法
KR101190753B1 (ko) 디지털 비디오 레코더의 비디오 프레임 전송방법
Bhattacharjee An adaptive video streaming solution over wireless networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200710

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201201