JP2016015584A - ネットワークカメラシステム、ネットワークカメラおよび音映像送信方法 - Google Patents

Abstract

【課題】コストを低減したネットワークカメラシステムを提供する。【解決手段】ネットワークカメラシステム９では、ネットワークカメラ１が、映像データおよび当該映像データに対応する時間帯の音データを映像フレームに格納し、その映像フレームを含む情報を受信装置２に送信する。受信装置２は、受信した情報に含まれる映像フレームから、映像データおよび音データを取得し、それらを復元して映像信号および音信号を生成し、同期して再生する。【選択図】図１

Description

本発明は、ネットワークを経由して伝送した映像と音とを同期して再生する技術に関する。

近年、インターネット等のネットワークを介して、映像データおよび音（音声を含む）データを送信する機能を備えるネットワークカメラが普及してきている。このようなネットワークカメラでは、キャプチャしたアナログ形式の映像信号とアナログ形式の音信号とは、別々のフォーマットにデジタルエンコードされ、映像データと音データとに変換される。そして、映像データおよび音データは、別々のデータブロックとして処理されて、ネットワーク経由で受信装置に送信される。

インターネット等のネットワークでは、データはパケットと呼ばれる小単位で送信され、そのパケットの伝送経路において輻輳等が発生すると、データの到着に遅延が発生する。また、パケットそれぞれが複数の経路を経由して目的地に到着した場合には、着順の逆転が発生してしまうことがある。つまり、ネットワークでは、パケットの遅延および着順が保障されない場合がある。したがって、ネットワークカメラシステムでは、受信装置において映像信号と音信号とを同期して再生できるようにするための同期対策を講じる必要がある。

映像信号と音信号とを同期する方法として、ＭＰＥＧ（Moving Picture Experts Group）２−ＴＳ（Transport Stream）方式のケースについて説明する。ＭＰＥＧ２−ＴＳ方式は、映像データと音データとをパケット化するときに、パケットのヘッダ部に、映像データと音データとのメディア間同期のために提示時刻情報を付加する。提示時刻情報は、映像データの場合には、受信装置の表示部に映像信号を表示（再生）する時刻となる。また、音データの場合には、提示時刻情報は、スピーカに音を出力する時刻となる。この提示時刻情報は、送信側で付加される。また、送信側と受信側とのシステム同期のために、システム時刻基準参照値が、付加される。そして、送信側から、これらの二つの時刻情報を付加したパケットが受信側に送信される。
受信側では、システム時刻基準参照値が提示時刻情報の示す時刻になると、該当するデータを復号した映像信号を表示装置に表示し、音信号をスピーカから出力する。

特許文献１には、時刻情報を用いて同期処理を実行する場合において、送信側では最大遅延時間を決定することの困難性や、回路規模が大きくなるという問題点と、それを解決するための手段が開示されている。

特開平１０−３１３４４８号公報

しかしながら、特許文献１では依然として時刻情報が用いられているために、ネットワークカメラと受信装置とによって構成されるネットワークカメラシステムは、その時刻情報に関する処理のために、データ管理が複雑となり、高価なシステムになってしまっているという問題がある。

そこで、本発明では、コストを低減したネットワークカメラシステムを提供することを課題とする。

前記課題を解決するために、本発明は、映像シーンを撮影し撮影時の周囲の音を集音するネットワークカメラと、ネットワークを介して前記ネットワークカメラと通信可能に接続される受信装置とを備えるネットワークカメラシステムであって、ネットワークカメラが、映像データおよび当該映像データに対応する音データを同じ映像フレームに格納し、その映像フレームを含む情報を受信装置に送信する。受信装置は、受信した情報に含まれる映像フレームから、映像データおよび音データを取得し、それらを復元して映像信号および音信号を生成し、同期して再生することを特徴とする。

本発明によれば、コストを低減したネットワークカメラシステムを提供することができる。

ネットワークカメラシステムの構成例を示す図である。 映像フレームの構成例を示す図である。 ネットワークカメラの機能例を示す図である。 受信装置の機能例を示す図である。 映像信号および音信号をデータ化し送信し再生する処理のタイミングチャートの一例を示す図である。 ネットワークカメラシステムの処理フロー例を示す図である。

ここで、本発明を実施するための形態（以降、「本実施形態」と称す。）について、適宜図面を参照しながら詳細に説明する。

（ネットワークカメラシステム）
はじめに、ネットワークカメラシステムについて、図１を用いて説明する。図１は、ネットワークカメラシステム９の構成例を表している。
図１に示すように、ネットワークカメラシステム９は、ネットワークカメラ１および受信装置２を備えている。なお、図１では、ネットワークカメラ１は、３台記載されているが、３台に限られることはなく、１台以上でもよい。

ネットワークカメラ１は、ネットワーク３を介して、受信装置２と接続している。なお、ネットワーク３は、有線、無線のいずれかまたは双方の組み合わせで構成される。

ネットワークカメラ１は、撮影によって取得したアナログ形式の映像信号と撮影時に集音したアナログ形式の音信号（音声を含む）とを符号化して、映像データおよび音データに変換（データ化）し、それらのデータをパケット化し、ネットワーク３を介してパケットを受信装置２に送信する機能を有する。なお、ネットワークカメラ１の機能の詳細については後記する。

受信装置２は、受信したパケットに含まれるデータから映像信号および音信号を生成し、それらを再生する機能を有する。なお、受信装置２の機能の詳細についても後記する。

（映像フレーム）
次に、映像信号をデータ化した映像データと、音信号をデータ化した音データとを格納する映像フレームの構成例について、図２を用いて説明する。
図２に示す上段のフレーム構成は、Ｈ．２６４やＭＰＥＧ２で用いられているもので、大きく分けると、３つの領域（映像ヘッダ領域５１ａ、ユーザ領域５１ｂ、映像データ領域５１ｃ）で構成される。

映像ヘッダ領域５１ａは、映像データの復号化処理に必要な情報や設定情報（データ化に関する情報）が格納される領域である。
ユーザ領域５１ｂは、ネットワークカメラ１の機種名等、ユーザによって任意の情報を書き込むことが許されている領域である。
映像データ領域５１ｃは、映像データが格納される領域である。

本実施形態では、ユーザ領域５１ｂに音データを格納することによって、映像データと音データとを一体管理し、同期処理の負荷を軽減する。具体的には、図２の下段に示すように、音データに関して、音ヘッダ領域５２ａ、ユーザ領域５２ｂ、音データ領域５２ｃのデータを、ユーザ領域５１ｂに格納する。なお、音ヘッダ領域５２ａには、音データの復号化処理に必要な情報や設定情報が格納される。ユーザ領域５２ｂには、ユーザによって任意の情報を書き込める。音データ領域５２ｃは、音データが格納される。音データのサイズは、一般的に３２ｋｂｐｓ〜１２８ｋｂｐｓであるので、ユーザ領域５１ｂに書込み可能な大きさである。

（ネットワークカメラ）
次に、ネットワークカメラ１の機能例について、図３を用いて説明する（適宜、図２参照）。
図３に示すように、ネットワークカメラ１は、機能として、撮像部１１、映像符号化部１２、映像バッファ部１３、集音部１４、音符号化部１５、音バッファ部１６、統合処理部１７、送信バッファ部１８および送信部１９を備える。

撮像部１１は、被写体を撮影するカメラの機能を有する。
映像符号化部１２は、撮像部１１によって撮影されたシーンの映像信号を符号化（データ化）し、映像データを生成する機能を有する。
映像バッファ部１３は、映像符号化部１２によって生成された映像データを、一時的に記憶する機能を有する。

集音部１４は、ネットワークカメラ１の設置されている周辺の音（音声を含む）を取得する機能を有する。
音符号化部１５は、集音部１４によって取得された音信号を符号化（データ化）し、音データを生成する機能を有する。
音バッファ部１６は、音符号化部１５によって生成された音データを、一時的に記憶する機能を有する。

統合処理部１７は、映像バッファ部１３から読み出した映像データと、音バッファ部１６から読み出した音データとをメモリ上に展開し、図２に示す映像フレーム５のユーザ領域５１ｂに音データを格納し、映像データ領域５１ｃに映像データを格納する。例えば、毎秒３０フレームの映像データの場合、統合処理部１７は、３３ｍｓ分の音データを格納する。また、毎秒３０フレーム未満の間欠フレーム設定がなされている映像データの場合、統合処理部１７は、設定されたフレーム間の時間分の音データを読み出して、その読み出した音データをユーザ領域５１ｂに格納する機能を有する。

送信バッファ部１８は、映像データおよび音データの格納された映像フレーム５を一時的に記憶する機能を有する。
送信部１９は、通信インタフェースを備え、送信バッファ部１８から映像フレーム５を読み出して、読み出した映像フレーム５をパケット化し、ネットワーク３を経由して受信装置２にパケットによって映像フレーム５を送信する機能を有する。

（受信装置）
次に、受信装置２の機能例について、図４を用いて説明する（適宜、図２参照）。
受信装置２は、受信部２１、受信バッファ部２２、分離処理部２３、映像復号化部２４、音復号化部２５を備える。なお、記憶部２６は、必ずしも備えられていなくとも構わない。

受信部２１は、ネットワーク３を経由して送信されてきたパケットをデパケット化して元の映像フレーム５を生成し、映像フレーム５を受信する機能を有する。
受信バッファ部２２は、受信部２１によって取得された映像フレーム５を一時的に記憶する機能を有する。

分離処理部２３は、受信バッファ部２２から映像フレーム５を読み出して、映像ヘッダ領域５１ａの情報に基づいて、その映像フレーム５が直ちに表示すべきライブ映像か、記憶部２６に記憶しておく記録映像かを判定する機能を有する。分離処理部２３は、ライブ映像であると判定した場合、映像フレーム５から映像データと音データとを読み取る（取得する）機能を有する。
また、分離処理部２３は、記録映像であると判定した場合、映像フレーム５のまま、記憶部２６に記憶する機能を有する。そして、分離処理部２３は、記憶部２６に記憶した映像フレーム５を再生する場合には、映像フレーム５を記憶部２６から読み出して、ライブ映像の場合と同様に、映像フレーム５から映像データと音データとを読み取る。

映像復号化部２４は、映像データを復号化（復元）して、表示装置３１に表示する映像信号を生成し出力する機能を有する。
音復号化部２５は、音データを復号化（復元）して音信号を生成し、スピーカ３２に映像信号の出力と同時に音信号を出力する機能を有する。

表示装置３１は、例えば、ディスプレイであり、映像復号化部２４によって生成された映像信号を表示する。
スピーカ３２は、音復号化部２５によって生成された音信号を出力する。

このように、本実施形態のネットワークカメラシステム９は、映像フレーム５に、同じ時間帯の映像データと音データとを格納しているので、時刻情報を用いなくても、同期処理を実行することができる。また、ネットワークカメラシステム９は、映像フレーム５に、同じ時間帯の映像データと音データとを格納しているので、パケットの到着にゆらぎがある場合であっても、映像データと音データとのメディア間にゆらぎを生じることはない。したがって、ネットワークカメラシステム９は、データ管理が簡単となり、コストを低減することができる。

（タイミングチャート）
次に、映像信号および音信号をデータ化して送信し再生する処理のタイミングチャートの一例について、図５を用いて説明する（適宜、図２〜図４参照）。図５の横軸方向は、時刻を表している。図５の縦方向の上段は、送信側のネットワークカメラ１における処理のタイミングを表し、中段は、映像フレーム５を送信するタイミングを表し、下段は、受信装置２における再生処理のタイミングを模式的に表している。

図５は、所定の間隔（一定周期）で、映像信号が取得される場合を表している。例えば、映像信号が毎秒３０フレームの場合には、間隔は３３ｍｓとなる。図５では、入力映像４１ａの先頭の時刻がｔ１、入力映像４１ｂの先頭の時刻がｔ２、入力映像４１ｃの先頭の時刻がｔ３と表している。

図５の上段に示すように、ネットワークカメラ１は、入力映像４１ａ（映像信号）を取得し、当該入力映像４１ａをデータ化した映像データを、中段に示す映像フレーム５ａの映像データ領域に格納する。また、ネットワークカメラ１は、時刻ｔ１〜時刻ｔ２の入力音４２ａ（音信号）を取得し、当該入力音４２ａをデータ化した音データを、中段に示す映像フレーム５ａのユーザ領域に格納する。なお、映像フレーム５ａの生成は、時刻ｔ２以降に行うことによって、入力音４２ａの音データを当該映像フレーム５ａに格納することができる。ただし、図５では、例えば、毎秒１５フレームのように映像信号を間引いた場合を表しているので、入力映像４１ａの長さが入力音４２ａの長さより短く表現している。

同様に、ネットワークカメラ１は、図５の上段に示すように、入力映像４１ｂ（映像信号）を取得し、当該入力映像４１ｂをデータ化した映像データを、中段に示す映像フレーム５ｂの映像データ領域に格納する。また、ネットワークカメラ１は、時刻ｔ２〜時刻ｔ３の入力音４２ｂ（音信号）を取得し、当該入力音４２ｂをデータ化した音データを、中段に示す映像フレーム５ｂのユーザ領域に格納する。なお、映像フレーム５ｂの生成は、時刻ｔ３以降に行うことによって、入力音４２ｂの音データを当該映像フレーム５ｂに格納することができる。

また、ネットワークカメラ１は、図５の上段に示すように、入力映像４１ｃ（映像信号）を取得し、当該入力映像４１ｃをデータ化した映像データを、中段に示す映像フレーム５ｃの映像データ領域に格納する。また、ネットワークカメラ１は、時刻ｔ３〜時刻ｔ４の入力音４２ｃ（音信号）を取得し、当該入力音４２ｃをデータ化した音データを、中段に示す映像フレーム５ｃのユーザ領域に格納する。なお、映像フレーム５ｃの生成は、時刻ｔ４以降に行うことによって、入力音４２ｃの音データを当該映像フレーム５ｃに格納することができる。

次に、受信装置２は、図５の下段に示すように、映像フレーム５ａから取り出した映像データを復元して出力映像４３ａ（映像信号）生成する。また、受信装置２は、映像フレーム５ａから取り出した音データを復元して出力音４４ａ（音信号）を生成する。受信装置２は、出力映像４３ａおよび出力音４４ａが同じ映像フレーム５ａによって送信されてきた信号であると判定できるので、双方の再生開始時刻を同じに設定できる。なお、図５では、出力映像４３ａおよび出力音４４ａの復元は、時刻ｔ３〜時刻ｔ４の区間内に行われるように記載しているが、ネットワーク３内の遅延等の影響を受けるため、必ずしも当該区間内で行われなくともよい。

また、受信装置２は、図５の下段に示すように、映像フレーム５ｂから取り出した映像データを復元して出力映像４３ｂ（映像信号）を生成する。また、受信装置２は、映像フレーム５ｂから取り出した音データを復元して出力音４４ｂ（音信号）を生成する。受信装置２は、出力映像４３ｂおよび出力音４４ｂが同じ映像フレーム５ｂによって送信されてきた信号であると判定できるので、双方の再生開始時刻を同じに設定できる。なお、図５では、出力映像４３ｂおよび出力音４４ｂの復元は、出力音４４ｂの再生開始が出力音４４ａの再生終了後に連続可能なように間に合えばよく、時刻ｔ４〜時刻ｔ５の区間内に行われなくともよい。

また、受信装置２は、図５の下段に示すように、映像フレーム５ｃから取り出した映像データを復元して出力映像４３ｃ（映像信号）を生成する。また、受信装置２は、映像フレーム５ｃから取り出した音データを復元して出力音４４ｃ（音信号）を生成する。受信装置２は、出力映像４３ｃおよび出力音４４ｃが同じ映像フレーム５ｃによって送信されてきた信号であると判定できるので、双方の再生開始時刻は同じに設定できる。なお、図５では、出力映像４３ｃおよび出力音４４ｃの復元は、出力音４４ｃの再生開始が出力音４４ｂの再生終了後に連続可能なように間に合えばよく、時刻ｔ５〜時刻ｔ６の区間内に行われなくともよい。

（処理フロー）
最後に、ネットワークカメラシステム９の処理フロー例について、図６を用いて説明する（適宜、図２〜図４参照）。
ステップＳ６０１では、ネットワークカメラ１において、撮像部１１は映像信号を取得し、集音部１４は音信号を取得する。
ステップＳ６０２では、映像符号化部１２は映像信号を符号化して映像データを生成し、音符号化部１５は音信号を符号化して音データを生成する。

ステップＳ６０３では、統合処理部１７は、映像データおよび当該映像データに対応する時間帯の音データを取得し、映像フレーム５を生成する。ここで、「当該映像データに対応する時間帯の音データ」とは、当該映像信号の取得を開始した時刻から次の映像信号の取得を開始する直前の時刻までの時間に取得される音信号をデータ化した音データという意味である。そして、統合処理部１７は、映像データを映像フレーム５の映像データ領域５１ｃに格納し、音データを音データ領域５２ｃに格納する。
ステップＳ６０４では、送信部１９は、映像フレーム５をパケット化し、パケットによって映像フレーム５をネットワーク３を介して受信装置２へ送信する。

ステップＳ６０５では、受信装置２の受信部２１は、受信したパケットをデパケット化して映像フレーム５を生成し、映像フレーム５を受信する。
ステップＳ６０６では、分離処理部２３は、映像フレーム５から、映像データおよび音データを取得する。

ステップＳ６０７では、映像復号化部２４は映像データを復号化（復元）して映像信号を生成し、音復号化部２５は音データを復号化（復元）して音信号を生成する。
ステップＳ６０８では、映像復号化部２４は映像信号を表示措置３１に出力し、音復号化部２５は音信号をスピーカに出力する。なお、映像復号化部２４の出力と音復号化部２５の出力は、同時に開始される。
そして、処理は終了する。

以上、ネットワークカメラシステム９では、ネットワークカメラ１が、映像データおよび当該映像データに対応する同時間帯の音データを映像フレーム５に格納してパケット化し、そのパケットを受信装置２に送信する。受信装置２は、受信したパケットに含まれる映像フレーム５から、映像データおよび音データを取得し、それらを復号化して映像信号および音信号を生成し、再生する。このように、ネットワークカメラシステム９では、時刻情報を用いることなく、映像信号と音信号との同期を容易にとることができるので、複雑な処理を不要とし、コストを低減することができる。また、ネットワークカメラシステム９は、映像フレーム５に、同じ時間帯の映像データと音データとを格納しているので、パケットの到着にゆらぎがある場合であっても、映像データと音データとのメディア間にゆらぎを生じることはない。

なお、本発明は上記した本実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した本実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも、説明したすべての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の変形例の構成に置き換えることが可能であり、ある実施形態の構成に他の変形例の構成を加えることも可能である。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、ネットワークカメラ１および受信装置２の各部等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、ネットワークカメラ１および受信装置２の各部等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてもよい。

１ ネットワークカメラ
２ 受信装置
３ ネットワーク
５ 映像フレーム
９ ネットワークカメラシステム
１１ 撮像部
１２ 映像符号化部
１３ 映像バッファ部
１４ 集音部
１５ 音符号化部
１６ 音バッファ部
１７ 統合処理部
１８ 送信バッファ部
１９ 送信部
２１ 受信部
２２ 受信バッファ部
２３ 分離処理部
２４ 映像復号化部
２５ 音復号化部
２６ 記憶部
３１ 表示装置
３２ スピーカ
５１ａ 映像ヘッダ領域（共通のヘッダ）
５１ｂ ユーザ領域
５１ｃ 映像データ領域
５２ａ 音ヘッダ領域
５２ｂ ユーザ領域
５２ｃ 音データ領域

Claims (5)

1. 映像シーンを撮影し撮影時の周囲の音を集音するネットワークカメラと、ネットワークを介して前記ネットワークカメラと通信可能に接続される受信装置とを備えるネットワークカメラシステムであって、
   前記ネットワークカメラは、
   撮影した映像シーンの映像信号をデータ化して映像データを生成する映像符号化部と、
   集音した音の音信号をデータ化して音データを生成する音符号化部と、
   前記映像信号の映像データと当該映像信号の取得を開始した時刻から次の映像信号の取得を開始する直前の時刻までの時間に取得される音信号をデータ化した前記音データとを同じ映像フレームに格納する統合処理部と、
   前記映像フレームを含む情報を前記受信装置に送信する送信部と、
   を備え、
   前記受信装置は、
   前記映像フレームを含む情報を受信する受信部と、
   受信した前記映像フレームを含む情報から前記映像データと前記音データとを取得する分離処理部と、
   当該映像データを復元して前記映像信号を生成し、当該映像信号を出力する映像復号化部と、
   当該音データを復元して前記音信号を生成し、当該映像信号の出力と同時に当該音信号を出力する音復号化部と、
   を備えることを特徴とするネットワークカメラシステム。
2. 前記映像フレームが、前記映像データのデータ化に関する情報を格納する映像ヘッダ領域、任意の情報を格納するユーザ領域、前記映像データを格納する映像データ領域で構成されている場合、
   前記統合処理部は、前記ユーザ領域に、前記音データを格納する
   ことを特徴とする請求項１に記載のネットワークカメラシステム。
3. 映像シーンを撮影した情報および撮影時の周囲の音を集音した情報をネットワークを介して受信装置に送信するネットワークカメラであって、
   撮影した映像シーンの映像信号をデータ化して映像データを生成する映像符号化部と、
   集音した音の音信号をデータ化して音データを生成する音符号化部と、
   前記映像信号の映像データと当該映像信号の取得を開始した時刻から次の映像信号の取得を開始する直前の時刻までの時間に取得される音信号をデータ化した前記音データとを同じ映像フレームに格納する統合処理部と、
   前記映像フレームを含む情報を前記受信装置に送信する送信部と、
   を備えることを特徴とするネットワークカメラ。
4. 前記映像フレームが、前記映像データのデータ化に関する情報を格納する映像ヘッダ領域、任意の情報を格納するユーザ領域、前記映像データを格納する映像データ領域で構成されている場合、
   前記統合処理部は、前記ユーザ領域に、前記音データを格納する
   ことを特徴とする請求項３に記載のネットワークカメラ。
5. 映像シーンを撮影した情報および撮影時の周囲の音を集音した情報をネットワークを介して受信装置に送信するネットワークカメラの音映像送信方法であって、
   前記ネットワークカメラは、
   撮影した映像シーンの映像信号をデータ化して映像データを生成する映像符号化ステップと、
   集音した音の音信号をデータ化して音データを生成する音符号化ステップと、
   前記映像信号の映像データと当該映像信号の取得を開始した時刻から次の映像信号の取得を開始する直前の時刻までの時間に取得される音信号をデータ化した前記音データとを同じ映像フレームに格納する統合処理ステップと、
   前記映像フレームを含む情報を前記受信装置に送信する送信ステップと、
   を実行することを特徴とする音映像送信方法。

Images