JP2019041159A - スマートカメラ、サーバ、スマートカメラシステム、データ伝送方法およびプログラム - Google Patents

Abstract

【課題】映像信号と特徴データとを同期させて伝送することの可能なスマートカメラを提供する。【解決手段】スマートカメラは、撮像センサ１（カメラ部）と、特徴データ生成部２と、符号化部１３と、同期処理部８と、多重化部３とを備えるプロセッサ１５と、送信部４を備える通信インタフェース部１８と、を有する。撮像センサは、映像信号を出力する。特徴データ生成部は、映像信号の特徴データを生成する。符号化部は、映像信号を符号化して映像データを生成する。同期処理部は、生成された特徴データを映像データに同期させる。多重化部は、映像データと映像データに同期した特徴データとをトランスポートストリームに多重する。送信部は、トランスポートストリームを通信ネットワークに送信する。【選択図】図４

Description

本発明の実施形態は、スマートカメラについての技術に関する。

スマートカメラが注目されている。スマートカメラは、撮像センサ、プロセッサ、および通信機能を備えている。複数のスマートカメラをクラウドコンピューティングシステム（以下、クラウドと略称する）と連携させ、映像データをビッグデータとして活用するためのプラットフォームも整備されつつある。例えば、映像データを用いて、防災のための定点観測、交通の監視、道路や橋りょうなどのインフラの監視、人物検索や人物トラッキング、不審人物の追跡などを実施することが検討されている。このようなソリューションを実現するためには、映像信号、あるいは映像データを各種のアルゴリズムで分析し、画像分析情報を得ることが重要である。

映像信号を分析するために、映像信号だけでなく、映像信号に付随するメタデータ（例えば撮影日時、解像度、カメラ位置、カメラ指向方向など）も利用される。画像分析情報とメタデータとを用いて、新たな画像分析情報を算出することもある。映像信号を分析して得られる画像分析情報と、映像信号に付随するメタデータとを総称して特徴データという。つまり特徴データは、画像分析情報とメタデータとの、少なくともいずれか一方を含む。また、映像データは、映像信号を符号化して得られるディジタルデータとして理解され得る。

服部 寛 著、「動的な背景の中から人物だけを検出する画像認識技術」、東芝レビュー Ｖｏｌ．６５ Ｎｏ．６（２０１０）、ｐ６０〜６１ "デジタル放送における映像符号化、音声符号化及び多重化方式"，ＡＲＩＢ標準規格 ＡＲＩＢ ＳＴＤ−Ｂ３２ ３．１版 （平成２６年１２月１６日改定）

従来の技術では、特徴データを伝送するために、映像データの収集システムとは別のシステムを構築する必要があり、非効率であった。特に、映像信号と特徴データとの同期が取れないことが課題であり、クラウド側で両方のデータを組み合わせた分析を行うことが難しかった。映像データを利用する側で、映像信号と同期した特徴データを取得できるようにすることが要望されている。

そこで、目的は、映像信号と特徴データとを同期させて伝送することの可能なスマートカメラ、サーバ、スマートカメラシステム、データ伝送方法およびプログラムを提供することにある。

実施形態によれば、スマートカメラは、撮像センサと、特徴データ生成部と、符号化部と、同期処理部と、多重化部と、送信部とを具備する。撮像センサは、映像信号を出力する。特徴データ生成部は、映像信号の特徴データを生成する。符号化部は、映像信号を符号化して映像データを生成する。同期処理部は、生成された特徴データを映像データに同期させる。多重化部は、映像データと当該映像データに同期した特徴データとをトランスポートストリームに多重する。送信部は、トランスポートストリームを通信ネットワークに送信する。

図１は、実施形態に係わる監視カメラシステムの一例を示すシステム図である。 図２は、カメラＣ１〜Ｃｎの一例を示すブロック図である。 図３は、サーバ２００の一例を示すブロック図である。 図４は、カメラＣ１〜Ｃｎの機能ブロックの一例を示す図である。 図５は、図４に示されるカメラ情報生成部１ａの機能ブロックの一例を示す図である。 図６は、特徴データパラメータの一例を示す図である。 図７は、図４に示される検出情報生成部２ｅの機能ブロックの一例を示す図である。 図８は、特徴データの一例を示す図である。 図９は、特徴データ付きコンテンツを生成するプロセスの一例を示す図である。 図１０は、トランスポートストリームのＴＳ基本体系を示す図である。 図１１は、同期多重された特徴データを含むトランスポートストリームの一例を示す図である。 図１２は、点群データに関する特徴データエレメンタリーの一例を示す図である。 図１３は、サーバ２００の機能ブロックの一例を示す図である。 図１４は、第１の実施形態におけるカメラＣ１〜Ｃｎの処理手順の一例を示すフローチャートである。 図１５は、第１の実施形態におけるサーバ２００の処理手順の一例を示すフローチャートである。 図１６は、カメラＣ１〜Ｃｎの機能ブロックの他の例を示す図である。 図１７は、特徴データの他の例を示す図である。 図１８は、サーバ２００の機能ブロックの他の例を示す図である。 図１９は、第２の実施形態におけるカメラＣ１〜Ｃｎの処理手順の一例を示すフローチャートである。 図２０は、第２の実施形態におけるサーバ２００の処理手順の一例を示すフローチャートである。 図２１は、第２の実施形態におけるカメラＣ１〜Ｃｎの処理手順の他の例を示すフローチャートである。 図２２は、第２の実施形態におけるカメラＣ１〜Ｃｎの処理手順の他の例を示すフローチャートである。 図２３は、実施形態に係る監視カメラシステムにおいて、人物トラッキングに係わるデータの流れの一例を示す図である。

図面を参照して、この発明の実施の形態について説明する。なお、この明細書において、画像とは、静止画像、あるいは動画像を構成する１フレーム分の画像として理解される。また、映像とは、一連の画像の集合であり、動画像として理解され得る。

図１は、実施形態に係わる監視カメラシステムの一例を示すシステム図である。図１に示されるシステムは、スマートカメラとしての複数のカメラＣ１〜Ｃｎを備える。カメラＣ１〜Ｃｎは、クラウド１００に接続される。

カメラＣ１〜Ｃｎは、それぞれ異なる場所に設置される。例えば、カメラＣ３〜Ｃ５はエリアＡに配置され、カメラＣ６〜ＣｎはエリアＢに配置され、カメラＣ１、Ｃ２はエリアＡ，Ｂ以外の場所に配置される。各カメラはいずれも光学系（レンズおよび撮像素子を含む）を有し、それぞれの場所で光学系の視野内に捉えた映像をセンシングする。

クラウド１００は、サーバ２００と、サーバ２００を他のコンピュータやデバイスに通信可能に接続する通信ネットワークとを備える。例えばインターネットに代表されるＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワークを利用することができる。サーバ２００は、カメラＣ１〜Ｃｎのそれぞれから送信された映像データをトランスポートストリーム（伝送ストリーム）として収集する。カメラとクラウド１００との間に中継ネットワーク１０１が介在しても良い。

また、モバイル通信システムの基地局ＢＳがクラウド１００に接続される。基地局ＢＳを経由して、例えば車両Ｖ１の車載カメラや、セルラフォンＰ１がクラウド１００にアクセスできる。車載カメラおよびセルラフォンＰ１のカメラも、スマートカメラとして動作することが可能である。

さらに、エリアＡに、例えばエッジサーバＳ１が設置されてもよい。エリアＡは、例えば超高層のオフィスビルが立ち並ぶビル街を含み、昼間人口が多いなどの特徴を持つコミュニティである。エッジサーバＳ１は、このようなエリアＡの特徴に応じたサービスを提供する。同様に、エッジサーバＳ２がエリアＢに設置されてもよい。エリアＢは例えば郊外の住宅地などであり、例えば児童や学校の数が多いという特徴を持つ。エッジサーバＳ２はこのようなエリアＢの特徴に応じたサービスを提供する。

図２は、カメラＣ１の一例を示すブロック図である。カメラＣ２〜Ｃｎも同様の構成を備える。カメラＣ１は、カメラ部１、駆動部１４、プロセッサ１５、メモリ１６、通信インタフェース部１８、およびＧＰＳ信号受信部７を備える。

カメラ部１は、光学系としての撮像部１ｄと、信号処理部１３を備える。撮像部１ｄは、レンズ１０と、レンズ１０の視野を撮影して映像信号を出力する撮像センサ１７とを備える。撮像センサ１７は例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。信号処理部１３は、撮像部１ｄの撮像センサ１７から出力された映像信号に、符号化などのディジタル演算処理を施す。撮像部１ｄは、光量を調節するための絞り機構や、撮影方向を変化させるためのモータ機構などを備える。

駆動部１４は、プロセッサの制御に基づいて各機構をドライブし、撮像センサ１７への光量を調節したり、撮影方向を調整したりする。

プロセッサ１５は、メモリ１６に記憶されたプログラムに基づいてカメラＣ１の動作を統括的に制御する。プロセッサ１５は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。

メモリ１６は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、あるいはＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）などの不揮発性メモリであり、実施形態に係わる各種の機能をプロセッサ１５に実行させるためのプログラム、および映像データなどを記憶する。つまりプロセッサ１５は、メモリ１６に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。

ＧＰＳ信号受信部７は、ＧＰＳ（Global Positioning System）衛星から送信された測位信号を受信し、複数の衛星からの測位信号に基づいて測位処理を行う。測位処理によりカメラＣ１の位置情報と、時刻情報とが得られる。特に、セルラフォンや車載カメラのような、移動するカメラを利用する場合に、位置情報が重要になる。位置情報および時刻情報はメモリ１６に記憶される。通信インタフェース部１８は、専用回線Ｌを介してクラウド１００に接続され、片方向、あるいは双方向のデータ授受を仲介する。

図３は、サーバ２００の一例を示すブロック図である。サーバ２００は、ＣＰＵ２１０を備えるコンピュータであり、ＲＯＭ（Read Only Memory）２２０、ＲＡＭ（Random Access Memory）２３０、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）２４０、光学メディアドライブ２６０、通信インタフェース部（Ｉ／Ｆ）２７０、および、ＧＰＵ（Graphics Processing Unit）２５０を備える。

ＣＰＵ２１０は、ＯＳ（Operating System）および各種のプログラムを実行する。ＲＯＭ４２は、ＢＩＯＳ（Basic Input Output System）やＵＥＦＩ（Unified Extensible Firmware Interface）などの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ２３０は、ＨＤＤ２４０からロードされたプログラムやデータを一時的に記憶する。ＨＤＤ２４０は、ＣＰＵ２１０により実行されるプログラムやデータを記憶する。

光学メディアドライブ２６０は、ＣＤ−ＲＯＭ２８０などの記録媒体に記録されたディジタルデータを読み取る。サーバ２００で実行される各種プログラムは、例えばＣＤ−ＲＯＭ２６０に記録されて頒布されることができる。このＣＤ−ＲＯＭ２８０に格納されたプログラムは、光学メディアドライブ２６０により読み取られ、ＨＤＤ２４０にインストールされることができる。クラウド１００から最新のプログラムをダウンロードして、既にインストールされているプログラムをアップデートすることもできる。
通信インタフェース部２７０は、クラウド１００に接続されてカメラＣ１〜Ｃｎ、およびクラウド１００の他のサーバやデータベースなどと通信する。

ＧＰＵ２５０は、特に画像処理向けの機能を強化したプロセッサであり、積和演算、畳み込み演算、３Ｄ（三次元）再構成などの演算処理を高速で実行することができる。次に、上記構成を基礎として複数の実施形態を説明する。

［第１の実施形態］
＜点群データによる社会インフラの劣化診断＞
第１の実施形態では、カメラＣ１〜Ｃｎとクラウド１００とを連携させて実現されるアプリケーションの一例として、点群データによる社会インフラの劣化診断について説明する。点群（point cloud）とは位置座標で区別される点の集合であり、近年、さまざまな分野で応用されている。例えば、構造物の表面の各点の位置座標からなる点群データの時系列を計算すると、構造物の形状の時間的な変化を求めることができる。

実施形態において、点群データは、座標を要素とする集合として理解されることができる。座標とは、点の位置を指定するための数の組である。例えば、（ｘ，ｙ，ｚ）で表される３次元座標を要素とする集合は、点群データである。これに時間の１次元を加えた４次元座標（ｘ，ｙ，ｚ，ｔ）の集合も、点群データとして理解され得る。

さらに、座標と、この座標に対応する点の属性情報とを組み合わせた情報も点群データの一つの形態と言える。例えば、Ｒ（red），Ｇ（Green），Ｂ（Blue）からなる色情報は、属性情報の一例である。そこで、（ｘ，ｙ，ｚ，Ｒ，Ｇ，Ｂ）というベクトルで表されるデータを用いれば、座標ごとの色を管理することができる。このような構造のデータは、例えばビル壁面の色の経年変化などを監視するのに都合が良い。

点群データだけでなく、３次元ＣＡＤ（Computer Aided Design）データ、標高データ、地図データ、地形データ、距離データ等も、座標の集合からなるデータとして表現することが可能である。さらには、３次元の空間情報や位置情報、およびこれらに類する情報を表すデータ、ならびに、これらのデータに変換することの可能なデータも、点群データの一例として理解されることができる。

図４は、図２に示されるカメラＣ１のハードウェアに実装される機能ブロックの一例を示す図である。カメラＣ２〜Ｃｎも同様の機能ブロックを備える。カメラＣ１は、カメラ部１、ＧＰＳ信号受信部７、およびメモリ１６に加えて、特徴データ生成部２、同期処理部８、多重化処理部（Multiplexer：ＭＵＸ）３、および映像データ送信部４を備える。

カメラ部１は、撮像部１ｄ、マイク１ｃ、カメラ情報生成部１ａ、方向センサ１ｂ、映像符号化処理部１ｅ、および音声符号化処理部１ｆを備える。このうち映像符号化処理部１ｅおよび音声符号化処理部１ｆは、信号処理部１３の機能として実装されることができる。

符号化部としての映像符号化処理部１ｅは、撮像部１ｄからの映像情報を含む映像信号を、例えばＡＲＩＢ ＳＴＤ−Ｂ３２に従って符号化して、映像データを生成する。この映像データは多重化処理部３に入力される。

マイク１ｃは、カメラＣ１の周辺の音声を収音し、音声情報を含む音声信号を出力する。音声符号化処理部１ｆは、この音声信号を例えばＡＲＩＢ ＳＴＤ−Ｂ３２に従って符号化して、音声データを生成する。この音声データは多重化処理部３に入力される。

方向センサ１ｂは、例えばホール素子などを利用した地磁気センサであり、撮像部１ｄの３次元軸（Ｘ軸，Ｙ軸，Ｚ軸）に対する指向方向を出力する。方向センサ１ｂの出力は、カメラ方向情報として特徴データ生成部２に渡される。カメラ方向情報は、カメラ本体の旋回角度情報などを含んでもよい。

カメラ情報生成部１ａは、例えば図５に示されるように、旋回角度検出部１１およびズーム比率検出部１２を備える。旋回角度検出部１１は、ロータリーエンコーダなどでカメラＣ１の旋回角度を検出し、カメラ方向情報を特徴データ生成部２（図４）のカメラ方向情報生成部２ｂに渡す。ズーム比率検出部１２は、撮像部１ｄのレンズ１０に係わるズーム比率を検出し、特徴データ生成部２のズーム倍率情報生成部２ｃにズーム情報を渡す。さらに、カメラＣ１の絞り開度や、視野内に目標を捕えているか否かなどの情報を、カメラ情報生成部１ａから出力することもできる。

図４の特徴データ生成部２は、映像信号の特徴を示す特徴データを生成する。特徴データは、例えば図６の特徴データパラメータに示されるような項目を含む。図６において、特徴データパラメータは、絶対時刻情報、カメラ方向情報、ズーム倍率情報、位置情報、およびセンサ情報などの項目を含む。これらは映像信号のメタデータとして理解され得る。

さらに、特徴データパラメータは、画像分析情報の項目を含む。画像分析情報は、映像信号を分析して得られる、構造物の点群データ、人物の顔識別情報、人検出情報、歩行識別情報などの情報である。例えば、ＯｐｅｎＣＶ（Open Source Computer Vision Library）でも利用されるHaar-Like特徴量を、顔識別情報の一例として挙げることができる。このほか、輝度勾配方向ヒストグラム（histograms of oriented gradients：ＨＯＧ）特徴量、輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ−ＨＯＧ）特徴量などの画像分析情報が知られている。

さて、図４において、特徴データ生成部２は、時刻情報生成部２ａ、カメラ方向情報生成部２ｂ、ズーム倍率情報生成部２ｃ、位置情報生成部２ｄ、および検出情報生成部２ｅを備える。

時刻情報生成部２ａは、ＧＰＳ信号受信部７から時刻情報を取得し、絶対時刻情報としてのＵＴＣ（Universal Time Co-ordinated）時刻情報（図６）を生成する。カメラ方向情報生成部２ｂは、カメラ情報生成部１ａから取得したカメラ情報から、カメラ方向情報として、撮像部１ｄの指向方向の水平方向角度値、垂直方向角度値（図６）などを生成する。

ズーム倍率情報生成部２ｃは、カメラ情報生成部１ａから取得したズーム情報から、ズーム倍率値などのズーム倍率情報を生成する。位置情報生成部２ｄは、ＧＰＳ信号受信部７から取得した測位データに基づき、緯度情報、経度情報、高度（高さ）情報などの位置情報を生成する。

検出情報生成部２ｅは、例えば図７に示されるように、映像信号分析部９１およびセンサ情報受信部９２を備える。分析部としての映像信号分析部９１は、カメラ部１からの映像信号を分析して、この映像信号に基づく画像分析情報を生成する。センサ情報受信部９２は、カメラＣ１に設けられた各種センサからセンサ情報などを取得し、温度情報、湿度情報、…、ディジタルタコメータ情報（車載カメラなど）、…等のセンサ情報を生成する。

メモリ１６は、その記憶領域に特徴データ格納部２ｆを記憶する。特徴データ格納部２ｆは、例えば図８に示されるような特徴データを格納する。図８において、特徴データは、絶対時刻情報Ｆ１、カメラ方向情報Ｆ２、ズーム倍率情報Ｆ３、位置情報Ｆ４などのセンサ情報に加えて、検出情報Ｆ５を含む。検出情報Ｆ５に、画像分析情報を含めることができる。

図４に戻ってさらに説明を続ける。同期処理部８は、特徴データ生成部２から渡された特徴データを、カメラ部１からの映像データに同期させる。すなわち同期処理部８は、バッファメモリなどを用いて、画像フレームのタイムスタンプ（例えば絶対時刻）に特徴データのタイムスタンプを合わせる。これにより映像データの時系列と特徴データの時系列とが、互いに揃った状態となる。

多重化部としての多重化処理部３は、映像データと、この映像データに同期した特徴データとを、例えば、ＭＰＥＧ−２（Moving Picture Experts Group - 2）システムのトランスポートストリームに多重化する。つまり多重化処理部３は、トランスポートストリームに、時刻と同期した特徴データを多重化する。

ＭＰＥＧ−２ Ｓｙｓｔｅｍｓを利用するのであれば、ＩＴＵ−Ｔ勧告Ｈ．２２２．に従うＰＥＳヘッダオプションを利用できる。また、ＰＥＳパケット内のストリーム識別子として、非特許文献２に示される補助ストリーム（0xF9）、メタデータストリーム（0xFC）、拡張ストリームＩＤ（0xFD）、未定義（0xFC)の少なくともいずれか１つを利用することができる。

なお、多重化処理部３は、予め設定された期間における特徴データをトランスポートストリームに多重する。予め設定された期間とは、例えば、人間の活動量の高い昼間時間帯、あるいは、勤務人口の増える平日などが設定される。このほか、視野内に動くものを捕えたときに限って特徴データを生成し、多重するようにしても良い。このようにすることで伝送帯域を節約することができる。
送信部としての映像データ送信部４は、多重化処理部３から出力されるトランスポートストリーム（ＴＳ）を、通信ネットワーク経由でクラウド１００に送信する。

図９は、特徴データを含むトランスポートストリームを生成するプロセスの一例を示す図である。このプロセスを、特徴データ付きコンテンツ生成プロセスと称する。特徴データ付きコンテンツ生成プロセスは、映像符号化処理部１ｅ、音声符号化処理部１ｆ、多重化処理部３、同期処理部８および映像データ送信部４が協調して機能することで実現される。

映像符号化処理部１ｅ、音声符号化処理部１ｆ、多重化処理部３、同期処理部８および映像データ送信部４は、図２のプロセッサ１５がメモリ１６に記憶されたプログラムに基づいて演算処理を実行する過程で生成されるプロセスとして、その機能を実現することができる。つまり図９の特徴データ付きコンテンツ生成プロセスは、映像符号化処理プロセス、音声符号化処理プロセス、多重化処理プロセス、同期処理プロセスおよび映像データ送信プロセスが、互いにプロセス間通信してデータを授受し合うことで実現される処理機能の一つである。

図９において、映像信号は、映像符号化処理部１ｅで圧縮符号化されて、多重化処理部３に送られる。音声信号は、音声符号化処理部１ｆで圧縮符号化されて多重化処理部３に送られる。多重化処理部３は、圧縮符号化された映像信号、音声信号を、それぞれ例えばＭＰＥＧ２−ＴＳ形式のパケット構造を持つデータ信号に変換し、映像パケット及び音声パケットを順次配列して両者を多重化する。

このようにして生成された特徴データ付きトランスポートストリーム（ＴＳ）は、映像データ送信部４に渡される。このとき、映像符号化処理部１ｅは、ＳＴＣ（System Time Clock）生成部４３からＳＴＣを受け取り、このＳＴＣからＰＴＳ（Presentation Time Stamp）／ＤＴＳ（Decoding Time Stamp）を生成して映像符号化データに埋め込む。音声符号化処理部１ｆも、ＳＴＣを取得し、ＳＴＣからＰＴＳを生成し、ＰＴＳを音声符号化データに埋め込む。さらに、多重化処理部３もＳＴＣを受け取り、このＳＴＣに基づくＰＣＲ（Program Clock Reference）の挿入、ＰＣＲの値変更、ＰＣＲパケットの位置変更等を行なう。

ここまでの過程により、図１０に示されるようなトランスポートストリームのＴＳ基本体系が得られる。このＴＳ基本体系は、ＴＳ（Transport Stream）、ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）の階層構造を有し、ＰＭＴの配下に映像（Video）、音声（Audio）、ＰＣＲ等のＰＥＳ（Packetized Elementary Stream）パケットが配置される。映像パケットのヘッダにはＰＴＳ／ＤＴＳが挿入され、音声パケットのヘッダにはＰＴＳが挿入される。

さらに、図９において同期処理部８は、特徴データパラメータおよび特徴データエレメンタリーを生成し、多重化処理部３に渡す。多重化処理部３は、ＴＳ基本体系のＭＥＰＧ２−ＴＳ構造を利用して特徴データを埋め込む。

図１１に示されるように、多重化処理部３は、ＴＳ基本体系におけるいずれかの位置（ＴＳ配下、ＰＡＴ配下またはＰＭＴ配下）に特徴データパラメータを配置する。また、多重化処理部３は、ヘッダにＰＴＳ／ＤＴＳを付加した特徴データエレメンタリーを、ＰＭＴの配下に配置する。その際、例えばストリームタイプ、エレメンタリーＰＩＤ等の識別子を、特徴データエレメンタリーを含むＰＭＴのヘッダに挿入すると良い。なお特徴データパラメータは、特徴データエレメンタリーに含まれても良い。

図１２は、点群データに関する特徴データエレメンタリーの一例を示す図である。点群データは、原点（例えばカメラの位置）からの方向（Ｘ，Ｙ，Ｚ）、原点からの距離、色情報（Ｒ，Ｇ，Ｂの各値）および反射率を含むデータ構造で表される。特徴データエレメンタリーは、これらの項目を数値化することで生成される。なお車載カメラを利用する場合には、ＧＰＳで取得された位置情報に基づいて原点を計算することができる。

以上に、第１の実施形態におけるカメラＣ１〜Ｃｎに実装される機能ブロックの一例について説明した。より具体的には、例えば図４の映像データ送信部４は、図２の通信インタフェース部１８の機能として実装される。また、図４の多重化処理部３、同期処理部８、特徴データ生成部２、時刻情報生成部２ａ、カメラ方向情報生成部２ｂ、ズーム倍率情報生成部２ｃ、位置情報生成部２ｄ、および検出情報生成部２ｅの各機能は、図２のメモリ１６に記憶されたプログラムがプロセッサ１５のレジスタにロードされ、当該プログラムの進行に伴って生成されるプロセスに従ってプロセッサ１５が演算処理を実行することで実現される。すなわち、メモリ１６は、多重化処理プログラム、同期処理プログラム、特徴データ生成プログラム、時刻情報生成プログラム、カメラ方向情報生成プログラム、ズーム倍率情報生成プログラム、位置情報生成プログラム、および検出情報生成プログラムを記憶する。次に、クラウド１００のサーバ２００の構成について説明する。

図１３は、図３に示されるサーバ２００のハードウェアに実装される機能ブロックの一例を示す図である。サーバ２００は、映像データ受信部２１、特徴データ分離部（DeMultiplexer：ＤＥＭＵＸ）２２、映像データ蓄積部２３、映像データデータベース（ＤＢ）２３ａ、特徴データ蓄積部２４、特徴データデータベース（ＤＢ）２４ａ、特徴データ処理部２５、検出情報生成部２５ａ、時系列変化検出部２６、変状情報蓄積部２７、変状データデータベース（ＤＢ）２７ａ、点群データ管理部２８、および、点群データデータベース（ＤＢ）２８ａを備える。

映像データ受信部２１は、カメラＣ１〜Ｃｎからのトランスポートストリームを、クラウド１００の通信ネットワーク経由で受信する。受信されたトランスポートストリームは特徴データ分離部２２に送られる。特徴データ分離部２２は、トランスポートストリームから映像データと特徴データとを分離する。映像データは、映像データ蓄積部２３の映像データデータベース（ＤＢ）２３ａに格納される。特徴データは、特徴データ蓄積部２４の特徴データデータベース（ＤＢ）２４ａに格納される。

また、映像データと特徴データとの少なくともいずれか一方が、特徴データ処理部２５に送られる。特徴データ処理部２５は、検出情報生成部２５ａを備える。検出情報生成部２５ａは、カメラＣ１〜Ｃｎからそれぞれ送信された特徴データを処理して、図１２に示されるような点群データを生成する。生成された点群データは特徴データ蓄積部２４に送られ、特徴データと対応付けられて特徴データＤＢ２４ａに格納される。

格納された特徴データは、特徴データ配信部２９からの要求に応じて読み出され、配信先データベースに記録された配信先の宛先情報に宛てて配信される。宛先情報は、例えばＩＰ（Internet Protocol）アドレスである。ＩＰｖ６（IP version 6）に準拠するＩＰアドレスを用いれば、ＩｏＴ（Internet of Things）との親和性の高いシステムを構築することができるが、ＩＰｖ４（IP version 4）に準拠するＩＰアドレスを利用することもできる。

時系列変化検出部２６は、特徴データＤＢに格納される点群データと、過去の点群データ（点群データ管理部２８の点群データデータベース（ＤＢ）２８ａに格納される）とを比較し、点群データの時系列の変化を検出する。この点群データの時系列の変化は、変状情報として変状情報蓄積部２７に送られ、変状データデータベース（ＤＢ）２７ａに格納される。

なお、図１３に示される映像データ受信部２１、特徴データ分離部２２、特徴データ処理部２５、検出情報生成部２５ａ、時系列変化検出部２６、点群データ管理部２８、および、特徴データ配信部２９の各処理機能は、図３のＨＤＤ２４０に記憶されたプログラムがＲＡＭ２３０にロードされたのち、当該プログラムの進行に伴って生成されるプロセスに従ってＣＰＵ２１０が演算処理を実行することで実現される。すなわち、ＨＤＤ２４０は、映像データ受信プログラム、特徴データ分離プログラム、特徴データ処理プログラム、検出情報生成プログラム、時系列変化検出プログラム、点群データ管理プログラム、および、特徴データ配信プログラムを記憶する。

また、図１３に示される映像データ蓄積部２３、特徴データ蓄積部２４、変状情報蓄積部２７は、図３の例えばＨＤＤ２４０に設けられる記憶領域であり、映像データＤＢ２３ａ、特徴データＤＢ２４ａ、変状データＤＢ２７ａ、点群データＤＢ２８ａ、及び配信先ＤＢ２９ａはそれらの記憶領域に記憶される。次に、上記構成における作用を説明する。

図１４は、第１の実施形態におけるカメラＣ１〜Ｃｎの処理手順の一例を示すフローチャートである。ここではカメラＣ１を主体として説明するが、カメラＣ２〜Ｃｎも同様に動作する。
図１４において、カメラＣ１は、映像信号を符号化して映像データを生成するとともに（ステップＳ０）、時刻情報の生成（ステップＳ１）、位置情報の生成（ステップＳ２）、カメラ方向情報の生成（ステップＳ３）、およびズーム倍率情報の生成（ステップＳ４）を継続的に実行する。また、カメラＣ１は、映像信号を画像分析して画像分析情報を生成する（ステップＳ５）。さらに、この画像分析情報と、時刻情報、位置情報、カメラ方向情報、およびズーム倍率情報を統合することにより（センサフュージョン）、点群データを生成しても良い（ステップＳ５１）。

さらにカメラＣ１は、他のセンサからの情報を適宜取得して、温度情報、湿度情報などのセンサ情報を生成する（ステップＳ６）。次にカメラＣ１は、これらの情報から特徴データを生成し、映像データに特徴データを多重化して（ステップＳ７）、生成された映像データをサーバ２００に向けストリーム送信する（ステップＳ８）。

図１５は、第１の実施形態におけるサーバ２００の処理手順の一例を示すフローチャートである。カメラＣ１からストリーム送信された映像データを受信すると（ステップＳ９）、サーバ２００は、受信したトランスポートストリームから映像データと特徴データとを分離（ＤＥＭＵＸ）する（ステップＳ１０）。サーバ２００は、分離した特徴データを特徴データ（ＤＢ）２４ａに格納したのち（ステップＳ１１）、映像データおよび／または特徴データを検出情報生成部２５ａに送信する（ステップＳ１２）。

次にサーバ２００は、特徴データを用いて点群データを生成し、点群データと特徴データとを特徴データＤＢ２４ａに格納する（ステップＳ１３）。次にサーバ２００は、特徴データＤＢ２４ａに格納された点群データおよびこれに対応する特徴データと、点群データＤＢ２８ａの点群データとを参照し、場所・施設内の位置・角度などを照合して、点群データを重ね合わせる（ステップＳ１４）。

重ね合わせの結果に基づいて、サーバ２００は、各点の移動量などの差異を算出し（ステップＳ１５）、この差異を変状情報として変状データＤＢ２７ａに格納する（ステップＳ１６）。さらに、サーバ２００は、差異部分に相当する新たな点群データを点群データ管理部２８に渡し、点群データＤＢ２８ａを更新する（ステップＳ１７）。

以上説明したように第１の実施形態では、ネットワークに接続されるカメラＣ１〜Ｃｎにおいて個別に映像信号を取得し、分析して、特徴データを生成する。そして、映像信号を符号化した映像データと特徴データとを、互いの同期を保ってトランスポートストリームに多重化し、各カメラＣ１〜Ｃｎからクラウド１００に送信する。つまり、映像信号と、この映像信号に関連する特徴データとを、例えばＭＰＥＧ−２ Ｓｙｓｔｅｍｓの共通のトランスポートストリームに同期多重し、サーバ２００にまで伝送する。このようにしたので、サーバ２００は、トランスポートストリームから映像データと特徴データとを分離するだけで、映像信号に同期した特徴データを得ることができる。

例えば、Ｅｘｉｆ（Exchangeable image file format）と称する画像ファイルフォーマットが知られているが、これは撮影日時などを静止画に埋め込む方式であり、映像の特徴データを取り扱うには適さず、厳密な同期を取るのにも向いていない。医用画像フォーマットとして知られるＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）も、検査情報などを静止画像のタグ情報に記載する形式であるので、やはり映像に基づく特徴データを取り扱うには適していない。

これに対し、第１の実施形態によれば、映像データを解析して得られた画像分析情報と映像データのメタデータとを含む特徴データを、映像データと同期させ、トランスポートストリームに多重することができる。すなわち、映像信号と特徴データとを同期させて伝送することの可能なカメラシステムを提供することが可能となる。

また、トランスポートストリームを受信したサーバは、映像データに同期する特徴データを取得することができるので、正確な位置データに基づく高精度な点群データを生成することができる。これにより、道路・施設などの社会インフラの劣化状況を、高い精度で診断することが可能になる。

［第２の実施形態］
＜人物トラッキング＞
第２の実施形態では、カメラＣ１〜Ｃｎとクラウド１００とを連携させて実現されるアプリケーションの他の例として、人物トラッキングについて説明する。人物トラッキングとは、映像データに基づいて特定の個人の移動軌跡をトレースするソリューションであり、近年では需要が高まってきている。

図１６は、カメラＣ１〜Ｃｎの機能ブロックの他の例を示す図である。図１６において図４と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。図１６に示されるカメラＣ１は、さらに、特徴データ受信部５と特徴データ転送部６を備える。特徴データ転送部６は、転送先データベース（ＤＢ）６ａを記憶する。

特徴データ受信部５は、他のスマートカメラから転送された特徴データを受信する。受信された特徴データは特徴データＤＢ２ｆに記録される。特徴データ転送部６は、特徴データ生成部２で生成された特徴データを、予め登録された相手先に向けて転送する。特徴データを転送すべき宛先の宛先情報は、ＩＰアドレスなどの形式で転送先データベース（ＤＢ）６ａに記録される。なお、映像データ送信部４、特徴データ受信部５、および特徴データ転送部６および転送先ＤＢ６ａは、図２の通信インタフェース部１８の機能として実装されることができる。

第１の実施形態では、特徴データを、トランスポートストリームに多重して伝送することを説明した。第２の実施形態では、特徴データを、例えばＩＰパケットの形式で、デバイス間で授受する形態を開示する。

例えば、ＪＰＥＧ（Joint Picture Experts Group）２０００に代表される可逆圧縮方式で多重された画像データに特徴データを付加することで、特徴データを伝送することができる。ＪＰＥＧ２０００を利用する場合には、ＩＴＵ−Ｔ勧告Ｔ．８０１、Ｔ．８０２、またはＴ．８１３等に準拠するものとし、ＸＭＬ ｂｏｘ、ＵＵＩＤ ｂｏｘなどのデータフィールドに特徴データを挿入しても良い。

図１７は、特徴データの他の例を示す図である。図１７において、特徴データは、絶対時刻情報Ｆ１、カメラ方向情報Ｆ２、ズーム倍率情報Ｆ３、位置情報Ｆ４に加え、検出情報Ｆ５を含む。検出情報Ｆ５に、センサ情報Ｆ６と画像分析情報Ｆ７を適用することができる。

図１８は、サーバ２００の機能ブロックの他の例を示す図である。図１８において図１３と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。
図１８に示されるサーバ２００は、さらに、特徴データ配信部２９、対象データ選択部３０、および、人物特徴データ管理部３１を備える。人物特徴データ管理部３１は、人物特徴データデータベース（ＤＢ）３１ａを記憶する。人物特徴データＤＢ３１ａは、例えば、追跡（トレース）の対象となっている人物の特徴を示す人物特徴データを記録したデータベースである。

このうち対象データ選択部３０は、トランスポートストリームから分離された人物特徴データを、人物特徴データＤＢ３１ａの人物特徴データと照合する。その結果に基づいて、追跡対象として設定されている人物の特徴データを受信したことが判定されると、対象データ選択部３０は、特徴データ蓄積部２４に追跡指示を出力する。

特徴データ配信部２９は、追跡指示の対象となる人物の特徴データを特徴データＤＢ２４ａから読み出し、予め登録された相手先に向けて転送する。特徴データを転送すべき宛先の宛先情報は、ＩＰアドレスなどの形式で配信先データベース（ＤＢ）２９ａに記録される。

なお、図１８に示される対象データ選択部３０および人物特徴データ管理部３１の各処理機能は、図３のＨＤＤ２４０に記憶されたプログラムがＲＡＭ２３０にロードされたのち、当該プログラムの進行に伴って生成されるプロセスに従ってＣＰＵ２１０が演算処理を実行することで実現される。すなわち、ＨＤＤ２４０は、対象データ選択プログラムおよび人物特徴データ管理プログラムを記憶する。
また、図１８に示される人物特徴データＤＢ３１ａは、図３の例えばＨＤＤ２４０に設けられる記憶領域に記憶される。次に、上記構成における作用を説明する。

（サーバ２００経由で各カメラに特徴データを配信する形態）
図１９は、第２の実施形態におけるカメラＣ１〜Ｃｎの処理手順の一例を示すフローチャートである。図１９において、図１４と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。ズーム倍率情報を生成した後（ステップＳ４）、カメラＣ１は、人物特徴データとしての画像分析情報を生成する（ステップＳ１８）。例えば、先に述べたHaar-Like特徴量、ＨＯＧ特徴量、またはＣｏ−ＨＯＧ特徴量などを、人物特徴データとして利用することができる。人物特徴データはカメラＣ１〜Ｃｎのそれぞれにおいて生成され、通信ネットワーク経由で個々にサーバ２００に送られる。

図２０は、図１８に示されるサーバ２００の処理手順の一例を示すフローチャートである。図２０において、映像データを含むトランスポートストリームを受信すると（ステップＳ９）、サーバ２００は、トランスポートストリームから映像データと特徴データとを分離し（ステップＳ１０）、特徴データを特徴データＤＢ２４ａに格納する（ステップＳ１１）。映像データおよび／または特徴データは、検出情報生成部２５ａに送信される（ステップＳ１２）。この検出情報生成部２５ａで人物特徴データを生成しても良い。

次に、サーバ２００は、人物特徴データＤＢ３１ａにおいて、追跡要求有りと設定されている人物の特徴データを参照し、カメラＣ１〜Ｃｎから受信した人物特徴データと照合する（ステップＳ１９）。その結果、カメラＣ１〜Ｃｎから受信した人物特徴データに対して追跡要求があれば（ステップＳ２０でＹｅｓ）、対象データ選択部３０は追跡指示を出力する（ステップＳ２０１）。

対象データ選択部３０からの追跡指示を受信すると、特徴データ蓄積部２４は、特徴データ配信部２９に追跡指示を出す（ステップＳ２１）。そうすると特徴データ配信部２９は、配信先ＤＢ２９ａから配信対象のカメラを抽出し、特徴データを配信する（ステップＳ２２）。

以上の手順により、複数のカメラＣ１〜Ｃｎ間で、サーバ２００を経由して相互に特徴データを授受することができる。例えば、Ａ国の国際空港の搭乗ゲートに設置されたカメラで要注意人物の特徴データが取得された場合、この搭乗ゲートから出発する全ての航空機の目的地、および経由地のカメラに予め特徴データを送信しておくといったアプリケーションを実現できる。これにより、要注意人物の移動軌跡を正確にトレースすることができる。しかも、特徴データの伝送および処理がサーバ２００を経由して行われるので、サーバ２００、およびクラウド１００の処理能力を十分に享受することが可能である。

（各カメラが相互に特徴データを配信する形態）
図２１は、図１６に示されるカメラＣ１〜Ｃｎの処理手順の他の例を示すフローチャートである。図２１において、図１９と共通する部分には同じ符号を付して示し、ここでは異なる部分についてのみ説明する。センサ情報を生成した後（ステップＳ６）、カメラＣ１は、特徴データ転送部６に人物特徴データを送信する（ステップＳ２３）。特徴データ転送部６は、転送先ＤＢ６ａから転送対象のカメラを選択し、特徴データを転送する（ステップＳ２４）。

図２２は、第２の実施形態におけるカメラＣ１〜Ｃｎの処理手順の他の例を示すフローチャートである。ここではカメラＣ６を主体として説明する。例えばカメラＣ１からの人物特徴データを受信すると（ステップＳ２５）、カメラＣ６は、人物特徴データを検出情報生成部２ｅに送信する（ステップＳ２６）。このカメラＣ６は、カメラＣ１から受信した人物特徴データを用いて人物追跡を実行し、また、その間も、映像信号に基づく特徴データの生成を継続する（ステップＳ２７）。

追跡対象の人物を視野から見失うなど、人物追跡が不可能になれば、カメラＣ６は、追跡途中で生成された人物特徴データを特徴データ転送部６に送信する（ステップＳ２８）。そして、カメラＣ６は、転送先ＤＢ６ａから転送対象のカメラを選択し、人物特徴データを転送する（ステップＳ２９）。そうして、転送先のカメラにおいて追跡対象の人物が捕捉され、同様にして、人物トラッキングが継続される。

図２３は、実施形態に係る監視カメラシステムにおいて、人物トラッキングに係わるデータの流れの一例を示す図である。図２３においては、模式的にカメラＡ、Ｂ、Ｘ、およびＹが関係するとする。

カメラＡおよびＢは、映像データおよび特徴データをトランスポートストリームに多重してクラウド１００に送信する。カメラＢから送信された特徴データはクラウド１００のサーバ２００を経由して、例えばカメラＡ，Ｘ、およびＹのそれぞれに転送される。このように、人物の特徴データをサーバ２００を経由して複数のカメラに転送するルートがある。

一方、カメラＡからカメラＸに、通信ネットワーク経由で直接、特徴データを転送するルートもある。この特徴データはカメラＸを経由して、さらにカメラＹまで送られる。次のカメラに転送すべき特徴データは、各カメラにおいて取捨選択され、転送すべきデータだけが通信ネットワークに送出される。不要な特徴データは転送の過程で廃棄されても良いし、要注意人物等に関わる重要な特徴データは、多数のカメラを経由して、それぞれのカメラで再利用されても良い。

以上述べたように第２の実施形態では、人物トラッキングに関わる人物特徴データをカメラＣ１〜Ｃｎにおいて個別に生成し、映像データと同期多重してサーバ２００に伝送する。このようにしたので、映像信号と特徴データとを同期させて伝送することができ、サーバ２００は、映像信号に同期した特徴データを得ることができる。

さらに第２の実施形態では、各カメラで生成された特徴データを、例えばＩＰパケット化して直接、他のカメラに転送する。従ってサーバ２００のリソースを使用せずに、カメラＣ１〜Ｃｎ間で特徴データを相互に授受することができる。これにより、クラウド１００の負荷をエッジ側（カメラ、デバイス側）に移転することができ、映像データの分析にかかる負荷、あるいは特徴データの転送にかかるネットワーク負荷を軽減できる効果がある。

なお、この発明は上記実施形態に限定されるものではない。例えば、トランスポートストリームに多重される特徴データに、絶対時刻情報、カメラ方向情報、ズーム倍率情報、位置情報、検出情報（センサ情報、画像分析情報など）の全てを含める必要は無い。システム要件に応じて、これらの情報のうち少なくともいずれか１つを特徴データに含めばよい。

また、図１３の特徴データＤＢに格納されるデータは、要するに座標を要素とする集合であって良いし、点群データ管理部２８の点群データＤＢ２８ａに格納されるデータは、当該集合の過去の状態を表すデータであって良い。この場合、時系列変化検出部２６は、それぞれの集合に含まれる座標群から再構成される表面の、時間に対する変化を検出する。この表面の時間変化は変状情報として変状情報蓄積部２７に送られ、変状データＤＢ２７ａに格納される。

また、一般に、クラウドコンピューティングシステムは、アプリケーションをサービスとして提供するＳａａＳ（Software as a Service）、アプリケーションを稼働させるための基盤（プラットフォーム）をサービスとして提供するＰａａＳ（Platform as a Service）、高速の演算処理機能及び大容量のストレージなどのリソースをサービスとして提供するＩａａＳ（Infrastructure as a Service）に大別される。図１に示されるクラウド１００は、いずれのカテゴリのシステムでも適用することができる。

コンピュータに関連して用いられる「プロセッサ」という用語は、例えばＣＰＵ、ＧＰＵ、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）、ＳＰＬＤ（Simple Programmable Logic Device）、ＣＰＬＤ（Complex Programmable Logic Device）、またはＦＰＧＡ等の回路と理解され得る。

プロセッサは、メモリに記憶されたプログラムを読み出し実行することで、プログラムに基づく特有の機能を実現する。メモリに代えて、プロセッサの回路内にプログラムを直接組み込むよう構成することも可能である。このケースでは、プロセッサは回路内に組み込まれたプログラムを読み出し実行することでその機能を実現する。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

上記の実施形態の一部または全部は、例えば（付記１）のようにも記載されることができる。しかし、付記１の内容に限定されるものではない。
（付記１）
映像信号を出力する撮像センサと、
プロセッサとを具備し、
前記プロセッサは、
前記映像信号を符号化して映像データを生成し、
前記映像信号の特徴データを生成し、
前記生成された特徴データを前記映像データに同期させ、
前記映像データと当該映像データに同期した特徴データとをトランスポートストリームに多重し、
前記トランスポートストリームを通信ネットワークに送信する、スマートカメラ。

１…カメラ部、１ａ…カメラ情報生成部、１ｂ…方向センサ、１ｃ…マイク、１ｄ…撮像部、１ｅ…映像符号化処理部、１ｆ…音声符号化処理部、２…特徴データ生成部、２ａ…時刻情報生成部、２ｂ…カメラ方向情報生成部、２ｃ…ズーム倍率情報生成部、２ｄ…位置情報生成部、２ｅ…検出情報生成部、２ｆ…特徴データ格納部、３…多重化処理部（ＭＵＸ）、４…映像データ送信部、５…特徴データ受信部、６…特徴データ転送部、６ａ…転送先データベース（ＤＢ）、７…ＧＰＳ信号受信部、８…同期処理部、１０…レンズ、１１…旋回角度検出部、１２…ズーム比率検出部、１３…信号処理部、１４…駆動部、１５…プロセッサ、１６…メモリ、１７…撮像センサ、１８…通信インタフェース部、２１…映像データ受信部、２２…特徴データ分離部（ＤＥＭＵＸ）、２３…映像データ蓄積部、２３ａ…映像データ（ＤＢ）、２４…特徴データ蓄積部、２４ａ…特徴データ（ＤＢ）、２５…特徴データ処理部、２５ａ…検出情報生成部、２６…時系列変化検出部、２７…変状情報蓄積部、２７ａ…変状データ（ＤＢ）、２８…点群データ管理部、２８ａ…点群データ（ＤＢ）、２９…特徴データ配信部、２９ａ…配信先（ＤＢ）、３０…対象データ選択部、３１…人物特徴データ管理部、３１ａ…人物特徴データ（ＤＢ）、４２…ＲＯＭ、４３…生成部、９１…映像信号分析部、９２…センサ情報受信部、１００…クラウド、１０１…中継ネットワーク、２００…サーバ、２１０…ＣＰＵ、２３０…ＲＡＭ、２４０…ＨＤＤ）、２６０…光学メディアドライブ、２７０…通信インタフェース部、Ｃ１〜Ｃｎ…カメラ、Ｆ１…絶対時刻情報、Ｆ２…カメラ方向情報、Ｆ３…ズーム倍率情報、Ｆ４…位置情報、Ｆ５…検出情報、Ｆ６…センサ情報、Ｆ７…画像分析情報、Ｐ１…セルラフォン、Ｓ１…エッジサーバ、Ｓ２…エッジサーバ、Ｖ１…車両。

Claims (28)

1. 映像信号を出力する撮像センサと、
   前記映像信号を符号化して映像データを生成する符号化部と、
   前記映像信号の特徴データを生成する特徴データ生成部と、
   前記生成された特徴データを前記映像データに同期させる同期処理部と、
   前記映像データと当該映像データに同期した特徴データとをトランスポートストリームに多重する多重化部と、
   前記トランスポートストリームを通信ネットワークに送信する送信部とを具備する、スマートカメラ。
2. 前記映像信号を分析して前記映像信号に基づく画像分析情報を生成する分析部をさらに具備し、
   前記同期処理部は、前記画像分析情報を含む特徴データを前記映像データに同期させる、請求項１に記載のスマートカメラ。
3. 前記同期処理部は、前記映像信号の画像フレームのタイムスタンプに前記特徴データを同期させる、請求項１に記載のスマートカメラ。
4. 前記多重化部は、予め設定された期間における特徴データを前記トランスポートストリームに多重する、請求項１に記載のスマートカメラ。
5. 前記特徴データは、前記映像信号の撮影時刻情報、前記撮像センサの指向方向情報、前記撮像センサの旋回角度情報、前記撮像センサのズーム倍率情報、または、前記撮像センサの位置情報のうち少なくともいずれか１つを含む、請求項１に記載のスマートカメラ。
6. 前記特徴データは、座標を要素とする集合を含む、請求項１に記載のスマートカメラ。
7. 前記集合は、３次元座標を要素とする点群データである、請求項６に記載のスマートカメラ。
8. 前記点群データは、前記３次元座標と、当該３次元座標に対応する点の属性情報とを組み合わせた情報を要素とする、請求項７に記載のスマートカメラ。
9. 前記特徴データを前記通信ネットワークを介して他のスマートカメラ宛てに転送する転送部をさらに具備する、請求項１に記載のスマートカメラ。
10. 前記特徴データを転送すべき宛先の宛先情報を予め記録した転送先データベースをさらに具備し、
    前記転送部は、前記転送先データベースに記録された宛先情報に宛てて前記特徴データを転送する、請求項９に記載のスマートカメラ。
11. 他のスマートカメラから転送された前記特徴データを受信する受信部をさらに具備する、請求項１に記載のスマートカメラ。
12. 映像データと当該映像データに同期多重された当該映像データの特徴データとを含むトランスポートストリームを受信する受信部と、
    前記受信されたトランスポートストリームから、前記映像データと前記特徴データとを分離する分離部と、
    前記分離された特徴データを格納する記憶部とを具備する、サーバ。
13. 前記分離された特徴データから、インフラに関するデータの時系列の変化を検出する検出部と、
    前記データの時系列の変化に基づく前記インフラに関する変状情報を蓄積する蓄積部と、
    をさらに具備する請求項１２に記載のサーバ。
14. 前記インフラに関するデータは、座標を要素とする集合を含む、請求項１３に記載のサーバ。
15. 前記集合は、３次元座標を要素とする点群データである、請求項１４に記載のサーバ。
16. 前記点群データは、前記３次元座標と、当該３次元座標に対応する点の属性情報とを組み合わせた情報を要素とする、請求項１５に記載のサーバ。
17. 前記分離された特徴データを蓄積する蓄積部と、
    人物の特徴を示す人物特徴データを記録する人物特徴データベースと、
    前記分離された特徴データを前記人物特徴データベースの人物特徴データと照合し、その結果に基づいて、追跡対象として設定されている人物の特徴データを前記蓄積部から選択する選択部と、
    をさらに具備する請求項１２に記載のサーバ。
18. 前記特徴データを転送すべき宛先の宛先情報を予め記録した転送先データベースと、
    前記転送先データベースに記録された宛先情報に宛てて前記特徴データを転送する転送部とをさらに具備する、請求項１２に記載のサーバ。
19. スマートカメラと、通信ネットワークを介して前記スマートカメラと通信可能に接続されるサーバとを具備し、
    前記スマートカメラは、
    映像信号を出力する撮像センサと、
    前記映像信号を符号化して映像データを生成する符号化部と、
    前記映像信号の特徴データを生成する特徴データ生成部と、
    前記生成された特徴データを前記映像データに同期させる同期処理部と、
    前記映像データと当該映像データに同期した特徴データとをトランスポートストリームに多重する多重化部と、
    前記トランスポートストリームを前記通信ネットワークに送信する送信部とを備え、
    前記サーバは、
    映像データと当該映像データに同期多重された当該映像データの特徴データとを含むトランスポートストリームを受信する受信部と、
    前記受信されたトランスポートストリームから、前記映像データと前記特徴データとを分離する分離部と、
    前記分離された特徴データを格納する記憶部とを備える、スマートカメラシステム。
20. 映像信号を出力する撮像センサおよびプロセッサを具備するスマートカメラに適用可能なデータ伝送方法であって、
    前記プロセッサが、前記映像信号を符号化して映像データを生成する過程と、
    前記プロセッサが、前記映像信号の特徴データを生成する過程と、
    前記プロセッサが、前記生成された特徴データを前記映像データに同期させる過程と、
    前記プロセッサが、前記映像データと当該映像データに同期した特徴データとをトランスポートストリームに多重する過程と、
    前記プロセッサが、前記トランスポートストリームを通信ネットワークに送信する過程とを具備する、データ伝送方法。
21. 前記プロセッサが、前記映像信号を分析して前記映像信号に基づく画像分析情報を生成する過程をさらに具備し、
    前記プロセッサは、前記画像分析情報を含む特徴データを前記映像データに同期させる、請求項２０に記載のデータ伝送方法。
22. 前記プロセッサは、前記映像信号の画像フレームのタイムスタンプに前記特徴データを同期させる、請求項２０に記載のデータ伝送方法。
23. 前記プロセッサは、予め設定された期間における特徴データを前記トランスポートストリームに多重する、請求項２０に記載のデータ伝送方法。
24. 前記特徴データは、前記映像信号の撮影時刻情報、前記撮像センサの指向方向情報、前記撮像センサの旋回角度情報、前記撮像センサのズーム倍率情報、または、前記撮像センサの位置情報のうち少なくともいずれか１つを含む、請求項２０に記載のデータ伝送方法。
25. 前記プロセッサが、前記特徴データを前記通信ネットワークを介して他のスマートカメラ宛てに転送する過程をさらに具備する、請求項２０に記載のデータ伝送方法。
26. 前記プロセッサは、前記特徴データを転送すべき宛先の宛先情報を予め記録した転送先データベースに記録された前記宛先情報に宛てて前記特徴データを転送する、請求項２５に記載のデータ伝送方法。
27. 前記プロセッサが、他のスマートカメラから転送された前記特徴データを受信する過程をさらに具備する、請求項２０に記載のデータ伝送方法。
28. 請求項２０乃至２７のいずれか１項に記載の方法をコンピュータに実行させるための命令を含む、プログラム。