JP2019022205A - センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラム - Google Patents

Abstract

【課題】センシングデータの伝送トラフィックを低減すると共に、クラウドにおけるデータの処理負荷を軽減してアプリケーションの応答性向上を可能にする。【解決手段】エッジサーバが、クラウドにおいて行われる所定の処理に対応する情報抽出条件を条件記憶部に記憶しておき、この条件記憶部に記憶された情報抽出条件に基づいて、センシングデバイスから出力されたセンシングデータに対し、上記所定の処理に必要なデータ要素を抽出しかつ不必要なデータ要素を削除する情報抽出処理を行い、当該情報抽出処理後のデータをクラウドへ送信するようにしたものである。【選択図】図２

Description

この発明は、例えば、センシングデバイスから出力されたデータをデータセンタを用いた集中型処理型基盤のクラウドコンピューティング基盤（以後、例えばクラウドと称する）に伝送して所定の処理を行うセンシングデータ処理システムと、このシステムで使用されるエッジサーバ、伝送トラフィック削減方法およびプログラムに関する。

あらゆるモノがインターネットに繋がり相互に通信を行うＩｏＴ（Internet of Things）に注目が集まっている。ＩｏＴでは、インターネットに繋がるモノから、その種類（センサ、カメラなど）に応じて様々なデータを取得することができる。インターネットに接続されるモノは、2015年時点で約250億台、2020年までに500億台になると予測されている。それに伴いデータの伝送トラフィック量は、2019年に2016年の２倍程度になり、以降指数関数的に増加し、その８割を映像データが占めると予想されている。伝送トラフィック量は、既存の映像配信サービスを含むものであるが、車載カメラ映像を用いた安全運転支援や自動運転支援、工場の機械に設置されたカメラ映像を用いた作業の自動化などに使用される、新たな画像処理アプリケーションのための映像データのアップロードの増加も見込まれている。

現在、多くのＩｏＴアプリケーションは、クラウドを用いたサービスとして構想されている。しかし、クラウドでは、世界の伝送トラフィック増加に伴い、前述した映像データを入力とするアプリケーションの応答性やユーザ収容数などの要件を満たすことが困難になる場合が想定され、映像トラヒックを効率よく削減できる手法の確立が求められている。

従来の手法では、映像データの圧縮符号化を行い、映像データに含まれる冗長性を削除する方法がある（例えば非特許文献１、２を参照）。また、Web CacheやRedundancy Elimination をモバイル網等に配備し、冗長トラヒックを削減する方式もある（例えば非特許文献３、４を参照）。

"A New Lossless Method of Image Compression and Decompression Using Huffman Coding Techniques"，Pujar, J.H.; Kadlaskar, L.M. (May 2010)，Journal of Theoretical and Applied Information Technology 15 (1): 18-23. "gzip:ファイル圧縮"、 インターネット＜URL: http://www.gzip.org/＞ "Summary Cache: A Scalable Wide-Area Web Cache Sharing Protocol"，L. Fan, P. Cao, J. Almeida, and A. Z. Broder, IEEE/ACM Trans. on Networking, vol. 8, no. 3, pp. 281-293. "Redundancy Elimination"、インターネット＜URL: https://www.slideshare.net/yousunny/network-redundancy-elimination＞

映像データの圧縮符号化方法には、非特許文献１、２以外にもMPEG-4（Moving Picture Experts Group 4）やMotion-JPEG（Motion Joint Photographic Experts Group）などの符号化手法が知られている。しかし、圧縮符号化した映像データをクラウドに収集するとなると、その伝送トラヒック量の削減率が不十分になり、クラウドでは支えきれない膨大な量となる。また、クラウドにおいて圧縮符号化したデータを復元すると莫大なデータ量になり、当該データを処理するアプリケーションの応答性の低下を招く。

冗長トラフィックを削減する方式は、アプリケーションの種類によらずに透過的に適用可能である。例えば、Webデータなどの、圧縮前後で可逆性を持つデータ（情報量）を、欠損なく全て保存するユースケースに有効である。しかし、圧縮符号化された映像データには効果が小さい。

この発明は、上記事情に着目してなされたもので、センシングデータの伝送トラフィックを低減すると共に、クラウドにおけるデータの処理負荷を軽減してアプリケーションの応答性向上を可能にした、センシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラムを提供しようとするものである。

上記目的を達成するためにこの発明の第１の態様は、センシングデータを送信するセンシング装置と、前記センシングデータに基づいて所定の処理を行うクラウドと、前記センシング装置と前記クラウドとの間に配置されるエッジサーバとを備えるセンシングデータ処理システムまたは前記エッジサーバにあって、エッジサーバが、前記クラウドにおいて行われる前記所定の処理に対応する情報抽出条件を記憶する条件記憶部と、前記センシング装置から送信されたセンシングデータを受信する受信部と、前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに対し、前記所定の処理に必要なデータ要素を抽出しかつ不必要なデータ要素を削除する情報抽出処理を行う情報抽出部と、前記情報抽出処理後のデータを前記クラウドへ送信する送信部とを備えるようにしたものである。

この発明の第２の態様は、センシングデータを送信する複数のセンシング装置と、前記センシングデータに基づいて所定の処理を行うクラウドと、前記複数のセンシング装置と前記クラウドとの間に配置されるエッジサーバとを備えるセンシングデータ処理システムまたは前記エッジサーバにあって、前記エッジサーバは、前記複数のセンシング装置に対する送信抑制条件を記憶する条件記憶部と、前記複数のセンシング装置によるセンシング条件またはセンシング結果の類似度合いを求め、当該類似度合いと前記記憶された送信抑制条件とに基づいて、前記複数のセンシング装置の中から前記センシングデータの送信を抑制する対象となるセンシング装置を選択し、当該選択したセンシング装置に対しセンシングデータの送信を抑制するための送信抑制制御信号を送信する送信抑制制御手段とを備えるようにしたものである。

この発明の第３の態様は、前記第１の態様において、前記センシング装置が、オブジェクトを含む映像データを出力し、かつ前記クラウドが前記映像データに含まれるオブジェクトを地図データにマッピングする処理を行う場合に、前記条件記憶部に、前記オブジェクトを抽出しそれ以外を削除するための情報抽出条件を記憶させる。そして、前記情報抽出手段により、前記記憶された情報抽出条件に基づいて前記映像データから前記オブジェクトを抽出して、当該オブジェクトとその位置情報および属性情報とを含むデータを生成し、当該生成されたデータを情報抽出処理後のデータとして、前記送信手段によりクラウドへ送信するようにしたものである。

この発明の第４の態様は、前記第３の態様において、前記情報抽出手段が、前記抽出されたオブジェクトの識別情報、位置情報および属性情報をテキストデータに変換し、当該テキストデータを情報抽出データとするようにしたものである。

この発明の第５の態様は、前記第１の態様において、前記センシング装置が、監視対象物の画像と当該監視対象物を遮る遮蔽物の画像とを含む映像データを出力し、かつ前記クラウドが前記映像データに含まれる監視対象物の画像をもとに当該監視対象物の状態を判定する処理を行う場合に、前記条件記憶部に、前記監視対象物を含む画像領域の抽出および前記遮蔽物の削除の少なくとも一方を行うための情報抽出条件を記憶させる。そして、前記情報抽出手段により、前記記憶された情報抽出条件に基づいて、前記映像データから前記監視対象物を含む画像領域を抽出する処理と前記遮蔽物の画像を削除する処理の少なくとも一方を行うことで情報抽出データを生成し、この生成されたデータを情報抽出処理後のデータとして送信手段によりクラウドへ送信するようにしたものである。

この発明の第６の態様は、前記第１の態様において、前記センシング装置が、留置対象物が含まれる風景を撮影した画像と当該画像に混入した侵入物の画像とを含む映像データを出力し、かつ前記クラウドが前記映像データに基づいて周辺風景閲覧画像を生成する処理を行う場合に、前記条件記憶部には、前記留置対象物の特徴量の抽出と、前記侵入物の画像の削除または当該侵入物以外の画像の抽出との少なくとも一方を行うための情報抽出条件を記憶する。そして、前記情報抽出手段により、前記記憶された情報抽出条件に基づいて、前記映像データから前記留置対象物の特徴量を抽出する処理と、前記侵入物を削除するか又は前記侵入物以外の画像を抽出する処理の少なくとも一方を行うことで情報抽出データを生成し、前記送信手段により、前記生成された情報抽出データを前記クラウドへ送信するようにしたものである。

この発明の第７の態様は、前記第２の態様において、前記送信抑制制御手段が、前記複数のセンシング装置の地理的な位置関係を表す情報を取得し、当該取得した位置関係を表す情報に基づいて前記複数のセンシング装置によるセンシング対象範囲の重複度合いを推定し、前記推定された重複度合いが予め設定した閾値以上の場合に、前記センシング対象範囲が重複する複数のセンシング装置の中から送信抑制対象となるセンシング装置を選択し、当該選択したセンシング装置に対し送信抑制制御信号を送信するようにしたものである。

この発明の第８の態様は、前記第２の態様において、前記送信抑制制御手段が、前記複数のセンシング装置から受信した映像データの撮影範囲をもとに当該各撮影範囲の面積の合計値と重複部分の面積の合計値をそれぞれ算出し、前記算出された重複部分の面積が最小でかつ前記算出された各撮影範囲の面積の合計値が最大となるように、前記複数のセンシング装置の中から送信抑制対象のセンシング装置を選択し、当該選択されたセンシング装置に対し前記送信抑制制御信号を送信するようにしたものである。

この発明の第１の態様によれば、エッジサーバにおいて、センシング装置から出力されたセンシングデータに対し、クラウドにおける処理に必要なデータ要素を抽出しかつ不必要なデータ要素を削除する情報抽出処理が行われ、この情報抽出処理後のデータがクラウドへ送信される。このため、クラウドへは上記情報抽出処理によりデータ量が削減されたデータが伝送されることになり、これにより伝送トラフィックが低減されると共に、クラウドにおけるアプリケーションの処理負荷も軽減してアプリケーションの応答性を向上させることができる。

この発明の第２の態様によれば、複数のセンシング装置によるセンシング条件またはセンシング結果の類似度合いに基づいて、上記複数のセンシング装置の中から送信抑制対象のセンシング装置が選択され、当該センシング装置に対し送信抑制制御信号が送信される。このため、例えば設置環境や監視対象エリアが同一の場合のように複数のセンシング装置が類似するセンシング条件でセンシング動作を行っている場合や、複数のセンシング装置から送信されたセンシングデータの類似度合いが高い場合には、これら複数のセンシング装置のうち選択されたセンシング装置の送信が抑制される。従って、センシング装置とエッジサーバとの間の伝送トラフィックが低く抑えられ、これによりセンシング装置が多数存在する場合でも、各センシング装置からのセンシングデータの送信を伝送遅延等を起こすことなく効率良く行うことができる。また、エッジサーバからクラウドへのデータ伝送量も減らすことができ、これによりエッジサーバとクラウドとの間の伝送トラフィックの低減と、エッジサーバおよびクラウドにおけるデータ処理の負荷を軽減することが可能となる。

この発明の第３の態様によれば、センシング装置がオブジェクトを含む映像データを出力し、クラウドが上記映像データに含まれるオブジェクトを地図データにマッピングする処理を行う場合に、エッジサーバにおいて、情報抽出処理により映像データからオブジェクトが抽出され、当該オブジェクトとその属性情報および位置情報とを含むデータがクラウドへ送信される。このため、クラウドへはオブジェクトとその属性情報および位置情報のみを含むデータ量が削減されたデータが伝送されることになり、これにより映像データをそのまま伝送する場合に比べ伝送トラフィックを低減することが可能となる。またクラウドでは、地図データ上にオブジェクトがマッピングされたダイナミックマップを少ない処理負荷で生成することができる。

この発明の第４の態様によれば、オブジェクトの識別情報、属性情報および位置情報がテキストデータに変換され、このテキストデータが情報抽出処理後のデータとしてクラウドへ送信される。このため、映像データをそのまま伝送する場合は勿論のこと、オブジェクトの画像を伝送する場合に比べても、伝送トラフィックを大幅に低減することができる。

この発明の第５の態様によれば、センシング装置が監視対象物の画像と当該監視対象物を遮る遮蔽物の画像とを含む映像データを出力し、かつクラウドが前記映像データに含まれる監視対象物の画像をもとに当該監視対象物の状態を判定する処理を行う場合に、エッジサーバにおいて、前記映像データから前記監視対象物の画像領域を抽出する処理と、前記遮蔽物の画像を削除する処理の少なくとも一方が行われ、この処理により得られたデータが情報抽出処理後のデータとしてクラウドへ送信される。このため、クラウドへは監視対象物の画像領域のみが抽出された画像と、遮蔽物の画像が削除された画像の少なくとも一方が伝送されることになり、これにより映像データをそのまま伝送する場合に比べ伝送トラフィックを低減することが可能となる。またクラウドでは、監視対象物の状態を少ない処理負荷で判定することができる。

この発明の第６の態様によれば、センシング装置が留置対象物を含む風景を撮影した画像と当該画像に混入した侵入物の画像とを含む映像データを出力し、かつクラウドが前記映像データに基づいて周辺風景閲覧画像を生成する処理を行う場合に、エッジサーバからクラウドへ、前記侵入物が削除されるか又は前記侵入物以外の画像が抽出されたデータが送信される。このため、クラウドへは侵入物の画像が削除されるか又は侵入物以外の画像が抽出された画像が伝送されることになり、これにより映像データをそのまま伝送する場合に比べ伝送トラフィックを低減することが可能となる。またクラウドでは、侵入物を含まない風景画像を少ない処理負荷で生成することができる。

この発明の第７の態様によれば、複数のセンシング装置の地理的な位置関係を表す情報に基づいて上記複数のセンシング装置によるセンシング対象範囲の重複度合いが推定され、この推定された重複度合いが予め設定した閾値以上の場合に、上記複数のセンシング装置の中から送信抑制対象となるセンシング装置が選択され、送信抑制制御信号が送信される。このため、例えば地理的に同一のエリアに複数のセンシング装置が存在する場合には、これらのセンシング装置のうちの一部を残して、他はセンシングデータの送信が抑制される。従って、センシング装置とエッジサーバとの間の伝送トラフィックが低く抑えられ、これによりセンシング装置が多数存在する場合でも、各センシング装置からのセンシングデータの送信を伝送遅延等を起こすことなく効率良く行うことができる。

この発明の第８の態様によれば、複数のセンシング装置から受信した映像データの撮影範囲をもとに当該各撮影範囲の面積の合計値と重複部分の面積の合計値がそれぞれ算出され、前記算出された重複部分の面積が最小でかつ前記算出された各撮影範囲の面積の合計値が最大となるように、前記複数のセンシング装置の中から送信抑制の対象となるセンシング装置が選択される。このため、エッジサーバが複数のセンシング装置から撮影画像データを取得する場合に、撮影対象エリアの撮影画像データを漏れなくかつ重複が最小となるようにすることができる。

一般に、エッジサーバ上で情報抽出処理を行うことは、アプリケーション処理を分割してセンシング装置、エッジサーバおよびクラウドに分散配置していることになり、アプリケーションの全体的な処理量には変化がなく、情報量を削減せずに通信トラフィック量を大幅に削減できる。しかし、多くのセンシング装置から映像データのような情報量の大きなデータをエッジサーバ上に収集して情報抽出処理を行うと、エッジサーバにおける処理負荷が高くなるため、エッジサーバにおいて処理可能なセンシング装置数（エッジサーバにおけるセンシング装置の収容数）が少なくなってしまうことが懸念される。

そこで、本発明者は、上記各態様で述べたように、エッジサーバ上に新たなロジックを追加することで、センシング装置とエッジサーバ間、およびエッジサーバとクラウドとの間の通信トラフィック量を削減することを提案した。例えば、位置情報等の軽量なセンサデータを用いて、不必要な映像データを送信しているセンシング装置を特定する。一般に、全センシング装置から取得した映像データの中には、重複している部分等のように類似性が高く実質的に不要に映像データが存在し、従来ではこれらのデータがそのままアップロードされている。

これに対し本発明の各態様では、センシング装置によるセンシングデータの送信を、データの類似性（例えば重複）を考慮して抑制する。また、センシング装置からエッジサーバに伝送されたセンシングデータのうち、クラウドの処理に必要なデータが抽出されてクラウドに転送している。以上のようにすることで、実質的に不要なデータアップロードを減らすことができ、エッジサーバにおけるセンシング装置の収容効率を大幅に向上させて、より大きなトラフィック削減効果を得ることが可能となる。

すなわちこの発明の各態様によれば、センシングデータの伝送トラフィックを低減すると共に、クラウドにおける映像データの処理負荷を軽減してアプリケーションの応答性向上を可能にしたセンシングデータ処理システムとそのエッジサーバ、伝送トラフィック削減方法およびプログラムを提供することができる。

図１は、この発明の第１の実施形態に係るセンシングデータ処理システムの全体構成を示す図である。 図２は、図１に示したシステムのエッジサーバの機能構成を示すブロック図である。 図３は、図１に示したシステムのクラウドの機能構成を示すブロック図である。 図４は、第１の実施例として、ダイナミックマップを作成する際のエッジサーバおよびクラウドの処理手順と処理内容を示すフローチャートである。 図５は、第１の実施例における効果の一例を説明するための図である。 図６は、第２の実施例として、道路の路面診断を行う際のエッジサーバおよびクラウドの処理手順と処理内容を示すフローチャートである。 図７は、第２の実施例における効果の一例を説明するための図である。 図８は、第３の実施例として、周辺風景閲覧画像を作成する際のエッジサーバおよびクラウドの処理手順と処理内容を示すフローチャートである。 図９は、第３の実施例における効果の一例を説明するための図である。 図１０は、第１、第２および第３の各実施例において設定される条件の一例を示す図である。 図１１は、第１、第２および第３の各実施例において使用される元映像の特徴を示す図である。 図１２は、この発明の第２の実施形態に係るエッジサーバの機能構成を示すブロック図である。 図１３は、図１２に示したエッジサーバとカメラまたはセンサによる送信抑制制御の処理手順と処理内容を示すフローチャートである。 図１４は、この発明の第３の実施形態に係るセンシングデータ処理システムの全体構成を示す概略図である。 図１５は、図１４に示したシステムのエッジサーバによる送信抑制制御の効果の一例を説明するための図である。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
（構成）
この発明の第１の実施形態に係るセンシングデータ処理システムは、例えば車両に対する安全運転支援や自動運転支援を行うもので、車両にセンシングデバイスを設けている。エッジサーバは、例えば車両内に設置される。センシングデータ処理システムは、センシング装置としての複数のセンシングデバイスにより検出されたセンシングデータをエッジサーバで収集し、この収集されたセンシングデータをエッジサーバからネットワークを介してクラウドに伝送する。クラウドでは、上記伝送されたセンシングデータに基づいて所定のアプリケーション処理を実行する。

図１は、この発明の第１の実施形態に係るセンシングデータ処理システムの概略構成図である。このシステムは、車両ごとに設けられた、センシングデバイスＳ１１〜Ｓ１ｍ，Ｓ２１〜Ｓ２ｍ，…，Ｓｎ１〜Ｓｎｍ、およびエッジサーバＥＳ１，ＥＳ２，…，ＥＳｎと、上記各エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎとの間でネットワークＮＷを介してデータ伝送が可能なクラウドＣＳとを備えている。ネットワークＮＷには、例えばインターネットが用いられる。

各センシングデバイスＳ１１〜Ｓ１ｍ，Ｓ２１〜Ｓ２ｍ，…，Ｓｎ１〜Ｓｎｍは、例えば図２に示すように、それぞれ複数のカメラＣＭ１〜ＣＭｉおよび複数のセンサＳＳ１〜ＳＳｊを有する。

カメラＣＭ１〜ＣＭｉは、例えば車両の前方、後方、側面および車内を撮影してその映像データを出力するもので、当該映像データをカメラ識別情報（カメラＩＤ）や撮影日時を示す情報と共に、例えば無線ネットワークや車内ＬＡＮ（Local Area Network）又は信号ケーブルを介してエッジサーバＥＳ１、ＥＳ２，…，ＥＳｎへ送信する。またカメラＣＭ１〜ＣＭｉは、エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎから送信される遠隔制御信号に応じて、映像のＦＰＳ（Frame Per Second）や解像度、送信頻度等の動作条件を可変設定する機能も有している。

センサＳＳ１〜ＳＳｊは、例えば、赤外線又はミリ波レーダを用いた距離センサ、ＧＰＳ（Global Positioning System）を利用して自車両の位置情報（緯度・経度）を算出する位置センサ、車速やブレーキ操作、温度、振動等の車両の動作状態を計測する車両センサを含む。センサＳＳ１〜ＳＳｊは、計測されたセンシングデータを、センサの識別情報（センサＩＤ）および計測日時を示す情報と共に、上記無線ネットワークや車内ＬＡＮ又は信号ケーブルを介してエッジサーバＥＳ１，ＥＳ２，…，ＥＳｎへ送信する。

エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎは、それぞれ上記センシングデバイスＳ１１〜Ｓ１ｍ，Ｓ２１〜Ｓ２ｍ，…，Ｓｎ１〜Ｓｎｍから出力されたセンシングデータを受信する。そして、上記受信されたセンシングデータに対し予め決められた条件に基づいて情報抽出処理を行って、情報抽出処理後のデータをネットワークＮＷを介して上記クラウドＣＳへ送信する。

図２は、エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎの機能構成を示すブロック図である。なお、図２では図示の簡単のためエッジサーバＥＳ１の構成のみを示し、他のエッジサーバＥＳ２，…，ＥＳｎについて図示を省略している。

エッジサーバＥＳ１は、サーバコンピュータや車両に搭載された小型コンピュータからなり、制御ユニット１と、記憶ユニット２と、入出力インタフェースユニット３と、通信インタフェースユニット４とを備えている。

入出力インタフェースユニット３は、上記カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊから出力された映像データおよびセンサデータを受信すると共に、制御ユニット１から出力される遠隔制御信号を上記カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊへ出力する機能を有する。なお、エッジサーバに送信させる映像データやセンサデータの解像度やＦＰＳ、送信頻度などは、上記カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊからも設定することが可能である。

通信インタフェースユニット４は、制御ユニット１の制御の下、ネットワークＮＷを介してクラウドＣＳとの間でデータの送受信を行う。通信プロトコルはネットワークＮＷで規定されるプロトコルが使用される。

記憶ユニット２は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の随時書込および読み出しが可能な不揮発性メモリと、ＤＲＡＭなどの揮発性メモリを備えたもので、その記憶領域にはカメラ映像記憶部２１、センサデータ記憶部２２および第１の条件記憶部２３が設けられている。なお、記憶媒体に使用するメモリは上記各メモリに限らない。

カメラ映像記憶部２１は、上記カメラＣＭ１〜ＣＭｉから収集した映像データを格納するために使用される。センサデータ記憶部２２は、上記センサＳＳ１〜ＳＳｊから収集したセンサデータを格納するために使用される。第１の条件記憶部２３は、後述する情報抽出処理の条件を示す情報を記憶するために使用される。

制御ユニット１は、中央処理ユニット（ＣＰＵ）等のハードウェアプロセッサと作業用メモリを備え、この実施形態を実施するために必要な処理機能として、カメラ映像取得処理部１１と、センサデータ取得処理部１２と、条件設定処理部１３と、情報抽出処理部１４と、データ通信制御部１５とを有している。これらの処理部は、いずれも記憶ユニット２内のプログラムメモリに格納されたプログラムを上記ハードウェアプロセッサに実行させることにより実現される。

カメラ映像取得処理部１１は、上記カメラＣＭ１〜ＣＭｉから出力された映像データを入出力インタフェースユニット３を介してそれぞれ取得し、取得した映像データをカメラ映像記憶部２１に格納する処理を行う。

センサデータ取得処理部１２は、上記センサＳＳ１〜ＳＳｊから出力されたセンサデータを入出力インタフェースユニット３を介してそれぞれ取得し、取得したセンサデータをセンサデータ記憶部２２に格納する処理を行う。

条件設定処理部１３は、例えばシステム管理者が使用する管理用端末から、システム管理者の操作により入力された情報抽出処理の条件を表す情報（アルゴリズムと閾値等）を入出力インタフェースユニット３または通信インタフェースユニット４を介して受け取り、第１の条件記憶部２３に格納する処理を行う。なお、入出力部ＩＯとしては、他に、キーボードおよびマウスを有する入力デバイス、音声入力デバイス、独立したディスプレイ等を使用することができる。

情報抽出処理部１４は、上記第１の条件記憶部２３に記憶された情報抽出処理の条件を表す情報に基づいて、上記カメラ映像記憶部２１に記憶された映像データに対し情報抽出処理を行い、この情報抽出処理により生成されたデータをデータ通信制御部１５へ出力する処理を行う。情報抽出処理とは、クラウドＣＳで行われるアプリケーション処理の内容に応じて、上記映像データからオブジェクトなどの必要な画像を抽出しかつ不要な画像を削除する処理のことで、具体例は後述する。

データ通信制御部１５は、上記情報抽出処理部１４から出力された情報抽出処理により生成されたデータを、通信インタフェースユニット４からクラウドＣＳへ送信する処理を行う。

図３は、クラウドＣＳの構成を示すブロック図である。
クラウドＣＳは、例えばサーバコンピュータからなり、制御ユニット５と、データベース６と、通信インタフェースユニット７とを備えている。

通信インタフェースユニット７は、制御ユニット５の制御の下、ネットワークＮＷを介してエッジサーバＥＳ１，ＥＳ２，…，ＥＳｎとの間でデータの送受信を行う。またはアプリケーション処理後のデータをアプリケーション配信または管理用に配置されたサーバ、または、ユーザ端末との間でデータの送受信を行うこともある。通信プロトコルはネットワークＮＷで規定されるプロトコルが使用される。

データベース６は、記憶媒体として例えばＨＤＤやＳＳＤ等の随時書込および読み出しが可能な大容量の不揮発性メモリを備えたもので、エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎから送られた情報抽出後のデータや、制御ユニット５により処理されたデータをそれぞれ格納するために使用される。なお、記憶媒体に使用するメモリは上記メモリに限らない。

制御ユニット５は、中央処理ユニット（ＣＰＵ）および作業用メモリを備え、アプリケーション処理部５１を備えている。アプリケーション処理部５１は、エッジサーバＥＳ１，ＥＳ２，…，ＥＳｎから送られた情報抽出後のデータに基づいて、予め設定されたアプリケーション処理を実行する。アプリケーション処理の具体例については後に詳しく述べる。

（動作）
次に、以上のように構成されたシステムの動作を、幾つかの実施例を用いて説明する。
（第１の実施例）
第１の実施例は、カメラＣＭ１〜ＣＭｉから取得した映像データおよびセンサＳＳ１〜ＳＳｊから取得したセンサデータを用いて、クラウドＣＳがアプリケーション処理によりダイナミックマップを作成するものである。ダイナミックマップとは、一般的に、静的な地図データに、歩行者や自動車、交通状況などのオブジェクトをマッピングしたものである。

ダイナミックマップの作成に先立ち、エッジサーバＥＳ１の第１の条件記憶部２３には情報抽出条件を表す情報が設定される。ダイナミックマップを作成するときの情報抽出条件としては、例えば、映像データから抽出するオブジェクトの名称又は種類と、オブジェクトの位置情報と、時刻情報と、情報抽出処理により生成するデータ形式等のパラメータが設定される。オブジェクトの種類には、例えば歩行者、（年齢、性別等）、自動車、バス、トラック、自転車、バイクなどが含まれる。生成データのデータ形式としては、テキストデータなどの軽量なデータ形式が設定される。上記情報抽出条件の設定処理は、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第１の条件記憶部２３に格納することにより行われる。

上記情報抽出条件の設定が終了し、ダイナミックマップの作成モードになると、例えば車両の前方（進行方向）を撮影するカメラＣＭ１が、車両の前方方向を撮影してその映像データをエッジサーバＥＳ１へ出力する。また、カメラＣＭ１は車両の後方や側面に設置されていることもあり、車両の後方方向や側面方向を撮影して、その映像データをエッジサーバＥＳ１へ出力することもある。このとき、上記カメラＣＭ１の解像度やＦＰＳなどの撮影パラメータは、事前にエッジサーバＥＳ１から遠隔制御信号により指定される。なお、カメラＣＭ１は静止画像を撮影し、この静止画像のデータを出力するものであってもよい。

また、上記カメラ映像の撮影動作と並行して、センサ群ＳＳ１〜ＳＳｊのうち、距離センサＳＳ１が前方に存在するオブジェクトまでの距離を、また位置センサＳＳ２が自車両の位置をそれぞれ計測し、各計測値を示すセンサデータをエッジサーバＥＳ１へ出力する。

図４は、第１の実施例におけるエッジサーバＥＳ１およびクラウドＣＳの処理手順と処理内容を示すフローチャートである。
エッジサーバＥＳ１は、先ずステップＳＴ１１において、カメラ映像取得処理部１１の制御の下、上記カメラＣＭ１から出力された映像データ又は静止画像データを入出力インタフェースユニット３を介して取り込み、カメラ映像記憶部２１に格納する。なお、上記映像データ又は静止画像データは、送信元のカメラＣＭ１のカメラＩＤと撮影日時を示す情報が付加された状態で記憶される。

またそれと共にエッジサーバＥＳ１は、ステップＳＴ１２において、センサデータ取得処理部１２の制御の下で、上記距離センサＳＳ１および位置センサＳＳ２からそれぞれ出力される、オブジェクトまでの距離を示すセンサデータと、自車両の位置を示すセンサデータを、入出力インタフェースユニット３を介して取り込み、センサデータ記憶部２２に格納する。なお、上記各センサデータも、送信元のセンサＳＳ１，ＳＳ２のセンサＩＤと計測日時を示す情報が付加された状態で記憶される。

次にエッジサーバＥＳ１は、ステップＳＴ１３において、情報抽出処理部１４の制御の下、以下のように情報抽出処理を実行する。
すなわち、先ずステップＳＴ１３１によりカメラ映像記憶部２１から映像データ又は静止画像データを読み込み、この読み込んだ映像データ又は静止画像データから、上記第１の条件記憶部２３に記憶された情報抽出条件に従い、抽出対象となるオブジェクトを抽出する。

このオブジェクトの抽出処理は、例えば次のように行われる。すなわち、事前に深層学習を用いて抽出対象となるオブジェクトの画像を大量に学習させ、抽出対象となるオブジェクトの輪郭形状や色などの特徴パラメータを検出して、この特徴パラメータを第１の条件記憶部２３に記憶する。そして、上記カメラ映像記憶部２１から読み込んだ映像データ又は静止画像データを上記学習結果である特徴パラメータと照合し、一致の度合いが所定量以上の画像を抽出対象のオブジェクトとして抽出する。なお、以上述べたオブジェクトの抽出方法には、例えばDarknetやCaffeなどが用いられる。

続いて情報抽出処理部１４は、ステップＳＴ１３２において、上記映像データ又は静止画像データの撮影日時と同一の計測時刻が付加された距離データをセンサデータ記憶部２２から読み込み、この距離データをもとに上記抽出されたオブジェクトまでの距離を算出する。なお、カメラＣＭ１として３次元カメラやステレオカメラを用いる場合には、この３次元カメラの３次元画像から、またステレオカメラの画像から求められたオブジェクトまでの距離データを用いてもよい。また、カメラＣＭ１により得られた映像データ又は静止画像データにおけるオブジェクトの座標点と、カメラＣＭ１の画角などから、自車両とオブジェクトとの間の距離を算出するようにしてもよい。

また情報抽出処理部１４は、ステップＳＴ１３３により、上記映像データ又は静止画像データの撮影日時と同一の計測時刻が付加された自車両の位置情報をセンサデータ記憶部２２から読み込む。そして、ステップＳＴ１３４により、上記算出されたオブジェクトまでの距離と、上記読み込んだ自車両の位置情報とから、上記抽出したオブジェクトの位置情報を算出する。このオブジェクトの位置情報の算出方法としては、例えばVincenty法やヒューベニ公式を利用することができる。

情報抽出処理部１４は、続いてステップＳＴ１３５において、上記計測された自車両の位置情報と、上記抽出されたオブジェクトの名前又は種類と、上記算出されたオブジェクトの位置情報と、計測日時を、テキストデータに変換する。そして、この変換されたテキストデータを情報抽出後のデータとしてデータ通信制御部１５に渡す。

エッジサーバＥＳ１は、ステップＳＴ１４において、上記データ通信制御部１５の制御の下、上記情報抽出処理部１４から渡されたテキストデータを通信インタフェースユニット４からクラウドＣＳへ送信する。

これに対しクラウドＣＳは、上記エッジサーバＥＳ１から送信されたテキストデータをステップＳＴ１５により受信すると、ステップＳＴ１６においてアプリケーション処理部５１がダイナミックマップの作成処理を行う。このダイナミックマップの作成は、例えば、上記テキストデータにより表される自車両の位置に対応する地図データをデータベース６から読み出し、この地図データ上に上記テキストデータをマッピングすることによりなされる。その際、テキストデータにより表されるオブジェクトの基本画像をデータベース６から選択的に読み出し、当該基本画像を上記地図データ上の上記テキストデータにより表されるオブジェクト位置に重ねて表示するようにしてもよい。

なお、上記作成されたダイナミックマップのデータは、例えばデータベース６に記憶されると共に、上記テキストデータの送信元となるエッジサーバＥＳ１へ送信され、エッジサーバＥＳ１の入出力部ＩＯに表示される。または、アプリケーション配信または管理用のサーバやユーザ端末へ送信させることもある。このダイナミックマップは、例えばカーナビゲーション用の画像又は映像として使用される。

（第１の実施例の効果）
以上述べた第１の実施例では、エッジサーバＥＳ１の情報抽出処理により、車両に設置したカメラＣＭ１で撮影した映像データ又は静止画像データからオブジェクトを抽出して当該オブジェクトの種類や位置等を表す情報をテキストデータに変換し、当該テキストデータをクラウドＣＳに伝送するようにしている。このため、映像データ又は静止画像データをそのままクラウドＣＳに伝送する場合に比べ、伝送トラフィック量を大幅に低減することができ、かつクラウドＣＳにおける処理負荷を軽減して処理の応答性を向上させることができる。

図５に、情報抽出処理を行った場合と行わない場合の伝送トラヒック量の比較結果の一例を示す。この例では、情報抽出処理を行ったことで伝送トラヒック量を平均で99.46%削減することができた。

上記比較結果は、実際に車両に搭載されたドライブレコーダにより解像度640×360で撮影した１分間の１２種類の映像を評価用元映像として用い、情報抽出処理ありと情報抽出処理なしの場合の伝送トラフィック量をそれぞれ算出して示したものである。

情報抽出処理なしの場合のトラヒック量は、１分間の映像データ（１fpsのM-JPEG）のファイルサイズの合計値を測定して、１２種類分の映像の平均値および標準偏差を算出した。一方、情報抽出処理をした場合のトラヒック量は、１分間の映像データにおける情報抽出処理後のファイルサイズ（テキストデータ）の合計値を測定し、１２種類分の映像の平均値および標準偏差を算出した。

（第２の実施例）
第２の実施例は、カメラＣＭ１〜ＣＭｉにより得られる映像データおよびセンサＳＳ１〜ＳＳｊにより得られるセンサデータを用いて、クラウドＣＳが道路の路面診断を行うものである。

路面診断に先立ち、エッジサーバＥＳ１の第１の条件記憶部２３には情報抽出条件が設定される。路面診断を行うときの情報抽出条件としては、例えば、映像データから抽出する遮蔽物の名称又は種類、トリミングの位置とサイズ等が設定される。遮蔽物の種類には、例えば歩行者、自動車、自転車、バイクなどが含まれる。トリミングの位置とサイズとしては、例えば撮影画面内の下１／４といったパラメータが設定される。上記情報抽出条件の設定処理は、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第１の条件記憶部２３に格納することにより行われる。

上記情報抽出条件の設定が終了し、道路の所定区間に対する路面診断の要求が入力されると、車両の前方（進行方向）を撮影するカメラＣＭ１が、車両の前方方向を撮影してその映像データをエッジサーバＥＳ１へ出力する。また、カメラＣＭ１は車両の後方や側面に設置されていることもあり、車両の後方方向や側面方向を撮影して、その映像データをエッジサーバＥＳ１へ出力することもある。このとき、上記カメラＣＭ１の解像度やＦＰＳなどの撮影パラメータは、事前にエッジサーバＥＳ１から遠隔制御信号により指定される。なお、カメラＣＭ１は静止画像を撮影し、この静止画像のデータを出力するものであってもよい。

また、上記カメラ映像の撮影動作と並行して、センサ群ＳＳ１〜ＳＳｊのうち、位置センサＳＳ２が自車両の位置を計測しその計測値を示すセンサデータをエッジサーバＥＳ１へ出力する。

図６は、第２の実施例におけるエッジサーバＥＳ１およびクラウドＣＳの処理手順と処理内容を示すフローチャートである。
エッジサーバＥＳ１は、先ずステップＳＴ２１において、カメラ映像取得処理部１１の制御の下、上記カメラＣＭ１から出力された映像データ又は静止画像データを入出力インタフェースユニット３を介して取り込み、カメラ映像記憶部２１に格納する。なお、上記映像データ又は静止画像データは、送信元のカメラＣＭ１のカメラＩＤと撮影日時を示す情報が付加された状態で記憶される。

またそれと共にエッジサーバＥＳ１は、ステップＳＴ２２において、センサデータ取得処理部１２の制御の下で、上記位置センサＳＳ２から出力される自車両の位置を示すセンサデータを入出力インタフェースユニット３を介して取り込み、センサデータ記憶部２２に格納する。なお、上記センサデータも、送信元のセンサＳＳ２のセンサＩＤと計測日時を示す情報が付加された状態で記憶される。

次にエッジサーバＥＳ１は、ステップＳＴ１３において、情報抽出処理部１４の制御の下、以下のように情報抽出処理を実行する。
すなわち、情報抽出処理部１４は、先ずステップＳＴ２３１によりカメラ映像記憶部２１から映像データ又は静止画像データを読み込み、この読み込んだ映像データ又は静止画像データから、上記第１の条件記憶部２３に記憶された情報抽出条件に従い、路面診断を行う上で邪魔になる自動車や歩行者などの遮蔽物を抽出する。そして、遮蔽物が抽出されたか否かをステップＳＴ２３２で判定する。

上記判定の結果、遮蔽物が抽出された場合には、ステップＳＴ２３３により当該遮蔽物の画像を上記映像データ又は静止画像データから削除し、続いてステップＳＴ２３４において上記遮蔽物画像削除後の映像データ又は静止画像データをトリミングする。このトリミング処理では、例えば道路部分が含まれる１フレームの下１／４の領域を抽出し、他の領域を削除する処理が行われる。一方、上記判定の結果、遮蔽物が抽出された場合には、ステップＳＴ２３４に移行して、上記遮蔽物画像削除後の映像データ又は静止画像データに対し、上記道路部分を抽出するためのトリミング処理を行う。

なお、上記遮蔽物の抽出処理は、例えば次のように行われる。すなわち、事前に深層学習を用いて抽出対象となる遮蔽物の画像を大量に学習させ、抽出対象となる遮蔽物の輪郭形状や色などの特徴パラメータを検出して、この特徴パラメータを第１の条件記憶部２３に記憶する。そして、上記カメラ映像記憶部２１から読み込んだ映像データ又は静止画像データを上記学習結果である特徴パラメータと照合し、一致の度合いが所定量以上の画像を抽出対象の遮蔽物として抽出する。

また、上記道路部分のトリミング処理についても、事前に道路部分の画像を学習させてその特徴パラメータを第１の条件記憶部２３に記憶しておき、映像データ又は静止画像データを上記学習結果である特徴パラメータと照合して、一致の度合いが所定量以上の画像領域を道路部分の画像として抽出するようにしてもよい。

なお、以上の説明では遮蔽物を削除したのち、道路部分の画像をトリミング処理する場合を例にとって説明したが、映像データ又は静止画像データに対し先ず道路部分の画像をトリミング処理し、このトリミング処理後の映像データ又は静止画像データから遮蔽物を抽出して削除するようにしてもよい。

情報抽出処理部１４は、続いてステップＳＴ２３５において、上記映像データ又は静止画像データの撮影日時と同一の計測時刻が付加された自車両の位置情報をセンサデータ記憶部２２から読み込む。そして、ステップＳＴ２３６により、上記トリミング処理後の映像データ又は静止画像データと、上記自車両の位置情報とを含む送信データを生成し、この生成された送信データを情報抽出後のデータとしてデータ通信制御部１５に渡す。

エッジサーバＥＳ１は、ステップＳＴ２４において、上記データ通信制御部１５の制御の下、上記情報抽出処理部１４から渡された送信データを通信インタフェースユニット４からクラウドＣＳへ送信する。

これに対しクラウドＣＳは、上記エッジサーバＥＳ１から送信された送信データをステップＳＴ２５において受信すると、ステップＳＴ２６においてアプリケーション処理部５１が路面診断処理を行う。路面診断処理では、例えば送信データに含まれるトリミング後の映像データ又は静止画像データから路面の凹凸や亀裂の有無、色などが検出され、その検出結果をもとに良否が判定される。なお、上記路面の凹凸や亀裂の有無、色などの検出にも、例えば事前に学習した学習データが用いられる。

クラウドＣＳは、上記路面診断の結果を表す情報を、上記送信データに含まれる車両の位置情報と関連付けてデータベース６に格納する。また、診断結果を所定の判定条件と照合し、補修が必要と判定された場合には当該診断結果を表す情報と位置情報と共に管理事務所の端末等へ送信する。また、上記路面診断の結果を示す情報を、アプリケーション配信または管理用のサーバやユーザ端末に送信することもある。

（第２の実施例の効果）
以上述べた第２の実施例では、エッジサーバＥＳ１の情報抽出処理により、車両に設置したカメラＣＭ１で撮影した映像データ又は静止画像データから道路の遮蔽物を抽出してその画像を削除すると共に、道路部分に相当する画像領域をトリミング処理し、これらの処理がなされた映像データ又は静止画像データを位置情報と共にクラウドＣＳに伝送するようにしている。このため、映像データ又は静止画像データをそのままクラウドＣＳに伝送する場合に比べ、伝送トラフィック量を大幅に低減することができ、かつクラウドＣＳにおける処理負荷を軽減して処理の応答性を向上させることができる。

図７に、情報抽出処理を行った場合と行わない場合の伝送トラヒック量の比較結果の一例を示す。この例では、情報抽出処理を行ったことで伝送トラヒック量を平均で92.00%削減することができた。この実験の条件は、ダイナミックマップでの実験条件と比較すると、映像データの解像度が1280×720(HD)である点と、クラウドＣＳに送信するデータがトリミングした画像データのファイルサイズの合計となっている点が異なり、それ以外は同じである。

（第３の実施例）
第３の実施例は、カメラＣＭ１〜ＣＭｉにより得られる映像データおよびセンサＳＳ１〜ＳＳｊにより得られるセンサデータを用いて、クラウドＣＳが様々な方角から撮影された複数の車載カメラ映像データを組み合わせて、道路周辺の風景を閲覧可能とする全天球画像を作成するものである。以後、このアプリケーションを周辺風景閲覧と呼ぶ。全天球画像、つまり周辺風景閲覧画像とは、例えば、３６０度の全方位画像から、プライバシー保護の観点で歩行者や自動車、表札などの特定のオブジェクトを削除したものである。

周辺風景閲覧に先立ち、エッジサーバＥＳ１の第１の条件記憶部２３には情報抽出条件が設定される。周辺風景閲覧画像を作成するときの情報抽出条件としては、例えば、削除対象又は留置対象のオブジェクトの名称又は種類と、特徴が設定される。削除対象のオブジェクトには、例えばプライバシー保護の観点から削除すべき歩行者や自動車、表札などが含まれる。これに対し留置対象のオブジェクトには、建物や公共物、案内用の標識等が含まれる。上記情報抽出条件の設定処理は、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第１の条件記憶部２３に格納することにより行われる。

上記情報抽出条件の設定が終了し、周辺風景閲覧画像の作成要求が入力されると、例えば車両に搭載された複数のカメラＣＭ１〜ＣＭｉのうち、通常の単眼カメラ（以後カメラＣＭｋと呼ぶ）が撮影した映像データをエッジサーバＥＳ１へ出力する。また、カメラＣＭｋは全方位カメラ又は全方位を領域分割して撮影するための複数のカメラであることも考えられ、車両の全方位を撮影してその映像データをエッジサーバＥＳ１へ出力することもある。このとき、上記カメラＣＭｋの解像度やＦＰＳなどの撮影パラメータは、事前にエッジサーバＥＳ１から遠隔制御信号により指定される。なお、カメラＣＭｋは静止画像を撮影し、この静止画像のデータを出力するものであってもよい。

また、上記カメラ映像の撮影動作と並行して、センサ群ＳＳ１〜ＳＳｊのうち、位置センサＳＳ２が自車両の位置を計測し、各計測値を示すセンサデータをエッジサーバＥＳ１へ出力する。

図８は、第３の実施例におけるエッジサーバＥＳ１およびクラウドＣＳの処理手順と処理内容を示すフローチャートである。
エッジサーバＥＳ１は、先ずステップＳＴ３１において、カメラ映像取得処理部１１の制御の下、上記カメラＣＭｋから出力された映像データ又は静止画像データを入出力インタフェースユニット３を介して取り込み、カメラ映像記憶部２１に格納する。なお、上記映像データ又は静止画像データは、送信元のカメラＣＭｋのカメラＩＤと撮影日時を示す情報が付加された状態で記憶される。

またそれと共にエッジサーバＥＳ１は、ステップＳＴ３２において、センサデータ取得処理部１２の制御の下で、上記位置センサＳＳ２から出力される自車両の位置を示すセンサデータを入出力インタフェースユニット３を介して取り込み、センサデータ記憶部２２に格納する。なお、上記センサデータも、送信元のセンサＳＳ２のセンサＩＤと計測日時を示す情報が付加された状態で記憶される。

次にエッジサーバＥＳ１は、ステップＳＴ３３において、情報抽出処理部１４の制御の下、以下のように情報抽出処理を実行する。
すなわち、情報抽出処理部１４は、先ずステップＳＴ３３１によりカメラ映像記憶部２１から映像データ又は静止画像データを読み込み、この読み込んだ映像データ又は静止画像データから、上記第１の条件記憶部２３に記憶された情報抽出条件に従い、周辺風景閲覧画像を作成する際に不要な歩行者や自動車および個人の表札等の削除対象オブジェクトと、周辺風景閲覧画像を作成する際に必要な建物や公共物、案内用の標識等の留置対象オブジェクトを抽出する。

上記各オブジェクトの抽出処理は、例えば次のように行われる。すなわち、事前に深層学習を用いて、抽出対象となる削除対象および留置対象の各オブジェクトの画像を大量に学習させ、抽出対象となるオブジェクトの輪郭形状や色などの特徴パラメータを検出して、この特徴パラメータを第１の条件記憶部２３に記憶する。そして、上記カメラ映像記憶部２１から読み込んだ映像データ又は静止画像データを上記学習結果である特徴パラメータと照合し、一致の度合いが所定量以上の画像を抽出対象のオブジェクトとして抽出する。

情報抽出処理部１４は、上記オブジェクトが抽出されたか否かをステップＳＴ３３２で判定する。そして、上記判定の結果オブジェクトが抽出された場合には、ステップＳＴ３３３において、上記抽出されたオブジェクトが削除対象オブジェクトか又は留置対象オブジェクトか、その少なくとも一方を選別する。この選別の結果、削除対象オブジェクトであればその画像を映像データ又は静止画像データから削除する。これに対し留置対象オブジェクトであれば、当該画像を映像データ又は静止画像データから削除した上で、当該オブジェクトの輪郭等の特徴パラメータを、その画像中の位置データと共に保持する。当該オブジェクトの領域画像を保持してもよい。なお、上記判定の結果オブジェクトが抽出されなかった場合には、上記オブジェクトの選別処理を省略する。

情報抽出処理部１４は、続いてステップＳＴ３３４において、上記映像データ又は静止画像データの撮影日時と同一の計測時刻が付加された自車両の位置データをセンサデータ記憶部２２から読み込む。そして、上記ステップＳＴ３３３におけるオブジェクト選別処理により生成された、オブジェクト削除後の映像データ又は静止画像データと、留置対象オブジェクトの特徴パラメータおよびその画像中の位置データと、上記ステップＳＴ３３４において取得された自車両の位置情報とを含む送信データをステップＳＴ３３５で生成し、この生成された送信データを情報抽出後のデータとしてデータ通信制御部１５に渡す。

エッジサーバＥＳ１は、ステップＳＴ３４において、上記データ通信制御部１５の制御の下、上記情報抽出処理部１４から渡された送信データを通信インタフェースユニット４からクラウドＣＳへ送信する。

これに対しクラウドＣＳは、上記エッジサーバＥＳ１から送信された送信データをステップＳＴ３５において受信すると、ステップＳＴ３６においてアプリケーション処理部５１が周辺風景閲覧画像の作成処理を行う。周辺風景閲覧画像の作成処理では、例えば上記送信データにより伝送された映像データ又は静止画像データに、留置対象オブジェクトを再表示する処理が行われる。留置対象オブジェクトの再表示は、上記送信データにより伝送された留置対象オブジェクトの特徴パラメータとその位置情報、そしてデータベース６に予め記憶されている各オブジェクトの基本画像とに基づいて行われる。

また、周辺風景閲覧画像の作成処理では、削除対象オブジェクトを削除した映像データたまは静止画像データにおいては、例えば、まず撮影日時と自車両位置情報が所定量よりも近い値の映像データまたは静止画像データを、所定量ピックアップする。ピックアップした所定量の映像データまたは静止画像データにおいて、オブジェクトの輪郭形状や色などの特徴パラメータを比較し、一致度合が所定量以上のオブジェクトを重ね合わせて、所定量の静止画データを合成することで、周辺風景閲覧画像を作成する。なお、以上で述べた静止画像データの合成処理には、Auto PanoやPTGuiなどが用いられる。

クラウドＣＳは、上記生成された周辺風景閲覧画像のデータを、上記送信データに含まれる車両の位置情報と関連付けてデータベース６に格納する。この周辺風景閲覧画像は、ユーザ端末からの閲覧要求に応じてデータベース６から読み出され、ユーザ端末へ送信される。または、アプリケーション配信または管理用のサーバに送信されることもある。

（第３の実施例の効果）
以上述べた第３の実施例では、カメラＣＭ１〜ＣＭｉにより撮影された映像データをクラウドＣＳに伝送して周辺風景閲覧画像を作成する際に、エッジサーバＥＳ１の情報抽出処理により、車両に設置したカメラＣＭｋで撮影した映像データ又は静止画像データから削除対象オブジェクトおよび留置対象オブジェクトを抽出してその画像を削除し、このオブジェクト削除後の映像データ又は静止画像データを、上記留置対象オブジェクトの特徴パラメータとその位置情報と共にクラウドＣＳに伝送するようにしている。このため、映像データ又は静止画像データをそのままクラウドＣＳに伝送する場合に比べ、伝送トラフィック量を低減することができ、かつクラウドＣＳが取り扱うデータ量を減らしてアプリケーションの応答性を向上させることができる。

図９に、情報抽出処理を行った場合と行わない場合の伝送トラヒック量の比較結果の一例を示す。この例では、情報抽出処理を行ったことで伝送トラヒック量を平均で25.45%削減することができた。この実験の条件は、ダイナミックマップでの実験条件と、映像の解像度が1920×1080（FHD）である点のみ異なり、それ以外はダイナミックマップの作成、および路面診断の場合と同じである。

なお、上記説明では、オブジェクト削除後の映像データ又は静止画像データをそのまま送信するものとした。しかしそれに限らず、オブジェクト削除後の映像データ又は静止画像データを所定の符号化方式を用いてさらに圧縮して伝送するようにしてもよい。このようにすれば、伝送トラフィック量をさらに低減することができる。

（実験の条件一覧）
図１０は、以上述べた第１、第２および第３の実施例の効果の説明で使用した実験条件の一例を一覧表示したものである。また、図１１は、実験用元映像の特徴の一例を示すもので、ドライブレコーダにより撮影され記録された映像データの中からランダムにピックアップした映像の特徴を示している。

［第２の実施形態］
（構成）
図１２は、この発明の第２の実施形態に係るエッジサーバの機能構成を示すブロック図である。なお、図１２において図２と同一部分には同一符号を付して詳しい説明は省略する。

記憶ユニット２には、第１の条件記憶部２３に加えて、第２の条件記憶部２４が新たに設けられている。第１の条件記憶部２３は、第１の実施形態と同様に、映像データまたはセンサデータからクラウドＣＳの処理に必要な情報を抽出するための情報抽出条件を表す情報（アルゴリズムと閾値等）を記憶するために用いられる。

第２の条件記憶部２４は、カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊに対する映像データおよびセンサデータの送信抑制条件を表す情報（アルゴリズムと閾値等）を記憶するために用いられる。

送信抑制条件は、例えば、同一時間帯に複数のカメラＣＭ１〜ＣＭｉから映像データまたは静止画像データが送信された場合に、その撮影範囲の重複度合いに応じて送信抑制対象とするカメラを選択するための条件（アルゴリズムと閾値等）を含む。また送信抑制条件は、例えば、同一時間帯に複数のセンサＳＳ１〜ＳＳｊからセンサデータが送信された場合に、その計測値の類似度合いに応じて送信抑制対象とするセンサを選択するための条件を含む。

制御ユニット１は、カメラ映像取得処理部１１、センサデータ取得処理部１２、条件設定処理部１３および情報抽出処理部１４に加え、カメラ映像／センサデータ送信抑制制御部１６を新たに備えている。このカメラ映像／センサデータ送信抑制制御部１６も、他の処理部と同様にプログラムメモリに格納されたプログラムをハードウェアプロセッサに実行させることにより実現される。

条件設定処理部１３は、例えばシステム管理者が管理用端末を操作して入力した情報抽出処理の条件を表す情報を、入出力インタフェースユニット３または通信インタフェースユニット４を介して受け取って第１の条件記憶部２３に格納する処理と、システム管理者等の操作により入力された送信抑制条件を表す情報（アルゴリズムと閾値等）を入出力インタフェースユニット３または通信インタフェースユニット４を介して受け取り、第２の条件記憶部２４に格納する処理を行う。

カメラ映像／センサデータ送信抑制制御部１６は、以下の処理機能を有している。
(1) 上記第２の条件記憶部２４に記憶された送信抑制処理の条件を表す情報に基づいて、例えば、上記カメラ映像記憶部２１に記憶された各カメラＣＭ１〜ＣＭｉの映像データまたは静止画像データから、予め設定された監視対象範囲に存在する各カメラＣＭ１〜ＣＭｉの撮影範囲の面積の合計値と、各カメラＣＭ１〜ＣＭｉの撮影範囲の重複部分の面積の合計値をそれぞれ算出する。そして、各カメラＣＭ１〜ＣＭｉの撮影範囲の重複部分の面積が最少となり、かつ各カメラＣＭ１〜ＣＭｉの撮影範囲の面積の合計値が最大となるように、各カメラＣＭ１〜ＣＭｉの中から送信抑制対象のカメラを選択し、当該選択したカメラに対する送信抑制制御信号を生成する処理。

(2) 上記第２の条件記憶部２４に記憶された送信抑制処理の条件を表す情報に基づいて、例えば、上記センサデータ記憶部２２に記憶された各センサＳＳ１〜ＳＳｊのセンサデータから、予め設定された監視対象範囲に存在するセンサＳＳ１〜ＳＳｊにより検出されたセンサデータ間の類似度を算出する。そして、類似度が閾値以上の複数のセンサデータが存在する場合に、当該各センサデータの送信元となる複数のセンサの中から送信抑制対象とするセンサを選択し、当該選択したセンサに対する送信抑制制御信号を生成する処理。

データ通信制御部１５は、上記情報抽出処理部１４の情報抽出処理により生成されたデータを、通信インタフェースユニット４からクラウドＣＳへ送信する処理と、上記カメラ映像／センサデータ送信抑制制御部１６により生成された送信抑制制御信号を、通信インタフェースユニット４から送信抑制対象のカメラまたはセンサへ送信する処理を行う。

（動作）
次に、以上のように構成されたエッジサーバＥＳ１による送信抑制動作について説明する。
（１）カメラに対する送信抑制制御
先ず、カメラＣＭ１〜ＣＭｉに対し送信抑制制御を行う場合について説明する。図１３は、上記送信抑制制御を実行する際のエッジサーバＥＳ１およびカメラＣＭ１〜ＣＭｉの処理手順と処理内容を示すフローチャートである。

送信抑制制御の開始に先立ち、エッジサーバＥＳ１の第２の条件記憶部２４に、カメラＣＭ１〜ＣＭｉに対する送信抑制条件を表す情報が設定される。カメラＣＭ１〜ＣＭｉに対する送信抑制条件は、例えば、各カメラＣＭ１〜ＣＭｉの撮影範囲を定義し、これらの撮影範囲の全体の面積と重複部分の面積に基づいて抑制対象のカメラを選択するアルゴリズムを定義するものである。なお、選択アルゴリズムは、撮影範囲の全体の面積でなく、撮影範囲の全体の面積から重複部分の面積を除いた面積に基づいて抑制対象のカメラを選択するものであってもよい。

各カメラＣＭ１〜ＣＭｉに対する送信抑制条件の設定処理は、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第２の条件記憶部２４に格納することにより行われる。

上記送信抑制条件の設定が終了し、エッジサーバＥＳ１の運用が開始されると、各カメラＣＭ１〜ＣＭｉにより撮影された映像データまたは静止画像データが、エッジサーバＥＳ１により、カメラ映像取得処理部１１の制御の下、ステップＳＴ４１において収集され、カメラ映像記憶部２１に格納される。なお、各映像データまたは静止画像データには、送信元となるカメラの識別情報（カメラＩＤ）と撮影日時を示すタイムスタンプ情報が付与される。

この状態で、エッジサーバＥＳ１は、カメラ映像／センサデータ送信抑制制御部１６の制御の下、ステップＳＴ４３において、以下のようにカメラＣＭ１〜ＣＭｉに対する送信抑制制御を実行する。

すなわち、カメラ映像／センサデータ送信抑制制御部１６は、先ずカメラ映像記憶部２１から映像データ又は静止画像データを読み込む。そして、ステップＳＴ４３１において、上記読み込んだ映像データ又は静止画像データから、上記第２の条件記憶部２４に記憶された送信抑制条件に従い、予め設定された監視対象範囲に存在する各カメラＣＭ１〜ＣＭｉの撮影範囲の面積の合計値と、各カメラＣＭ１〜ＣＭｉの撮影範囲の重複部分の面積の合計値をそれぞれ算出する。各カメラＣＭ１〜ＣＭｉの撮影範囲は、例えば、車両に設けられた位置センサおよびジャイロにより計測される車両の位置情報と進行方向と、カメラの画角などをもとに算出することができるが、カメラの製品情報に記載されている情報を用いてもよい。

上記重複部分の面積は以下の方法により概算することができる。すなわち、先ずカメラ間の撮影範囲の交点を算出する。次に、座標点で囲まれる多角形の面積を求める公式等の既存の方法を用いて、上記算出した交点座標を代入し、重複部分の面積を算出する。そして、遺伝的アルゴリズム等の既存の手法を用いて、車載カメラの映像の重複部分面積が最少となり、かつ各カメラの撮影範囲の面積合計値が最大となるように、送信抑制制御の対象となるカメラを決定する。

例えば、互いに隣接する３台以上のカメラＣＭ１，ＣＭ２，ＣＭ３の各撮影範囲が部分的に重複している場合、その重複部分の面積が上記最小値を規定する閾値以上か否かが判定される。そして、重複部分の面積が閾値以上の場合には、この条件の下で撮影範囲の合計値が最大となるようなカメラの組み合わせが決定され、その決定結果に基づいて送信抑制対象のカメラ、たとえばＣＭ１，ＣＭ３が選択される。

なお、上記した座標点で囲まれる多角形の面積を求める公式は、例えばインターネットURL＜http://keisan.casio.jp/exec/system/1377138797＞に記載されている。また遺伝的アルゴリズムについては、例えばJuan J. Durillo, Antonio J. Nebro and Enrique Alba, "The jMetal Framework for Multi-Objective Optimization: Design and Architecture,", Evolutionary Computation Congress, 2010.に記載されている。

続いてカメラ映像／センサデータ送信抑制制御部１６は、ステップＳＴ４３２において、上記送信抑制対象として選択されたカメラＣＭ１，ＣＭ３に対する送信抑制制御信号を生成し、当該送信抑制制御信号を入出力インタフェースユニット３から該当するカメラＣＭ１，ＣＭ３に向け出力する。上記送信抑制制御信号には、送信停止指示または送信頻度の低下指示が含められる。送信頻度は、送信データの送信周期または送信データ量として定義される。

カメラＣＭ１，ＣＭ３は、ステップＳＴ４４において上記送信抑制制御信号を受信する。そして、ステップＳＴ４５において、上記受信された送信抑制制御信号に含まれる指示に従い、それ以降の映像データまたは静止画像データの送信を停止するかまたは送信頻度を低下させる。

なお、送信抑制信号に送信停止指示を含めるか、送信頻度の低下指示を含めるかは、上記カメラの撮影範囲の重複部分の面積の大きさに応じて選択すれば良い。例えば、重複部分の面積が上記最小値に対応する第１の閾値以上でかつ第２の閾値未満の場合には送信頻度の低下指示を選択し、上記第２の閾値以上の場合には送信停止指示を選択する。

このようにすると、撮影範囲の重複部分の面積が大きい場合には、該当する複数のカメラのうちの１つが映像データまたは静止画像データの送信動作を継続し、他のカメラは送信を停止する。一方、撮影範囲の重複部分の面積が比較的小さい場合には、重複していない部分の映像データまたは静止画像データの送信を維持しつつ伝送トラフィックを低下させるため、送信頻度を低下させる。具体的には、送信周期を長くするか又は送信データ量を間引き処理等により減らす。送信周期の値または送信データ量の値は、固定値に設定しても良いが、重複していない部分の面積が大きくなるほど送信周期が短くなるように、また送信データ量が多くなるように可変設定するようにしてもよい。

（２）センサデバイスに対する送信抑制制御
次に、センサＳＳ１〜ＳＳｊに対し送信抑制制御を行う場合の動作を説明する。
送信抑制制御の開始に先立ち、エッジサーバＥＳ１の第２の条件記憶部２４に、センサＳＳ１〜ＳＳｊに対する送信抑制条件を表す情報が設定される。センサＳＳ１〜ＳＳｊに対する送信抑制条件は、例えば、センサＳＳ１〜ＳＳｊの種類に基づいてセンサデータの比較対象となるセンサデバイスのグループを定義し、これらのセンサグループごとに当該グループに属する各センサにより得られるセンサデータ間の類似度を閾値と比較することで、送信抑制対象のセンサを選択するアルゴリズムを定義するものである。このセンサＳＳ１〜ＳＳｊに対する送信抑制条件の設定処理も、例えばシステム管理者が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１が条件設定処理部１３の制御の下で受け付けて第２の条件記憶部２４に格納することにより行われる。

上記送信抑制条件の設定が終了し、エッジサーバＥＳ１の運用が開始されると、各センサＳＳ１〜ＳＳｊにより計測されたセンサデータが、エッジサーバＥＳ１により、センサデータ取得処理部１２の制御の下、図１３に示すステップＳＴ４２において収集され、センサデータ記憶部２２に格納される。なお、各センサデータには送信元となるセンサの識別情報と計測時刻を表すタイムスタンプが付与されている。

この状態で、エッジサーバＥＳ１は、カメラ映像／センサデータ送信抑制制御部１６の制御の下、上記第２の条件記憶部２４に記憶されている送信抑制条件に基づいて、センサデータ記憶部２２から各センサＳＳ１〜ＳＳｊのセンサデータをセンサグループごとに読み出し、これらのセンサデータ間の類似度を算出する。センサデータ間の類似度は、例えば温度や湿度等の環境センサであればその計測値の差として、また振動センサ等の車両の状態を監視するためのセンサであればその計測値の差としてそれぞれ算出される。

次にカメラ映像／センサデータ送信抑制制御部１６は、上記算出された計測値を上記送信抑制条件により定義された閾値と比較し、計測値が閾値以下の場合には該当する各センサのうちの１つを除いて他のセンサを送信抑制対象のセンサとして選択する。そして、当該選択したセンサに対し、送信を停止させるかまたは送信頻度を低下させるための送信抑制制御信号を生成し、当該送信抑制制御信号をデータ通信制御部１５へ出力する。

この結果、データ通信制御部１５から上記送信抑制制御信号が送信抑制対象のセンサに送られ、当該送信抑制対象のセンサは、以後、センサデータの送信を停止させるか、または送信頻度を低下させる。送信頻度は、送信データの送信周期または送信データ量として定義され、上記送信抑制条件により指定される。送信停止を選択するか送信頻度の低下を選択するかは、上記センサデータ間の類似度のレベルに応じて選択すれば良い。例えば、類似度が高く第１の閾値以上の場合には送信停止を選択し、類似度が第１の閾値未満でかつ第２の閾値以上の場合には送信頻度の低下を選択する。なお、送信頻度の低下量は固定値としても良いが、類似度が低いほど送信頻度が高くなるように設定しても良い。

（効果）
以上述べたように第２の実施形態では、各カメラＣＭ１〜ＣＭｉの映像データから、監視対象範囲に存在する複数のカメラＣＭ１〜ＣＭｉの撮影範囲の面積の合計値と、各カメラＣＭ１〜ＣＭｉの撮影範囲の重複部分の面積の合計値をそれぞれ算出し、撮影範囲の重複部分の面積が最少となりかつ撮影範囲の面積の合計値が最大となるように、上記各カメラＣＭ１〜ＣＭｉの中から送信抑制対象のカメラを選択し、当該選択したカメラに対し送信抑制制御信号を送信するようにしている。

従って、例えば、車両に搭載された複数のカメラＣＭ１〜ＣＭｉにより車両の前方、後方、側面および車内をそれぞれ撮影している場合に、隣接する２台のカメラの撮影範囲の重複部分の面積が閾値より大きい場合には、上記隣接する２台のカメラのうち予め設定されたカメラが送信抑制対象として選択され、当該カメラによる以後の送信が抑制される。このため、カメラＣＭ１〜ＣＭｉからエッジサーバＥＳ１への映像データの伝送トラフィックを低下させることができる。

また第２の実施形態では、各センサＳＳ１〜ＳＳｊのセンサデータから、予め設定された監視対象範囲に存在するセンサＳＳ１〜ＳＳｊにより検出された計測値間の差が算出される。そして、差が閾値以下のセンサデータの組み合わせが存在する場合に、当該センサデータの送信元となる各センサの中から送信抑制対象となするセンサが選択され、この選択されたセンサに対し送信抑制制御が行われる。

例えば、車両に複数の環境センサや車両の状態を計測する複数の車両センサが設置されている場合に、これらの環境センサ間または車両センサ間の計測値の差がしきい値以下の場合には、環境センサのうちの１つまたは車両センサの１つを除いた他の環境センサまたは車両センサが送信抑制対象として選択され、以後の送信が抑制される。このため、センサＳＳ１〜ＳＳｊからエッジサーバＥＳ１への映像データの伝送トラフィック量を低下させることができる。

しかも、第２の実施形態では、エッジサーバＥＳ１〜ＥＳｎにおいて、各カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊからの映像データおよびセンサデータの送信を抑制制御し、さらに当該映像データおよびセンサデータをクラウドＣＳへ送信する際にクラウドＣＳの処理に必要なデータのみを抽出して送信するようにしている。このため、エッジサーバＥＳ１〜ＥＳｎとクラウドＣＳとの間の通信ネットワークＮＷ１における伝送トラフィック量をさらに効果的に低減することができる。

［第３の実施形態］
第１および第２の実施形態では、各車両に、複数のカメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊと、エッジサーバＥＳ１，…，ＥＳｎを搭載し、カメラＣＭ１〜ＣＭｉおよびセンサＳＳ１〜ＳＳｊにより得られた映像データおよびセンサデータを、上記エッジサーバＥＳ１，…，ＥＳｎで収集して、クラウドＣＳへ送信する場合を例にとって説明した。

これに対し本発明に係るセンシングデータ処理システムの第３の実施形態は、複数のエッジサーバを地上に分散配置し、走行中の複数の車両から送信されたセンシングデータを、モバイルネットワークを介して上記複数のエッジサーバのいずれかで受信し、当該エッジサーバからネットワークを介してクラウドへ転送するものである。

（構成）
図１４は、第３の実施形態に係るセンシングデータ処理システムの全体構成を示す概略図である。なお、図１４において図１と同一機能を有する部分には同一符号を付してある。

エッジサーバＥＳ１〜ＥＳｎは、例えば、地域ごとに設置されるデータセンタや、高速道路や主要一般道等の監視対象となる道路の複数の区間に分散配置されている。エッジサーバＥＳ１〜ＥＳｎは、モバイルネットワークＮＷ２に収容され、道路の各区間を走行中の各車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍから送信された映像データおよびセンサデータを、モバイルネットワークＮＷ２を介して受信し、通信ネットワークＮＷ１を介してクラウドＣＳへ送信する。またエッジサーバＥＳ１〜ＥＳｎは、各車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍに対し、選択的に上記モバイルネットワークＮＷ２を介して送信抑制制御信号を送信する。なお、通信ネットワークＮＷ１には例えばインターネットが用いられ、モバイルネットワークＮＷ２には例えば無線ＬＡＮ（Local Area Network）が用いられる。

各車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍには、カメラおよびセンサを含む複数のセンシングデバイスと、無線通信ユニットが搭載されている。上記複数のセンシングデバイスおよび無線通信ユニットはセンシング装置を構成する。無線通信ユニットは、上記複数のセンシングデバイスにより得られた映像データおよびセンサデータを、上記モバイルネットワークＮＷ２を介して上記エッジサーバＥＳ１〜ＥＳｎへ送信する。また無線通信ユニットは、上記エッジサーバＥＳ１〜ＥＳｎから送信された送信抑制制御信号を受信する。そして、上記受信された送信抑制制御信号に応じて、エッジサーバＥＳ１〜ＥＳｎに対する映像データおよびセンサデータの送信を停止するかまたは抑制する。

ところで、エッジサーバＥＳ１〜ＥＳｎは、図１２に示したように、制御ユニット１と、記憶ユニット２と、入出力インタフェースユニット３と、通信インタフェースユニット４とを備えている。

このうち入出力インタフェースユニット３は、モバイルネットワークＮＷ２に対する無線インタフェース部を有し、車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍとの間で、映像データおよびセンサデータの受信と、送信抑制制御信号の送信を行う。

記憶ユニット２には、第２の実施形態（図１２）と同様に、カメラ映像記憶部２１と、センサデータ記憶部２２と、第１の条件記憶部２３と、第２の条件記憶部２４が設けられている。このうち第２の条件記憶部２４には、車両に対する送信抑制条件を表す情報が記憶される。送信抑制条件は、例えば、同一時間帯に複数の車両から映像データまたは静止画像データが送信された場合に、その撮影範囲の重複度合いに応じて送信抑制対象とする車両を選択するための条件（アルゴリズムと閾値等）を含む。また送信抑制条件は、例えば、同一時間帯に複数のセンサからセンサデータが送信された場合に、その計測値の類似度合いに応じて送信抑制対象とする車両を選択するための条件（アルゴリズムと閾値等）を含む。

制御ユニット１は、第２の実施形態（図１２）と同様に、カメラ映像取得処理部１１と、センサデータ取得処理部１２と、条件設定処理部１３と、情報抽出処理部１４と、カメラ映像／センサデータ送信抑制制御部１６とを備えている。

このうちカメラ映像／センサデータ送信抑制制御部１６は、第３の実施形態における特徴的な機能として以下の処理機能を有している。
(1) 同一時間帯に複数の車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍから送信された映像データまたは静止画像データを受信した場合に、第２の条件記憶部２４に記憶された送信抑制条件を表す情報に基づいて、上記映像データまたは静止画像データから、上記複数の車両に搭載された各カメラによる撮影範囲の面積の合計値と、上記各撮影範囲の重複部分の面積の合計値をそれぞれ算出する。そして、各撮影範囲の重複部分の面積が最少となり、かつ各撮影範囲の面積の合計値が最大となるように、各車両の中から送信抑制対象の車両を選択し、当該選択した車両に対する送信抑制制御信号を生成する処理。なお、撮影範囲の全体の面積でなく、撮影範囲の全体の面積から重複部分の面積を除いた面積を算出するようにしてもよい。

(2) 同一時間帯に複数の車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍから送信されたセンサデータを受信した場合に、上記第２の条件記憶部２４に記憶された送信抑制条件を表す情報に基づいて、上記各センサデータ間の類似度を算出する。そして、類似度が閾値以上の場合に、当該各センサデータを送信した複数の車両の中から送信抑制対象とする車両を選択し、当該選択した車両に対する送信抑制制御信号を生成する処理。

データ通信制御部１５は、上記情報抽出処理部１４の情報抽出処理により生成された抽出後のデータを、通信インタフェースユニット４からクラウドＣＳへ送信する処理と、上記カメラ映像／センサデータ送信抑制制御部１６により生成された送信抑制制御信号を、入出力インタフェースユニット３から制御対象の車両へモバイルネットワークＮＷ２を介して送信する処理を行う。

（動作）
次に、以上のように構成されたエッジサーバＥＳ１〜ＥＳｎによる送信抑制動作について説明する。
送信抑制制御の開始に先立ち、エッジサーバＥＳ１の第２の条件記憶部２４に、車両に対する送信抑制条件を表す情報が設定される。車両に対する送信抑制条件は、例えば、各車両に搭載されたカメラの撮影範囲の全体の面積と重複部分の面積に基づいて抑制対象のカメラを選択するアルゴリズムを定義している。送信抑制条件の設定は、システムの管理者等が管理用端末を操作して入力した条件を表す情報を、エッジサーバＥＳ１〜ＥＳｎが条件設定処理部１３の制御の下で受け付けて第２の条件記憶部２４に格納することにより行われる。

上記送信抑制条件の設定が終了し、エッジサーバＥＳ１〜ＥＳｎの運用が開始されると、道路を走行中の各車両から送信された映像データまたは静止画像データが、道路の区間ごとに設置されたエッジサーバ（例えばＥＳ１）により受信される。エッジサーバＥＳ１は、上記受信した映像データまたは静止画像データを、カメラ映像取得処理部１１の制御の下、カメラ映像記憶部２１に格納する。なお、各映像データまたは静止画像データには、送信元となる車両の識別情報（車両ＩＤ）と撮影日時を示すタイムスタンプ情報が付与される。

この状態で、エッジサーバＥＳ１は、カメラ映像／センサデータ送信抑制制御部１６の制御の下、先ずカメラ映像記憶部２１から、複数の車両（例えばＭＳ１１〜ＭＳ１ｍ）において同一時間帯に撮影された映像データ又は静止画像データを読み出す。そして、上記読み出された各車両ＭＳ１１〜ＭＳ１ｍの映像データ又は静止画像データから、各車両ＭＳ１１〜ＭＳ１ｍによる撮影範囲の面積の合計値と、撮影範囲の重複部分の面積の合計値をそれぞれ算出する。各車両ＭＳ１１〜ＭＳ１ｍの撮影範囲は、例えば、車両ＭＳ１１〜ＭＳ１ｍに搭載された位置センサおよびジャイロにより計測される走行位置の情報と進行方向と、予め固定的に設定されたカメラの画角などをもとに算出することができる。

上記重複部分の面積は以下の方法により概算することができる。すなわち、先ず車両ＭＳ１１〜ＭＳ１ｍ間の撮影範囲の交点を算出する。次に、座標点で囲まれる多角形の面積を求める公式等の既存の方法を用いて、上記算出した交点座標を代入し、重複部分の面積を算出する。そして、遺伝的アルゴリズム等の既存の手法を用いて、各車両ＭＳ１１〜ＭＳ１ｍによる撮影範囲の重複部分の面積が最少となり、かつ各車両ＭＳ１１〜ＭＳ１ｍによる撮影範囲の面積の合計値が最大となるように、送信抑制制御の対象となる車両を選択する。

例えば、複数の車線の互いに隣接する位置を走行する３台の車両ＭＳ１１，ＭＳ１２，ＭＳ１３の撮影範囲が部分的に重複している場合、その重複部分の面積が上記最小値を規定する閾値以上か否かが判定される。そして、重複部分の面積が閾値以上の場合には、この条件の下で撮影範囲の合計値が最大となるような車両の組み合わせが決定され、その決定結果に基づいて送信抑制対象の車両、例えばＭＳ１１，ＭＳ１３が選択される。なお、上記決定結果に基づいて、送信抑制対象の車両としてＭＳ１１，ＭＳ１２，ＭＳ１３のうちの１台のみを選択し、その他の車両については送信を継続させるようにしてもよい。

なお、上記した座標点で囲まれる多角形の面積を求める公式は、例えばインターネットURL＜http://keisan.casio.jp/exec/system/1377138797＞に記載されている。また遺伝的アルゴリズムについては、例えばJuan J. Durillo, Antonio J. Nebro and Enrique Alba, "The jMetal Framework for Multi-Objective Optimization: Design and Architecture,", Evolutionary Computation Congress, 2010.に記載されている。

続いてカメラ映像／センサデータ送信抑制制御部１６は、上記送信抑制対象として選択された車両ＭＳ１１，ＭＳ１３に対する送信抑制制御信号を生成し、当該送信抑制制御信号を入出力インタフェースユニット３から送信抑制対象の車両ＭＳ１１，ＭＳ１３に向け送信する。上記送信抑制制御信号には、送信停止指示または送信頻度の低下指示が含められる。送信頻度は、送信データの送信周期または送信データ量として定義される。

車両ＭＳ１１，ＭＳ１３は、上記送信抑制制御信号を受信すると、受信された送信抑制制御信号に含まれる指示に応じて、それ以降の映像データまたは静止画像データの送信を停止するかまたは送信頻度を下げる。

なお、送信抑制信号に送信停止指示を含めるか、送信頻度の低下指示を含めるかは、上記車両の撮影範囲の重複部分の面積の大きさに応じて選択すればよい。例えば、重複部分の面積が上記最小値に対応する第１の閾値以上でかつ第２の閾値未満の場合には送信頻度の低下指示を選択し、上記第２の閾値以上の場合には送信停止指示を選択する。

以上の説明では、車両に対する映像データまたは静止画像データの送信を抑制する動作について述べたが、車両に対するセンサデータの送信抑制制御についても同様に行うことができる。このセンサデータの送信抑制制御の動作例は第２の実施形態で述べたので、ここでの説明は省略する。

また以上の説明では、車両に対する送信抑制制御を主として述べたが、エッジサーバＥＳ１〜ＥＳｎが、各車両から送信された映像データおよびセンサデータをクラウドＣＳへ転送する際に、クラウドＣＳが必要とする情報を抽出して送信する情報抽出処理を行うことも勿論可能である。この情報抽出処理の具体例は第１の実施形態で述べたので、ここでの説明は省略する。

（効果）
以上述べたように第３の実施形態では、道路の区間ごとにエッジサーバＥＳ１〜ＥＳｎを設置し、これらのエッジサーバＥＳ１〜ＥＳｎにより、上記各区間を走行中の複数の車両の撮影範囲の重複状態に基づいて送信抑制対象の車両を選択し、当該車両による映像データまたは静止画像データの送信を抑制するようにしている。

従って、例えばある特定の車両に搭載されたカメラの撮影範囲と、近くを走行する他の複数の周辺車両に搭載されたカメラの撮影範囲とが重複する場合に、その重複度合いに応じて、上記周辺車両の送信を停止させるかまたは送信頻度を低下させることができる。これにより、複数の車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍとエッジサーバＥＳ１〜ＥＳｎとの間、延いてはエッジサーバＥＳ１〜ＥＳｎとクラウドＣＳとの間における映像データまたは静止画像データの伝送トラフィック量を低下させることが可能となる。

また、上記した車両ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍに対する送信抑制制御を、複数のエッジサーバＥＳ１〜ＥＳｎにより分散処理している。このため、各エッジサーバＥＳ１〜ＥＳｎの処理負荷を低く抑えることができ、これにより比較的安価な設備により応答性の良い送信抑制制御を実現できる。

図１５は、ある特定の車両に搭載されたカメラの撮影範囲内に、同様に映像データを送信している他の車両が１台以上存在する場合に、上記各車両に対しそのうちの１台に映像データの送信を停止させ、その他の車両による映像データの送信を継続させるように送信抑制制御を行った場合と、送信抑制制御を行わない場合との間で、実際の車両密度データを用いて伝送トラフィック量をシミュレーション評価した例を示すものである。車両密度データは、参考例に示す中規模都市（ドイツ・ケルン、20km×20kmにおける）のもので、車両台数がピーク時の１５，５２２台のときのトラフィック削減効果を示している。この例では、送信抑制制御を行った場合に、図示するように伝送トラフィック量を平均で４１．１５％削減することができた。なお、上記シミュレーション評価結果は、各車両の撮影範囲の面積や重複した箇所の面積を算出するのは省略し、各車両の撮影範囲内の他車両の有無のみを判定して送信抑制を行った場合と行わない場合の伝送の伝送トラヒック量の比較結果の一例を示したものである。

なお、評価用元映像には、実際に車両に搭載されたドライブレコーダのカメラにより解像度１，９２０×１，０８０画素で撮影した１分間の映像を用いた。送信抑制制御を行わない場合の伝送トラフィック量は、１分間の映像データ（１fpsのM-JPEG）のトラフィック量の合計値を測定した。

一方、送信抑制制御を行った場合のトラフィック量は、１分間の映像データにおける情報抽出処理後のトラフィック量を測定した。また、上記ドイツ・ケルンにおける参考例は、 S. Uppoor et al., “Large-scale urban vehicular mobility for networking research,” Proc. of IEEE Vehicular Networking Conference, 2011.に記載されている。

また第３の実施形態では、先に述べた第２の実施形態と同様に、エッジサーバＥＳ１〜ＥＳｎにおいて、各車両からのセンシングデータの送信を抑制制御し、さらに当該センシングデータをクラウドＣＳへ送信する際にクラウドＣＳの処理に必要な情報のみを抽出して送信するようにしている。このため、エッジサーバＥＳ１〜ＥＳｎとクラウドＣＳとの間の通信ネットワークＮＷ１における伝送トラフィック量をさらに効果的に低減することができる。

［その他の実施形態］
（１）前記第１の実施形態では、いずれの実施例も深層学習により生成した学習データを用いて情報抽出処理をする場合を例にとって説明したが、必ずしも深層学習による学習データを用いなくてもよい。
また、深層学習を利用する情報抽出処理と、深層学習を利用しない処理負荷が軽量な送信抑制制御処理とを併用することも考えられる。例えば、ダイナミックマップを作成する場合、車両が停止しているときには車両の映像配信動作を停止させ、走行している車両から（または複数の車両が近くに存在する場合には指定した車両のみから）車載カメラの映像データを配信させる。エッジサーバの情報抽出部では、取得した映像データを上述した深層学習を利用した手順で情報抽出処理し、この情報抽出されたデータをクラウドのアプリケーション処理部に送信する。以上は、路面診断処理や周辺風景閲覧画像の作成処理においても同様に適用できる。

（２）前記第３の実施形態では、送信抑制対象とする車両の選択を各車両による撮影範囲の重複度合いに基づいて行うようにした。しかし、それに限定されるものではなく、送信抑制対象とする車両の選択を、センシング条件の類似度合いに基づいて行うようにしてもよい。

例えば、走行中の各車両から送信される車両の位置情報に基づいて各車両間の接近の度合いを推定し、その推定結果に基づいて接近して走行している複数の車両の一部を送信抑制対象の車両として選択する。なお、道路の走行状態を監視するカメラの映像データに基づいて各車両間の接近の度合いを推定することも可能である。また、接近の度合いの定義は、例えば半径何メートル以内、同じ車線で前後何メートル以内というように設定することができる。

また、複数のセンシング装置が存在するエリアの環境条件（温度、湿度、気圧、騒音レベル）をセンシング条件とし、その類似度をもとに複数のセンシング装置の中から送信抑制対象のセンシング装置を選択するようにしてもよい。このようにすると、例えば同一エリアに存在する複数のセンシング装置が、センサにより上記した環境条件を計測してそのセンサデータを送信する場合には、上記複数のセンシング装置からのセンサデータの送信を抑制することができる。

（３）送信抑制対象の車両の選択手法としては、他に、例えば区間に進入した時刻や順序に基づいて、区間への進入が最も早い車両または車両群、或いは最も遅い車両または車両群を選択するようにしてもよい。さらには、一定の範囲内で接近して走行している複数の車両のうち、送信中の映像データまたは静止画像データの解像度が最も高い車両を除いた他の車両を送信抑制対象として選択するようにしてもよい。

さらに、センサから取得した車両ＩＤと車両の速度情報とをもとに車両の速度が設定値以下であるか否かを判定し、速度が設定値以下の場合には当該車両を送信抑制対象とし、当該車両に対し映像データまたは静止画像データの送信をさせる送信抑制制御信号を送信するようにしてもよい。

（４）カメラとエッジサーバが車両に搭載される場合には、例えばドライブレコーダのように、カメラとエッジサーバとが一体的に構成されていてもよく、その他エッジサーバの設置場所や機能構成、クラウドにおけるアプリケーション処理の種類や内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

Ｓ１１〜Ｓ１ｍ，Ｓ２１〜Ｓ２ｍ，Ｓｎ１〜Ｓｎｍ…センシングデバイス、ＣＭ１〜ＣＭｉ…カメラ、ＳＳ１〜ＳＳｊ…センサ、ＥＳ１〜ＥＳｎ…エッジサーバ、ＣＳ…クラウド、ＮＷ，ＮＷ１…ネットワーク（インターネット）、ＮＷ２…モバイルネットワーク、ＭＳ１１〜ＭＳ１ｍ，ＭＳ２１〜ＭＳ２ｍ，…，ＭＳｎ１〜ＭＳｎｍ…車両、１…エッジサーバの制御ユニット、２…エッジサーバの記憶ユニット、３…エッジサーバの入出力インタフェースユニット、４…エッジサーバの通信インタフェースユニット、５…クラウドの制御ユニット、６…クラウドのデータベース、７…クラウドの通信インタフェースユニット、１１…カメラ映像取得処理部、１２…センサデータ取得処理部、１３…条件設定処理部、１４…情報抽出処理部、１５…データ通信制御部、１６…カメラ映像／センサデータ送信抑制制御部、２１…カメラ映像記憶部、２２…センサデータ記憶部、２３…第１の条件記憶部、２４…第２の条件記憶部、５１…アプリケーション処理部。

Claims (13)

1. センシングデータを送信するセンシング装置と、前記センシングデータに基づいて所定の処理を行うクラウドと、前記センシング装置と前記クラウドとの間に配置されるエッジサーバとを備えるセンシングデータ処理システムであって、
   前記エッジサーバは、
   前記クラウドにおいて行われる前記所定の処理に対応する情報抽出条件を記憶する条件記憶部と、
   前記センシング装置から送信されたセンシングデータを受信する受信手段と、
   前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに対し、前記所定の処理に必要なデータ要素を抽出しかつ不必要なデータ要素を削除する情報抽出処理を行う情報抽出手段と、
   前記情報抽出処理された後のデータを前記クラウドへ送信する送信手段と
   を備えることを特徴とするセンシングデータ処理システム。
2. センシングデータを送信する複数のセンシング装置と、前記センシングデータに基づいて所定の処理を行うクラウドと、前記複数のセンシング装置と前記クラウドとの間に配置されるエッジサーバとを備えるセンシングデータ処理システムであって、
   前記エッジサーバは、
   前記複数のセンシング装置に対する送信抑制条件を記憶する条件記憶部と、
   前記複数のセンシング装置によるセンシング条件またはセンシング結果の類似度合いを求め、当該類似度合いと前記記憶された送信抑制条件とに基づいて、前記複数のセンシング装置の中から前記センシングデータの送信を抑制する対象となるセンシング装置を選択し、当該選択したセンシング装置に対しセンシングデータの送信を抑制するための送信抑制制御信号を送信する送信抑制制御手段と
   を備えるセンシングデータ処理システム。
3. センシングデータを送信するセンシング装置と、前記センシングデータに基づいて所定の処理を行うクラウドとの間に配置されるエッジサーバであって、
   前記クラウドにおいて行われる前記所定の処理に対応する情報抽出条件を記憶する条件記憶部と、
   前記センシング装置から送信されたセンシングデータを受信する受信手段と、
   前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに対し、前記所定の処理に必要なデータ要素を抽出しかつ不必要なデータ要素を削除する情報抽出処理を行う情報抽出手段と、
   前記情報抽出処理された後のデータを前記クラウドへ送信する送信手段と
   を具備することを特徴とするエッジサーバ。
4. 前記センシング装置が、オブジェクトを含む映像データを出力し、かつ前記クラウドが前記映像データに含まれるオブジェクトを地図データにマッピングする処理を行う場合に、
   前記条件記憶部は、前記オブジェクトを抽出しそれ以外を削除するための情報抽出条件を記憶し、
   前記情報抽出手段は、前記記憶された情報抽出条件に基づいて前記映像データから前記オブジェクトを抽出して、当該オブジェクトと属性情報およびその位置情報とを含む情報抽出データを生成し、
   前記送信手段は、前記生成された情報抽出データを前記クラウドへ送信する
   ことを特徴とする請求項３に記載のエッジサーバ。
5. 前記情報抽出手段は、前記抽出されたオブジェクトの識別情報、属性情報および位置情報をテキストデータに変換し、当該テキストデータを情報抽出データとする、請求項４に記載のエッジサーバ。
6. 前記センシング装置が、監視対象物の画像と当該監視対象物を遮る遮蔽物の画像とを含む映像データを送信し、かつ前記クラウドが前記映像データに含まれる監視対象物の画像をもとに当該監視対象物の状態を判定する処理を行う場合に、
   前記条件記憶部は、前記監視対象物を含む画像領域の抽出および前記遮蔽物の削除の少なくとも一方を行うための情報抽出条件を記憶し、
   前記情報抽出手段は、前記記憶された情報抽出条件に基づいて、前記映像データから前記監視対象物を含む画像領域を抽出する処理と前記遮蔽物の画像を削除する処理の少なくとも一方を行うことで情報抽出データを生成し、
   前記送信手段は、前記生成された情報抽出データを前記クラウドへ送信する
   ことを特徴とする請求項３に記載のエッジサーバ。
7. 前記センシング装置が、留置対象物が含まれる風景を撮影した画像と当該画像に混入した侵入物の画像とを含む映像データを送信し、かつ前記クラウドが前記映像データに基づいて周辺風景閲覧画像を生成する処理を行う場合に、
   前記条件記憶部は、前記留置対象物の特徴量の抽出と、前記侵入物の画像の削除または当該侵入物以外の画像の抽出との少なくとも一方を行うための情報抽出条件を記憶し、
   前記情報抽出手段は、前記記憶された情報抽出条件に基づいて、前記映像データから前記留置対象物の特徴量を抽出する処理と、前記侵入物を削除するか又は前記侵入物以外の画像を抽出する処理の少なくとも一方を行うことで情報抽出データを生成し、
   前記送信手段は、前記生成された情報抽出データを前記クラウドへ送信する
   ことを特徴とする請求項３に記載のエッジサーバ。
8. センシングデータを送信するセンシング装置と、前記センシングデータに基づいて所定の処理を行うクラウドとの間に配置されるエッジサーバであって、
   前記複数のセンシング装置に対する送信抑制条件を記憶する条件記憶部と、
   前記複数のセンシング装置によるセンシング条件またはセンシング結果の類似度合いを求め、当該類似度合いと前記記憶された送信抑制条件とに基づいて、前記複数のセンシング装置の中から前記センシングデータの送信を抑制する対象となるセンシング装置を選択し、当該選択したセンシング装置に対しセンシングデータの送信を抑制するための送信抑制制御信号を送信する送信抑制制御手段と
   を具備するエッジサーバ。
9. 前記送信抑制制御手段は、前記複数のセンシング装置の地理的な位置関係を表す情報を取得し、当該取得した位置関係を表す情報に基づいて前記複数のセンシング装置によるセンシング対象範囲の重複度合いを推定し、前記推定された重複度合いが予め設定した閾値以上の場合に、前記センシング対象範囲が重複する複数のセンシング装置の中から送信抑制対象となるセンシング装置を選択し、当該選択したセンシング装置に対し送信抑制制御信号を送信する、請求項８に記載のエッジサーバ。
10. 前記送信抑制制御手段は、前記複数のセンシング装置から受信した映像データの撮影範囲をもとに当該各撮影範囲の面積の合計値と重複部分の面積の合計値をそれぞれ算出し、前記算出された重複部分の面積が最小でかつ前記算出された各撮影範囲の面積の合計値が最大となるように、前記複数のセンシング装置の中から送信抑制対象のセンシング装置を選択し、当該選択されたセンシング装置に対し前記送信抑制制御信号を送信する、請求項８に記載のエッジサーバ。
11. センシングデータを出力するセンシング装置と、前記センシングデータに基づいて所定の処理を行うクラウドとの間に配置されるエッジサーバが実行する伝送トラフィック削減方法であって、
    前記クラウドにおいて行われる前記所定の処理に対応する情報抽出条件を条件記憶部に記憶させる過程と、
    前記センシング装置から出力されたセンシングデータを受信する過程と、
    前記条件記憶部に記憶された情報抽出条件に基づいて、前記受信されたセンシングデータに対し、前記所定の処理に必要なデータ要素を抽出しかつ不必要なデータ要素を削除する情報抽出処理を行う過程と、
    前記情報抽出処理された後のデータを前記クラウドへ送信する過程と
    を具備することを特徴とする伝送トラフィック削減方法。
12. センシングデータを出力するセンシング装置と、前記センシングデータに基づいて所定の処理を行うクラウドとの間に配置されるエッジサーバが実行する伝送トラフィック削減方法であって、
    前記複数のセンシング装置に対する送信抑制条件を条件記憶部に記憶させる過程と、
    前記複数のセンシング装置によるセンシング条件またはセンシング結果の類似度合いを求める過程と、
    前記類似度合いと前記記憶された送信抑制条件とに基づいて、前記複数のセンシング装置の中から前記センシングデータの送信を抑制する対象となるセンシング装置を選択する過程と、
    前記選択されたセンシング装置に対しセンシングデータの送信を抑制するための送信抑制制御信号を送信する過程と
    を具備することを特徴とする伝送トラフィック削減方法。
13. 請求項３乃至請求項１０のいずれかに記載のエッジサーバが備える前記各手段の処理を、前記エッジサーバが備えるプロセッサに実行させるプログラム。