JP2022159912A - 遠隔監視システム、遠隔監視方法、遠隔監視サーバ、及び車載情報処理装置 - Google Patents

Abstract

【課題】通信コストを低減しつつ、監視画面に表示される物体の検出結果の精度を向上させることができる遠隔監視技術を提供する。【解決手段】車載情報処理装置２０は、カメラ１２の画像ＩＭＧを圧縮し、圧縮画像ＣＩＭＧと画像ＩＭＧの取得時刻を示すタイムスタンプＴＳとを含む第１データＤＴ１を送信する。また、車載情報処理装置２０は、画像ＩＭＧに基づく物体検出結果ＯＤＲと画像ＩＭＧの取得時刻を示すタイムスタンプＴＳとを含む第２データＤＴ２を送信する。遠隔監視サーバ４０は、第１データＤＴ１と第２データＤＴ２とを受信してそれぞれメモリに格納する。遠隔監視サーバ４０は、タイムスタンプＴＳが同時刻である圧縮画像ＣＩＭＧと物体検出結果ＯＤＲとをメモリから時系列に抽出し、圧縮画像ＣＩＭＧを復元した復元画像ＤＩＭＧと物体検出結果ＯＤＲとを重畳して監視画面に表示する。【選択図】図９

Description

本開示は、車両を遠隔監視に用いて好適な遠隔監視システム、遠隔監視方法、遠隔監視サーバ、及び車載情報処理装置に関する。

特許文献１には、自律運転が不可能になった自律走行車両を遠隔操作する遠隔操作装置に関する技術が開示されている。この従来技術に係る遠隔操作装置は、自律走行車両に搭載されたカメラで撮影された画像を表示部に表示する際、撮影された画像を解析し、特定の物体をその画像に強調表示する。

カメラで撮影された画像は、圧縮されてから自律走行車両から遠隔操作装置へ送信される。画像の圧縮は通信コストを低減する上で必須であるが、圧縮されることで画像の解像度は低下する。このため、上記の従来技術には、画像を精度よく解析することができず、特定の物体に対する強調表示が適切に行われないおそれがある。

なお、本出願が属する技術分野の技術レベルを表す先行技術文献としては、上記の特許文献１の他、下記の特許文献２及び特許文献３を例示することができる。

特開２０２０－１６１０３９号公報 特開２０１８－５６８３８号公報 特開２０１１－９６０６３号公報

本開示は、上述のような課題に鑑みてなされたものである。本開示は、通信コストを低減しつつ、監視画面に表示される物体の検出結果の精度を向上させることができる遠隔監視システム、及び遠隔監視方法を提供することを第１の目的とする。

また、本開示は、車載情報処理装置との間での通信コストを低減しつつ、監視画面に表示される物体の検出結果の精度を向上させることができる遠隔監視サーバを提供することを第２の目的とする。

さらに、本開示は、遠隔監視サーバとの間の通信コストを低減しつつ、遠隔監視サーバにおいて監視画面に表示される物体の検出結果の精度を向上させることができる車載情報処理装置を提供することを第３の目的とする。

本開示に係る遠隔監視システムは、車両に搭載されたカメラと、車両に搭載されカメラと接続された車載情報処理装置と、車載情報処理装置と通信ネットワークを介して接続された遠隔監視サーバとを備える。車載情報処理装置は、以下の物体検出処理、圧縮処理、第１データ送信処理、及び第２データ送信処理を実行する。遠隔監視サーバは、以下の第１データ受信処理、第２データ受信処理、抽出処理、及び表示処理を実行する。

車載情報処理装置による物体検出処理では、カメラで取得された画像から車両の前方の物体を検出することが行われる。圧縮処理では、画像を圧縮して圧縮画像を生成することが行われる。第１データ送信処理では、圧縮画像と圧縮前の画像の画像取得時刻とを含む第１データを遠隔監視サーバに送信することが行われる。第２データ送信処理では、物体検出結果と物体検出に用いられた画像の画像取得時刻とを含む第２データを遠隔監視サーバに送信することが行われる。

遠隔監視サーバによる第１データ受信処理では、車載情報処理装置から送信された第１データを受信してメモリに蓄積することが行われる。第２データ受信処理では、車載情報処理装置から送信された第２データを受信してメモリに蓄積することが行われる。抽出処理では、メモリから画像取得時刻が同時刻である圧縮画像と物体検出結果とを時系列に抽出することが行われる。表示処理では、抽出された圧縮画像を復元した復元画像と抽出された物体検出結果とを重畳して監視画面に表示することが行われる。

本遠隔監視システムにおいて、車載情報処理装置は、第３データ送信処理をさらに実行し、遠隔監視サーバは、第３データ受信処理をさらに実行してもよい。第３データ送信処理では、車載センサのセンサ信号から得られたセンサ情報とセンサ信号の信号取得時刻とを含む第３データを送信することが行われる。第３データ受信処理では、車載情報処理装置から送信された第３データを受信してメモリに蓄積する。この場合、遠隔監視サーバによる抽出処理では、メモリから画像取得時刻が同時刻である圧縮画像と物体検出結果とを時系列に抽出することと、信号取得時刻が画像取得時刻と同時刻であるセンサ情報を時系列に抽出することとが行われる。また、表示処理では、抽出されたセンサ情報を抽出された物体検出結果とともに復元画像に重畳して監視画面に表示することが行われる。

本開示に係る遠隔監視方法は、通信ネットワークを介して接続された車載情報処理装置と遠隔監視サーバとを用いて車両を遠隔監視する方法である。本遠隔監視方法は、車載情報処理装置に、車両に搭載されたカメラで取得された画像から車両の前方の物体を検出させ、画像を圧縮して圧縮画像を生成させ、圧縮画像と圧縮前の画像の画像取得時刻とを含む第１データを送信させ、物体検出結果と物体検出に用いられた画像の画像取得時刻とを含む第２データを送信させる。また、本遠隔監視法は、遠隔監視サーバに、第１データを受信してメモリに蓄積させ、第２データを受信してメモリに蓄積させ、メモリから画像取得時刻が同時刻である圧縮画像と物体検出結果とを時系列に抽出させ、抽出された圧縮画像を復元した復元画像と抽出された物体検出結果とを重畳して監視画面に表示させる。

本遠隔監視方法は、車載情報処理装置に、車載センサのセンサ信号から得られたセンサ情報とセンサ信号の信号取得時刻とを含む第３データを送信させてもよい。本遠隔監視方法は、遠隔監視サーバに、第３データを受信してメモリに蓄積させ、メモリから画像取得時刻が同時刻である圧縮画像と物体検出結果とを時系列に抽出させるとともに信号取得時刻が画像取得時刻と同時刻であるセンサ情報を時系列に抽出させ、抽出されたセンサ情報を物体検出結果とともに復元画像に重畳して監視画面に表示させてもよい。

本開示に係る遠隔監視サーバは、車載情報処理装置と通信ネットワークを介して接続されたサーバである。本遠隔監視サーバは、１つ又は複数のプログラムを記憶した１つ又は複数のメモリと、１つ又は複数のメモリと結合された１つ又は複数のプロセッサとを備える。１つ又は複数のプロセッサは、１つ又は複数のプログラムの実行時、以下の処理を実行する。

本遠隔監視サーバの１つ又は複数のプロセッサにより実行される処理では、車載カメラで取得された画像を圧縮して生成された圧縮画像と圧縮前の画像の画像取得時刻とを含む第１データを車載情報処理装置から受信して１つ又は複数のメモリに蓄積することが行われる。また、画像に基づく物体検出結果と物体検出に用いられた画像の画像取得時刻とを含む第２データを車載情報処理装置から受信して１つ又は複数のメモリに蓄積することが行われる。さらに、１つ又は複数のメモリから画像取得時刻が同時刻である圧縮画像と物体検出結果とを時系列に抽出することが行われる。さらに、抽出された圧縮画像を復元した復元画像と抽出された物体検出結果とを重畳して監視画面に表示することが行われる。

本開示に係る車載情報処理装置は、遠隔監視サーバと通信ネットワークを介して接続された装置である。本車載情報処理装置は、１つ又は複数のプログラムを記憶した１つ又は複数のメモリと、１つ又は複数のメモリと結合された１つ又は複数のプロセッサとを備える。１つ又は複数のプロセッサは、１つ又は複数のプログラムの実行時、以下の処理を実行する。

本車載情報処理装置の１つ又は複数のプロセッサにより実行される処理では、車載カメラで取得された画像から車両の前方の物体を検出することが行われる。また、画像を圧縮して圧縮画像を生成することが行われる。また、圧縮画像と圧縮前の画像の画像取得時刻とを含む第１データを遠隔監視サーバに送信することが行われる。さらに、物体検出結果と物体検出に用いられた画像の画像取得時刻とを含む第２データを遠隔監視サーバに送信することが行われる。

本開示によれば、圧縮される前の画像から物体の検出を行うので、圧縮された画像から物体の検出を行う場合のような検出精度の低下を防ぐことができる。これにより、車載情報処理装置との間での通信コストを低減しつつ、監視画面に表示される物体の検出結果の精度を向上させることが可能となる。

本開示の実施形態に係る遠隔監視システムの構成を概略的に示す図である。 遠隔監視システムの課題について説明するための圧縮前の画像の一例を示す図である。 遠隔監視システムの課題について説明するための圧縮前の画像からの物体検出結果の一例を示す図である。 遠隔監視システムの課題について説明するための圧縮後の画像の一例を示す図である。 遠隔監視システムの課題について説明するための圧縮後の画像からの物体検出結果の一例を示す図である。 本開示の実施形態に係る遠隔監視システムの特徴の概要を説明する図である。 本開示の第１実施形態に係る車両の構成を示すブロック図である。 本開示の第１実施形態に係る遠隔監視センタの構成を示すブロック図である。 本開示の第１実施形態に係る車載情報処理装置と遠隔監視サーバの各プロセッサにより実行される処理を示すブロック図である。 本開示の第２実施形態に係る車両の構成を示すブロック図である。 本開示の第２実施形態に係る遠隔監視センタの構成を示すブロック図である。 本開示の第２実施形態に係る車載情報処理装置と遠隔監視サーバの各プロセッサにより実行される処理を示すブロック図である。

以下、図面を参照して本開示の実施形態について説明する。ただし、以下に示す実施形態において各要素の個数、数量、量、範囲等の数に言及した場合、特に明示した場合や原理的に明らかにその数に特定される場合を除いて、その言及した数に、本開示に係る思想が限定されるものではない。また、以下に示す実施形態において説明する構造等は、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、本開示に係る思想に必ずしも必須のものではない。

１．遠隔監視システムの概略構成
図１は、本開示の実施形態に係る遠隔監視システムの構成を概略的に示す図である。遠隔監視システム２は、道路を走行する車両１０を遠隔オペレータ５０によって遠隔監視するシステムである。本開示における遠隔監視は、車両１０を遠隔運転するための監視、自律走行する車両１０を状況に応じて遠隔支援するための監視、及び、自律走行する車両１０の周辺環境を確認するための監視を含む。

遠隔監視の対象となる車両１０はカメラ１２を備えている。カメラ１２はステレオカメラでもよいし単眼カメラでもよい。カメラ１２の撮影範囲ＩＡは、少なくとも車両１０の進行方向の前方をカバーしている。例えば、車両１０が走行車線ＤＬを走行している場合、走行車線ＤＬの前方とその左右両側がカメラ１２の撮影範囲ＩＡに含まれる。

車両１０は、車載情報処理装置２０を備える。カメラ１２で撮影された画像は、車載情報処理装置２０に入力される。車載情報処理装置２０は、遠隔監視センタ３０の遠隔監視サーバ４０と通信ネットワーク８を介して接続されている。通信ネットワーク８は、４Gや５G等の移動体通信を含む。カメラ１２で撮影された画像は、車載情報処理装置２０から通信ネットワーク８を介して遠隔監視サーバ４０に送られる。

遠隔監視センタ３０では、車載情報処理装置２０から遠隔監視サーバ４０に送られてきたカメラ１２の画像が表示装置３２の監視画面３２ａに表示される。表示装置３２としては、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ヘッドマウントディスプレイ、タッチパネルを用いることができる。遠隔オペレータ５０は、表示装置３２の監視画面３２ａに映し出されるカメラ１２の画像によって、車両１０の前方を監視することができる。例えば、カメラ１２の撮影範囲ＩＡに障害物ＯＪが存在する場合、遠隔オペレータ５０は、表示装置３２の監視画面３２ａにおいて障害物ＯＪの存在を認識することができる。

遠隔監視システム２は、遠隔オペレータ５０による障害物ＯＪの認識を補助する機能を有している。カメラ１２の画像に映っている障害物ＯＪは、パターンマッチングやディープラーニング等の画像解析技術を用いることで自動検出することができる。この物体検出機能を用いて画像に映っている障害物ＯＪを特定することで、監視画面３２ａのどこに障害物ＯＪが存在するのかを遠隔オペレータ５０に教えることができる。

一方で、遠隔監視システム２には通信コストの低減が求められている。カメラ１２で撮影された画像は車載情報処理装置２０においてエンコードされ、エンコードされた画像データが遠隔監視サーバ４０に送信される。このエンコードにおいて、カメラ１２で撮影された画像は所定の圧縮方式によって圧縮される。車載情報処理装置２０から遠隔監視サーバ４０に送信された画像データは、遠隔監視サーバ４０においてデコードされる。表示装置３２には、遠隔監視サーバ４０によるデコードにより復元された画像が表示される。

なお、画像の送信形式に限定はなく、画像の圧縮方式にも限定はない。画像の送信形式が動画ストリーム形式である場合、画像の圧縮方式として、例えば、Ｈ．２６４、Ｈ．２６５、ＶＰ８、ＶＰ９、ＶＰ１０，ＡＶ１を用いることができる。画像の送信形式が画像毎に送信する形式である場合、画像の圧縮方式として、例えば、ＪＰＥＧ、Ｍｏｔｉｏｎ ＪＰＥＧ、ＰＮＧを用いることができる。好ましくは、Ｈ．２６４、ＶＰ８、或いはＶＰ９が使用される。Ｍｏｔｉｏｎ ＪＰＥＧ、ＶＰ１０、及びＡＶ１も遠隔監視システム２に好適な圧縮形式である。

２．遠隔監視システムの課題
上述のように、遠隔監視システム２に対しては、カメラ１２で撮影された画像からの物体検出による遠隔オペレータ５０の補助と、カメラ１２で撮影された画像の圧縮による通信コストの低減とが要求されている。しかし、これら２つの要求を同時に満たすことは容易では無い。

ここで、４つの画像を示す。図２は、カメラ１２で撮影された元画像、すなわち、圧縮前の画像の一例を示す図である。図３は、図２に示す元画像からの物体検出結果の一例を示す図である。図４は、図２に示す元画像を圧縮した画像、すなわち、圧縮後の画像の一例を示す図である。図５は、図４に示す圧縮後の画像からの物体検出結果の一例を示す図である。ただし、これらの画像は本来はカラー画像であるが、出願書類としての都合上、図では二値化されている。

表示装置３２の監視画面３２ａに表示されるのは、図４に示す圧縮後の画像である。しかし、圧縮後の画像は元画像に対して解像度が低下する。このことは、図２に示す画像と図４に示す画像との比較からも分かるように、二値化された状態の画像からも明白である。このため、図３に示すように、解像度の高い元画像からは２人の人物と２台の車両が検出されているのに対し、図５に示すように、圧縮後の画像からは２台の車両が検出できていない。

上記の例のように、圧縮後の画像からは検出されるべき物体が検出できない場合がある。また、上記の例には無いが、圧縮後の画像からは存在しない物体が誤検出される場合もある。つまり、車載情報処理装置２０から遠隔監視サーバ４０に送信される画像は圧縮されている必要があるが、圧縮された画像からは車両１０の前方の物体を高い精度で検出することはできない。

３．遠隔監視システムの特徴の概要
遠隔監視システム２では、上記の課題は次のように解決されている。図６は、遠隔監視システム２の特徴の概要を説明する図である。

図６には、遠隔監視システム２における情報の流れが示されている。遠隔監視システム２では、車載情報処理装置２０において圧縮前の元画像から圧縮画像が得られる。さらにこれと並行して、車載情報処理装置２０において圧縮前の元画像から物体検出結果が得られる。別々に得られた圧縮画像と物体検出結果とは、通信ネットワーク８を介して車載情報処理装置２０から遠隔監視サーバ４０に別々に送信される。つまり、遠隔監視システム２では、カメラ１２の画像から物体を検出する処理は、遠隔監視サーバ４０への画像の送信前に車載情報処理装置２０において行われ、しかも、圧縮画像に対してではなく圧縮前の元画像に対して行われる。

車載情報処理装置２０から遠隔監視サーバ４０に送信された圧縮画像は、遠隔監視サーバ４０において復元される。車載情報処理装置２０から圧縮画像とは別々に送信された物体検知結果は、遠隔監視サーバ４０により復元画像に重畳される。これにより、復元画像に物体検知結果が重畳された重畳表示画面が得られる。具体例を挙げて説明すると、表示装置３２の監視画面３２ａには、図４に示す圧縮後の画像が表示され、そこに図３に示す物体検出結果が重畳表示される。

以上のような特徴を有する遠隔監視システム２によれば、車載情報処理装置２０により圧縮前の元画像に対して物体検出を行うことで、車両１０の前方の物体を高い精度で検出することが可能となる。そして、この物体検出結果を圧縮後の画像とともに表示装置３２の監視画面３２ａに表示することで、遠隔オペレータ５０による遠隔監視を補助することができる。

なお、元画像の圧縮処理と元画像からの物体検出処理とは車載情報処理装置２０により行われる処理ではあるが、それらは別々に実行される。このため、元画像は共通であったとしても圧縮画像が得られる時刻と物体検出結果が得られる時刻とにずれが生じる場合がある。この時刻のずれを有したまま表示装置３２への表示が行われた場合、遠隔オペレータ５０の誤認を生じさせるおそれがある。

次章以降では、遠隔監視システム２の詳細な構成と機能について説明する。そこで説明される通り、遠隔監視システム２は、表示装置３２に表示される画像と物体検出結果との間に時刻のずれを生じさせないように技術的に工夫されている。

４．第１実施形態に係る車両の構成
図７は、第１実施形態に係る車載情報処理装置２０を備えた車両１０の構成を示すブロック図である。車両１０は、カメラ１２、車載センサ１４、通信装置１６、走行装置１８、及び車載情報処理装置２０を備えている。車両１０が備えるカメラ１２の詳細は前述の通りである。

車載センサ１４は、車両１０の運動に関する情報を取得する状態センサを含む。状態センサは、例えば、速度センサ、加速度センサ、ヨーレートセンサ、及び舵角センサのうちの少なくとも１つを含んでいる。また、車載センサ１４は、車両１０の位置及び方位を検出する位置センサを含む。位置センサとしては、ＧＰＳ（Global Positioning System）センサが例示される。更に、車載センサ１４は、カメラ１２以外の認識センサを含んでいてもよい。認識センサは、車両１０の周囲の状況を認識（検出）する。認識センサとしては、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）、ミリ波レーダ、及び超音波センサが例示される。

通信装置１６は、車両１０の外部と通信を行う。通信装置１６は、通信ネットワーク８を介して遠隔監視サーバ４０と通信を行う。

走行装置１８は、車両１０を操舵する操舵装置、車両１０を駆動する駆動装置、及び車両１０を制動する制動装置を含んでいる。操舵装置には、例えば、パワーステアリングシステム、ステアバイワイヤ操舵システム、及び後輪操舵システムが含まれる。駆動装置には、例えば、エンジン、ＥＶシステム、及びハイブリッドシステムが含まれる。制動装置には、例えば、油圧ブレーキ、及び電力回生ブレーキが含まれる。

車載情報処理装置２０は、車両１０に搭載されるＥＣＵ（Electronic Control Unit）、或いは、複数のＥＣＵの集合体である。車載情報処理装置２０は、１又は複数のプロセッサ２１（以下、単にプロセッサ２１と呼ぶ）とプロセッサ２１に結合された１又は複数のメモリ２２（以下、単にメモリ２２と呼ぶ）とを含んでいる。メモリ２２は主記憶装置と補助記憶装置とを含む。メモリ２２には、プロセッサ２１で実行可能なプログラムとそれに関連する種々の情報とが記憶されている。プロセッサ２１がプログラムを実行することにより、プロセッサ２１による各種処理が実現される。プログラムは、主記憶装置に記憶されることもできるし、補助記憶装置であるコンピュータ読み取り可能な記録媒体に記憶されることもできる。

メモリ２２には、少なくとも３つの記憶領域２２ａ，２２ｂ，２２ｃが確保されている。プロセッサ２１は、処理前データＤＴ０をメモリ２２の第１記憶領域２２ａに格納する。処理前データＤＴ０には、カメラ１２で撮影された画像ＩＭＧと、その画像ＩＭＧの取得時刻を示すタイムスタンプＴＳとが含まれる。プロセッサ２１は、処理前データＤＴ０を読み出して圧縮処理を実行する。また、プロセッサ２１は、処理前データＤＴ０を読み出して物体検出処理を実行する。

プロセッサ２１は、第１処理データ（以下、第１データと呼ぶ）ＤＴ１をメモリ２２の第２記憶領域２２ｂに格納する。第１データＤＴ１には、画像ＩＭＧの圧縮処理により得られた圧縮後の画像ＣＩＭＧと、圧縮前の画像ＩＭＧに紐づけられたタイムスタンプＴＳとが含まれる。プロセッサ２１は、通信装置１６を用いて第１データＤＴ１を遠隔監視サーバ４０に送信する。

プロセッサ２１は、第２処理データ（以下、第２データと呼ぶ）ＤＴ２をメモリ２２の第３記憶領域２２ｃに格納する。第２データＤＴ２には、画像ＩＭＧに対する物体検出処理により得られた物体検出結果ＯＤＲと、物体検出に用いられた画像ＩＭＧに紐づけられたタイムスタンプＴＳとが含まれる。プロセッサ２１は、通信装置１６を用いて第２データＤＴ２を遠隔監視サーバ４０に送信する。

５．第１実施形態に係る遠隔監視センタの構成
図８は、第１実施形態に係る遠隔監視サーバ４０が配置された遠隔監視センタ３０の構成を示すブロック図である。遠隔監視センタ３０には、遠隔監視サーバ４０と表示装置３２とに加え、入力装置３４と通信装置３６とが設けられている。表示装置３２と同様に、入力装置３４と通信装置３６とは遠隔監視サーバ４０に接続されている。

入力装置３４は、遠隔オペレータ５０からの入力を受け付けるためのインタフェースである。入力装置３４としては、タッチパネル、キーボード、及びマウスを例示することができる。また、遠隔監視が遠隔運転のための監視である場合、入力装置３４は、遠隔オペレータ５０が車両１０を運転操作（操舵、加速、及び減速）するための運転操作部材を含む。

通信装置３６は、車両１０の外部と通信を行う。通信装置３６は、通信ネットワーク８を介して車載情報処理装置２０と通信を行う。

遠隔監視サーバ４０は、遠隔監視センタ３０に設置されたコンピュータ、或いは、複数のコンピュータの集合体である。遠隔監視サーバ４０は、１又は複数のプロセッサ４１（以下、単にプロセッサ４１と呼ぶ）とプロセッサ４１に結合された１又は複数のメモリ４２（以下、単にメモリ４２と呼ぶ）とを含んでいる。メモリ４２は主記憶装置と補助記憶装置とを含む。メモリ４２には、プロセッサ４１で実行可能なプログラムとそれに関連する種々の情報とが記憶されている。プロセッサ４１がプログラムを実行することにより、プロセッサ４１による各種処理が実現される。プログラムは、主記憶装置に記憶されることもできるし、補助記憶装置であるコンピュータ読み取り可能な記録媒体に記憶されることもできる。

メモリ４２には、少なくとも２つのキュー４２ａ，４２ｂが構成されている。第１キュー４２ａには複数の第１データＤＴ１が蓄積されている。プロセッサ４１は、最新の第１データＤＴ１を第１キュー４２ａに入れるとともに、先頭の最も古い第１データＤＴ１を第１キュー４２ａから取り出す。第１キュー４２ａには、タイムスタンプＴＳの付与順序においてｉ番目からｉ＋ｊ番目までの第１データＤＴ１が格納されている。

第２キュー４２ｂには複数の第２データＤＴ２が蓄積されている。プロセッサ４１は、最新の第２データＤＴ２を第２キュー４２ｂに入れるとともに、先頭の最も古い第２データＤＴ２を第２キュー４２ｂから取り出す。第２キュー４２ｂには、タイムスタンプＴＳの付与順序においてｉ番目からｉ＋ｊ番目までの第２データＤＴ２が格納されている。プロセッサ４１は、タイムスタンプＴＳの時刻が同一の第１データＤＴ１と第２データＤＴ２とをそれぞれ第１キュー４２ａと第２キュー４２ｂとから取り出す。

６．第１実施形態に係る遠隔監視システムで実行される処理
図９は、第１実施形態に係る遠隔監視システム２で実行される処理、より詳しくは、車載情報処理装置２０と遠隔監視サーバ４０の各プロセッサ２１，４１により実行される処理を示すブロック図である。このブロック図に示す処理の流れは、本開示の第１実施形態に係る遠隔監視方法を表してもいる。

車載情報処理装置２０のプロセッサ２１は、タイムスタンプ生成処理２１１、画像圧縮処理２１２、物体検出処理２１３、第１データ送信処理２１４、及び第２データ送信処理２１５を実行する。これらの処理は、メモリ２２に記憶されたプログラムがプロセッサ２１において実行されたときに、プロセッサ２１によって実行される処理である。

タイムスタンプ生成処理２１１では、プロセッサ２１は、カメラ１２により画像ＩＭＧが取得された時刻を示すタイムスタンプＴＳを生成する。生成されたタイムスタンプＴＳは、画像ＩＭＧに紐づけられてメモリ２２に格納される。

画像圧縮処理２１２では、プロセッサ２１は、カメラ１２で撮影された画像ＩＭＧをメモリ２２から読み出す。そして、プロセッサ２１は、画像ＩＭＧに対して所定の圧縮処理を施し、圧縮画像ＣＩＭＧを生成する。生成された圧縮画像ＣＩＭＧは、タイムスタンプＴＳに紐づけられてメモリ２２に格納される。

物体検出処理２１３では、プロセッサ２１は、カメラ１２で撮影された画像ＩＭＧをメモリ２２から読み出す。そして、プロセッサ２１は、パターンマッチングやディープラーニング等の画像解析技術を用いて、画像ＩＭＧから車両１０の前方の物体を検出する。物体検出結果ＯＤＲは、タイムスタンプＴＳに紐づけられてメモリ２２に格納される。

第１データ送信処理２１４では、プロセッサ２１は、圧縮画像ＣＩＭＧとタイムスタンプＴＳとを含む第１データＤＴ１をメモリ２２から読み出す。そして、プロセッサ２１は、通信装置１６を用いて第１データＤＴ１を遠隔監視サーバ４０に送信する。

第２データ送信処理２１５では、プロセッサ２１は、物体検出結果ＯＤＲとタイムスタンプＴＳとを含む第２データＤＴ２をメモリ２２から読み出す。そして、プロセッサ２１は、通信装置１６を用いて第２データＤＴ２を遠隔監視サーバ４０に送信する。

遠隔監視サーバ４０のプロセッサ４１は、第１データ受信処理４１１、第２データ受信処理４１２、同時刻データ抽出処理４１３、圧縮画像復元処理４１４、及び重畳表示処理４１５を実行する。これらの処理は、メモリ４２に記憶されたプログラムがプロセッサ４１において実行されたときに、プロセッサ４１によって実行される処理である。

第１データ受信処理４１１では、プロセッサ４１は、通信装置３６を用いて車載情報処理装置２０から第１データＤＴ１を受信する。そして、プロセッサ４１は、受信した第１データＤＴ１を第１キュー４２ａに格納する。

第２データ受信処理４１２では、プロセッサ４１は、通信装置３６を用いて車載情報処理装置２０から第２データＤＴ２を受信する。そして、プロセッサ４１は、受信した第２データＤＴ２を第２キュー４２ｂに格納する。

同時刻データ抽出処理４１３では、プロセッサ４１は、タイムスタンプＴＳの時刻が同時刻である圧縮画像ＣＩＭＧと物体検出結果ＯＤＲとをそれぞれのキュー４２ａ，４２ｂから時系列に抽出する。

圧縮画像復元処理４１４では、プロセッサ４１は、物体検出結果ＯＤＲとともに抽出された圧縮画像ＣＩＭＧを圧縮方法に対応する復元方法で復元し、復元画像ＤＩＭＧを生成する。

重畳表示処理４１５では、プロセッサ４１は、復元画像ＤＩＭＧと物体検出結果ＯＤＲとを重畳して表示装置３２の監視画面３２ａに表示する。復元画像ＤＩＭＧと物体検出結果ＯＤＲとは、タイムスタンプＴＳの時刻が同時刻であるので、表示装置３２に表示される画像と物体検出結果との間に時刻のずれは生じない。

７．第２実施形態に係る車両の構成
図１０は、第２実施形態に係る車載情報処理装置２０を備えた車両１０の構成を示すブロック図である。図１０において、第１実施形態に係る車両１０が備える要素と同一の要素については同一の符号が付されている。既に説明した構成及び機能についての説明は省略するか簡略化する。

車載センサ１４のセンサ信号から得られた情報（以下、センサ情報と呼ぶ）の中には、遠隔オペレータ５０に対して提示することが有用な情報も含まれている。例えば、ＬｉＤＡＲのセンサ信号を画像化することによって得られるＬｉＤＡＲ画像や、ミリ波レーダや超音波センサのセンサ信号から得られる物体の距離や方向に関する情報は、車両１０の運転環境を知る上での重要な情報である。第２実施形態では、車載情報処理装置２０においてセンサ信号からセンサ情報を得るための処理が行われる。第２実施形態では、車載情報処理装置２０から遠隔監視サーバ４０にセンサ情報が送信される。遠隔監視サーバ４０は、物体検出結果とともに復元画像にセンサ情報を重畳して表示装置３２に表示する。

第２実施形態では、少なくとも４つの記憶領域２２ａ，２２ｂ，２２ｃ，２２ｄがメモリ２２に確保されている。第１実施形態と同様に、第１記憶領域２２ａには、カメラ１２で撮影された画像ＩＭＧと、その画像ＩＭＧの取得時刻を示すタイムスタンプＴＳとを含む処理前データＤＴ０が格納される。また、第２記憶領域２２ａには、画像ＩＭＧの圧縮処理により得られた圧縮後の画像ＣＩＭＧと、圧縮前の画像ＩＭＧに紐づけられたタイムスタンプＴＳとを含む第１データＤＴ１が格納される。第３記憶領域２２ｃには、画像ＩＭＧに対する物体検出処理により得られた物体検出結果ＯＤＲと、物体検出に用いられた画像ＩＭＧに紐づけられたタイムスタンプＴＳとを含む第２データＤＴ２が格納される。

プロセッサ２１は、第３処理データ（以下、第３データと呼ぶ）ＤＴ３をメモリ２２の第４記憶領域２２ｄに格納する。第３データＤＴ３には、車載センサ１４のセンサ信号から得られたセンサ情報ＳＩと、センサ信号の取得時刻を示すタイムスタンプＴＳとが含まれる。プロセッサ２１は、通信装置１６を用いて第３データＤＴ３を遠隔監視サーバ４０に送信する。

８．第２実施形態に係る遠隔監視センタの構成
図１１は、第２実施形態に係る遠隔監視サーバ４０が配置された遠隔監視センタ３０の構成を示すブロック図である。図１０において、第１実施形態に係る遠隔監視センタ３０が備える要素と同一の要素については同一の符号が付されている。既に説明した構成及び機能についての説明は省略するか簡略化する。

第２実施形態では、少なくとも３つのキュー４２ａ，４２ｂ，４２ｃがメモリ４２に構成されている。第１実施形態と同様に、第１キュー４２ａには、タイムスタンプＴＳの付与順序においてｉ番目からｉ＋ｊ番目までの第１データＤＴ１が蓄積されている。また、第２キュー４２ｂには、タイムスタンプＴＳの付与順序においてｉ番目からｉ＋ｊ番目までの第２データＤＴ２が蓄積されている。

第２実施形態で新たに構成された第３キュー４２ｂには、複数の第３データＤＴ３が蓄積されている。プロセッサ４１は、最新の第３データＤＴ３を第３キュー４２ｃに入れるとともに、先頭の最も古い第３データＤＴ３を第３キュー４２ｃから取り出す。第３キュー４２ｃには、タイムスタンプＴＳの付与順序においてｉ番目からｉ＋ｊ番目までの第３データＤＴ３が格納されている。プロセッサ４１は、タイムスタンプＴＳの時刻が同一の第１データＤＴ１と第２データＤＴ２と第３データＤＴ３とをそれぞれ第１キュー４２ａと第２キュー４２ｂと第３キュー４２ｃとから取り出す。

９．第２実施形態に係る遠隔監視システムで実行される処理
図１２は、第２実施形態に係る遠隔監視システム２で実行される処理、より詳しくは、車載情報処理装置２０と遠隔監視サーバ４０の各プロセッサ２１，４１により実行される処理を示すブロック図である。このブロック図に示す処理の流れは、本開示の第２実施形態に係る遠隔監視方法を表してもいる。図１０において、第１実施形態で実行される処理と同一の処理については同一の符号が付されている。既に説明した処理についての説明は省略するか簡略化する。

第２実施形態に係る車載情報処理装置２０のプロセッサ２１は、第１実施形態で実行される処理に加えて、タイムスタンプ生成処理２１６、センサ信号処理２１７、及び第３データ送信処理２１８を実行する。他の処理と同様に、これらの処理は、メモリ２２に記憶されたプログラムがプロセッサ２１において実行されたときに、プロセッサ２１によって実行される処理である。

タイムスタンプ生成処理２１６では、プロセッサ２１は、車載センサ１４からセンサ信号ＳＳが取得された時刻を示すタイムスタンプＴＳを生成する。生成されたタイムスタンプＴＳは、センサ信号ＳＳに紐づけられてメモリ２２に格納される。

センサ信号処理２１７では、プロセッサ２１は、センサ信号ＳＳからセンサ情報ＳＩを生成する。センサ情報ＳＩには、例えば、ＬｉＤＡＲのセンサ信号から得られるＬｉＤＡＲ画像や、ミリ波レーダや超音波センサのセンサ信号から得られる距離情報や方向情報が含まれる。生成されたセンサ情報ＳＩは、センサ信号ＳＳに紐づけられたタイムスタンプＴＳに紐づけられてメモリ２２に格納される。

第３データ送信処理２１８では、プロセッサ２１は、センサ情報ＳＩとタイムスタンプＴＳとを含む第３データＤＴ３をメモリ２２から読み出す。そして、プロセッサ２１は、通信装置１６を用いて第３データＤＴ３を遠隔監視サーバ４０に送信する。

第２実施形態に係る遠隔監視サーバ４０のプロセッサ４１は、第１実施形態で実行される処理に加えて、第３データ受信処理４１６を実行する。また、プロセッサ４１は、第１実施形態で実行される処理に対して変更を加えられた同時刻データ抽出処理４１７、及び重畳表示処理４１８を実行する。他の処理と同様に、これらの処理は、メモリ４２に記憶されたプログラムがプロセッサ４１において実行されたときに、プロセッサ４１によって実行される処理である。

第３データ受信処理４１６では、プロセッサ４１は、通信装置３６を用いて車載情報処理装置２０から第３データＤＴ３を受信する。そして、プロセッサ４１は、受信した第３データＤＴ３を第３キュー４２ｃに格納する。

同時刻データ抽出処理４１７では、プロセッサ４１は、タイムスタンプＴＳの時刻が同時刻である圧縮画像ＣＩＭＧと物体検出結果ＯＤＲとセンサ情報ＳＩとをそれぞれのキュー４２ａ，４２ｂ，４２ｃから時系列に抽出する。

重畳表示処理４１８では、プロセッサ４１は、復元画像ＤＩＭＧと物体検出結果ＯＤＲとセンサ情報ＳＩとを重畳して表示装置３２の監視画面３２ａに表示する。復元画像ＤＩＭＧと物体検出結果ＯＤＲとセンサ情報ＳＩとは、タイムスタンプＴＳの時刻が同時刻であるので、表示装置３２に表示される画像と物体検出結果とセンサ情報との間に時刻のずれは生じない。

２ 遠隔監視システム
８ 通信ネットワーク
１０ 車両
１２ カメラ
１４ 車載センサ
１６ 通信装置
２０ 車載情報処理装置
２１ プロセッサ
２２ メモリ
３０ 遠隔監視センタ
３２ａ 監視画面
３６ 通信装置
４０ 遠隔監視サーバ
４１ プロセッサ
４２ メモリ
５０ 遠隔オペレータ

Claims (6)

1. 車両を遠隔監視する遠隔監視システムであって、
   前記車両に搭載されたカメラと、
   前記車両に搭載され前記カメラと接続された車載情報処理装置と、
   前記車載情報処理装置と通信ネットワークを介して接続された遠隔監視サーバと、を備え、
   前記車載情報処理装置は、
   前記カメラで取得された画像から前記車両の前方の物体を検出する物体検出処理と、
   前記画像を圧縮して圧縮画像を生成する圧縮処理と、
   前記圧縮画像と圧縮前の前記画像の画像取得時刻とを含む第１データを送信する第１データ送信処理と、
   物体検出結果と物体検出に用いられた前記画像の前記画像取得時刻とを含む第２データを送信する第２データ送信処理と、を実行し、
   前記遠隔監視サーバは、
   前記第１データを受信してメモリに蓄積する第１データ受信処理と、
   前記第２データを受信して前記メモリに蓄積する第２データ受信処理と、
   前記メモリから前記画像取得時刻が同時刻である前記圧縮画像と前記物体検出結果とを時系列に抽出する抽出処理と、
   抽出された前記圧縮画像を復元した復元画像と抽出された前記物体検出結果とを重畳して監視画面に表示する表示処理と、を実行する
   ことを特徴とする遠隔監視システム。
2. 請求項１に記載の遠隔監視システムにおいて、
   前記車載情報処理装置は、
   車載センサのセンサ信号から得られたセンサ情報と前記センサ信号の信号取得時刻とを含む第３データを送信する第３データ送信処理をさらに実行し、
   前記遠隔監視サーバは、
   前記第３データを受信して前記メモリに蓄積する第３データ受信処理をさらに実行し、
   前記抽出処理では、前記メモリから前記画像取得時刻が同時刻である前記圧縮画像と前記物体検出結果とを時系列に抽出するとともに、前記信号取得時刻が前記画像取得時刻と同時刻である前記センサ情報を時系列に抽出し、
   前記表示処理では、抽出された前記センサ情報を抽出された前記物体検出結果とともに前記復元画像に重畳して前記監視画面に表示する
   ことを特徴とする遠隔監視システム。
3. 通信ネットワークを介して接続された車載情報処理装置と遠隔監視サーバとを用いて車両を遠隔監視する遠隔監視方法であって、
   前記車載情報処理装置に、
   前記車両に搭載されたカメラで取得された画像から前記車両の前方の物体を検出させ、
   前記画像を圧縮して圧縮画像を生成させ、
   前記圧縮画像と圧縮前の前記画像の画像取得時刻とを含む第１データを送信させ、
   物体検出結果と物体検出に用いられた前記画像の前記画像取得時刻とを含む第２データを送信させ、
   前記遠隔監視サーバに、
   前記第１データを受信してメモリに蓄積させ、
   前記第２データを受信して前記メモリに蓄積させ、
   前記メモリから前記画像取得時刻が同時刻である前記圧縮画像と前記物体検出結果とを時系列に抽出させ、
   抽出された前記圧縮画像を復元した復元画像と抽出された前記物体検出結果とを重畳して監視画面に表示させる
   ことを特徴とする遠隔監視方法。
4. 請求項３に記載の遠隔監視方法において、
   前記車載情報処理装置に、
   車載センサのセンサ信号から得られたセンサ情報と前記センサ信号の信号取得時刻とを含む第３データを送信させ、
   前記遠隔監視サーバに、
   前記第３データを受信して前記メモリに蓄積させ、
   前記メモリから前記画像取得時刻が同時刻である前記圧縮画像と前記物体検出結果とを時系列に抽出させるとともに、前記信号取得時刻が前記画像取得時刻と同時刻である前記センサ情報を時系列に抽出させ、
   抽出された前記センサ情報を抽出された前記物体検出結果とともに前記復元画像に重畳して前記監視画面に表示させる
   ことを特徴とする遠隔監視方法。
5. 車載情報処理装置と通信ネットワークを介して接続された遠隔監視サーバであって、
   １つ又は複数のプログラムを記憶した１つ又は複数のメモリと、
   前記１つ又は複数のメモリと結合された１つ又は複数のプロセッサと、を備え、
   前記１つ又は複数のプロセッサは、前記１つ又は複数のプログラムの実行時、
   車載のカメラで取得された画像を圧縮して生成された圧縮画像と圧縮前の前記画像の画像取得時刻とを含む第１データを前記車載情報処理装置から受信して前記１つ又は複数のメモリに蓄積し、
   前記画像に基づく物体検出結果と物体検出に用いられた前記画像の前記画像取得時刻とを含む第２データを前記車載情報処理装置から受信して前記１つ又は複数のメモリに蓄積し、
   前記１つ又は複数のメモリから前記画像取得時刻が同時刻である前記圧縮画像と前記物体検出結果とを時系列に抽出し、
   抽出された前記圧縮画像を復元した復元画像と抽出された前記物体検出結果とを重畳して監視画面に表示する
   ことを特徴とする遠隔監視サーバ。
6. 遠隔監視サーバと通信ネットワークを介して接続された車載情報処理装置であって、
   １つ又は複数のプログラムを記憶した１つ又は複数のメモリと、
   前記１つ又は複数のメモリと結合された１つ又は複数のプロセッサと、を備え、
   前記１つ又は複数のプロセッサは、前記１つ又は複数のプログラムの実行時、
   車載のカメラで取得された画像から車両の前方の物体を検出し、
   前記画像を圧縮して圧縮画像を生成し、
   前記圧縮画像と圧縮前の前記画像の画像取得時刻とを含む第１データを前記遠隔監視サーバに送信し、
   物体検出結果と物体検出に用いられた前記画像の前記画像取得時刻とを含む第２データを前記遠隔監視サーバに送信する
   ことを特徴とする車載情報処理装置。

Images