JP2021060713A - 画像送信要求内容を受信情報によって選定可能な画像データ取得方法、プログラム及び方法 - Google Patents

画像送信要求内容を受信情報によって選定可能な画像データ取得方法、プログラム及び方法 Download PDF

Info

Publication number
JP2021060713A
JP2021060713A JP2019183606A JP2019183606A JP2021060713A JP 2021060713 A JP2021060713 A JP 2021060713A JP 2019183606 A JP2019183606 A JP 2019183606A JP 2019183606 A JP2019183606 A JP 2019183606A JP 2021060713 A JP2021060713 A JP 2021060713A
Authority
JP
Japan
Prior art keywords
image data
transmission request
image
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019183606A
Other languages
English (en)
Other versions
JP7424787B2 (ja
Inventor
和之 田坂
Kazuyuki Tasaka
和之 田坂
菅野 勝
Masaru Sugano
勝 菅野
柳原 広昌
Hiromasa Yanagihara
広昌 柳原
和紀 山田
Kazunori Yamada
和紀 山田
真 赤羽
Makoto Akahane
真 赤羽
高橋 克徳
Katsunori Takahashi
克徳 高橋
宏 畠山
Hiroshi Hatakeyama
宏 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Toyota Motor Corp
Nexty Electronics Corp
Original Assignee
KDDI Corp
Toyota Motor Corp
Nexty Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp, Toyota Motor Corp, Nexty Electronics Corp filed Critical KDDI Corp
Priority to JP2019183606A priority Critical patent/JP7424787B2/ja
Publication of JP2021060713A publication Critical patent/JP2021060713A/ja
Application granted granted Critical
Publication of JP7424787B2 publication Critical patent/JP7424787B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】取得の目的である目的画像データの内容や取得状況に応じた画像データの取得が可能となる画像データ取得方法を提供する。【解決手段】本画像データ取得方法は、移動可能なクライアントから、所定の目的画像データの少なくとも一部を取得可能なサーバにおける画像データ取得方法であり、ここで、クライアントより受信する画像データから生成され得る生成情報毎に、及び/又は、クライアントより受信する画像データの生成元の状態に係る状態情報毎に、目的画像データを取得するための画像送信要求内容が予め対応付けられている。本画像データ取得方法は、受信した画像データから生成された生成情報、及び/又は、合せて受信した状態情報に対応付けられた画像送信要求内容を選定し、選定された画像送信要求内容に合った画像送信要求を、この画像送信要求内容に合ったクライアントへ送信し、要求した画像データを受信して、当該目的画像データを取得する。【選択図】図1

Description

本発明は、カメラ等の画像生成元から、所望の画像データを取得する技術に関する。
現在、監視カメラや車載カメラ等の普及に伴い、このようなカメラで撮影され生成された映像データを収集し、そこから新たな情報を創出する技術が注目されている。例えば、監視カメラ映像データから所定対象の移動軌跡に係る情報を生成したり、車載カメラ映像データから運転支援情報や自動運転実施のための制御管理情報を生成したりする技術の開発が盛んに進められている。
ここで、このような所望の新たな情報を生成するためには、画像生成元であるカメラから、適切な画像(映像)データを取得することが大事となる。例えば、所定対象の所定の挙動・態様に係る情報を生成したい場合には、当該挙動・態様が生じている際の画像データ群を取得することが大前提となるのである。
このような画像データ取得技術の例として、特許文献1には、映像データを複数に分割して得られた各断片データの圧縮符号化データにおける送信タイミングを調整し、調整された送信タイミングに従って、各圧縮符号化データを含む配信情報を送信する情報配信装置が開示されている。この装置では、情報配信に係るデータ伝送量のばらつきを調整し、大きなデータ伝送量が瞬間的に発生する事態を抑制して、安定した情報配信を行うことが図られている。
また、例えば特許文献2には、ネットワーク構成に変更が生じた場合に、各カメラからの映像信号送信タイミングを、変更後のネットワーク構成に合わせて最適化することの可能なカメラネットワークシステムが開示されている。このシステムでは、カメラと表示装置との間で映像信号を中継する中継装置が、隣接しているカメラから撮像動作及び映像信号送信動作に関連するパラメータを含んだカメラ情報を収集して表示装置宛てに送信し、表示装置は、このカメラ情報に基づいて各カメラの映像信号送信タイミングを決定している。
さらに、例えば特許文献3には、システム全体における伝送データ量を抑制し、遅延を低減する映像符号化データ送信装置が開示されている。この装置は具体的に、ネットワークを介して他の映像符号化データ送信装置と接続された装置であって、映像符号化の際に生成されるイントラフレームの送信タイミングであるイントラフレーム送信タイミングを制御するタイミング制御手段と、イントラフレーム送信タイミングを制御する情報を他の映像符号化データ送信装置に通知するタイミング通知手段と、他の映像符号化データ送信装置におけるイントラフレーム送信タイミングに関する情報を受信するタイミング情報受信手段と、映像符号化データを外部のデータ受信装置に送信する送信手段とを備えている。ここで、タイミング制御手段は、他の映像符号化データ送信装置と異なるタイミングでイントラフレームを送信するのである。
特開2018−050242号公報 特開2016−103788号公報 特開2016−096440号公報
以上に説明したように従来、通信環境やネットワーク構成に応じて、さらには他の装置を含めた画像データの送信量に応じて、画像データの送受信動作を変更・調整する技術が考案されてきた。
しかしながら本来、画像データの送受信動作、すなわちサーバ側から見れば画像データの要求・取得動作は、取得の目的となる目的画像データの内容や取得状況に応じて制御されるべきである。例えば、所定対象の所定の挙動・態様に係る画像データを収集したい場合、当該挙動・態様が生じている際の画像データであってまだ取得されていない画像データを速やかに取得することが重要となるのである。
この点、上述した特許文献1〜3に記載された技術を含む従来技術では、データの通信状況を勘案した画像データの要求・取得動作の制御を行うことは可能であるが、目的画像データの内容や取得状況に応じた要求・取得動作の制御は、想定外であって困難となっている。
そこで、本発明は、取得の目的である目的画像データの内容や取得状況に応じた画像データの取得が可能となる画像データ取得方法、プログラム及びサーバを提供することを目的とする。
本発明によれば、移動可能なクライアントから、所定の目的画像データの少なくとも一部を取得可能なサーバに搭載されたコンピュータにおける画像データ取得方法であって、
当該クライアントから受信する画像データに基づいて生成され得る生成情報毎に、及び/又は、受信する画像データの生成元の状態に係る状態情報であって該画像データとともに受信し得る状態情報毎に、当該目的画像データを取得するための画像送信要求内容が、当該生成情報及び/又は当該状態情報に予め対応付けられており、
本画像データ取得方法は、
当該クライアントから受信した画像データに基づいて生成された生成情報、及び/又は、当該クライアントから画像データとともに受信した状態情報に対応付けられた画像送信要求内容を選定するステップと、
選定された画像送信要求内容が画像データの送信を要求する内容である場合に、該画像送信要求内容に合った画像送信要求を、該画像送信要求内容に合ったクライアントへ送信し、要求した画像データを受信して、当該目的画像データを取得するステップと
を有することを特徴とする画像データ取得方法が提供される。
この本発明による画像データ取得方法の一実施形態として、上記のサーバは、受信した画像データに対し対象識別処理を実施し、当該対象識別処理の結果であって当該生成情報としての識別対象情報を出力可能であり、
当該クライアントは移動体とともに移動可能であり、
当該移動体の所定の挙動に相当する識別対象情報である当該生成情報としての識別対象情報Aに対応付けられた画像送信要求内容である画像送信要求内容Aは、当該所定の挙動の全体又は主要部分を含む画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な送信要求内容となっており、
当該クライアントから受信した画像データに対する対象識別処理の結果として識別対象情報Aが出力された場合に、目的画像データを取得するステップでは、画像送信要求内容Aに合った画像送信要求を、識別対象情報Aに係る画像データの送信元であるクライアントへ送信することも好ましい。
また、この実施形態において、当該所定の挙動に相当する識別対象情報Aは、右折、左折、他の移動体との間で生じる接近、他の移動体との間で生じる割り込み、他の移動体との間で生じる追い越し、及び急な横方向の変化のうちの少なくとも1つであることも好ましい。
さらに、本発明による画像データ取得方法の他の実施形態として、上記のサーバは、受信した画像データに対し対象識別処理を実施し、当該対象識別処理の結果であって当該生成情報としての識別対象情報を出力可能であり、
当該クライアントは移動体とともに移動可能であり、
当該移動体の通行エリア内外におけるある発生範囲に渡る所定の事象に相当する識別対象情報である当該生成情報としての識別対象情報Bに対応付けられた画像送信要求内容である画像送信要求内容Bは、当該所定の事象の発生範囲の一端に係る画像データ、当該所定の事象の発生範囲の他端に係る画像データ、又は当該所定の事象の全体若しくは部分に係る画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な画像送信要求内容となっており、
当該クライアントから受信した画像データに対する対象識別処理の結果として識別対象情報Bが出力された場合に、目的画像データを取得するステップでは、画像送信要求内容Bに合った画像送信要求を、当該足りていない画像データを送信し得る可能性のあるクライアントへ送信することも好ましい。
また、この実施形態において、当該所定の事象に相当する識別対象情報Bは、移動体列又は移動体列をなす移動体であり、当該画像送信要求内容Bは、当該移動体列の端をなす移動体に係る、未だ取得していない画像データを送信させることが可能な画像送信要求内容となっていることも好ましい。
さらに、本発明による画像データ取得方法の更なる他の実施形態として、上記のサーバは、受信した画像データに対し対象識別処理を実施し、当該対象識別処理の結果であって当該生成情報としての識別対象情報を出力可能であり、
当該クライアントは移動体とともに移動可能であり、
当該移動体の通行エリア内外における所定の事物に相当する識別対象情報である当該生成情報としての識別対象情報Cに対応付けられた画像送信要求内容である画像送信要求内容Cは、更なる画像データの送信を停止させる内容となっており、
当該クライアントから受信した画像データに対する対象識別処理の結果として識別対象情報Cが出力された場合に、目的画像データを取得するステップでは、画像送信要求内容Cに合った画像送信停止要求を、識別対象情報Cに係る画像データの送信元であるクライアントへ送信することも好ましい。
また、この実施形態において、当該クライアントは自らの位置に係る情報をサーバへ送信可能であり、目的画像データを取得するステップでは、画像送信要求内容Cに合った画像送信停止要求を、識別対象情報Cに係る位置から所定位置範囲内にあるクライアントへも送信することも好ましい。さらに、画像送信要求内容Cは、識別対象情報Cが出力されてから所定時間が経過するまでの間、更なる画像データの送信を停止させる内容となっており、目的画像データを取得するステップでは、当該画像送信停止要求を、当該所定時間が経過するまでの間、画像送信要求内容Cに合ったクライアントへ送信することも好ましい。
さらに、本発明による画像データ取得方法の更なる他の実施形態として、当該クライアントは移動体とともに移動可能であり、
当該クライアントから画像データとともに、所定条件を満たす当該移動体の状態変化に係る当該状態情報である状態情報Dを受信した場合に、画像送信要求内容を選定するステップでは、当該画像データの生成元に係る移動体に対し近接する又は所定の位置関係にある移動体に係るクライアントへ画像データの送信を要求する内容の画像送信要求内容Dを選定し、
目的画像データを取得するステップでは、当該画像データの生成元に係る移動体に対し近接する又は所定の位置関係にある移動体に係るクライアントへ画像送信要求を送信することも好ましい。
また、この実施形態において、当該状態情報Dは、当該移動体における所定条件を満たす制動実施に係る制動情報であることも好ましい。
さらに、本発明による画像データ取得方法の更なる他の実施形態として、当該クライアントは、画像データを符号化して送信可能であり、
受信する画像データから抽出される符号化パラメータ情報であって所定条件を満たす状況変化のあることを示す当該生成情報としての符号化パラメータ情報Eに対応付けられた画像送信要求内容である画像送信要求内容Eは、当該所定条件を満たす状況変化の全体又は主要部分を含む画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な送信要求内容となっており、
当該クライアントから受信した画像データから符号化パラメータ情報Eが抽出された場合に、目的画像データを取得するステップでは、画像送信要求内容Eに合った画像送信要求を、画像送信要求内容Eに合ったクライアントへ送信することも好ましい。
さらにまた、本発明による画像データ取得方法において、当該クライアントは、生成した画像データに対し対象検出処理を実施し、所定の対象が検出された際に、当該画像データのサーバへの送信を開始することも好ましい。
本発明によれば、また、移動可能なクライアントから、所定の目的画像データの少なくとも一部を取得可能なサーバに搭載されたコンピュータを機能させるプログラムであって、
当該クライアントから受信する画像データに基づいて生成され得る生成情報毎に、及び/又は、受信する画像データの送信元の状態に係る状態情報であって該画像データとともに受信し得る状態情報毎に、当該目的画像データを取得するための画像送信要求内容が、当該生成情報及び/又は当該状態情報に予め対応付けられており、
本プログラムは、
当該クライアントから受信した画像データに基づいて生成された生成情報、及び/又は、当該クライアントから画像データとともに受信した状態情報に対応付けられた画像送信要求内容を選定する送信要求内容選定手段と、
選定された画像送信要求内容が画像データの送信を要求する内容である場合に、該画像送信要求内容に合った画像送信要求を、該画像送信要求内容に合ったクライアントへ送信し、要求した画像データを受信して、当該目的画像データを取得する送受信制御手段と
してコンピュータを機能させる画像データ取得プログラムが提供される。
本発明によれば、さらに、移動可能なクライアントから、所定の目的画像データの少なくとも一部を取得可能なサーバであって、
当該クライアントから受信する画像データに基づいて生成され得る生成情報毎に、及び/又は、受信する画像データの送信元の状態に係る状態情報であって該画像データとともに受信し得る状態情報毎に、当該目的画像データを取得するための画像送信要求内容が、当該生成情報及び/又は当該状態情報に予め対応付けられており、
本サーバは、
当該クライアントから受信した画像データに基づいて生成された生成情報、及び/又は、当該クライアントから画像データとともに受信した状態情報に対応付けられた画像送信要求内容を選定する送信要求内容選定手段と、
選定された画像送信要求内容が画像データの送信を要求する内容である場合に、該画像送信要求内容に合った画像送信要求を、該画像送信要求内容に合ったクライアントへ送信し、要求した画像データを受信して、当該目的画像データを取得する送受信制御手段と
を有することを特徴とする画像データ取得サーバが提供される。
本発明の画像データ取得方法、プログラム及びサーバによれば、取得の目的である目的画像データの内容や取得状況に応じた画像データの取得が可能となる。
本発明による画像データ取得サーバ及びクライアントを備えた画像データ取得システムの一実施形態を説明するための模式図及び機能ブロック図である。 本発明による画像データ取得方法の一実施形態を説明するための模式図及びシーケンス図である。 本発明による画像データ取得方法の他の実施形態を説明するための模式図及びシーケンス図である。 本発明による画像データ取得方法の更なる他の実施形態を説明するための模式図及びシーケンス図である。 本発明による画像データ取得方法の更なる他の実施形態を説明するための模式図及びシーケンス図である。 本発明による画像データ取得方法の更なる他の実施形態を説明するための模式図及びシーケンス図である。
以下、本発明の実施形態について、図面を用いて詳細に説明する。
[画像データ取得システム]
図1は、本発明による画像データ取得サーバ及びクライアントを備えた画像データ取得システムの一実施形態を説明するための模式図及び機能ブロック図である。
図1に示した本実施形態の画像データ取得システムは、
(a)移動可能なクライアントである少なくとも1つの端末20と、
(b)端末20から画像データを取得可能なサーバであるクラウドサーバ1と
を有し、クラウドサーバ1において、端末20から取得された画像データを含む、取得すべき所望の目的画像データが収集・生成されるのである。
ここで、目的画像データとしては、後に詳細に説明するが、種々様々な画像(映像)データが設定可能である。例えば図1に示したように、自動車2の走行する道路沿いの工事現場の画像や、駐車場に入るべく対向車線に並んで待機している自動車の列全体の映像等も、目的画像データとすることができる。
また、上記(a)の端末20は本実施形態において、通信機能を有するドライブレコーダであり自動車2に設置されている。ここで、その設置場所は任意に設定可能であり、例えば自動車2のフロントガラス越しに車両前方を撮影可能な位置(例えばダッシュボード上部)とすることができる。勿論、車両側方や後方を撮影可能な位置に端末20を設置してもよく、異なる複数の位置の各々に端末20を設置することも可能である。
さらに本実施形態において、端末20(ドライブレコーダ)は、例えば自動車2の進行方向の状況をカメラで撮影して画像(映像)データを生成し、自身に設けられたメモリやストレージに保存することができるものとなっている。
さらにまた、端末20は、例えば携帯電話通信網やインターネット等を介してクラウドサーバ1と無線通信接続が可能となっており、保存した画像(映像)データの一部又は全部を、適宜又は指示に応じてクラウドサーバ1へ送信することもできる。また、端末20は本実施形態において測位部202を有し、自らの位置情報(例えば自らの所在位置の緯度及び経度並びに測位時刻)を取得してクラウドサーバ1へ通知することも可能となっている。
一方、上記(b)のクラウドサーバ1は、移動可能な端末20から、所定の目的画像データの少なくとも一部を取得可能となっているが、具体的にその構成として、
(A)端末20から受信する画像データに基づいて生成され得る「生成情報」毎に、及び/又は、受信する画像データの生成元の状態に係る「状態情報」であってこの画像データとともに受信し得る「状態情報」毎に、目的画像データを取得するための「画像送信要求内容」が、当該「生成情報」及び/又は当該「状態情報」に予め対応付けられて保存されている送信要求内容保存部103と、
(B)端末20から受信した画像データに基づいて生成された「生成情報」、及び/又は、端末20から画像データとともに受信した「状態情報」に対応付けられた「画像送信要求内容」を選定する送信要求内容選定部114と、
(C)選定された「画像送信要求内容」が画像データの送信を要求する内容である場合に、この「画像送信要求内容」に合った画像送信要求を、この「画像送信要求内容」に合ったクライアントへ送信し、要求した画像データを受信して、目的画像データを取得する送受信制御部111と
を有することを特徴としている。
ここで、「画像送信要求内容」がそれに応じて設定されている「生成情報」には、例えば、
(a)端末20から受信した画像データに対して対象識別部112が対象識別処理を実施した結果である識別対象情報、例えば「(工事現場の)ロードコーン(列)」、「(所定エリア入場又は通過待ちの)自動車(列)」や、「自動車2の所定の挙動(例えば右折や左折)」
を採用することができ、または、この「生成情報」として
(b)(画像データがMPEG(Moving Picture Experts Group)等で圧縮符号化されて伝送される場合において)端末20から受信した圧縮画像データから抽出された、所定条件を満たす符号化パラメータ情報、例えば所定条件を満たす動きベクトルの情報
を設定することも可能である。
さらに、同じく「画像送信要求内容」がそれに応じて設定されている「状態情報」には、例えば、
(c)端末20から画像データとともに受信した、所定条件を満たす自動車2の状態変化に係る情報、例えば所定程度以上の制動(急ブレーキ)の実施に係るCAN(Controller Area Network)制動情報
を採用してもよい。
いずれにしても「画像送信要求内容」は、以上に説明したような「生成情報」及び/又は「状態情報」に応じ、所定の目的画像データを取得するために好適若しくは必須となる(端末20等のクライアントに対する)画像データ送信要求の内容を規定したものとなっているのである。
これにより、クラウドサーバ1は、このような「画像送信要求内容」に応じた画像データ要求・取得処理を実施することによって、取得の目的である目的画像データの内容や取得状況に応じた画像データの取得が可能となるのである。
ちなみに、端末20は当然に、自動車2に設置された車載装置(ドライブレコーダ)に限定されるものではなく、例えば自転車や鉄道車両、さらにはロボットやドローン等の他の移動体に設置された又は搭乗した装置であってもよい。さらに、端末20は、例えばHMD(Head Mounted Display)やグラス型端末等のウェアラブル端末であってもよい。この場合、例えばユーザが歩きながら撮影し生成した画像データがクラウドサーバ1へ上げられることになる。
さらに、上記構成(C)における画像送信要求送信先の「クライアント」は、「生成情報」や「状態情報」に係る端末20となる場合も当然にあり得るが、その他の端末20となる場合もあり得る。また、移動可能でない端末、例えば通信機能を備えた固定カメラがこの「クライアント」に指定される場合もあり得る。さらに言えば、この「クライアント」として、複数の移動可能な及び/又は固定されたクライアントが指定される場合もあり得るのである。
[画像データ取得サーバの機能構成]
図1に示した機能ブロック図によれば、クラウドサーバ1は、通信インタフェース101と、受信画像データベース(DB)102と、送信要求内容保存部103と、目的画像DB104と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明による画像データ取得プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この画像データ取得プログラムを実行することによって、画像データ取得処理を実施する。
またこのことから、本発明による画像データ取得サーバとして、本クラウドサーバ1に代えて、本発明による映像生成プログラムを搭載した、例えば非クラウドのサーバ装置、パーソナル・コンピュータ(PC)、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等を採用することも可能となる。
また例えば、端末20に本発明による画像データ取得プログラムを搭載し、当該端末20を本発明による画像データ取得サーバとすることもできる。さらに、本発明による画像データ取得サーバを、端末20とともに自動車2に設置する実施形態も可能となるのである。
また、上記のプロセッサ・メモリは、送受信制御部111と、対象識別部112と、符号化パラメータ抽出部113と、送信要求内容選定部114と、画像処理部115とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された画像データ取得プログラムの機能と捉えることができる。また、図1におけるクラウドサーバ1の機能構成部間を矢印で接続して示した処理の流れは、本発明による画像データ取得方法の一実施形態としても理解される。
同じく図1の機能ブロック図において、対象識別部112は、識別器を備えており、端末20から通信インタフェース101によって受信した画像データに対して対象識別処理を実施し、対象識別処理の結果であって「生成情報」としての識別対象情報を出力する。
ここで、対象識別処理を実施する識別器は、画像認識用に広く使用されているディープニューラルネットワーク(DNN,Deep Neural Network)や、SVM(Support Vector machine)、さらにはランダムフォレスト(Random Forest)等、画像データが入力されて識別結果が出力される様々な種別の機械学習アルゴリズムによって構成することができる。
具体的に対象識別部112は、例えば、
(a)目的画像データが「工事現場」の1フレーム画像データである場合に使用される、識別対象を「ロードコーン(列)」として学習を行った識別器と、
(b)目的画像データが「自動車列」の画像データ群(映像データ)である場合に使用される、識別対象を「(所定エリア入場又は通過待ちの)自動車(列)」として学習を行った識別器と
を備えており、1つの態様として、受信した画像データをこれらの識別器の各々に入力し、各々から識別結果を得て識別対象情報を生成することも好ましい。また勿論、目的画像データが他の識別対象に係るものである場合、当該識別対象を学習した識別器が準備され、例えば上記の識別器と並行して対象識別処理を実施させてもよい。
さらに、自動車2の「所定の挙動」、例えば「右折」や「左折」を識別対象とする場合、時系列の画像データ群(映像データ)を入力して、これらが「所定の挙動」、例えば「右折」や「左折」時の画像データ群に相当するか否かを判定する識別器を採用してもよい。
この場合具体的に、対象識別部112は、
(a)画像データを入力してこれらの特徴に係る特徴情報を出力する第1NNとしての複数の畳み込み層部(Convolutional Layers)と、
(b)複数の畳み込み層部から出力された特徴情報を取りまとめて入力し、クラスに係る情報を出力する第2NNとしての全結合層部(Fully-Connected Layers)と
を含む識別器を構成し、時系列の複数の画像データ(画像データ群)を1つずつ個々の畳み込み部へ入力して畳み込み部全体で当該画像データ群の特徴情報を生成し、この特徴情報を全結合層部へ入力して、識別結果(クラス,例えば「右折」や「左折」)を取得してもよい。
ここで、上記(a)の畳み込み層部は、画像データに対しカーネル(重み付け行列フィルタ)をスライドさせて特徴マップを生成する畳み込み処理を実行する。この畳み込み処理によって、画像の解像度を段階的に落としながら、エッジや勾配等の基本的特徴を抽出し、局所的な相関パターンの情報を得ることができる。例えばこの畳み込み層部として、複数の畳み込み層を用いた公知のAlexNetを用いることが可能である。
このAlexNetでは、各畳み込み層はプーリング層と対になっており、畳み込み処理とプーリング処理とが繰り返される。ここでプーリング処理とは、畳み込み層から出力される特徴マップ(一定領域内の畳み込みフィルタの反応)を最大値や平均値等でまとめ、調整パラメータを減らしつつ、局所的な平行移動不変性を確保する処理である。
また他の実施態様として、対象識別部112は、複数の畳み込み層を含む畳み込みニューラルネットワーク(CNN,Convolutional Neural Network)の出力側に、判別すべきクラス毎に設けられたサポートベクタマシン(SVM)を接続した構成の識別器を構成し、これに対し学習を行わせた上で対象識別処理を実施させることも可能である。
さらに、対象識別部112は、自動車2の「所定の挙動」として、例えば「他の自動車(移動体)との間で生じる接近」、「他の自動車(移動体)との間で生じる割り込み」、「他の自動車(移動体)との間で生じる追い越し」等の「他の自動車(移動体)」が関わる挙動を識別対象とする場合、対象(他の自動車)に対し公知の追跡処理を実施してもよい。すなわち、対象識別部112に入力される時系列の画像データ毎に識別された対象(他の自動車)の位置が特定されて当該対象の軌跡が決定され、当該軌跡からその挙動が判断されることも好ましい。
なお、各端末20からクラウドサーバ1へ送信される映像(画像)データは、例えばMPEG(Moving Picture Experts Group)で圧縮符号化されてもよい。この場合、クラウドサーバ1(対象識別部112)は、受信した圧縮映像(画像)データを復号化してから対象識別処理を実施することができる。また、受信した映像(画像)データは、受信画像DB102に一先ず保存された上で、適宜又は必要に応じて対象識別部112で利用されることも好ましい。
同じく図1の機能ブロック図において、符号化パラメータ抽出部113は、受信した圧縮符号化された映像(画像)データを伸張させ、符号化パラメータを抽出する。この際、簡易的な伸張(デコード)処理を行って抽出することも可能である。ここで、符号化処理としてMPEGが採用されている場合において、抽出する符号化パラメータは、フレーム内の各マクロブロックにおける、
(a)順方向予測(インター)の動きベクトルの大きさ及び向き、
(b)画面内予測(イントラ)の符号量、及び
(c)量子化ステップのサイズ
のうちの少なくとも1つとすることができる。
さらに、符号化パラメータ抽出部113は、「所定条件」を満たす符号化パラメータを有するマクロブロックを決定し、このようなマクロブロックを所定以上含む画像フレーム(画像データ)を選択する。例えば、このような画像データに、「所定条件」を満たす符号化パラメータの情報を添付してもよい。
ここで「所定条件」としては、各符号化パラメータにおいて時間的変動が所定以上の大きさであるとすることができる。具体的には、
(a)順方向予測の動きベクトルが、所定以上の大きさであり、且つ消失点(画像内地平線上の収束点)の方向を基準として所定以上の傾き角に相当する向きを有する、
(b)画面内予測の符号量が、所定以上である、及び
(c)量子化ステップのサイズが、所定以下である
との条件のうちの少なくとも1つを採用することが可能である。
このような「所定条件」を満たす符号化パラメータ情報の添付された画像データは、所定条件を満たす状況変化(例えば自動車2の走行状態の急激な変化や、その周囲の自動車等における急な走行状態の変化)の様子を含むものとみなすことができる。ちなみに、このような符号化パラメータ情報(この後説明する符号化パラメータ情報E)は、「生成情報」として画像送信要求内容の選定に使用されるのである。
同じく図1の機能ブロック図において、送信要求内容保存部103は、端末20から受信する画像データに基づいて生成され得る「生成情報」毎に、及び/又は、受信する画像データとともに受信し得る、画像生成元の状態に係る「状態情報」毎に、目的画像データを取得するための「画像送信要求内容」を、当該「生成情報」及び/又は当該「状態情報」に予め対応付けて保存している。
送信要求内容選定部114は、この送信要求内容保存部103にアクセスして、
(a)端末20から受信した画像データに基づいて生成された「生成情報」、及び
(b)端末20から受信した画像データとともに受信した「状態情報」
のいずれか一方又は両方に対応付けられた「画像送信要求内容」を検索し、この後の画像データ取得のための画像送信要求内容に決定するのである。
ここで、送信要求内容保存部103に保存されており送信要求内容選定部114による選定対象となる「画像送信要求内容」は、本実施形態において5種類、すなわち画像送信要求内容A〜Eに大別される。
このうち画像送信要求内容Aは、自動車2(移動体)の「所定の挙動」に相当する「生成情報」としての識別対象情報A(例えば「右折」や「左折」)に対応付けられた画像送信要求内容である。画像送信要求内容Aは、後に図2を用いて詳細に説明するが、この「所定の挙動」の全体又は主要部分を含む画像データ群を取得可能となるように、足りていない画像データを送信させる内容となっている。
実際に、端末20から受信した画像データに対する対象識別処理の結果として、識別対象情報Aが出力された場合、送信要求内容選定部114は画像送信要求内容Aを選定し、これを受けて送受信制御部111は、画像送信要求内容Aに合った画像送信要求を、識別対象情報Aに係る画像データの送信元であるクライアントへ送信するのである。
また、画像送信要求内容Bは、自動車2(移動体)の通行エリア(道路)内外におけるある発生範囲に渡る「所定の事象」に相当する「生成情報」としての識別対象情報B(例えば(所定エリア入場又は通過待ちの)自動車(列))に対応付けられた画像送信要求内容である。
画像送信要求内容Bは、後に図3を用いて詳細に説明するが、この「所定の事象」の発生範囲の一端に係る画像データ、この「所定の事象」の発生範囲の他端に係る画像データ、又はこの「所定の事象」の全体若しくは部分に係る画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な内容となっている。
実際に、端末20から受信した画像データに対する対象識別処理の結果として、識別対象情報Bが出力された場合、送信要求内容選定部114は画像送信要求内容Bを選定し、これを受けて送受信制御部111は、画像送信要求内容Bに合った画像送信要求を、足りていない画像データを送信し得る可能性のあるクライアントへ送信するのである。
さらに、画像送信要求内容Cは、自動車2(移動体)の通行エリア(道路)内外における「所定の事物」に相当する「生成情報」としての識別対象情報C(例えば(工事現場の)ロードコーン(列))に対応付けられた画像送信要求内容である。画像送信要求内容Cは、後に図4を用いて詳細に説明するが、更なる画像データの送信を停止させる内容となっている。
実際に、端末20から受信した画像データに対する対象識別処理の結果として、識別対象情報Cが出力された場合、送信要求内容選定部114は画像送信要求内容Cを選定し、これを受けて送受信制御部111は、画像送信要求内容Cに合った画像送信停止要求を、少なくとも識別対象情報Cに係る画像データの送信元であるクライアント(端末20)へ送信するのである。
さらにまた、画像送信要求内容Dは、端末20から画像データとともに受信され得る「状態情報」であって、所定条件を満たす自動車2(移動体)の状態変化に係る「状態情報」である状態情報D(例えば急ブレーキの実施を示すCAN情報)に対応付けられた画像送信要求内容である。画像送信要求内容Dは、後に図5を用いて詳細に説明するが、当該画像データの生成元に係る自動車2(移動体)に対し近接する又は所定の位置関係にある自動車2(移動体)に搭載された端末20へ画像データの送信を要求する内容となっている。
実際に、端末20から画像データとともに状態情報Dが受信された場合、送信要求内容選定部114は画像送信要求内容Dを選定し、これを受けて送受信制御部111は、この画像データの生成元に係る自動車2(移動体)に対し近接する又は所定の位置関係にある自動車2(移動体)に搭載された端末20へ画像送信要求を送信するのである。
さらに、画像送信要求内容Eは、受信する画像データから抽出される符号化パラメータ情報であって所定条件を満たす「状況変化」のあることを示す「生成情報」としての符号化パラメータ情報Eに対応付けられた画像送信要求内容となっている。画像送信要求内容Eは、後に図6を用いて詳細に説明するが、所定条件を満たす「状況変化」の全体又は主要部分を含む画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な内容となっている。
実際に、端末20から受信した画像データから符号化パラメータ情報Eが抽出された場合、送信要求内容選定部114は画像送信要求内容Eを選定し、これを受けて送受信制御部111は、画像送信要求内容Eに合った画像送信要求を、画像送信要求内容Eに合ったクライアント(端末20)へ送信するのである。
以上様々な画像送信要求内容の選定・決定されるケースを説明したが、いずれにしても、送受信制御部111は、選定・決定された画像送信要求内容が画像データの送信を要求する内容である場合、この画像送信要求内容に合った画像送信要求を、この画像送信要求内容に合ったクライアントへ送信し、要求した画像データを受信して、当該目的画像データを取得するのである。
同じく図1の機能ブロック図において、画像処理部115は、送受信制御部111が画像送信要求内容に従って受信した画像データを取りそろえ、最終的に目的画像データとしてまとめて、例えば目的画像DB104に保存することができる。勿論、当該目的画像データを、通信インタフェース101を介して端末20や外部の情報処理装置へ送信し、様々なアプリケーション・プログラムで利用させてもよい。
さらに、画像処理部115は、取得された目的画像データに対し種々の処理を実施し、新たなサービス情報を生成して例えば通信インタフェース101を介し、端末20や外部の情報処理装置へ送信してもよい。例えば、目的画像データである駐車場待ちの自動車列の最後尾の画像とともに、その最後尾の地図上での位置や、予想待ち時間等の情報を、周辺地域を走行している自動車2の端末20へ配信してもよい。また、複数向きから撮影され生成された目的画像データが取得された場合に、それらの目的画像データから自由視点映像を生成し、外部に配信することも可能となるのである。
[画像データ提供クライアントの機能構成]
同じく図1に示した機能ブロック図によれば、端末20は、通信インタフェース201と、測位部202と、カメラ203と、通信インタフェース204と、ディスプレイ(DP)205と、プロセッサ・メモリとを有する。ここで、このプロセッサ・メモリは、本発明に係る画像データ提供プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この画像データ提供プログラムを実行することによって、画像データ提供処理を実施する。
またこのことから、本発明に係る画像データ提供クライアントとして、ドライブレコーダである本端末20に代えて、本発明に係る画像データ提供プログラムを搭載した他の車載情報処理装置や、さらにはカメラを備えたスマートフォン、ノート型若しくはタブレット型コンピュータ、又はパーソナル・コンピュータ(PC)等を採用することも可能となる。また、ドライブレコーダとWi-Fi(登録商標)やBluetooth(登録商標)等で通信接続された端末、例えばスマートフォンを本画像データ提供クライアントとしてもよい。
さらに、プロセッサ・メモリは、送受信制御部211と、位置情報取得部212と、映像生成部213と、対象検出部214と、送信画像選択部215と、提示情報生成部216とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された画像データ提供プログラムの機能と捉えることができる。また、図1における端末20の機能構成部間を矢印で接続して示した処理の流れは、本発明に係る画像データ提供方法の一実施形態としても理解される。
同じく図1の機能ブロック図において、位置情報取得部212は、自らに係る端末20(自動車2)の位置情報(例えば緯度、経度、高度、及び測位した時刻)を測位部202から取得し、この位置情報を、送受信制御部211及び通信インタフェース201を介してクラウドサーバ1へ通知させる。
ちなみに測位部202は、GPS(Global Positioning System)衛星から受信した測位電波を解析し、端末20の現在位置を測位する公知のデバイスとすることができる。または、測位部202は、複数基地局測位方式を用いて測位を行うものであってもよい。ここで複数基地局測位方式は、端末20が複数の周辺基地局から受信する電波によって現在位置を測位する方式である。
映像生成部213は、カメラ203から出力された撮影データに基づいて画像(映像)データを生成する。本実施形態において端末20はドライブレコーダであり、映像生成部213はデフォルトの設定として、少なくとも自動車2の走行時は常に、車外の状況を撮影した撮影データをカメラ203から取得し、画像(映像)データを生成している。
対象検出部214は、生成された画像データにおいて所定の「対象」を検出する。具体的には、周知の機械学習を用いた物体検出技術を用いて「対象」検出処理を実施することができる。例えば、画像データ内の各小画像領域に対し、「対象」検出用に学習された物体検出器を用いて「対象」らしさを示すスコアを算出し、当該スコアの最も高い小画像領域を「対象」領域に決定してもよい。
また、このような物体検出器として、例えば非特許文献:Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: single shot multibox detector”, European Conference on Computer Vision, Computer Vision-ECCV 2016, 2016年, 21〜37頁に記載されたものを使用することができる。ここで、決定される「対象」領域は、例えば、物体検出器によって検出された「対象」の画像部分に対し各辺が外接している外接矩形(バウンディングボックス,bounding box)の領域であってもよい。勿論当然に、他の形状の対象領域を設定することも可能である。
また、送受信制御部211は、この対象検出部214が所定の「対象」を検出した際に、それをトリガとして画像データのクラウドサーバ1への送信を開始することも好ましい。この場合、例えば、端末20(対象検出部214)が画像データから「自動車」を検出した後、当該画像データをクラウドサーバ1へ送信し、クラウドサーバ1は、当該画像データから「自動車」(の所定の挙動)を識別して、目的画像データ取得のための処理を行うことができる。
これは言い換えると、クライアントとサーバとの間で画像処理の分担が可能であって、それぞれでの処理負担の軽減を図ることができ、さらにその上で、サーバでは「対象」に応じて取得する画像データの量や範囲を動的に変更・調整することが可能となっているのである。またその結果、画像データ伝送量の抑制にも資することができ、さらに、サーバ側での画像データ蓄積量の抑制を図ることも可能となるのである。
ちなみに、「工事現場」という「対象」については、ロードコーンや、それとともに車両(自動車)等の物体を検出し、それらが所定数以上近接して連続している場合に、工事現場を検出したとすることができる。
同じく図1の機能ブロック図において、送受信制御部211は、所定の対象が検出された画像データ(及びそれに続く画像データ群)を、通信インタフェース201を介してクラウドサーバ1へ送信し、一方で、クラウドサーバ1から画像送信要求を受け取った場合、それに応じた画像データをクラウドサーバ1へ送信する。また、画像送信停止要求を受け取った場合は、画像データのクラウドサーバ1への送信を停止する。
送信画像選択部215は、映像生成部213で生成された画像データの中から、受け取った画像送信要求の内容に応じた画像データを選択して、送受信制御部211へ出力する。例えば、画像送信要求の内容が、過去の所定時間範囲(又は所定フレーム番号範囲)の画像データ(例えば2分前の5秒間の映像データ)を要求するものであれば、保存された画像データの中から該当する時間範囲(フレーム番号範囲)の画像データを抽出して出力するのである。
また、送信画像選択部215は、自らに係る端末20を搭載した自動車2における「状態情報」を取得し、所定条件を満たす「状態情報」、例えば所定条件を満たす制動(急ブレーキ)の実施に係るCAN情報を取得した際、その時点又は当該時点を含む所定時間範囲の画像データを選択し出力してもよい。
例えば、送信画像選択部215は、取得したCANの速度情報から自動車の加速度を算出し、当該加速度が所定条件、例えば負値であってその絶対値が所定時間以上所定閾値を超える値であるとの条件、を満たすならば、その時点又は当該時点を含む所定時間範囲の画像データを選択することができる。または、取得したCANの制動情報から自動車の制動(ブレーキ)動作の強さを示す値を算出し、当該強さを示す値が所定条件、例えば所定時間以上所定閾値を超える値であるとの条件、を満たすならば、その時点又は当該時点を含む所定時間範囲の画像データを選択することができるのである。
ちなみに本実施形態において、端末20は、通信インタフェース204を介して自動車2のCANとWi-Fi(登録商標)やBluetooth(登録商標)等の近距離無線通信網又は有線で接続されていて、送信画像選択部215は、このCANから、通信インタフェース204を介して「状態情報」を取得することができる。次いで、取得した「状態情報」を、上記のように選択した画像データと合わせて(画像データに紐づけて)、送受信制御部211及び通信インタフェース201を介しクラウドサーバ1へ送信するのである。
また変更態様として、送信画像選択部215は、受け取った画像送信要求の内容に応じた画像データを選択するのではなく、映像生成部213で生成された時系列の画像データについてオプティカルフロー解析を行い、所定条件を満たす大きなオプティカルフローのベクトル量が算出された際、このベクトル量の情報を「状態情報」として、対応する解析した画像データと合せて(画像データに紐づけて)クラウドサーバ1へ送信することも好ましい。さらに、当該時系列の画像データについて画像差分解析を行い、所定時間内に所定以上の画像差分量が検出された際に、この画像差分量の情報を「状態情報」として、解析した画像データと合せて(画像データに紐づけて)クラウドサーバ1へ送信することも可能である。
また、端末20からクラウドサーバ1へ画像データを送信する際、通常、当該画像データに対しMPEG(Moving Picture Experts Group)等の符号化処理を行い、圧縮画像データを生成して送信することになるが、ここで、当該符号化処理の際に決定される符号化パラメータ(例えば動きベクトル)が所定条件を満たす場合(例えば動きベクトルが所定以上の大きさ及び向きを有する場合)に、この符号化パラメータの情報を「状態情報」として、この符号化に係る画像データと合せて(画像データに紐づけて)クラウドサーバ1へ送信することも可能である。
図1の機能ブロック図に戻って、提示情報生成部216は、クラウドサーバ1から配信された目的画像データや(目的画像データから生成された)サービス情報を、通信インタフェース201を介して取得し、例えば搭載している道路交通情報提供プログラムに取り込ませてディスプレイ205に表示させることができる。
例えば、ディスプレイ205がタッチパネルも備えていて、提示情報生成部216は、周辺に存在する複数の工事現場の位置に(工事をイメージさせる)アイコンを配した道路マップを、ディスプレイ205に表示させ、当該アイコンがタップされた際、該当する工事現場の画像を同じくディスプレイ205に表示させてもよい。また、工事現場に関する情報、例えばその全長や、当該工事現場の撮影された日時、さらには当該工事現場の発生した(最初に撮影された)日時を、ディスプレイ205に表示させてもよい。
[画像データ取得方法]
図2は、本発明による画像データ取得方法の一実施形態を説明するための模式図及びシーケンス図である。
図2(A)によれば、端末20Aを搭載した自動車2Aは、道路を直進しつつ交差点に入って右折を行い、その後入った道路を直進している。クラウドサーバ1は、自動車2Aが右折を開始した際に(カメラ203で)生成された画像データを端末20Aから取得し、対象識別部112(図1)は、この画像データを受けて生成情報(対象識別結果)として「右折」を出力する。
次いで、送信要求内容選定部114(図1)は、この「右折」を受けて画像送信要求内容Aを選定し、送受信制御部111は、選定された画像送信要求内容Aに基づき、画像送信要求を端末20Aへ送信し、要求した画像データを端末20Aから受け取って、最終的に、自動車2Aの「右折」の開始から終了までの映像データを含む目的画像データを取得するのである。
ここで、画像送信要求内容Aは、すでに説明したように、自動車(移動体)の所定の挙動に相当する識別対象情報Aに予め対応付けられたものである。この識別対象情報Aは「右折」、「左折」、「他の自動車(移動体)との間で生じる接近」、「他の自動車(移動体)との間で生じる割り込み」、「他の自動車(移動体)との間で生じる追い越し」、及び「急な横方向の変化」のうちの少なくとも1つとすることができるが、本実施形態においては「右折」に対応する画像送信要求内容Aが選定されている。
またこの場合、これに対応付けられた画像送信要求内容Aは、所定の挙動「右折」の全体又は主要部分を含む画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な送信要求内容となっているのである。
次に、クラウドサーバ1と端末20Aとの間のデータ・信号のやり取りを、図2(B)を用いて具体的に説明する。
(S101)端末20Aは、(カメラ203で)生成された画像データから「交差点標識」を検出する。
(S102,S103)端末20Aは、ステップS101での検出結果を受けて、画像データ送信開始を決定し、検出時点を含む所定時間範囲の画像データをクラウドサーバ1へ送信する。
(S104,S105)クラウドサーバ1は、受信した画像データから、自動車2Aの挙動「右折」を認識して画像送信要求内容Aを選定し、目的画像データである「右折」全体の映像データを完成させるべく、画像送信継続要求を端末20Aへ送信する。
(S106)端末20Aは、継続して(時系列をなす)画像データをクラウドサーバ1へ送信する。
ここで、端末20Aは、画像送信開始を決定してから所定時間分の、又は所定フレーム数分の画像データを送信し、この送信が終了するまでに画像送信継続要求を受信すれば、さらに所定時間分(所定フレーム数分)の、又は当該画像送信継続要求で要求された分だけの画像データを継続して送信する設定となっていることも好ましい。また、上記のステップS104〜S106は、クラウドサーバ1が(次のステップS107でのように)「右折」終了を判断するまで繰り返すことができる。
(S107,S108)クラウドサーバ1は、継続して受信した画像データから、自動車2Aの挙動「右折」が認識されなくなった時点で、「右折」が終了したと判断し、目的画像データは取得されたとして、画像送信停止要求を端末20Aへ送信する。
(S109)端末20Aは、画像送信停止要求を受けて画像データ送信終了を決定する。
(S110)クラウドサーバ1は、目的画像データとしての「右折」画像を目的画像DB104(図1)に保存し管理する。
なお、目的画像データが、「右折」動作前半(例えば右折開始から1秒分)の映像データである場合、クラウドサーバ1は、当該分の映像データが取得された段階で画像送信停止要求を行ってもよい。また、目的画像データが、「右折」開始直前の画像データを含む映像データである場合、クラウドサーバ1は、対象(交差点標識)検出時点よりも前となる時間区間の画像データの送信も含む画像送信要求を端末20Aへ送信することも好ましい。
また、以上に説明した実施形態では、識別対象情報Aは「右折」であったが、当然に、識別対象情報Aが「左折」、「他の自動車(移動体)との間で生じる接近」、「他の自動車(移動体)との間で生じる割り込み」、「他の自動車(移動体)との間で生じる追い越し」、又は「急な横方向の変化」である場合でも、上述した「右折」の場合と同様のシーケンスをもって、該当画像データの取得が可能となるのである。
図3は、本発明による画像データ取得方法の他の実施形態を説明するための模式図及びシーケンス図である。
図3(A)によれば、端末20Bを搭載した自動車2Bは、道路を進行しつつ(カメラ203で)生成した画像データにおいて、対向車線に自動車列の一部を検出する。クラウドサーバ1は、この自動車列の一部を含む画像データを端末20Bから取得し、対象識別部112(図1)は、この画像データを受けて生成情報(対象識別結果)として「自動車列」を出力する。
次いで、送信要求内容選定部114(図1)は、この「自動車列」を受けて画像送信要求内容Bを選定し、送受信制御部111は、選定された画像送信要求内容Bに基づき、画像送信要求を端末20Bへ送信し、要求した画像データを端末20Bから受け取って、最終的に、この「自動車列」全体を含む映像データ、又はその一部(例えば列後尾若しくは列先頭の自動車)を含む画像データである目的画像を取得するのである。
ここで、画像送信要求内容Bは、すでに説明したように、通行エリア内外におけるある発生範囲に渡る所定の事象(本実施形態では自動車列)に相当する識別対象情報Bに予め対応付けられたものである。具体的に、画像送信要求内容Bは、所定の事象(例えば自動車列)の発生範囲の一端(例えば列後尾の自動車)に係る画像データ、所定の事象の発生範囲の他端(例えば列先頭の自動車)に係る画像データ、又は所定の事象(例えば自動車列)の全体若しくは部分に係る画像データ群を取得可能となるように、足りていない画像データを、送信させることが可能な画像送信要求内容となっている。
またこの場合、送受信制御部111(図1)は、画像送信要求内容Bに合った画像送信要求を、足りていない画像データを送信し得る可能性のあるクライアントへ送信するのでる。ちなみに本実施形態では、画像送信要求の宛先は端末20Bとなっている。
次に、クラウドサーバ1と端末20Bとの間のデータ・信号のやり取りを、図3(B)を用いて具体的に説明する。
(S201)端末20Bは、(カメラ203で)生成された画像データから「自動車列」を検出する。
(S202,S203)端末20Bは、ステップS201での検出結果を受けて、画像データ送信開始を決定し、検出時点を含む所定時間範囲の画像データをクラウドサーバ1へ送信する。
(S204,S205)クラウドサーバ1は、受信した画像データから、対向車線の「自動車列」の一部を認識して画像送信要求内容Bを選定し、目的画像データである「自動車列」全体の映像データ、「列先頭」の画像データ、又は「列後尾」の画像データを取得すべく、画像送信要求を端末20Bへ送信する。
(S206)端末20Bは、要求された画像データをクラウドサーバ1へ送信する。
ここで本実施形態では、端末20Bは最初に、自動車列の中間部分を含む画像データをクラウドサーバ1へ送信し、クラウドサーバ1は「自動車列」の中間部分を認識しているものとする。その結果、目的画像データが「自動車列」全体の映像データ又は「列先頭」の画像データである場合、上記のステップS205の画像送信要求は、(所定時間だけ)遡った時点から所定時間経過分の画像データを含む画像データの送信を要求するものとなる。また、当該画像送信要求は、このように所望の画像データにおける時間範囲(又はフレーム番号範囲)を指定したものであってよいが、例えば実空間における所定の距離範囲(例えば列先頭から10m分)を指定したものとすることも可能である。
(S207,S208)ここで目的画像データが「列先頭」の画像データである場合、クラウドサーバ1は、受信した画像データから、「列先頭」が認識されたと判断し、目的画像データとしての「列先頭」画像を目的画像DB104(図1)に保存し管理する。また、目的画像データは取得されたとして、画像送信停止要求を端末20Bへ送信する。
(S207’)一方、目的画像データが「自動車列」全体の映像データ又は「列後尾」の画像データであって、受信した画像データから未だ「列後尾」が認識されない場合、クラウドサーバ1は、目的画像データを完成・取得するべく、画像送信継続要求を端末20Bへ送信する。
(S208’)端末20Bは、要求された画像データをクラウドサーバ1へ送信する。
ここで、上記ステップS207’〜S208’は、クラウドサーバ1が(次のステップS209’でのように)「列後尾」を認識するまで繰り返すことができる。
(S209’,S210’)クラウドサーバ1は、継続して受信した画像データから、「列後尾」を認識した時点で、目的画像データは取得されたとして、画像送信停止要求を端末20Bへ送信する。
(S211’)端末20Bは、画像送信停止要求を受けて画像データ送信終了を決定する。
(S212’)クラウドサーバ1は、目的画像データとしての「自動車列」画像又は「列後尾」画像を目的画像DB104(図1)に保存し管理する。
また、目的画像データが、この「自動車列」の更に前方又は後方での(道路沿いの)状況の画像データを含む映像データである場合、クラウドサーバ1は、「列先頭」画像データの時点から時間的に更に遡った所定時間分の(自動車列未検出時の)画像データの送信や、「列後尾」画像データの時点から所定時間経過するまでの画像データの送信も含む画像送信要求を端末20Bへ送信することも好ましい。
ちなみに、以上に説明したような「自動車列」は、多数の自動車が道路沿いの駐車場に入場しようと並んで待機している場合や、道路工事現場において片側通行処置が実施されていて、多数の自動車が当該工事現場を通過するべく手前で並んで停止している場合等、様々な場合に発生することが想定される。したがって、「自動車列」が目的画像データに設定されるようなケースは決して少なくないのである。
また一方で当然、識別対象情報Bは「自動車列」に限定されるものではなく、通行エリア内外におけるある発生範囲に渡る事象に該当するものならば種々のものが、識別対象情報Bとなり得る。例えば識別対象情報Bとして、「(所定以上長い道路区間での)工事現場」や「(所定道路区間に植樹された)街路樹群(並木)」を設定することも可能である。
図4は、本発明による画像データ取得方法の更なる他の実施形態を説明するための模式図及びシーケンス図である。
図4(A)によれば、端末20Cを搭載した自動車2Cは、道路を進行しつつ(カメラ203で)生成した画像データにおいて、対向車線に工事現場(ロードコーン列)を検出する。クラウドサーバ1は、この工事現場全体を含む画像データを端末20Cから取得し、対象識別部112(図1)は、この画像データを受けて生成情報(対象識別結果)として「工事現場(ロードコーン列)」を出力する。
次いで、送信要求内容選定部114(図1)は、この「工事現場」を受けて画像送信要求内容Cを選定し、送受信制御部111は、選定された画像送信要求内容Cに基づき、画像送信停止要求を端末20Cへ送信し、すでに受け取っている画像データを、「工事現場」全体を含む目的画像データに決定するのである。
ここで、画像送信要求内容Cは、すでに説明したように、通行エリア内外における所定の事物(本実施形態では工事現場)に相当する識別対象情報Cに予め対応付けられたものである。具体的に、画像送信要求内容Cは、目的画像データが取得済みであるとして、識別対象情報Cに係る画像データの更なる送信を停止させる内容となっている。
またこの場合、送受信制御部111(図1)は、画像送信要求内容Cに合った画像送信停止要求を、識別対象情報C(工事現場)に係る画像データの送信元であるクライアントへ送信するのである。ちなみに本実施形態では、画像送信停止要求の宛先は端末20Cとなる。
なお好適な変更態様として、クラウドサーバ1は工事現場を含む所定範囲内に存在する全ての端末20からその位置情報を取得していて、送受信制御部111は、取得した位置情報に基づき、上述したような画像送信停止要求を、識別対象情報C(工事現場)に係る位置から所定位置範囲内にある他の端末20にも送信することも好ましい。
また、さらに好適な変更態様として、画像送信要求内容Cは、識別対象情報Cが出力されてから所定時間が経過するまでの間、識別対象情報Cに係る画像データの更なる送信を停止させる内容となっていることも好ましい。この場合、送受信制御部111は、画像送信停止要求を、この所定時間が経過するまでの間、画像送信要求内容Cに合ったクライアント(例えば端末20C又は端末20Cを含む周囲に存在する全端末20)へ送信することになる。
次に、クラウドサーバ1と端末20Cとの間のデータ・信号のやり取りを、図4(B)を用いて具体的に説明する。
(S301)端末20Cは、(カメラ203で)生成された画像データから「工事現場(ロードコーン列)」を検出する。
(S302,S303)端末20Cは、ステップS301での検出結果を受けて、画像データ送信開始を決定し、検出時点の画像データ、又は当該検出時点を含む所定時間範囲の画像データをクラウドサーバ1へ送信する。
(S304,S305)クラウドサーバ1は、受信した画像データから、対向車線の「工事現場」の全体を認識して画像送信要求内容Cを選定し、目的画像データである「工事現場」全体の画像データが取得されたとして、画像送信停止要求を端末20Cへ送信する。
(S306)端末20Cは、受信した画像送信停止要求に従い、検出結果「工事現場」に係る画像データのクラウドサーバ1への送信を終了する。
(S307)クラウドサーバ1は、目的画像データとしての「工事現場」画像を目的画像DB104(図1)に保存し管理する。
以上、識別対象情報Cが「工事現場」である場合について説明を行ったが、識別対象情報Cは当然「工事現場」に限定されるものではなく、通行エリア内外における所定の事物に該当するものであれば種々のものを識別対象情報Cに分類することができる。例えば所定の看板、標識やディスプレイ、又は道路沿いの地下鉄入口等も、識別対象情報Cとなり得る。また、非常に間口の広いマンション等、1つの画像フレーム内に収めることが困難なものでも、その一部(例えば当該マンションのエントランス)を所定の事物として識別対象情報Cに分類することも可能である。
このように識別対象情報Cは例えば、通行エリア内外における所定の事物の所在地点を確認したい場合に設定され、一方、上述した識別対象情報Bは例えば、通行エリア内外における所定の事象の発生範囲を確認したい場合に設定されるものとなっているのである。
図5は、本発明による画像データ取得方法の更なる他の実施形態を説明するための模式図及びシーケンス図である。
図5(A)によれば、端末20Dを搭載した自動車2Dは、道路を直進し、交差点に入る直前において右方から自動車2Fが接近してきたので、急ブレーキ動作を行い停止している。ここで、クラウドサーバ1は、
(a)自動車2Dが急ブレーキ動作を行った際に(カメラ203で)生成された画像データと、
(b)当該急ブレーキ動作に係る自動車2DのCAN情報(急ブレーキCAN情報)と、
(c)自動車2D(端末20D)の位置情報と
を端末20Dから受信する。
次いで、送信要求内容選定部114(図1)は、「状態情報」として受信した急ブレーキCAN情報を状態情報Dとして、これに基づき画像送信要求内容Dを選定する。さらに、送受信制御部111は、選定された画像送信要求内容Dに基づき、同じく受信した画像データの生成元に係る移動体(自動車2D)に対し近接する又は所定の位置関係にある移動体(図5(A)では自動車2E及び2F)へ画像送信要求を送信し、要求した画像データを要求先のクライアント(自動車2E及び2F)から受け取って、最終的に、自動車2Dの急ブレーキ時における周囲の状況を含む映像データである目的画像データを取得するのである。
ここで、画像送信要求内容Dは、すでに説明したように、所定条件を満たす自動車2(移動体)の状態変化に係る状態情報Dに予め対応付けられたものである。また、この状態情報Dは本実施形態において、自動車2(移動体)における所定程度以上の制動(急ブレーキ)の実施に係る制動(急ブレーキ)情報となっている。
またこの場合、これに対応付けられた画像送信要求内容Dは、同じく受信された画像データの生成元に係る移動体(自動車D)に対し近接する又は所定の位置関係にある移動体(図5(A)では自動車2E及び2F)に搭載されたクライアント(端末20E及び20F)へ画像データの送信を要求する内容の画像送信要求内容となっているのである。
次に、クラウドサーバ1と端末20Aとの間のデータ・信号のやり取りを、図5(B)を用いて具体的に説明する。
(S401)端末20Dは、自動車2Dの急ブレーキ動作を検出する(自動車2DのCANから急ブレーキに係る情報を取得し急ブレーキCAN情報を生成する)。
(S402,S403)端末20Dは、ステップS401での急ブレーキ検出結果を受けて、画像データ送信開始を決定し、
(a)急ブレーキ検出時点を含む所定時間範囲の画像データと、
(b)生成した急ブレーキCAN情報と、
(c)自動車2D(端末20D)の位置情報と
をクラウドサーバ1へ送信する。
(S404)クラウドサーバ1は、受信した急ブレーキCAN情報から、自動車2Dの「急ブレーキ」(状態情報)を認識し、画像送信要求内容Dを選定する。
(S405)クラウドサーバ1は、選定した画像送信要求内容Dにおける画像送信要求先として、自動車2Dから所定距離範囲内の位置に存在する自動車2E及び2Fに搭載された端末20E及び20Fを決定する。
ここで本実施形態において、クラウドサーバ1は、自動車2E及び2Fに搭載された端末20E及び20Fからも、その位置情報を常時取得しているものとする。
なお、上記のステップS405における変更態様として、自動車2Dと所定の位置関係、例えば自動車2Dの進行方向上の位置に存在している自動車2であって自動車2Dに最も近い位置にある自動車2(図5(A)では自動車2E)に係る端末20(端末20E)を、画像送信要求先に決定することも可能である。
(S406,S407)クラウドサーバ1は、目的画像データである「急ブレーキ」時の周辺状況を含む映像データを完成させるべく、画像送信継続要求を端末20Dへ送信するとともに、決定した画像送信要求先である端末20E及び20Fへ画像送信要求を送信する。
ここで、各端末20が、自動車2の前方及び後方をそれぞれ撮影可能な前方カメラ203及び後方カメラ203によって撮影され生成された画像データを送信可能であるケースを考える。このケースにおいて、目的画像データが、急ブレーキ動作を行った自動車2Dと、自動車2E及び2Fとの間の空間の状況を含む映像データである場合、上記のステップS406及びS407において、クラウドサーバ1は、
(a)端末20Dへは、前方カメラ203に係る画像データを(継続して)送信することを要求する画像送信継続要求を送信し、
(b)端末20Eへは、後方カメラ203に係る画像データを送信することを要求する画像送信要求を送信し、
(c)端末20Fへは、前方カメラ203に係る画像データを送信することを要求する画像送信要求を送信する
ことができる。
(S408)端末20D、20E及び20Fは各々、要求された所定時間範囲分(所定フレーム番号範囲分)の画像データを、クラウドサーバ1へ送信する。
(S409,S410)クラウドサーバ1は、受信した画像データを確認し、目的画像データである「急ブレーキ」時の周辺状況を含む映像データの取得が完了したと判断し、当該映像データを保存し管理するとともに、画像送信停止要求を端末20D、20E及び20Fへ送信する。
(S411)端末20D、20E及び20Fは、画像送信停止要求を受けて画像データ送信終了を決定する。
なお、状態情報Dは、以上に説明した実施形態では「急ブレーキ」であったが、当然、それに限定されるものではない。例えば、自動車2のCANから、自動車2にスリップ現象が生じていることを示す情報が取得された際に生成されるスリップCAN情報も、状態情報Dとして設定可能である。この場合、目的画像データとして例えば、自動車2がスリップを起こした際の周囲の状況を含む映像データを取得することも可能となるのである。
図6は、本発明による画像データ取得方法の更なる他の実施形態を説明するための模式図及びシーケンス図である。
図6(A)によれば、端末20Gを搭載した自動車2Gが、道路を直進して交差点に差し掛かった際、その直ぐ前方を、自動車2Hが、右方から左方へ横切るように走行している。ここで、クラウドサーバ1は、
(a)自動車2Gの端末20Gにおいて、目の前を自動車2Hが通過した際に(カメラ203で)生成された映像データ(画像データ群)と、
(b)自動車2G(端末20G)の位置情報と
を端末20Gから受信する。
なお本実施形態では、上記(a)の映像データは、映像伝送の際に常用されるMPEGによる圧縮符号化処理が施された上で、端末20Gから送信されている。
ここで、符号化パラメータ抽出部113(図1)は、上記(a)の受信した映像データから符号化パラメータとして、所定条件を満たす動きベクトルを抽出する。次いで、送信要求内容選定部114(図1)は、この所定条件を満たす動きベクトルを、所定条件を満たす状況変化のあることを示す「生成情報」としての符号化パラメータ情報Eとして、この符号化パラメータ情報Eに対応付けられた画像送信要求内容Eを選定する。この画像送信要求内容Eは、すでに説明したように、所定条件を満たす状況変化の全体又は主要部分を含む画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な送信要求内容となっている。
さらに、送受信制御部111は、選定された画像送信要求内容Eに基づき、同じく受信した画像データの生成元に係る移動体(自動車2G)に対し近接する移動体(図6(A)では自動車2H及び2I)へ画像送信要求を送信し、要求した画像データを要求先のクライアント(自動車2H及び2I)から受け取って、最終的に、自動車2Gにおける所定条件を満たす状況変化についての周囲の状況を含む映像データである目的画像データを取得するのである。
次に、クラウドサーバ1と端末20G、20H及び20Iとの間のデータ・信号のやり取りを、図6(B)を用いて具体的に説明する。
(S501)端末20Gは、(カメラ203で)生成された画像データから(前方を横切った自動車2Hに相当する)「自動車」を検出する。
(S502,S503)端末20Gは、ステップS501での検出結果を受けて、画像データ送信開始を決定し、
(a)MPEGによる圧縮画像データと、
(b)自動車2G(端末20G)の位置情報と
をクラウドサーバ1へ送信する。
(S504)クラウドサーバ1は、受信した圧縮画像データを伸張(デコード)して(符号化パラメータとしての)動きベクトルを抽出し、当該動きベクトルが所定条件を満たしていて(所定条件を満たす状況変化のあることを示す)符号化パラメータ情報Eであることを確認し、これに基づき画像送信要求内容Eを選定する。
(S505)クラウドサーバ1は、選定した画像送信要求内容Eにおける画像送信要求先として、自動車2Gから所定距離範囲内の位置に存在する自動車2H及び2Iに搭載された端末20E及び20Fを決定する。
(S506,S507)クラウドサーバ1は、目的画像データである「所定条件を満たす状況変化」時の周辺状況を含む映像データを完成させるべく、画像送信継続要求を端末20Gへ送信するとともに、決定した画像送信要求先である端末20H及び20Iへ画像送信要求を送信する。
ここで、各端末20が、自動車2の前方及び後方をそれぞれ撮影可能な前方カメラ203及び後方カメラ203によって撮影され生成された画像データを送信可能であるケースを考える。このケースにおいて、目的画像データが、自動車2Gと自動車2H及び2Iとの間の空間での状況変化を含む映像データである場合、上記のステップS506及びS507において、クラウドサーバ1は、
(a)端末20Gへは、前方カメラ203に係る画像データを(継続して)送信することを要求する画像送信継続要求を送信し、
(b)端末20Hへは、後方カメラ203に係る画像データを送信することを要求する画像送信要求を送信し、
(c)端末20Iへは、後方カメラ203に係る画像データを送信することを要求する画像送信要求を送信する
ことが好ましい。
(S508)端末20G、20H及び20Iは各々、要求された所定時間範囲分(又は所定フレーム番号範囲分)の画像データを、クラウドサーバ1へ送信する。
(S509,S510)クラウドサーバ1は、受信した画像データを確認し、目的画像データである「所定条件を満たす状況変化」時の周辺状況を含む映像データの取得が完了したと判断し、当該映像データを保存し管理するとともに、画像送信停止要求を端末20G、20H及び20Iへ送信する。
(S411)端末20G、20H及び20Iは、画像送信停止要求を受けて画像データ送信終了を決定する。
なお、符号化パラメータ情報Eは、以上に説明した実施形態では「所定条件を満たす動きベクトル」であったが、当然それに限定されるものではない。例えば、「所定条件を満たす符号量」や「所定条件を満たす量子化ステップサイズ」も、符号化パラメータ情報Eとして設定可能となっている。
また、以上に図2〜6を用いて様々な画像データ取得方法の実施形態を説明したが、これらの実施形態においては、端末20からの画像データの送信は、端末20における所定対象やCAN情報の検出をトリガとして開始される。これに対し、変更態様として例えば、端末20から定期的に(所定時間経過毎に)画像データが送信されるように設定することも可能である。
以上、詳細に説明したように、本発明に係る「画像送信要求内容」は、以上に説明したような「生成情報」及び「状態情報」の少なくとも1つに応じて所定の目的画像データを取得するために好適若しくは必須となる(クライアントに対する)画像データ送信要求の内容を規定したものとなっている。したがって本発明によれば、このような「画像送信要求内容」に応じた画像データ要求・取得処理を実施することによって、目的画像データの内容や取得状況に応じた画像データの取得が可能となるのである。
ちなみに、本発明の構成及び方法は、膨大な量の映像データ伝送が可能となる5G(第5世代移動通信システム)を利用し、多数のクライアントから映像データをサーバへアップロードする場面において、所望の映像データを収集する効率を向上させること等、予想される重要課題の解決に大いに貢献するものと考えられる。例えば本発明の実施形態によっては、自動運転車、ドローンや、各種ロボットが撮影した高解像度映像を5Gによって収集し、所望の映像を効率良く且つ確実に獲得して、新サービスの創出・提供につなげることも可能となるのである。
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲内での種々の変更、修正及び省略は、当業者によれば容易に行うことができる。以上に述べた説明はあくまで例示であって、何ら制約を意図するものではない。本発明は、特許請求の範囲及びその均等物によってのみ制約される。
1 クラウドサーバ(画像データ取得サーバ)
101、201、204 通信インタフェース
102 受信画像データベース(DB)
103 送信要求内容保存部
104 目的画像DB
111 送受信制御部
112 対象識別部
113 符号化パラメータ抽出部
114 送信要求内容選定部
115 画像処理部
2、2A、2B、2C、2D、2E、2F、2G、2H、2I 自動車
20、20A、20B、20C、20D、20E、20F、20G、20H、20I 端末(クライアント)
202 測位部
203 カメラ
205 ディスプレイ(DP)
211 送受信制御部
212 位置情報取得部
213 映像生成部
214 対象検出部
215 送信画像選択部
216 提示情報生成部

Claims (14)

  1. 移動可能なクライアントから、所定の目的画像データの少なくとも一部を取得可能なサーバに搭載されたコンピュータにおける画像データ取得方法であって、
    当該クライアントから受信する画像データに基づいて生成され得る生成情報毎に、及び/又は、受信する画像データの生成元の状態に係る状態情報であって該画像データとともに受信し得る状態情報毎に、当該目的画像データを取得するための画像送信要求内容が、当該生成情報及び/又は当該状態情報に予め対応付けられており、
    前記画像データ取得方法は、
    当該クライアントから受信した画像データに基づいて生成された生成情報、及び/又は、当該クライアントから画像データとともに受信した状態情報に対応付けられた画像送信要求内容を選定するステップと、
    選定された画像送信要求内容が画像データの送信を要求する内容である場合に、該画像送信要求内容に合った画像送信要求を、該画像送信要求内容に合ったクライアントへ送信し、要求した画像データを受信して、当該目的画像データを取得するステップと
    を有することを特徴とする画像データ取得方法。
  2. 前記サーバは、受信した画像データに対し対象識別処理を実施し、当該対象識別処理の結果であって当該生成情報としての識別対象情報を出力可能であり、
    当該クライアントは移動体とともに移動可能であり、
    当該移動体の所定の挙動に相当する識別対象情報である当該生成情報としての識別対象情報Aに対応付けられた画像送信要求内容である画像送信要求内容Aは、当該所定の挙動の全体又は主要部分を含む画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な送信要求内容となっており、
    当該クライアントから受信した画像データに対する対象識別処理の結果として識別対象情報Aが出力された場合に、前記目的画像データを取得するステップでは、画像送信要求内容Aに合った画像送信要求を、識別対象情報Aに係る画像データの送信元であるクライアントへ送信する
    ことを特徴とする請求項1に記載の画像データ取得方法。
  3. 当該所定の挙動に相当する識別対象情報Aは、右折、左折、他の移動体との間で生じる接近、他の移動体との間で生じる割り込み、他の移動体との間で生じる追い越し、及び急な横方向の変化のうちの少なくとも1つであることを特徴とする請求項2に記載の画像データ取得方法。
  4. 前記サーバは、受信した画像データに対し対象識別処理を実施し、当該対象識別処理の結果であって当該生成情報としての識別対象情報を出力可能であり、
    当該クライアントは移動体とともに移動可能であり、
    当該移動体の通行エリア内外におけるある発生範囲に渡る所定の事象に相当する識別対象情報である当該生成情報としての識別対象情報Bに対応付けられた画像送信要求内容である画像送信要求内容Bは、当該所定の事象の発生範囲の一端に係る画像データ、当該所定の事象の発生範囲の他端に係る画像データ、又は当該所定の事象の全体若しくは部分に係る画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な画像送信要求内容となっており、
    当該クライアントから受信した画像データに対する対象識別処理の結果として識別対象情報Bが出力された場合に、前記目的画像データを取得するステップでは、画像送信要求内容Bに合った画像送信要求を、当該足りていない画像データを送信し得る可能性のあるクライアントへ送信する
    ことを特徴とする請求項1から3のいずれか1項に記載の画像データ取得方法。
  5. 当該所定の事象に相当する識別対象情報Bは、移動体列又は移動体列をなす移動体であり、当該画像送信要求内容Bは、当該移動体列の端をなす移動体に係る、未だ取得していない画像データを送信させることが可能な画像送信要求内容となっていることを特徴とする請求項4に記載の画像データ取得方法。
  6. 前記サーバは、受信した画像データに対し対象識別処理を実施し、当該対象識別処理の結果であって当該生成情報としての識別対象情報を出力可能であり、
    当該クライアントは移動体とともに移動可能であり、
    当該移動体の通行エリア内外における所定の事物に相当する識別対象情報である当該生成情報としての識別対象情報Cに対応付けられた画像送信要求内容である画像送信要求内容Cは、更なる画像データの送信を停止させる内容となっており、
    当該クライアントから受信した画像データに対する対象識別処理の結果として識別対象情報Cが出力された場合に、前記目的画像データを取得するステップでは、画像送信要求内容Cに合った画像送信停止要求を、識別対象情報Cに係る画像データの送信元であるクライアントへ送信する
    ことを特徴とする請求項1から5のいずれか1項に記載の画像データ取得方法。
  7. 当該クライアントは自らの位置に係る情報を前記サーバへ送信可能であり、
    前記目的画像データを取得するステップでは、画像送信要求内容Cに合った画像送信停止要求を、識別対象情報Cに係る位置から所定位置範囲内にあるクライアントへも送信する
    ことを特徴とする請求項6に記載の画像データ取得方法。
  8. 画像送信要求内容Cは、識別対象情報Cが出力されてから所定時間が経過するまでの間、更なる画像データの送信を停止させる内容となっており、前記目的画像データを取得するステップでは、当該画像送信停止要求を、当該所定時間が経過するまでの間、画像送信要求内容Cに合ったクライアントへ送信することを特徴とする請求項6又は7に記載の画像データ取得方法。
  9. 当該クライアントは移動体とともに移動可能であり、
    当該クライアントから画像データとともに、所定条件を満たす当該移動体の状態変化に係る当該状態情報である状態情報Dを受信した場合に、前記画像送信要求内容を選定するステップでは、当該画像データの生成元に係る移動体に対し近接する又は所定の位置関係にある移動体に係るクライアントへ画像データの送信を要求する内容の画像送信要求内容Dを選定し、
    前記目的画像データを取得するステップでは、当該画像データの生成元に係る移動体に対し近接する又は所定の位置関係にある移動体に係るクライアントへ画像送信要求を送信する
    ことを特徴とする請求項1から8のいずれか1項に記載の画像データ取得方法。
  10. 当該状態情報Dは、当該移動体における所定条件を満たす制動実施に係る制動情報であることを特徴とする請求項9に記載の画像データ取得方法。
  11. 当該クライアントは、画像データを符号化して送信可能であり、
    受信する画像データから抽出される符号化パラメータ情報であって所定条件を満たす状況変化のあることを示す当該生成情報としての符号化パラメータ情報Eに対応付けられた画像送信要求内容である画像送信要求内容Eは、当該所定条件を満たす状況変化の全体又は主要部分を含む画像データ群を取得可能となるように、足りていない画像データを送信させることが可能な送信要求内容となっており、
    当該クライアントから受信した画像データから符号化パラメータ情報Eが抽出された場合に、前記目的画像データを取得するステップでは、画像送信要求内容Eに合った画像送信要求を、画像送信要求内容Eに合ったクライアントへ送信する
    ことを特徴とする請求項1から10のいずれか1項に記載の画像データ取得方法。
  12. 当該クライアントは、生成した画像データに対し対象検出処理を実施し、所定の対象が検出された際に、当該画像データの前記サーバへの送信を開始することを特徴とする請求項1から11のいずれか1項に記載の画像データ取得方法。
  13. 移動可能なクライアントから、所定の目的画像データの少なくとも一部を取得可能なサーバに搭載されたコンピュータを機能させるプログラムであって、
    当該クライアントから受信する画像データに基づいて生成され得る生成情報毎に、及び/又は、受信する画像データの送信元の状態に係る状態情報であって該画像データとともに受信し得る状態情報毎に、当該目的画像データを取得するための画像送信要求内容が、当該生成情報及び/又は当該状態情報に予め対応付けられており、
    前記プログラムは、
    当該クライアントから受信した画像データに基づいて生成された生成情報、及び/又は、当該クライアントから画像データとともに受信した状態情報に対応付けられた画像送信要求内容を選定する送信要求内容選定手段と、
    選定された画像送信要求内容が画像データの送信を要求する内容である場合に、該画像送信要求内容に合った画像送信要求を、該画像送信要求内容に合ったクライアントへ送信し、要求した画像データを受信して、当該目的画像データを取得する送受信制御手段と
    してコンピュータを機能させることを特徴とする画像データ取得プログラム。
  14. 移動可能なクライアントから、所定の目的画像データの少なくとも一部を取得可能なサーバであって、
    当該クライアントから受信する画像データに基づいて生成され得る生成情報毎に、及び/又は、受信する画像データの送信元の状態に係る状態情報であって該画像データとともに受信し得る状態情報毎に、当該目的画像データを取得するための画像送信要求内容が、当該生成情報及び/又は当該状態情報に予め対応付けられており、
    前記サーバは、
    当該クライアントから受信した画像データに基づいて生成された生成情報、及び/又は、当該クライアントから画像データとともに受信した状態情報に対応付けられた画像送信要求内容を選定する送信要求内容選定手段と、
    選定された画像送信要求内容が画像データの送信を要求する内容である場合に、該画像送信要求内容に合った画像送信要求を、該画像送信要求内容に合ったクライアントへ送信し、要求した画像データを受信して、当該目的画像データを取得する送受信制御手段と
    を有することを特徴とする画像データ取得サーバ。
JP2019183606A 2019-10-04 2019-10-04 画像送信要求内容を受信情報によって選定可能な画像データ取得方法、プログラム及び方法 Active JP7424787B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019183606A JP7424787B2 (ja) 2019-10-04 2019-10-04 画像送信要求内容を受信情報によって選定可能な画像データ取得方法、プログラム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019183606A JP7424787B2 (ja) 2019-10-04 2019-10-04 画像送信要求内容を受信情報によって選定可能な画像データ取得方法、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP2021060713A true JP2021060713A (ja) 2021-04-15
JP7424787B2 JP7424787B2 (ja) 2024-01-30

Family

ID=75380156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019183606A Active JP7424787B2 (ja) 2019-10-04 2019-10-04 画像送信要求内容を受信情報によって選定可能な画像データ取得方法、プログラム及び方法

Country Status (1)

Country Link
JP (1) JP7424787B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184070A (ja) * 2003-12-16 2005-07-07 Matsushita Electric Ind Co Ltd 監視システム
JP2018173688A (ja) * 2017-03-31 2018-11-08 パナソニックIpマネジメント株式会社 路側機

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331279A (ja) 1999-05-25 2000-11-30 Oki Electric Ind Co Ltd 広域監視装置
JP4702106B2 (ja) 2006-03-02 2011-06-15 株式会社デンソー 死角支援情報報知装置及びプログラム
JP6936679B2 (ja) 2017-02-16 2021-09-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報処理装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184070A (ja) * 2003-12-16 2005-07-07 Matsushita Electric Ind Co Ltd 監視システム
JP2018173688A (ja) * 2017-03-31 2018-11-08 パナソニックIpマネジメント株式会社 路側機

Also Published As

Publication number Publication date
JP7424787B2 (ja) 2024-01-30

Similar Documents

Publication Publication Date Title
US20190370581A1 (en) Method and apparatus for providing automatic mirror setting via inward facing cameras
US20170192423A1 (en) System and method for remotely assisting autonomous vehicle operation
US20200062249A1 (en) Connected and Autonomous Vehicle (CAV) Behavioral Adaptive Driving
CN106781666A (zh) 一种目标车位的控制方法及系统
KR102303785B1 (ko) 로봇의 언어를 설정하는 인공 지능 서버 및 그 방법
DE102020115356A1 (de) Systeme und verfahren zur netzknotenkommunikation unter verwendung dynamisch konfigurierbarer interaktionsmodi
JPWO2020054240A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
KR20180125858A (ko) 차량의 동작을 제어하는 전자 장치 및 방법
JPWO2019188390A1 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
US11703854B2 (en) Electronic control unit and vehicle control method thereof
US20220383748A1 (en) Vehicle control in geographical control zones
JP7269694B2 (ja) 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置
JP7424787B2 (ja) 画像送信要求内容を受信情報によって選定可能な画像データ取得方法、プログラム及び方法
JP7409309B2 (ja) 情報処理装置と情報処理方法とプログラム
JP7143263B2 (ja) 符号化パラメータを用いて対象識別位置を決定する対象識別方法、装置及びプログラム
CN113965726A (zh) 处理交通视频的方法、装置以及系统
JP2021056873A (ja) 走行支援システム、走行支援方法およびプログラム
KR20200132646A (ko) 기 설정된 주행규칙에 기반하여 차량의 주행을 제어하는 방법, 장치 및 프로그램
US20240144816A1 (en) Control apparatus, control method, and program
US11546503B1 (en) Dynamic image compression for multiple cameras of autonomous vehicles
US20230095186A1 (en) Information processing device, information processing system, and information processing method
JP7107629B2 (ja) 対象映像を生成するためのサーバ、クライアント、プログラム及び方法
JP7163257B2 (ja) 移動可能な画像生成元の画像を用いて多視点画像を生成する方法、装置及びプログラム
JP7419450B1 (ja) 情報処理システム、情報処理装置、情報処理方法、プログラム
JP7254988B1 (ja) 運行管理システム、運行管理装置、運行管理装置の制御方法、及び運行管理装置の制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240118

R150 Certificate of patent or registration of utility model

Ref document number: 7424787

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150