JP2022188909A - 移動物体検出装置、移動物体認識システム、移動物体検出方法およびコンピュータプログラム - Google Patents

Abstract

【課題】移動体に搭載されたカメラが任意の方向に移動した場合であっても、任意の方向に移動する物体を検出することのできる移動物体検出装置を提供する。【解決手段】移動物体検出装置は、移動体に搭載されたカメラを用いて撮影された画像を取得する画像取得部と、移動体の移動速度を取得する速度取得部と、移動体の移動方向を取得する方向取得部と、対象時刻においてカメラを用いて撮影された対象画像に含まれる物体までの距離を取得する距離取得部と、対象時刻とは異なる第１時刻においてカメラを用いて撮影された第１画像と、移動速度および移動方向と、物体までの距離とに基づいて、物体の動きベクトルを予測する動きベクトル予測部と、第１画像および対象画像に基づいて、物体の動きベクトルを算出する動きベクトル算出部と、予測された動きベクトルおよび算出された動きベクトルに基づいて、対象画像から移動物体を検出する移動物体検出部とを備える。【選択図】図３

Description

本開示は、移動物体検出装置、移動物体認識システム、移動物体検出方法およびコンピュータプログラムに関する。

従来、自動車などの車両に搭載されたカメラにより撮影され、出力される画像データを効率的に圧縮する方法として、車両の移動速度を用いた圧縮方法が提案されている（例えば、特許文献１参照）。

特開２０１２－１５１７１１号公報

特許文献１記載の画像圧縮方法では、スピードメータにより測定された車両の移動速度の情報を映像符号化の動き補償に用い、車両の移動速度に応じて画像に含まれる物体を拡大または縮小することにより、動画像圧縮時の処理負荷の低減を行っている。

しかしながら、特許文献１では、自車両が直進方向に走行することを想定しており、対象とする物体は静止物、追い越し車両または対向車両に限定されている。つまり、物体の移動方向は自車両の直進方向または直進方向と反対の方向に限定されている。このため、自車両が左折または右折等して直進方向とは異なる方向に進行した場合には、特許文献１記載の画像圧縮方法を動画像圧縮に適用することができない。
また、横断歩道を横切る物体（他車両、自転車または歩行者など）などのように画像中で直進方向とは異なる方向または直進方向と反対の方向とは異なる方向に移動する物体に対しても、特許文献１記載の画像圧縮方法は適用できない。これは、特許文献１では移動物体の向きを限定しているからである。
このように、特許文献１によるとカメラが任意の移動している状況において静止物体と移動物体とを見分けることは困難である。

本開示は、このような事情に鑑みてなされたものであり、移動体に搭載されたカメラが任意の方向に移動した場合であっても、任意の方向に移動する物体を検出することのできる移動物体検出装置、移動物体認識システム、移動物体検出方法およびコンピュータプログラムを提供することを目的とする。

本開示の一態様に係る移動物体検出装置は、移動体に搭載されたカメラを用いて撮影された画像を取得する画像取得部と、前記移動体の移動速度を取得する速度取得部と、前記移動体の移動方向を取得する方向取得部と、対象時刻において前記カメラを用いて撮影された対象画像に含まれる物体までの距離を取得する距離取得部と、前記対象時刻とは異なる第１時刻において前記カメラを用いて撮影された第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記物体の動きベクトルを予測する動きベクトル予測部と、前記第１画像および前記対象画像に基づいて、前記物体の動きベクトルを算出する動きベクトル算出部と、予測された前記動きベクトルおよび算出された前記動きベクトルに基づいて、前記対象画像から移動物体を検出する移動物体検出部とを備える。

本開示の一態様に係る移動物体認識システムは、上述の移動物体検出装置と、前記移動物体検出装置により検出された移動物体の位置の情報に基づいて、前記移動物体が検出された対象画像に含まれる前記移動物体を認識する移動物体認識装置とを備える。

本開示の他の態様に係る移動物体検出方法は、移動体に搭載されたカメラを用いて撮影された画像を取得するステップと、前記移動体の移動速度を取得するステップと、前記移動体の移動方向を取得するステップと、対象時刻において前記カメラを用いて撮影された対象画像に含まれる物体までの距離を取得するステップと、前記対象時刻とは異なる第１時刻において前記カメラを用いて撮影された第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記物体の動きベクトルを予測するステップと、前記第１画像および前記対象画像に基づいて、前記物体の動きベクトルを算出するステップと、予測された前記動きベクトルおよび算出された前記動きベクトルに基づいて、前記対象画像から移動物体を検出するステップとを含む。

本開示の他の態様に係るコンピュータプログラムは、コンピュータを、移動体に搭載されたカメラを用いて撮影された画像を取得する画像取得部、前記移動体の移動速度を取得する速度取得部、前記移動体の移動方向を取得する方向取得部、対象時刻において前記カメラを用いて撮影された対象画像に含まれる物体までの距離を取得する距離取得部、前記対象時刻とは異なる第１時刻において前記カメラを用いて撮影された第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記物体の動きベクトルを予測する動きベクトル予測部、前記第１画像および前記対象画像に基づいて、前記物体の動きベクトルを算出する動きベクトル算出部、および予測された前記動きベクトルおよび算出された前記動きベクトルに基づいて、前記対象画像から移動物体を検出する移動物体検出部として機能させる。

なお、このようなコンピュータプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な非一時的な記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。また、本開示は、移動物体検出装置の一部又は全部を実現する半導体集積回路として実現したり、移動物体検出装置を含むシステムとして実現したりすることもできる。

本開示によると、移動体に搭載されたカメラが任意の方向に移動した場合であっても、任意の方向に移動する物体を検出することができる。

図１は、本開示の実施形態１に係る運転支援システムの全体構成を示す図である。 図２は、本開示の実施形態１に係る車載システムの構成の一例を示すブロック図である。 図３は、プロセッサの機能的な構成を示すブロック図である。 図４は、道路を走行する車両を上方から見た模式図である。 図５は、対象時刻および第２時刻における車両の位置関係の一例を示す図である。 図６Ａは、第２時刻において車両に搭載されたカメラにより撮影された画像の一例を示す図である。 図６Ｂは、対象時刻において車両に搭載されたカメラにより撮影された画像の一例を示す図である。 図７Ａは、対象時刻よりも過去の第１時刻において撮影された第１画像の一例を示す図である。 図７Ｂは、動きベクトル予測部が予測した対象画像の一例を示す図である。 図７Ｃは、動きベクトル予測部が予測した動きベクトルの一例を示す図である。 図８は、動きベクトル予測部による対象画像および動きベクトルの予測方法について説明するための図である。 図９Ａは、走行中の車両から撮影した第１画像の一例を示す図である。 図９Ｂは、走行中の車両から撮影した対象画像の一例を示す図である。 図１０は、図９Ａに示した第１画像を用いて予測された対象画像における予測動きベクトルの一例を示す図である。 図１１は、図９Ａに示した第１画像と図９Ｂに示した対象画像とに基づいて算出された算出動きベクトルの一例を示す図である。 図１２Ａは、走行中の車両から撮影した第１画像の一例を示す図である。 図１２Ｂは、走行中の車両から撮影した対象画像の一例を示す図である。 図１３は、図１２Ａに示した第１画像を用いて予測された対象画像における予測動きベクトルの一例を示す図である。 図１４は、図１２Ａに示した第１画像と図１２Ｂに示した対象画像とに基づいて算出された算出動きベクトルの一例を示す図である。 図１５は、本開示の実施形態１に係る車載システムの処理手順の一例を示すフローチャートである。 図１６は、移動物体検出処理（図１５のステップＳ１）の一例を示すフローチャートである。 図１７は、画像処理（図１５のステップＳ２）の一例を示すフローチャートである。 図１８は、移動物体認識処理（図１５のステップＳ３）の一例を示すフローチャートである。

［本開示の実施形態の概要］
最初に本開示の実施形態の概要を列記して説明する。
（１）本開示の一実施形態に係る移動物体検出装置は、移動体に搭載されたカメラを用いて撮影された画像を取得する画像取得部と、前記移動体の移動速度を取得する速度取得部と、前記移動体の移動方向を取得する方向取得部と、対象時刻において前記カメラを用いて撮影された対象画像に含まれる物体までの距離を取得する距離取得部と、前記対象時刻とは異なる第１時刻において前記カメラを用いて撮影された第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記物体の動きベクトルを予測する動きベクトル予測部と、前記第１画像および前記対象画像に基づいて、前記物体の動きベクトルを算出する動きベクトル算出部と、予測された前記動きベクトルおよび算出された前記動きベクトルに基づいて、前記対象画像から移動物体を検出する移動物体検出部とを備える。

この構成によると、動きベクトル予測部により、カメラが移動体の移動速度および移動方向で移動したと仮定し、対象画像に含まれる物体が静止物体であると仮定した場合の動きベクトルが予測される。また、動きベクトル算出部により、２枚の画像から物体の動きベクトルが算出される。物体が静止している場合には、その物体に対する予測された動きベクトルと算出された動きベクトルとは一致するはずである。一方、物体が移動している場合には、予測された動きベクトルと算出された動きベクトルとは異なるはずである。このため、移動物体検出部は、予測された動きベクトルと算出された動きベクトルとから、物体が移動物体であるか静止物体であるかを判断することができる。よって、移動体に搭載されたカメラが任意の方向に移動した場合であっても、任意の方向に移動する物体を検出することができる。なお、第１時刻は、対象時刻に対して過去の時刻であってもよいし、未来の時刻であってもよい。

（２）好ましくは、前記速度取得部は、さらに、前記物体の移動速度を取得し、前記距離取得部は、前記対象画像および前記対象時刻とは異なる第２時刻において撮影された第２画像における前記物体のサイズと、前記移動体および前記物体の移動速度とに基づいて、前記物体までの距離を算出する。

この構成によると、カメラが移動した場合であっても、物体までの距離を正確に算出することができる。これにより、物体の動きベクトルを正確に予測することができる。なお、第２時刻は、対象時刻に対して過去の時刻であってもよいし、未来の時刻であってもよい。また、第２時刻は、第１時刻と同じ時刻であってもよいし、異なる時刻であってもよい。第２時刻が第１時刻と同じ時刻の場合には、第２画像と第１画像とは同じ画像を示す。

（３）さらに好ましくは、前記移動物体検出部は、予測された前記動きベクトルと算出された前記動きベクトルの大きさの差に基づいて、前記対象画像から移動物体を検出する。

この構成によると、予測された動きベクトルと算出された動きベクトルとの異同を正確に検出することができる。これにより、移動物体を正確に検出することができる。

（４）また、移動物体検出装置は、前記対象画像を圧縮する画像圧縮部をさらに備え、前記画像圧縮部は、検出された前記移動物体を含まない領域を、前記移動物体を含む領域よりも高い圧縮率で圧縮してもよい。

この構成によると、移動物体を含む領域を移動物体を含まない領域に比べ低圧縮率で圧縮するか、移動物体を含む領域を圧縮することなく、画像全体を圧縮することができる。このため、圧縮された移動物体を含む領域を伸張したとしても、当該領域の明瞭さが失われることがない。よって、伸張後の画像から移動物体を正確に認識することができる。

（５）また、移動物体検出装置は、圧縮された前記対象画像に、検出された前記移動物体の位置の情報を付加する情報付加部をさらに備えてもよい。

この構成によると、付加された情報に基づいて移動物体の認識処理を行うことにより、効率的かつ正確に移動物体を認識することができる。

（６）また、前記動きベクトル予測部は、前記第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記対象画像における前記物体の位置を予測し、予測された前記物体の位置と、前記第１画像に含まれる前記物体の位置とに基づいて、前記動きベクトルを予測してもよい。

この構成によると、カメラが任意の速度で任意の方向に移動した場合であっても、物体を静止物体と仮定した場合の動きベクトルを正確に予測することができる。

（７）本開示の他の実施形態に係る移動物体認識システムは、上述の移動物体検出装置と、前記移動物体検出装置により検出された移動物体の位置の情報に基づいて、前記移動物体が検出された対象画像に含まれる前記移動物体を認識する移動物体認識装置とを備える。

この構成によると、移動物体の位置の情報に基づいて移動物体の認識処理を行うことにより、効率的かつ正確に移動物体を認識することができる。

（８）本開示の他の実施形態に係る移動物体検出方法は、移動体に搭載されたカメラを用いて撮影された画像を取得するステップと、前記移動体の移動速度を取得するステップと、前記移動体の移動方向を取得するステップと、対象時刻において前記カメラを用いて撮影された対象画像に含まれる物体までの距離を取得するステップと、前記対象時刻とは異なる第１時刻において前記カメラを用いて撮影された第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記物体の動きベクトルを予測するステップと、前記第１画像および前記対象画像に基づいて、前記物体の動きベクトルを算出するステップと、予測された前記動きベクトルおよび算出された前記動きベクトルに基づいて、前記対象画像から移動物体を検出するステップとを含む。

この構成は、上述の移動物体検出装置における特徴的な処理をステップとして含む。このため、この構成によると、上述の移動物体検出装置と同様の作用および効果を奏することができる。

（９）本開示の他の実施形態に係るコンピュータプログラムは、コンピュータを、移動体に搭載されたカメラを用いて撮影された画像を取得する画像取得部、前記移動体の移動速度を取得する速度取得部、前記移動体の移動方向を取得する方向取得部、対象時刻において前記カメラを用いて撮影された対象画像に含まれる物体までの距離を取得する距離取得部、前記対象時刻とは異なる第１時刻において前記カメラを用いて撮影された第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記物体の動きベクトルを予測する動きベクトル予測部、前記第１画像および前記対象画像に基づいて、前記物体の動きベクトルを算出する動きベクトル算出部、および予測された前記動きベクトルおよび算出された前記動きベクトルに基づいて、前記対象画像から移動物体を検出する移動物体検出部として機能させる。

この構成によると、コンピュータを、上述の移動物体検出装置として機能させることができる。このため、上述の移動物体検出装置と同様の作用および効果を奏することができる。

［本開示の実施形態の詳細］
以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下で説明する実施形態は、いずれも本開示の一具体例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定するものではない。また、以下の実施形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。

＜実施形態１＞
〔運転支援システムの全体構成〕
図１は、本開示の実施形態１に係る運転支援システムの全体構成を示す図である。

図１を参照して、運転支援システム１は、無線通信が可能な道路上を走行する複数の車両２と、車両２と無線通信する１または複数の基地局６と、基地局６とインターネット等のネットワーク５を介して有線または無線で通信するサーバ４とを備える。

基地局６は、マクロセル基地局、マイクロセル基地局、およびピコセル基地局などからなる。

車両２には、通常の乗用車だけでなく、路線バスや緊急車両などの公共車両も含まれる。また、車両２は、四輪車だけでなく、二輪車（バイク）であってもよい。

各車両２は、後述するようにカメラを含む車載システム３を備えており、カメラで車両２の周囲を撮影することにより得られる画像データ（以下では、単に「画像」という）を圧縮し、圧縮済みの画像を、ネットワーク５を介してサーバ４に送信する。

サーバ４は、ネットワーク５を介して、各車両２から、圧縮済み画像を受信し、受信した圧縮済み画像を伸張する。サーバ４は、伸張した画像に対して、所定の画像処理を施す。例えば、画像から、車両２、人間などの移動物体を認識する認識処理を実行し、認識結果を地図データ上に反映させた動的マップを作成する。サーバ４は、作成した動的マップを、各車両２に送信する。

各車両２は、サーバ４から動的マップを受信し、受信した動的マップに基づいて、車両２の運転支援処理等を行う。

〔車両２の構成〕
図２は、本開示の実施形態１に係る車載システム３の構成の一例を示すブロック図である。

図２に示すように、車両２の車載システム３は、カメラ３１と、通信部３２と、クロック３３と、制御部（ＥＣＵ：Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）３４と、衛星信号受信機３７と、ジャイロセンサ３８と、速度センサ３９と、自動運転処理部５１とを備える。

カメラ３１は、車両２の周囲（特に、車両２の前方）の映像を取り込む画像センサよりなる。カメラ３１は、単眼である。ただし、カメラ３１は、複眼であってもよい。映像は、時系列の複数の画像より構成される。

通信部３２は、例えば５Ｇ（第５世代移動通信システム）対応の通信処理が可能な無線通信機よりなる。なお、通信部３２は、車両２に既設の無線通信機であってもよいし、搭乗者が車両２に持ち込んだ携帯端末であってもよい。

搭乗者の携帯端末は、車両２の車内ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続されることにより、一時的に車載の無線通信機となる。

クロック３３は、現在の時刻を計時する。

制御部３４は、車両２の各機器３１～３３、３７～３９の制御を行うコンピュータ装置よりなる。制御部３４は、衛星信号受信機３７が定期的に取得するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）信号などの衛星信号に基づいて自車両の車両位置を求める。なお、制御部３４は、衛星信号受信機３７が準天頂衛星から受信したＧＰＳ補完信号またはＧＰＳ補強信号を合わせて用いることで、ＧＰＳ信号を補完したり、自車両の車両位置を補正したりしてもよい。なお、車両位置は、車線を区別できる程度の位置精度を有しているのが好ましい。

制御部３４は、ジャイロセンサ３８および速度センサ３９の入力信号に基づいて、車両２の位置および方向を補完し、車両２の正確な現在位置および方向を把握する。ここで、車両２の現在位置は、例えば、緯度および経度により示される。また、車両２の方向は、例えば、北を０度とする時計回りの０度～３６０度の範囲の角度で示される。

衛星信号受信機３７、ジャイロセンサ３８および速度センサ３９は、車両２の現在位置、方向および速度を計測するセンサ類である。

制御部３４は、プロセッサ３５と、メモリ３６とを備える。

プロセッサ３５は、メモリ３６に格納されたコンピュータプログラムを実行するマイクロコンピュータなどの演算処理装置である。

メモリ３６は、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）またはＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）などの揮発性のメモリ素子、フラッシュメモリ若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性のメモリ素子、または、ハードディスクなどの磁気記憶装置などにより構成されている。メモリ３６は、制御部３４で実行されるコンピュータプログラムや、制御部３４におけるコンピュータプログラム実行時に生成されるデータ等を記憶する。

自動運転処理部５１は、後述するように制御部３４から圧縮済み画像を受け、圧縮済み画像を伸張した後に、当該画像に含まれる移動物体を認識する処理を実行し、車両２の自動運転を支援する処理を行う。つまり、自動運転処理部５１は、移動物体との衝突を回避するために、操舵角、速度等を制御する指令を、車両２に搭載された制御系ＥＣＵに送信する。自動運転処理部５１による、伸張処理および物体認識処理については後述する。

なお、自動運転処理部５１は、制御部３４と同様に、プロセッサおよびメモリを備え、メモリに格納されたコンピュータプログラムを実行することによりその機能を発揮する。ただし、自動運転処理部５１の一部または全部がハードウェアにより構成されていてもよい。

〔プロセッサ３５の機能構成〕
図３は、プロセッサ３５の機能的な構成を示すブロック図である。
図３を参照して、プロセッサ３５は、メモリ３６に記憶されたコンピュータプログラムを実行することにより実現される機能的な処理部として、画像取得部４１と、速度取得部４２と、方向取得部４３と、時刻取得部４４と、距離取得部４５と、動きベクトル予測部４６と、動きベクトル算出部４７と、移動物体検出部４８と、画像圧縮部４９と、情報付加部５０とを備える。

画像取得部４１は、カメラ３１が撮影した車両２の前方の画像を時系列で順次取得する。
速度取得部４２は、速度センサ３９から車両２の速度を取得する。また、速度取得部４２は、図示しないミリ波レーダセンサなどの速度を測定可能なセンサから車両２の前方を走行する他の車両２の速度情報を取得する。

方向取得部４３は、ジャイロセンサ３８から車両２の移動方向情報を取得する。なお、方向取得部４３は、車両２に加速度センサが備えられている場合には、加速度センサの計測結果を考慮して移動方向情報を修正してもよい。
時刻取得部４４は、クロック３３から現在時刻、つまり、カメラ３１の撮影時刻を取得する。

距離取得部４５は、画像取得部４１が取得した時系列の画像と、速度取得部４２が取得した車両２の速度と、時刻取得部４４が取得した時刻とに基づいて、車両２から画像中に含まれる物体までの距離を算出することにより、当該距離情報を取得する。

以下、距離取得部４５による車両２から車両２の前方の物体までの距離の算出方法について説明する。

図４は、道路を走行する車両２を上方から見た模式図である。道路６１上を車両２、６２～６５が走行している。ここで、車両６２は、車両２と同一の車線を走行する前方車両であり、車両６３～６５は、車両２の対向車線を走行する対向車両である。

物体の距離を算出する対象時刻における各車両の位置を実線で示し、対象時刻よりも過去の時刻（以下、「第２時刻」という。）における各車両の位置を破線で示している。ただし、第２時刻は、対象時刻よりも未来の時刻であってもよい。

図５は、対象時刻および第２時刻における車両２および車両６２の位置関係の一例を示す図である。

車両２は、第２時刻から対象時刻までの時間ｔの間に、速度ｖ１で走行し距離ｄ１だけ移動したものとする。また、車両６２は、同じ時間ｔの間に、速度ｖ２で走行し距離ｄ２だけ移動したものとする。対象時刻における車両２の先頭位置と、第２時刻における車両２の後端位置との間の距離をｄ２とし、対象時刻における車両２から車両６２までの距離をｘとする。

図６Ａは、第２時刻において車両２に搭載されたカメラ３１により撮影された画像（以下、「第２画像」という。）の一例を示す図である。図６Ｂは、対象時刻において車両２に搭載されたカメラ３１により撮影された画像（以下、「対象画像」という。）の一例を示す図である。

図６Ａに示す第２画像には車両６２の像が含まれており、当該像の幅（画素数）はｗ１であるものとする。また、図６Ｂに示す対象画像には車両６２の像が含まれており、当該像の幅はｗ２であるものとする。距離取得部４５は、各画像に対して所定の画像処理を行うことにより、車両６２の幅を算出するものとする。例えば、距離取得部４５は、各画像に対してエッジ検出処理や領域分割処理を行うことにより、車両６２の領域を抽出し、当該領域の幅を算出してもよい。

距離取得部４５は、以下の式１に従い、距離ｘを算出する。
ｘ＝（ｖ２－ｖ１）×ｔ／（１－ｗ２／ｗ１） …（式１）
ここで、ｘは以下の式２から式５を変形することにより求められる。
ｘ＝ｄ２＋ｄ３ …（式２）
ｄ１＝ｖ１×ｔ …（式３）
ｄ２＝ｖ２×ｔ …（式４）
ｗ２／ｗ１＝（ｄ１＋ｄ３）／（ｄ２＋ｄ３） …（式５）

なお、距離取得部４５は、車両６３～６５についても、同様にして各車両までの距離を算出することができる。

再び図３を参照して、動きベクトル予測部４６は、画像取得部４１が取得した時系列の画像と、速度取得部４２が取得した車両２の速度と、方向取得部４３が取得した車両２の方向と、時刻取得部４４が取得した時刻とに基づいて、画像に含まれる物体の動きを示す動きベクトルを予測する。ここで、動きベクトル予測部４６は、速度取得部４２及び方向取得部４３がそれぞれリアルタイムで取得した車両２の速度及び方向を用いて動きベクトルを予測する。ただし、動きベクトル予測部４６は、速度取得部４２及び方向取得部４３がそれぞれ過去に取得した車両２の速度及び方向から、現在時刻における車両２の速度及び方向をそれぞれ予測し、予測した速度及び方向を用いて動きベクトルを予測してもよい。例えば、動きベクトル予測部４６は、複数の時刻において速度取得部４２が取得した車両２の速度から車両２の加速度を算出し、取得された最新の車両２の速度と算出した車両２の加速度とから現在時刻の車両２の速度を予測してもよい。また、動きベクトル予測部４６は、複数の時刻において方向取得部４３が取得した車両２の方向から車両２の角加速度を算出し、取得された最新の車両２の方向と算出した車両２の角加速度とから現在時刻の車両２の方向を予測してもよい。
なお、速度取得部４２は、図示しないミリ波レーダセンサなどの速度を測定可能なセンサから車両２の前方を走行する他の車両２の車幅および車高を取得してもよい。

以下、動きベクトル予測部４６による動きベクトルの予測方法の一例について説明する。
図７Ａは、対象時刻よりも過去の時刻（以下、「第１時刻」という。）において撮影された画像（以下、「第１画像」という。）の一例を示す図である。第１画像には、車両２の前方を走行する車両Ｂが映っているものとする。なお、第１時刻は、第２時刻と同じ時刻であってもよいし、異なる時刻であってもよい。また、第１時刻は、対象時刻よりも未来の時刻であってもよい。

図７Ｂは、動きベクトル予測部４６が予測した対象画像の一例を示す図である。動きベクトル予測部４６は、第１画像と、車両２の速度および方向と、車両２から車両Ｂまでの距離とに基づいて、対象時刻における車両Ｂの位置を予測する。車両Ｂの位置の予測方法については後述する。

図７Ｃは、動きベクトル予測部４６が予測した動きベクトルの一例を示す図である。つまり、動きベクトル予測部４６は、予測された対象画像における車両Ｂの各位置から第１画像における車両Ｂの対応する各位置に向かうベクトルを動きベクトル７１として予測する。

図８は、動きベクトル予測部４６による対象画像および動きベクトルの予測方法について説明するための図である。

図８の（Ａ）は、自車両である車両Ａを上方から見た上面図の一例を示す。上面図には、車両Ａの他、車両Ａの前方に位置する車両Ｂを示している。
図８の（Ｂ）は、車両Ａに搭載されたカメラ３１が撮影した画像における車両Ｂの投影図を示す。

図８の（Ｃ）は、車両Ａおよび車両Ｂを側面から見た側面図の一例を示す。
図８の（Ｄ）は、車両Ａに搭載されたカメラ３１が撮影した画像における車両Ｂの車高方向の投影図を示す。

以下では、自車両である車両Ａが右に曲がった場合の対象画像および動きベクトルの予測方法について説明する。つまり、車両Ａが位置Ａ１から位置Ａ２に移動したとする。

なお、説明を簡単にするために、投影図（カメラ３１が撮影した画像）の中心に一点透視図法の消失点（座標（ｘ，ｙ）＝（０，０））があるとする。

車両Ａは、位置Ａ１から位置Ａ２に、速度ｖおよび移動方向θで移動したとする。また、その移動時間はｔであるとする。ここで、説明の簡略化のため、車両Ａは、位置Ａ１から位置Ａ２まで直線的に移動しているものとする（距離ｄａ、傾きθの移動）。

図８上で、位置Ａ２を位置Ａ１に移動させると、相対的に位置Ａ１は位置Ａ１´に移動し、位置Ｂ１は位置Ｂ１´に移動したことと同じになる。ここで、位置Ａ２を位置Ａ１に移動させた後の位置をＡ２´と記載する。つまり、位置Ａ２´と位置Ａ１とは同じである。

位置Ａ１において車両Ａから撮影された画像（第１画像）における位置Ｂ１に存在する車両Ｂの左上隅座標を（ｘ１，ｙ１）とする。また、位置Ａ２において車両Ａから撮影された画像（対象画像）における位置Ｂ１における車両Ｂの左上隅座標を（ｘ２，ｙ２）とする。座標（ｘ２，ｙ２）は、位置Ａ１（位置Ａ２´）において車両Ａから撮影された画像（対象画像）における位置Ｂ１´に存在する車両Ｂ１´の左上隅座標と同じである。

動きベクトル予測部４６は、車両Ｂの左上隅座標における動きベクトルを（ｘ１－ｘ２，ｙ１－ｙ２）として算出する。ただし、ここでは、左方向および上方向を正とする。

次に、ｘ１、ｙ１、ｘ２およびｙ２の算出方法について説明する。まず、図８に示す各変数の意味を説明する。なお、（Ａ）の上面図において、位置Ａ１に存在する車両Ａの方向をｙ方向とし、水平面上でｙ方向に直交する方向をｘ方向とする。
ｄ［ｍ］：位置Ａ１に存在する車両の先端から位置Ｂ１に存在する車両Ｂの後端までの距離
ｗ［ｍ］：車両Ｂの実際の車幅
ｗ２［ピクセル］：車両Ａから距離ｄだけ離れた車両Ｂの画像上での車幅
α［ピクセル／ｍ］：ｗ２とｗの換算値（式１４参照）
θａ［ラジアン］：位置Ａ２´に存在する車両Ａの中心（カメラ３１の位置）と位置Ｂ１に存在する車両Ｂの左端とを結ぶ直線と、上記中心と位置Ｂ１´に存在する車両Ｂの左端とを結ぶ直線とのなす角度
θｂ［ラジアン］：位置Ａ２´に存在する車両Ａの中心と位置Ｂ１に存在する車両Ｂの中心とを結ぶ直線と、上記中心と位置Ｂ１に存在する車両Ｂの左端とを結ぶ直線とのなす角度
θｃ［ラジアン］：位置Ａ１に存在する車両Ａの中心と位置Ｂ１に存在する車両Ｂの中心とを結ぶ直線と、位置Ａ１に存在する車両Ａの中心と位置Ｂ１に存在する車両Ｂの後方上端とを結ぶ直線とのなす角度
θｄ［ラジアン］：位置Ａ１に存在する車両Ａの中心と位置Ｂ１に存在する車両Ｂの後方上端とを結ぶ直線と、位置Ａ１に存在する車両Ａの中心と位置Ｂ１´に存在する車両Ｂの後方上端とを結ぶ直線とのなす角度
ｈ［ｍ］：車両Ｂの実際の車高
ｈ２［ピクセル］：車両Ａから距離ｄだけ離れた車両Ｂの画像上での車高
ｄ２［ｍ］：位置Ａ１´に存在する車両Ａの中心と位置Ｂ１´に存在する車両Ｂの左端とを結ぶ直線のｙ方向の距離
ｄ３［ｍ］：位置Ａ１´に存在する車両Ａの中心と位置Ｂ１´に存在する車両Ｂの左端とを結ぶ直線の距離
ｄ４［ｍ］：位置Ａ１´に存在する車両Ａの中心と位置Ｂ１´に存在する車両Ｂの左端とを結ぶ直線のｘ方向の距離
ｄ５［ｍ］：位置Ａ１に存在する車両Ａの中心から位置Ｂ１´に存在する車両Ｂの後端までの距離

動きベクトル予測部４６は、以下の式６および式７に従ってｘ１およびｙ１を算出する。
ｘ１＝ｗ２／２ …（式６）
ｙ１＝ｈ２／２ …（式７）

また、動きベクトル予測部４６は、以下の式８から式１５を演算する。ここで、ｓｑｒｔ（ａ）はａの平方根を表す。
ｄ３＝ｓｑｒｔ（（ｗ／２）^２＋ｄ^２） …（式８）
θｂ＝ａｒｃｓｉｎ（（ｗ／２）／ｄ３） …（式９）
ｄ２＝ｄ３×ｃｏｓ（θ＋θｂ） …（式１０）
ｄ５＝ｄ２－ｄａ …（式１１）
ｄ４＝ｓｑｒｔ（ｄ３^２－（ｄａ＋ｄ５）^２） …（式１２）
ｔａｎ（θａ＋θｂ）＝ｄ４／ｄ５ …（式１３）
α＝ｗ２／ｗ＝Ｄ／ｄ …（式１４）
ｔａｎθ＝ｗ／ｄ＝ｗ２／Ｄ …（式１５）
なお、ｗ２とｗとｄとの対応関係を示す第１データベースがメモリ３６にあらかじめ記憶されているものとする。動きベクトル予測部４６は、第１データベースに基づいて、ｄとｗ２とからｗを決定するものとする。同様に、ｈ２とｈとｄとの対応関係を示す第２データベースがメモリ３６にあらかじめ記憶されているものとする。動きベクトル予測部４６は、第２データベースに基づいて、ｄとｈ２とからｈを決定するものとする。

動きベクトル予測部４６は、以下の式１６に従ってｘ２を算出する。
ｘ２＝ｄ×α×ｔａｎ（θｂ＋θａ） …（式１６）

また、動きベクトル予測部４６は、以下の式１７から式２０を演算する。
（１／２）×ｈ２／（ｄ×α）＝ｔａｎ（θｃ） …（式１７）
ｙ２／（ｄ×α）＝ｔａｎ（θｃ＋θｄ） …（式１８）
ｔａｎ（θｃ）＝ｈ／２×１／ｄ …（式１９）
ｔａｎ（θｃ＋θｄ）＝ｈ／２×１／ｄ５ …（式２０）

動きベクトル予測部４６は、以下の式２１に従ってｙ２を算出する。
ｙ２＝ｔａｎ（θｃ＋θｄ）／ｔａｎ（θｃ）×ｈ２／２
＝ｄ／ｄ５×ｈ２／２ …（式２１）

ここでは、位置Ｂ１に存在する車両Ｂの左上隅に着目して説明を行ったが、他の部分についても同様に画像上での座標を算出可能である。

再び図３を参照して、動きベクトル算出部４７は、画像取得部４１が取得した第１画像および対象画像に基づいて、物体の動きベクトルを算出する。例えば、第１画像を構成する複数のブロックの対象画像における対応位置をブロックマッチング処理を行うことにより探索することで動きベクトルを算出する。なお、動きベクトル算出部４７は、例えば、動画像圧縮符号化の標準技術であるＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）またはＨ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）で採用されている動き予測器の機能を用いて動きベクトルを算出してもよい。また、動きベクトル算出部４７がハードウェアにより構成される場合には、動きベクトル算出部４７が当該動き予測器を含んでいてもよい。

移動物体検出部４８は、動きベクトル予測部４６により予測された動きベクトル（以下、「予測動きベクトル」という。）と、動きベクトル算出部４７により算出された動きベクトル（以下、「算出動きベクトル」という。）とに基づいて、対象画像から動きベクトルを検出する。

具体的には、移動物体検出部４８は、画像中の座標ごとに、当該座標を終点とする予測動きベクトルおよび算出動きベクトルを比較する。ここで、予測動きベクトルが（ｘｍｖ１，ｙｍｖ１）であり、算出動きベクトルが（ｘｍｖ２，ｙｍｖ２）であるとする。移動物体検出部４８は、以下の式２２または式２３を満たすか否かを判定する。ここで、ＴＨｘおよびＴＨｙはあらかじめ定められた閾値である。
｜ｘｍｖ１－ｘｍｖ２｜＞ＴＨｘ …（式２２）
｜ｙｍｖ１－ｙｍｖ２｜＞ＴＨｙ …（式２３）

移動物体検出部４８は、式２２または式２３を満たす場合には、算出動きベクトルが移動物体の移動ベクトルであると判定し、式２２および式２３を満たさない場合には、算出動きベクトルが静止物体の移動ベクトルであると判定する。移動物体検出部４８は、判定結果に基づいて、移動ベクトルの始点の座標をクラスタリングすることにより、移動物体を検出する。例えば、あらかじめ定められた距離の範囲内に存在する移動物体の移動ベクトルの始点の座標同士を同一のクラスタにクラスタリングすることにより、各クラスタに属する座標を同一の移動物体の座標と判定する。

以下、移動物体検出部４８による移動物体の検出処理の具体例について説明する。
図９Ａは、走行中の車両２から撮影した第１画像の一例を示す図である。図９Ｂは、走行中の車両２から撮影した対象画像の一例を示す図である。車両８１は、車両２の前方を走行し、車両８２は、車両２の対向車線を走行しているものとする。

図１０は、図９Ａに示した第１画像を用いて予測された対象画像における予測動きベクトルの一例を示す図である。予測動きベクトルは、ビル８０の部分の動きベクトル９０と、車両８１の部分の動きベクトル９１と、車両８２の部分の動きベクトル９２とを含む。動きベクトル９１は、車両８１が静止物体であると想定した場合の動きベクトルを示し、動きベクトル９２は、車両８２が静止物体であると想定した場合の動きベクトルを示している。

図１１は、図９Ａに示した第１画像と図９Ｂに示した対象画像とに基づいて算出された算出動きベクトルの一例を示す図である。算出動きベクトルは、ビル８０の部分の動きベクトル９３と、車両８１の部分の動きベクトル９４と、車両８２の部分の動きベクトル９５とを含む。

移動物体検出部４８は、図１０に示した予測動きベクトルと、図１１に示した算出動きベクトルとを比較する。ビル８０は静止物体である。このため、動きベクトル９０と動きベクトル９３とはほぼ同じであり、式２２および式２３を満たさない。一方、車両８１は移動しているため、動きベクトル９１および動きベクトル９４は異なり、式２２または式２３を満たす。よって、移動物体検出部４８は、動きベクトル９４を、移動物体の動きベクトルであると判定する。同様に、車両８２は移動しているため動きベクトル９２および動きベクトル９５は異なり、式２２または式２３を満たす。よって、移動物体検出部４８は、動きベクトル９５を、移動物体の動きベクトルであると判定する。移動物体検出部４８は、移動物体の動きベクトル９４および動きベクトル９５のそれぞれの始点をクラスタリングすることにより、車両８１および車両８２を移動物体として検出する。

図１２Ａは、走行中の車両２から撮影した第１画像の一例を示す図である。図１２Ｂは、走行中の車両２から撮影した対象画像の一例を示す図である。車両８１は、車両２の前方を走行し、車両８２は、車両２の対向車線を走行しているものとする。また、車両２は、第１時刻から対象時刻の間に左方向に移動したとする。

図１３は、図１２Ａに示した第１画像を用いて予測された対象画像における予測動きベクトルの一例を示す図である。予測動きベクトルは、ビル８０の部分の動きベクトル１００と、車両８１の部分の動きベクトル１０１と、車両８２の部分の動きベクトル１０２とを含む。動きベクトル１０１は、車両８１が静止物体であると想定した場合の動きベクトルを示し、動きベクトル１０２は、車両８２が静止物体であると想定した場合の動きベクトルを示している。

図１４は、図１２Ａに示した第１画像と図１２Ｂに示した対象画像とに基づいて算出された算出動きベクトルの一例を示す図である。算出動きベクトルは、ビル８０の部分の動きベクトル１０３と、車両８１の部分の動きベクトル１０４と、車両８２の部分の動きベクトル１０５とを含む。

移動物体検出部４８は、図１３に示した予測動きベクトルと、図１４に示した算出動きベクトルとを比較する。ビル８０は静止物体である。このため、動きベクトル１００と動きベクトル１０３とはほぼ同じであり、式２２および式２３を満たさない。一方、車両８１は移動しているため、動きベクトル１０１および動きベクトル１０４は異なり、式２２または式２３を満たす。よって、移動物体検出部４８は、動きベクトル１０４を、移動物体の動きベクトルであると判定する。同様に、車両８２は移動しているため動きベクトル１０２および動きベクトル１０５は異なり、式２２または式２３を満たす。よって、移動物体検出部４８は、動きベクトル１０５を、移動物体の動きベクトルであると判定する。移動物体検出部４８は、移動物体の動きベクトル１０４および動きベクトル１０５のそれぞれの始点をクラスタリングすることにより、車両８１および車両８２を移動物体として検出する。移動物体検出部４８は、検出結果を、画像圧縮部４９および情報付加部５０に出力する。

再び図３を参照して、画像圧縮部４９は、移動物体検出部４８の検出結果に基づいて対象画像を圧縮する。例えば、画像圧縮部４９は、検出された移動物体を含まない領域（以下、「非移動物体領域」という。）を、移動物体を含む領域（以下、「移動物体領域」という。）よりも高い圧縮率で圧縮する。具体的な一例として、画像圧縮部４９は、対象画像をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）圧縮する場合に、量子化後のＤＣ係数のレベル数を比較した場合に、非移動物体領域のほうが移動物体領域よりも小さくなるような量子化テーブルを用いて圧縮を行ってもよい。

移動物体領域は、例えば、移動物体の座標を含む矩形領域であり、非移動物体領域は、例えば、非移動物体の座標を含む矩形領域である。

なお、圧縮方法はＪＰＥＧ圧縮に限定されるものではなく、圧縮率を変化させることのできる圧縮方法や、圧縮率の異なる２以上の圧縮方法を用いてもよい。例えば、画像をあらかじめ定められた複数のブロックに分割した場合に、移動物体領域を含むブロックについては圧縮率の低いＶｉｓｕａｌｌｙ Ｌｏｓｓｌｅｓｓ ＣｏｍｐｒｅｓｓｉｏｎまたはＶｉｓｕａｌｌｙ Ｒｅｖｅｒｓｉｂｌｅ Ｃｏｍｐｒｅｓｓｉｏｎと呼ばれるアルゴリズムを用いてブロックデータを非可逆的に圧縮してもよい。また、移動物体領域を含まないブロックについては圧縮率の高いＪＰＥＧ２０００と呼ばれる圧縮方式に従ってブロックデータを圧縮してもよい。

また、画像圧縮部４９は、非移動物体領域を縮小するダウンスケーリング処理を行うことにより圧縮を行ってもよいし、非移動物体領域の各画素の輝度値を示すビット数を低減して、階調度（色深度）を削減してもよい。また、非移動物体領域の時間的な間引き処理（例えば、時系列画像のうち偶数番目のフレームから得られた非移動物体領域を削除する処理）を行ってもよい。

情報付加部５０は、画像圧縮部４９により圧縮された対象画像に対し、移動物体の位置を示す情報を付加する。例えば、情報付加部５０は、矩形の移動物体領域の左上隅座標と、矩形の横方向の幅および縦方向の幅を示す情報を、移動物体の位置を示す情報として、対象画像に付加する。また、移動物体領域がブロック単位で定められている場合には、情報付加部５０は、移動物体領域を含むブロックの識別情報を、移動物体の位置を示す情報として、対象画像に付加してもよい。情報付加部５０は、情報が付加された圧縮済みの対象画像を、自動運転処理部５１に送信したり、メモリ３６に記憶させたり、通信部３２を介してサーバ４に送信する。

〔自動運転処理部５１の構成〕
次に、図２に示した自動運転処理部５１の構成について説明する。
図２を参照して、自動運転処理部５１は、情報付加部５０から受けた圧縮済み画像に付加された移動物体の位置を示す情報に基づいて、圧縮済み画像を復号する。つまり、自動運転処理部５１は、移動物体領域に対しては移動物体領域を圧縮するのに用いた圧縮方法に対応する復号方法を用いて当該領域を復号する。また、自動運転処理部５１は、非移動物体領域に対しては非移動物体領域を圧縮するのに用いた圧縮方法に対応する復号方法を用いて当該領域を復号する。

なお、移動物体領域がブロック単位で定められている場合には、自動運転処理部５１は、ブロック単位で移動物体領域が含まれているかを判定し、移動物体領域が含まれるブロックに対しては、移動物体領域が含まれるブロックを圧縮するのに用いた圧縮方法に対応する復号方法を用いて当該ブロックを復号する。また、自動運転処理部５１は、移動物体領域が含まれないブロックに対しては、移動物体領域が含まれないブロックを圧縮するのに用いた圧縮方法に対応する復号方法を用いて当該ブロックを復号する。

自動運転処理部５１は、対象画像のうち、移動物体検出部４８で検出された移動物体領域に対して、所定の画像認識処理を実行する。例えば、移動物体が車両２の場合には、車両２の位置、大きさ、速度、移動方向などを認識する。画像認識処理には、例えば、ＹＯＬＯｖ３（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ ｖ３）などの機械学習モデルを用いてもよい。また、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やＡｄａＢｏｏｓｔなどの識別モデルを用いてもよい。

自動運転処理部５１は、自動運転ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に従い動作し、移動物体の認識結果に基づいて、車両２の自動運転制御を行う。自動運転処理部５１は、移動物体の認識結果を通信部３２を介してサーバ４に送信してもよい。

なお、自動運転処理部５１は、対象画像のうち、移動物体検出部４８で検出された移動物体領域以外の領域に対して、所定の画像認識処理を実行してもよい。例えば、移動物体検出部４８は、交通信号機や道路標識などの静止物体の位置や、交通信号機や道路標識の示す情報などを認識する。当該画像認識処理は、移動物体に対する画像認識処理と同じモデルを用いてもよいし、異なるモデル（例えば、移動物体の認識モデルよりも簡易なモデル）を用いてもよい。

〔車載システム３の処理の流れ〕
図１５は、本開示の実施形態１に係る車載システム３の処理手順の一例を示すフローチャートである。

車載システム３は、カメラ３１が出力する画像から移動物体を検出する（ステップＳ１）。移動物体検出処理（ステップＳ１）の詳細については後述する。

車載システム３は、ステップＳ１で検出された移動物体に基づいて、画像を圧縮する（ステップＳ２）。画像圧縮処理（ステップＳ２）の詳細については後述する。

車載システム３は、カメラ３１が出力する画像から、ステップＳ１で検出された移動物体を認識する（ステップＳ３）。移動物体認識処理（ステップＳ３）の詳細については後述する。

図１６は、移動物体検出処理（図１５のステップＳ１）の一例を示すフローチャートである。
画像取得部４１は、カメラ３１から画像を順次取得する（ステップＳ１１）。
速度取得部４２は、速度センサ３９から車両２の移動速度を順次取得する（ステップＳ１２）。

方向取得部４３は、ジャイロセンサ３８から車両２の移動方向を順次取得する（ステップＳ１３）。
時刻取得部４４は、クロック３３から現在時刻を順次取得する（ステップＳ１４）。

距離取得部４５は、ステップＳ１１で取得された画像と、ステップＳ１２で取得された車両２の移動速度と、ステップＳ１４で取得された時刻とに基づいて、車両２から、カメラ３１により撮影された物体までの距離を算出する（ステップＳ１５）。

動きベクトル予測部４６は、ステップＳ１１で取得された第１画像と、ステップＳ１２で取得された車両２の移動速度と、ステップＳ１３で取得された車両２の移動方向と、ステップＳ１５で算出された物体までの距離とに基づいて、カメラ３１により撮影された物体が静止していると仮定した場合の物体の位置を予測する（Ｓ１６）。

動きベクトル予測部４６は、第１画像と、ステップＳ１６で予測された物体の位置とに基づいて、ステップＳ１１で取得された対象画像に含まれる座標を始点とする動きベクトルを予測する（ステップＳ１７）。

動きベクトル算出部４７は、第１画像と対象画像とに基づいて、対象画像に含まれる座標を始点とする動きベクトルを算出する（ステップＳ１８）。

移動物体検出部４８は、画像中の座標ごとにステップＳ１９からステップＳ２２までの処理を繰り返し実行する（ループＡ）。

つまり、移動物体検出部４８は、着目している座標を終点とする予測動きベクトルおよび算出動きベクトルを比較する（ステップＳ１９）。すなわち、移動物体検出部４８は、ステップＳ１７において予測された予測動きベクトルおよびステップＳ１８において算出された算出動きベクトルが式２２または式２３を満たすか否かを判定する。

移動物体検出部４８は、式２２または式２３を満たす場合には、予測動きベクトルおよび算出動きベクトルが乖離していると判定し（ステップＳ２０においてＹＥＳ）、算出動きベクトルを移動物体の移動ベクトルであると判定する（ステップＳ２１）。

また、移動物体検出部４８は、式２２および式２３を満たさない場合には、予測動きベクトルおよび算出動きベクトルは乖離していないと判定し（ステップＳ２０においてＮＯ）、算出ベクトルを静止物体の移動ベクトルであると判定する（ステップＳ２２）。

ループＡの処理の後、移動物体検出部４８は、移動物体の移動ベクトルの始点の座標をクラスタリングすることにより、移動物体領域を検出する。移動物体検出部４８は、検出結果を画像圧縮部４９、情報付加部５０および自動運転処理部５１に出力する（ステップＳ２３）。

図１７は、画像処理（図１５のステップＳ２）の一例を示すフローチャートである。
画像圧縮部４９は、処理対象の画像を構成する複数のブロックのそれぞれについて、ステップＳ３１からステップＳ３３までの処理を繰り返し実行する（ループＢ）。

つまり、画像圧縮部４９は、移動物体検出部４８から取得した移動物体領域の検出結果に基づいて、着目しているブロックが移動物体領域を含むか否かを判断する（ステップＳ３１）。

着目ブロックが移動物体領域を含む場合には（ステップＳ３１においてＹＥＳ）、画像圧縮部４９は、その着目ブロックを移動物体領域を含まないブロックに比べて圧縮率の低い圧縮方法を用いて符号化する（ステップＳ３２）。

また、着目ブロックが移動物体領域を含まない場合には（ステップＳ３１においてＮＯ）、画像圧縮部４９は、その着目ブロックを移動物体領域を含むブロックに比べて圧縮率の高い圧縮方法を用いて符号化する（ステップＳ３３）。

ループＢの処理の後、情報付加部５０は、移動物体領域を含むブロックの識別情報（例えば、当該ブロックの画像中での位置情報）を移動物体の位置を示す情報として、圧縮済みの画像に付加する。情報付加部５０は、情報が付加された圧縮済みの画像を、自動運転処理部５１に送信し、メモリ３６に記憶させ、通信部３２を介してサーバ４に送信する（ステップＳ３４）。

図１８は、移動物体認識処理（図１５のステップＳ３）の一例を示すフローチャートである。

自動運転処理部５１は、処理対象の画像を構成する複数のブロックのそれぞれについて、ステップＳ４１およびステップＳ４２の処理を繰り返し実行する（ループＣ）。

つまり、自動運転処理部５１は、情報付加部５０から取得した圧縮済み画像に付加された移動物体の位置情報に基づいて、着目しているブロックが移動物体領域を含むか否かを判断する（ステップＳ４１）。

着目ブロックが移動物体領域を含む場合には（ステップＳ４１においてＹＥＳ）、自動運転処理部５１は、その着目ブロックを移動物体領域に対する符号化方法（図１７のステップＳ３２）に対応した復号化方法で伸張する（ステップＳ４２）。

自動運転処理部５１は、伸張した着目ブロックに対して、移動物体の位置、大きさ、速度、移動方向などを認識する画像認識処理を実行する。自動運転処理部５１は、認識結果を、通信部３２を介してサーバ４とに送信する（ステップＳ４３）。

着目ブロックが移動物体領域を含まない場合には（ステップＳ４１においてＮＯ）、自動運転処理部５１は、その着目ブロックを非移動物体領域に対する符号化方法（図１７のステップＳ３３）に対応した復号化方法で伸張する（ステップＳ４４）。

自動運転処理部５１は、伸張した着目ブロックに対して、交通信号機や道路標識などの静止物体の位置や、交通信号機や道路標識の示す情報などを認識する画像認識処理を実行する。自動運転処理部５１は、認識結果を、通信部３２を介してサーバ４とに送信する（ステップＳ４５）。
ループＣの処理の後、自動運転処理部５１は、移動物体の認識結果を参照して、車両２の移動物体との衝突を回避するために、操舵角、速度等を制御する指令を、車両２に搭載された制御系ＥＣＵに送信する（ステップＳ４６）。

〔実施形態１の効果等〕
以上説明したように、本開示の実施形態１によると、動きベクトル予測部４６により、カメラ３１が車両２の移動速度および移動方向で移動したと仮定し、対象画像に含まれる物体が静止物体であると仮定した場合の動きベクトルが予測される。また、動きベクトル算出部４７により、２枚の画像から物体の動きベクトルが算出される。物体が静止している場合には、その物体に対する予測された動きベクトルと算出された動きベクトルとは一致するはずである。一方、物体が移動している場合には、予測された動きベクトルと算出された動きベクトルとは異なるはずである。このため、移動物体検出部４８は、予測された動きベクトルと算出された動きベクトルとから、物体が移動物体であるか静止物体であるかを判断することができる。よって、移動体に搭載されたカメラ３１が任意の方向に移動した場合であっても、任意の方向に移動する物体を検出することができる。

また、距離取得部４５は、対象画像および第２画像における物体のサイズと、車両２および物体の移動速度とに基づいて、物体までの距離を算出する。このため、カメラ３１が移動した場合であっても、物体までの距離を正確に算出することができる。これにより、物体の動きベクトルを正確に予測することができる。

また、移動物体検出部４８は、予測された動きベクトルと算出された動きベクトルの大きさの差に基づいて、対象画像から移動物体を検出する。このため、予測された動きベクトルと算出された動きベクトルとの異同を正確に検出することができる。これにより、移動物体を正確に検出することができる。

また、画像圧縮部４９は、移動物体を含まない領域を、移動物体を含む領域よりも高い圧縮率で圧縮する。つまり、画像圧縮部４９は、移動物体を含む領域を移動物体を含まない領域に比べ低圧縮率で圧縮するか、移動物体を含む領域を圧縮することなく、画像全体を圧縮することができる。このため、圧縮された移動物体を含む領域を伸張したとしても、当該領域の明瞭さが失われることがない。よって、伸張後の画像から移動物体を正確に認識することができる。

また、情報付加部５０は、圧縮済みの対象画像に、検出された移動物体の位置の情報を付加する。これにより、サーバ等で、圧縮済みの対象画像を処理する際に、付加された情報に基づいて移動物体の認識処理を行うことにより、効率的かつ正確に移動物体を認識することができる。

また、動きベクトル予測部４６は、第１画像と、車両２の移動速度および移動方向と、物体までの距離とに基づいて、対象画像における物体の位置を予測し、予測された物体の位置と、第１画像に含まれる物体の位置とに基づいて、動きベクトルを予測する。これにより、カメラ３１が任意の速度で任意の方向に移動した場合であっても、物体を静止物体と仮定した場合の動きベクトルを正確に予測することができる。

また、自動運転処理部５１は、検出された移動物体の位置の情報に基づいて、対象画像に含まれる移動物体を認識する。このため、移動物体の位置の情報に基づいて移動物体の認識処理を行うことにより、効率的かつ正確に移動物体を認識することができる。

＜実施形態２＞
実施形態１では、カメラ３１が撮影した画像から画像中の車両６２までの距離を算出した。しかしながら、距離の算出方法はこれに限定されるものではない。例えば、車両２がミリ波レーダセンサや、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）センサなどの距離測センサを備えており、距離測定センサを用いて車両６２までの距離を測定してもよい。

距離取得部４５は、距離測定センサから、車両２から画像中に含まれる物体までの距離を取得する。
その他の構成は、実施形態１と同様である。

＜変形例１＞
実施形態１および実施形態２では、ジャイロセンサ３８が車両２に搭載されているものとしたが、ジャイロセンサ３８は、カメラ３１に内蔵されていてもよい。また、ジャイロセンサ３８は、カメラ３１を内蔵したスマートフォンやタブレット端末などの端末装置に内蔵されていてもよい。端末装置は、通信インタフェースを介して制御部３４に接続されることにより、制御部３４は、端末装置から画像や車両２の移動方向情報を取得する。

＜変形例２＞
実施形態１および実施形態２では、速度センサ３９を用いて車両２の速度を計測することとしたが、衛星信号受信機３７が受信した衛星信号に基づいて車両２の速度を計測してもよい。つまり、速度取得部４２は、衛星信号に基づいて車両２の位置を測定し、複数の測定時刻における車両２の位置から、車両２の速度を計算してもよい。なお、みちびき（準天頂衛星システム）などの衛星信号を用いることにより、車両２の位置を高精度に測定可能となる。これにより、車両２の速度を高精度に計算することができる。

＜変形例３＞
実施形態１および実施形態２では、衛星信号受信機３７が車両２に搭載されているものとしたが、衛星信号受信機３７は、カメラ３１に内蔵されていてもよい。また、衛星信号受信機３７は、カメラ３１を内蔵したスマートフォンやタブレット端末などの端末装置に内蔵されていてもよい。端末装置は、通信インタフェースを介して制御部３４に接続されることにより、制御部３４は、端末装置から画像や車両２の位置情報を取得する。

［付記］
以上、本開示の実施形態に係る運転支援システム１について説明したが、本開示は、この実施形態に限定されるものではない。

運転支援システム１の利用用途は、自動車などの車両用途に限定されるものではない。例えば、ドローンや、屋外または屋内を移動する移動ロボットなどに利用することも可能である。具体的には、工場内を移動するカメラ３１を搭載されたカメラに車載システム３の機能が備えられ、他の移動ロボットとの衝突を防止しながら、移動制御を行う用途にも本開示は適用可能である。

上記の制御部３４を構成する構成要素の一部または全部は、１または複数のシステムＬＳＩなどの半導体装置から構成されていてもよい。

上記したコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ－ＲＯＭ、半導体メモリなどに記録して流通させてもよい。また、コンピュータプログラムを、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送して流通させてもよい。
また、上記の制御部３４は、複数のコンピュータ又は複数のプロセッサにより実現されてもよい。

また、上記の制御部３４の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、制御部３４の一部または全部の機能がクラウドサーバにより実現されていてもよい。
さらに、上記実施形態および上記変形例の少なくとも一部を任意に組み合わせてもよい。

今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 運転支援システム（移動物体認識システム）
２ 車両
３ 車載システム
４ サーバ
５ ネットワーク
６ 基地局
３１ カメラ
３２ 通信部
３３ クロック
３４ 制御部
３５ プロセッサ（移動物体検出装置）
３６ メモリ
３７ 衛星信号受信機
３８ ジャイロセンサ
３９ 速度センサ
４１ 画像取得部
４２ 速度取得部
４３ 方向取得部
４４ 時刻取得部
４５ 距離取得部
４６ 動きベクトル予測部
４７ 動きベクトル算出部
４８ 移動物体検出部
４９ 画像圧縮部
５０ 情報付加部
５１ 自動運転処理部（移動物体認識装置）
６１ 道路
６２ 車両
６３ 車両
６４ 車両
６５ 車両
７１ 動きベクトル
８０ ビル
８１ 車両
８２ 車両
９０ 動きベクトル
９１ 動きベクトル
９２ 動きベクトル
９３ 動きベクトル
９４ 動きベクトル
９５ 動きベクトル
１００ 動きベクトル
１０１ 動きベクトル
１０２ 動きベクトル
１０３ 動きベクトル
１０４ 動きベクトル
１０５ 動きベクトル

Claims (9)

1. 移動体に搭載されたカメラを用いて撮影された画像を取得する画像取得部と、
   前記移動体の移動速度を取得する速度取得部と、
   前記移動体の移動方向を取得する方向取得部と、
   対象時刻において前記カメラを用いて撮影された対象画像に含まれる物体までの距離を取得する距離取得部と、
   前記対象時刻とは異なる第１時刻において前記カメラを用いて撮影された第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記物体の動きベクトルを予測する動きベクトル予測部と、
   前記第１画像および前記対象画像に基づいて、前記物体の動きベクトルを算出する動きベクトル算出部と、
   予測された前記動きベクトルおよび算出された前記動きベクトルに基づいて、前記対象画像から移動物体を検出する移動物体検出部とを備える、移動物体検出装置。
2. 前記速度取得部は、さらに、前記物体の移動速度を取得し、
   前記距離取得部は、前記対象画像および前記対象時刻とは異なる第２時刻において撮影された第２画像における前記物体のサイズと、前記移動体および前記物体の移動速度とに基づいて、前記物体までの距離を算出する、請求項１に記載の移動物体検出装置。
3. 前記移動物体検出部は、予測された前記動きベクトルと算出された前記動きベクトルの大きさの差に基づいて、前記対象画像から移動物体を検出する、請求項１または請求項２に記載の移動物体検出装置。
4. 前記対象画像を圧縮する画像圧縮部をさらに備え、
   前記画像圧縮部は、検出された前記移動物体を含まない領域を、前記移動物体を含む領域よりも高い圧縮率で圧縮する、請求項１から請求項３のいずれか１項に記載の移動物体検出装置。
5. 圧縮された前記対象画像に、検出された前記移動物体の位置の情報を付加する情報付加部をさらに備える、請求項４に記載の移動物体検出装置。
6. 前記動きベクトル予測部は、前記第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記対象画像における前記物体の位置を予測し、予測された前記物体の位置と、前記第１画像に含まれる前記物体の位置とに基づいて、前記動きベクトルを予測する、請求項１から請求項５のいずれか１項に記載の移動物体検出装置。
7. 請求項１から請求項６のいずれか１項に記載の移動物体検出装置と、
   前記移動物体検出装置により検出された移動物体の位置の情報に基づいて、前記移動物体が検出された対象画像に含まれる前記移動物体を認識する移動物体認識装置とを備える、移動物体認識システム。
8. 移動体に搭載されたカメラを用いて撮影された画像を取得するステップと、
   前記移動体の移動速度を取得するステップと、
   前記移動体の移動方向を取得するステップと、
   対象時刻において前記カメラを用いて撮影された対象画像に含まれる物体までの距離を取得するステップと、
   前記対象時刻とは異なる第１時刻において前記カメラを用いて撮影された第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記物体の動きベクトルを予測するステップと、
   前記第１画像および前記対象画像に基づいて、前記物体の動きベクトルを算出するステップと、
   予測された前記動きベクトルおよび算出された前記動きベクトルに基づいて、前記対象画像から移動物体を検出するステップとを含む、移動物体検出方法。
9. コンピュータを、
   移動体に搭載されたカメラを用いて撮影された画像を取得する画像取得部、
   前記移動体の移動速度を取得する速度取得部、
   前記移動体の移動方向を取得する方向取得部、
   対象時刻において前記カメラを用いて撮影された対象画像に含まれる物体までの距離を取得する距離取得部、
   前記対象時刻とは異なる第１時刻において前記カメラを用いて撮影された第１画像と、前記移動速度および前記移動方向と、前記物体までの距離とに基づいて、前記物体の動きベクトルを予測する動きベクトル予測部、
   前記第１画像および前記対象画像に基づいて、前記物体の動きベクトルを算出する動きベクトル算出部、および
   予測された前記動きベクトルおよび算出された前記動きベクトルに基づいて、前記対象画像から移動物体を検出する移動物体検出部として機能させるための、コンピュータプログラム。

Images