JP2022111536A

JP2022111536A - 情報処理装置、情報処理システム、及び情報処理プログラム

Info

Publication number: JP2022111536A
Application number: JP2021007022A
Authority: JP
Inventors: 千尋因幡; Chihiro Inaba; 浩巳刀根川; Hiromi Tonegawa; 俊幸萩谷; Toshiyuki Hagiya
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-01-20
Filing date: 2021-01-20
Publication date: 2022-08-01
Anticipated expiration: 2041-01-20
Also published as: CN114821495A; US20220230287A1; JP7367709B2

Abstract

【課題】本発明は、車両から取得した画像を用いて移動体が存在しない画像を生成することが可能な情報処理装置、情報処理システム、及び情報処理プログラムを提供することを目的とする。【解決手段】撮影画像取得部４０が、複数の車両１４の撮影画像の中から、予め定めた条件設定に従って撮影画像と、当該撮影画像に対応する位置情報を含む車両情報とを取得してＤＢ３８に蓄積し、取得条件管理部５０が、撮影鮮度条件、撮影条件、及び移動体条件を含む複数の条件が予め定めた条件を満たす撮影画像を取得するように条件設定を行い、共通画像生成部６０が、撮影画像中の移動体を検出し、移動体が検出された撮影画像の撮影位置に該当する他の撮影画像から予め定めた類似度以上の撮影画像を選定し、撮影画像中の移動体を撮影画像から除去し、及び除去した領域に対応する画像を、選定した撮影画像から抽出して合成する。【選択図】図２

Description

本発明は、車両で撮影された撮影画像を収集して閲覧可能に格納する処理を行う情報処理装置、情報処理システム、及び情報処理プログラムに関する。

特許文献１には、端末から送信された情報を受信する受信手段と、受信手段が受信した情報に基づいて映像が撮影された場所の最新の映像として採用するか否かを判別する映像判別手段と、映像判別手段により最新の映像として採用すると判別された場合に、前記映像を撮影した場所の最新の映像として、端末から送信された映像を記憶する映像記憶手段と、を有する映像データベースと、を備えた映像データベース構築システムが提案されている。

特開２０１２－１２９９６１号公報

しかしながら、特許文献１の技術では、人や車両等の移動体によって背景画像が隠れてしまい、移動体が存在しない画像を得ることができないため、改善の余地がある。

そこで、本発明は、車両から取得した画像を用いて移動体が存在しない画像を生成することが可能な情報処理装置、情報処理システム、及び情報処理プログラムを提供することを目的とする。

上記目的を達成するために請求項１に記載の情報処理装置は、複数の車両において撮影された撮影画像であって、撮影鮮度条件、撮影条件、及び撮影画像中の移動体に関する移動体条件を含む複数の条件が予め定めた条件を満たす撮影画像と、当該撮影画像に対応する位置情報を含む車両情報と、を取得する取得部と、前記取得部が取得した前記撮影画像中に存在する前記移動体を検出する検出部と、前記取得部が取得した前記撮影画像及び前記車両情報に基づいて、前記検出部によって前記移動体が検出された前記撮影画像の撮影位置に該当する、前記取得部が取得した他の前記撮影画像の中から、予め定めた類似度以上の前記撮影画像を選定する選定部と、前記検出部によって検出された前記移動体を前記撮影画像から除去し、除去した領域に対応する画像を前記選定部によって選定した前記撮影画像から抽出して合成する合成部と、を含む。

請求項１に記載の発明によれば、取得部では、複数の車両において撮影された撮影画像であって、撮影鮮度条件、撮影条件、及び撮影画像中の移動体に関する移動体条件を含む複数の条件が予め定めた条件を満たす撮影画像と、当該撮影画像に対応する位置情報を含む車両情報と、が取得される。

検出部では、取得部が取得した撮影画像中に存在する移動体が検出され、選定部では、取得部が取得した撮影画像及び車両情報に基づいて、検出部によって移動体が検出された撮影画像の撮影位置に該当する、取得部が取得した他の撮影画像の中から、予め定めた類似度以上の撮影画像が選定される。

そして、合成部では、検出部によって検出された移動体を撮影画像から除去し、除去した領域に対応する画像を選定部によって選定した撮影画像から抽出して合成される。このように撮影画像の合成を行うことで、車両から取得した撮影画像を用いて移動体が存在しない画像を生成することができる。

なお、前記取得部は、撮影鮮度条件、撮影条件、及び移動体条件をスコアにして、前記スコアが予め定めた閾値以上の前記撮影画像を取得してもよい。これにより、撮影鮮度条件、撮影条件、及び移動体条件をスコア評価できるので、撮影鮮度がよく、撮影条件が好条件で、かつ撮影画像中の移動体が占める画素数が少ない撮影画像を容易に取得することが可能となる。

また、前記撮影鮮度条件のスコアは、撮影日時が新しいほど高いスコアとし、前記撮影条件のスコアは、明るさが撮影時の条件に適した予め定めた明るさに近く、車速が遅いほど高いスコアとし、前記移動体条件のスコアは、前記撮影画像中の前記移動体が占める画素数が少ないほど高いスコアとしてスコアを算出してもよい。これにより、撮影鮮度条件、撮影条件、及び移動体条件を１つのスコアで評価することが可能となる。

また、前記取得部は、予め定めた期間中に予め定めた回数の取得を行ってもよい。これにより、予め定めた期間に対象地点を走行した複数車両の中から適切な撮影画像を取得することが可能となる。

また、前記取得部は、予め定めた期間中に予め定めた回数の取得を行うように前記閾値を変更して前記撮影画像を取得してもよい。これにより、予め定めた期間中に必要な数の撮影画像を取得することが可能となる。

また、前記選定部は、同一または類似の車種の前記撮影画像、及び同一または類似の時刻の前記撮影画像の少なくとも一方の前記撮影画像を優先して選定してもよい。これにより、異なる車種及び異なる時刻の撮影画像を選定する場合よりも、類似度が高い撮影画像を選定することが可能となる。

また、前記選定部は、前記撮影画像中の消失点の位置が予め定めた範囲内の前記撮影画像を優先的に選定してもよい。これにより、消失点の位置が全く異なる位置の撮影画像を選定する場合よりも、類似度が高い撮影画像を選定することが可能となる。

また、前記選定部は、前記撮影画像の予め定めた追跡領域を抽出し、当該追跡領域の特徴量が予め定めた類似度以上の前記撮影画像を選定してもよい。これにより、処理負荷を低減しながら適切な撮影画像を選定することが可能となる。この場合、前記追跡領域は、前記撮影画像中の自車両及び隣を走行する車両の少なくとも一方が撮影された領域以外の領域としてもよい。

なお、上記情報処理装置と、車両に搭載され、車両周辺を撮影して前記撮影画像を生成する撮影部と、撮影時の車両の位置情報を含む車両情報を検出する検出部と、を含む車載器と、を含む情報処理システムとしてもよい。

或いは、コンピュータを、上記情報処理装置の各部として機能させるための情報処理プログラムとしてもよい。

以上説明したように本発明によれば、車両から取得した画像を用いて移動体が存在しない画像を生成することが可能な情報処理装置、情報処理システム、及び情報処理プログラムを提供できる。

本実施形態に係る情報処理システムの概略構成を示す図である。本実施形態に係る情報処理システムにおける車載器及びセンタサーバの構成を示すブロック図である。本実施形態に係る情報処理システムにおける車載器の制御部及びセンタサーバの中央処理部の構成を示すブロック図である。共通画像生成部による共通画像の生成方法を説明するための図である。本実施形態に係る情報処理システムにおける車載器で行われる撮影処理の流れの一例をフローチャートである。本実施形態に係る情報処理システムにおけるセンタサーバで行われる車載器から撮影画像を収集する際の処理の流れの一例を示すフローチャートである。本実施形態に係る情報処理システムにおける車載器で行われる、センタサーバによる要求に従って撮影画像を送信する際の処理の流れの一例を示すフローチャートである。本実施形態に係る情報処理システムにおけるセンタサーバの共通画像生成部で行われる共通画像を生成する際の処理の流れの一例を示すフローチャートである。動画フレームマッチング処理の具体的な処理の流れの一例を示すフローチャートである。非追従領域の一例を説明するための図である。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る情報処理システムの概略構成を示す図である。

本実施形態に係る情報処理システム１０は、車両１４に搭載された車載器１６と、情報処理装置としてのセンタサーバ１２とが通信ネットワーク１８を介して接続されている。本実施形態では、複数の車両１４に搭載された車載器１６とセンタサーバ１２との間で通信が可能とされている。

本実施形態に係る情報処理システム１０では、センタサーバ１２が、複数の車載器１６に記憶された各種データを収集する処理を行う。車載器１６に記憶された各種データの一例としては、撮影によって得られる撮影画像を表す画像情報及び各車両１４の状態を表す車両情報等が挙げられる。本実施形態では、センタサーバ１２が、車載器１６から収集した撮影画像を用いて、車両１４や歩行者等の移動体が写っていない撮影画像を生成する処理を行う。

続いて、本実施形態に係る情報処理システム１０の各部の構成について詳細に説明する。図２は、本実施形態に係る情報処理システム１０における車載器１６及びセンタサーバ１２の構成を示すブロック図である。

車載器１６は、制御部２０、車両情報検出部２２、撮影部２４、通信部２６、及び表示部２８を備えている。

車両情報検出部２２は、車両１４の位置情報を少なくとも含む車両１４に関する車両情報を検出する。車両情報の一例としては、例えば、車両１４の位置情報、車速、加速度、舵角、アクセル開度、車両周辺の障害物までの距離、経路等の車両情報を検出する。車両情報検出部２２は、具体的には、車両１４の周辺環境がどのような状況かを表す情報を取得する複数種のセンサや装置を適用できる。センサや装置の一例としては、車速センサ、及び加速度センサなどの車両１４に搭載されるセンサや、ＧＮＳＳ（Global Navigation Satellite System）装置、車載通信機、ナビゲーションシステム、及びレーダ装置などが挙げられる。ＧＮＳＳ装置は、複数のＧＮＳＳ衛星からＧＮＳＳ信号を受信して自車両１４の位置を測位する。車載通信機は、通信部２６を介して他の車両１４との間の車車間通信及び路側機との間の路車間通信の少なくとも一方を行う通信装置である。ナビゲーションシステムは、地図情報を記憶する地図情報記憶部を含み、ＧＮＳＳ装置から得られる位置情報と地図情報記憶部に記憶された地図情報とに基づいて、自車両１４の位置を地図上で表示したり、目的地迄の経路を案内したりする処理を行う。また、レーダ装置は、検出範囲が互いに異なる複数のレーダを含み、自車両１４の周辺に存在する歩行者や他車両１４等の物体を検出し、検出した物体と自車両１４の相対位置及び相対速度を取得する。また、レーダ装置は周辺の物体の探知結果を処理する処理装置を内蔵している。当該処理装置は、直近の複数回の探知結果に含まれる個々の物体との相対位置や相対速度の変化等に基づき、ノイズやガードレール等の路側物等を監視対象から除外し、歩行者や他車両１４等を監視対象物体として追従監視する。そしてレーダ装置は、個々の監視対象物体との相対位置や相対速度等の情報を出力する。

撮影部２４は、例えば、車両１４に搭載されて車両１４の前方等の車両周辺を撮影し、動画像の撮影画像を表す動画像データを画像情報として生成する。撮影部２４としては、例えば、ドライブレコーダ等のカメラを適用することができる。なお、撮影部２４は、車両１４の側方及び後方の少なくとも一方の車両周辺を更に撮影してもよい。また、撮影部２４は、車室内を更に撮影してもよい。また、本実施形態では、撮影部２４によって生成した画像情報は、制御部２０に一旦保存するものとするが、保存せずにセンタサーバ１２等にアップロードしてもよい。

通信部２６は、通信ネットワーク１８を介してセンタサーバ１２と通信を確立して、撮影部２４の撮影によって得られる画像情報や車両情報検出部２２によって検出された車両情報等の各種データの送受信を行う。なお、通信部２６は、車両間で通信を確立して車車間通信を可能としてもよい。

表示部２８は、各種情報を表示することにより、乗員に各種情報を提供する。例えば、センタサーバ１２から提供される情報等を表示する。

制御部２０は、図３に示すように、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、ＲＡＭ（Random Access Memory）２０Ｃ、ストレージ２０Ｄ、インタフェース（Ｉ／Ｆ）２０Ｅ、及びバス２０Ｆ等を含む一般的なマイクロコンピュータで構成されている。

制御部２０は、ＣＰＵ２０ＡがＲＯＭ２０Ｂに格納されたプログラムをＲＡＭ２０Ｃに展開して実行することで、各種情報をセンタサーバ１２にアップロードする処理等を行う。なお、ＲＯＭ２０Ｃはストレージでもよく、ストレージからＲＡＭ２０Ｃにプログラムを展開してもよい。

一方、センタサーバ１２は、図２に示すように、中央処理部３０、中央通信部３６、及びＤＢ（データベース）３８を備えている。

中央処理部３０は、図３に示すように、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、及びＲＡＭ３０Ｃ、ストレージ３０Ｄ、インタフェース（Ｉ／Ｆ）３０Ｅ、及びバス３０Ｆ等を含む一般的なマイクロコンピュータで構成されている。なお、ＣＰＵ３０Ａは、ＧＰＵ（Graphics Processing Unit）を適用してもよい。

中央処理部３０は、ＣＰＵ３０ＡがＲＯＭ３０Ｂに格納されたプログラムをＲＡＭ３０Ｃに展開して実行することで撮影画像取得部４０、取得条件管理部５０、及び共通画像生成部６０の機能を有する。なお、撮影画像取得部４０及び取得条件管理部５０は取得部に対応する。また、共通画像生成部６０は検出部、選定部、及び合成部に対応し、詳細は後述する。

撮影画像取得部４０は、複数の車両１４において撮影された撮影画像の中から、取得条件管理部５０によって設定された条件に従って、撮影画像と、当該撮影画像に対応する位置情報を含む車両情報とを取得してＤＢ３８に蓄積する。撮影画像取得部４０は、予め定めた期間中に予め定めた回数の取得を行うようにしてもよい。これにより、予め定めた期間に対象地点を走行した複数車両の中から適切な撮影画像を取得することが可能となる。

取得条件管理部５０は、複数の車両１４から取得する撮影画像の取得条件を管理する。具体的には、撮影鮮度条件、撮影条件、及び撮影画像中の移動体に関する移動体条件を含む複数の条件が予め定めた条件を満たす撮影画像を取得するように、車両１４から撮影画像を取得する際の条件設定を行う。例えば、取得条件管理部５０は、撮影鮮度条件として最近の撮影画像で、撮影条件として撮影が好条件（昼間、晴天、低速等）の撮影画像で、かつ、移動体条件として歩行者や車両１４等の移動体が占める画素数が少ない撮影画像を取得するように管理する。取得条件管理部５０は、撮影鮮度条件、撮影条件、及び移動体条件等の複数の条件をスコアにして、撮影画像取得部４０が、スコアが予め定めた閾値以上の撮影画像を取得するように管理する。これにより複数の条件をスコア評価できるので、撮影鮮度がよく、撮影条件が好条件で、かつ撮影画像中の移動体が占める画素数が少ない撮影画像を容易に取得することが可能となる。例えば、撮影鮮度条件のスコアは、撮影日時が新しいほど高いスコアとし、撮影条件のスコアは、明るさが撮影時の条件に適した予め定めた明るさに近く、車速が遅いほど高いスコアとし、移動体条件のスコアは、撮影画像中の前記移動体が占める画素数が少ないほど高いスコアとしてスコアを算出する。これにより、撮影鮮度条件、撮影条件、及び移動体条件を１つのスコアで評価することが可能となる。なお、撮影鮮度条件、撮影条件、及び移動体条件等の複数の条件のスコアは、例えば、車載器１６から撮影画像と共に取得した車両情報等を用いてスコアを算出する。

共通画像生成部６０は、撮影画像中に存在する移動体を検出し、ＤＢ３８に蓄積した撮影画像及び車両情報に基づいて、移動体が検出された撮影画像の撮影位置に該当する、ＤＢ３８に蓄積した他の撮影画像の中から、予め定めた類似度以上の撮影画像を選定する。すなわち、撮影画像自体が類似し、かつ撮影位置が同一又は類似する撮影画像を選定する。具体的には、動画フレームマッチング処理により、撮影画像を選定する。動画フレームマッチング処理は、位置情報から同一地点を走行した車両１４の撮影画像のうち比較対象の撮影画像の所定範囲（前後１０ｍ等）の撮影画像を抽出する。それぞれ特徴量（具体的には、複数の局所特徴量ベクトルの集合であり、複数箇所の局所特徴量）を計算して、予め定めた追跡領域の特徴量同士のマッチングを把握して、マッチング結果より類似度が高いものを選定する。ここで、予め定めた追跡領域は、一例として、ボンネット等の自車両１４が写った領域以外の領域とする。他の車両１４の撮影画像から、移動体が検出された撮影画像の撮影位置に該当する撮影画像を選定する場合は、同一または類似の車種の撮影画像、及び同一または類似の時刻の撮影画像の少なくとも一方の撮影画像を優先して選定してもよい。これにより、異なる車種及び異なる時刻の撮影画像を選定する場合よりも、類似度が高い撮影画像を選定することが可能となる。なお、予め定めた類似度以上の撮影画像を選定する際に、消失点を用いて消失点の位置が所定範囲内（例えば、撮影画像に対する消失点の位置ずれが１０～２０画素等の予め定めた範囲内）の画像を優先的に選定してもよい。これにより、消失点の位置が全く異なる位置の撮影画像を選定する場合よりも、類似度が高い撮影画像を選定することが可能となる。或いは、動画フレームマッチング処理を行う際に、消失点の位置を用いて撮影画像のずれを補正してからマッチングさせてもよい。また、同一車線等の同一の視点がとれない撮影画像の場合には、横方向の補正を行ってからマッチングさせてもよい。

また、共通画像生成部６０は、撮影画像中の移動体を認識して移動体を撮影画像から除去する除去処理、及び除去した領域に対応する画像を、動画フレームマッチング処理により選定した撮影画像から抽出して合成する合成処理を行う。除去処理及び合成処理によって生成された画像は共通画像としてＤＢ３８に格納する。例えば、図４に示すように、アップロードされた撮影画像の中の注目撮影画像６２に１台の前方車両１４と１人の歩行者６４が存在する場合、当該注目撮影画像６２から歩行者６４及び車両１４を除去した除去撮影画像６６を生成する。また、動画フレームマッチング処理で選定した選定撮影画像６８に１人の歩行者６４が存在する場合、当該歩行者６４を除去した除去選定撮影画像７０を生成する。そして、除去撮影画像６６中の歩行者６４及び車両１４に対応する画像を除去選定撮影画像７０から抽出し、除去撮影画像６６に合成して共通画像７２を生成する。除去選定撮影画像７０から抽出して、除去撮影画像６６に合成する際には、抽象的な特徴を抽出すると共に、照明条件等の画像の明るさの条件などを合わせて合成する。これにより、車両１４や歩行者６４が存在しない共通画像７２を生成してＤＢ３８に蓄積することが可能となる。なお、図４は、共通画像生成部６０による共通画像の生成方法を説明するための図である。また、移動体の除去及び合成は、以下では、移動体の形状で除去及び合成するものとして説明するが、移動体を認識したバウンディングボックスを除去して、バウンディングボックスの領域を他車両１４の撮影画像から抽出して合成する形態としてもよい。また、本実施形態では、移動体の形状で除去する際に、移動体の周辺を含む移動体よりも大きい形状で余裕を持った領域を除去するものとするが、移動体の輪郭に合わせた形状で除去してもよい。

中央通信部３６は、通信ネットワーク１８を介して車載器１６と通信を確立して、画像情報や車両情報等の情報の送受信を行う。

ＤＢ３８は、各車両１４へ情報の送信を要求することで各車両１４から取得したデータを蓄積すると共に、共通画像生成部６０によって生成された共通画像７２を蓄積する。車両１４から取得して蓄積するデータの一例としては、各車両１４の撮影部２４で撮影された撮影画像を表す撮影情報や、車両情報検出部２２によって検出された車両情報などが蓄積される。

ところで、地図生成などに使用する映像は、最近の映像で、かつ昼間や、晴天、走行速度が低速等の予め定めた好条件の撮影条件で撮影された撮影画像を用いることが好ましい。

これに対して、本実施形態では、先行の車両１４や歩行者６４等の移動体を除去した共通画像７２を生成するため、移動体が存在しない撮影画像を取得することが望ましい。そのため、上記の撮影条件に加えて、以下のような条件でもアップロードを可能な限り避けるように取得条件を管理してもよい。なお、可能な限り避けるだけなので、例えば、直近の１ヶ月に条件に該当しない撮影画像しかなければ、条件に該当しない撮影画像を利用して共通画像を生成する。

取得条件の一例としては、例えば、歩行者６４を検出して衝突回避する機能などを含むＡＤＡＳ（Advanced Driver-Assistance Systems：先進運転支援システム）機能において検出した歩行者検出情報を用いて、歩行者６４が検出されている撮影画像は避ける。

取得条件の他の一例としては、同様に、先行車追従走行中、特に車間距離が狭い時や渋滞時は避ける。このとき、自車線だけでなく周囲の車線についても考慮してもよい。

また、取得条件の他の一例としては、歩行者６４及び車両１４の密度情報を他のデータベース（例えば、モバイル空間統計等のデータベース）から取得して、密度が高い領域の撮影画像は避ける。

また、取得条件の他の一例としては、雨天後及び凍結時を避けるため、ＡＢＳ（Anti-lock Brake System）の動作等の車両情報からスリップが観測された前後の撮影画像は避ける。

また、取得条件の他の一例としては、左側通行の場合に右側の車線を走ったり、車線変更を行ったりしている状況の撮影画像を避ける。換言すれば、車線変更を行わず、なるべく歩道に近い車線を走行している撮影画像をアップロードする。

上記のような取得条件を用いた取得条件管理部５０によるアップロードの判断は、例えば、オフラインで実施してもよい。この場合、上述の複数の条件を組み合わせたスコアにしてアップロードの判定を行う。複数の条件を組み合わせたスコアは、例えば、加重和等を用いて算出する。

具体的には、データサイズが撮影画像よりも軽量な車両情報のみを事前にアップロードし、一定期間に対象地点を走行した複数車両の中から、適切な撮影画像を抽出してアップロードする。

車両１４のストレージは有限のため、共通画像のＤＢ３８の更新頻度（例えば、１ヶ月）よりも短いある程度の期間（更新の閾値：例えば、１週間等）でアップロードの判断を行う必要がある。そのためには、それまでの状況から適切なアップロード回数となるような閾値を決めてアップロード指示を行う。すなわち、予め定めた期間中に予め定めた回数の取得を行うように閾値を変更してアップロード指示を行ってもよい。これにより、予め定めた期間中に必要な数の撮影画像を取得することが可能となる。閾値を変更する際には、過去の走行実績に基づいて閾値を変更する。例えば、１ヶ月に１枚の撮影画像を取得したい場合は、前の期間でスコアが（１，２，４，８）という４つの撮影画像が得られそうだとわかれば、閾値を６くらいに設定してアップロードするという判定を行う。また、当月中に閾値を超えてアップロードがなされれば、次の更新の閾値の期間（次の１週間）では閾値を上げ、期間中に集まりそうになければ閾値を引き下げる。なお、更新の閾値は、道路や地域によって車両１４や歩行者の混雑状況が異なるため、道路毎或いは地域毎に異なる閾値としてもよい。

続いて、上述のように構成された本実施形態に情報処理システム１０の各部で行われる具体的な処理について説明する。

まず、車載器１６において撮影部２４で車両周辺を撮影する際の具体的な処理について説明する。図５は、本実施形態に係る情報処理システム１０における車載器１６で行われる撮影処理の流れの一例をフローチャートである。なお、図５の処理は、例えば、車両１４の図示しないイグニッションスイッチ等がオンされて車載器１６が起動した場合に開始する。

ステップ１００では、ＣＰＵ２０Ａが、車両周辺の撮影を開始してステップ１０２へ移行する。すなわち、撮影部２４による車両周辺の撮影を開始する。

ステップ１０２では、ＣＰＵ２０Ａが、撮影画像のプロファイルとして必要な車両情報を取得してステップ１０４へ移行する。車両情報の取得は、車両情報検出部２２の検出結果を取得する。また、撮影時の天気などの情報を撮影条件や渋滞情報などを外部サーバからさらに取得してもよい。

ステップ１０４では、ＣＰＵ２０Ａが、撮影画像に取得したプロファイル情報を追加してステップ１０６へ移行する。

ステップ１０６では、ＣＰＵ２０Ａが、プロファイル付撮影画像をストレージ２０Ｄに保存してステップ１０８へ移行する。プロファイル付撮影画像の保存は、プロファイル情報と対応付けて撮影画像を保存し、プロファイル情報のみを読み出し可能に保存する。

ステップ１０８では、ＣＰＵ２０Ａが、撮影終了か否かを判定する。該判定は、例えば、図示しないイグニッションスイッチのオフが指示されたか否か等を判定する。該判定が否定された場合にはステップ１０２に戻って撮影を継続して上述の処理を繰り返し、判定が肯定されたところで一連の撮影時の処理を終了する。

次に、センタサーバ１２において、車載器１６から撮影画像を収集する際の具体的な処理について説明する。図６は、本実施形態に係る情報処理システム１０におけるセンタサーバ１２で行われる車載器１６から撮影画像を収集する際の処理の流れの一例を示すフローチャートである。なお、図６の処理は、上述したように、共通画像７２の予め定めた更新頻度（例えば、１ヶ月）より短い期間（例えば、１週間等）毎に開始する。

ステップ２００では、ＣＰＵ３０Ａが、予め定めた期間（例えば、１週間等）のプロファイル情報の送信要求を各車載器１６に行ってステップ２０２へ移行する。すなわち、取得条件管理部５０が、車載器１６のストレージ２０Ｄに保存されたプロファイル情報のうち、予め定めた期間のプロファイル情報の取得要求を各車載器１６に対して行う。

ステップ２０２では、ＣＰＵ３０Ａが、プロファイル情報を受信したか否かを判定する。該判定は、要求したプロファイル情報を受信したか否かを判定し、該判定が肯定されるまで待機してステップ２０４へ移行する。

ステップ２０４では、ＣＰＵ３０Ａが、撮影画像を取得する複数の取得条件をスコア化してスコアを算出してステップ２０６へ移行する。例えば、上述したように、加重平均等を用いて、プロファイル情報に対応する各撮影画像のスコアを算出する。

ステップ２０６では、ＣＰＵ３０Ａが、スコアに基づいて、アップロード対象の撮影画像を決定してステップ２０８へ移行する。例えば、予め定めた閾値以上のスコアとなる撮影画像をアップロード対象とする。

ステップ２０８では、ＣＰＵ３０Ａが、アップロード対象の撮影画像の送信要求を車載器１６に対して行ってステップ２１０へ移行する。例えば、取得条件管理部５０が、算出スコアが予め定めた閾値以上の撮影画像の送信要求を車載器１６に出力する。

ステップ２１０では、ＣＰＵ３０Ａが、対象の撮影画像を受信したか否かを判定する。該判定が肯定されるまで待機してステップ２１２へ移行する。

ステップ２１２では、ＣＰＵ３０Ａが、受信した撮影画像をＤＢ３８に順次蓄積して一連の査定画像収集時の処理を終了する。

続いて、センタサーバ１２による要求に従って撮影画像を送信する際に車載器１６で行われる具体的な処理について説明する。図７は、本実施形態に係る情報処理システム１０における車載器１６で行われる、センタサーバ１２による要求に従って撮影画像を送信する際の処理の流れの一例を示すフローチャートである。なお、図７の処理は、センタサーバ１２からプロファイル情報の送信要求を受信した場合に開始する。

ステップ３００では、ＣＰＵ２０Ｄが、予め定めた期間の撮影画像のプロファイル情報をストレージ２０Ｄから抽出してステップ３０２へ移行する。

ステップ３０２では、ＣＰＵ２０Ｄが、抽出したプロファイル情報をセンタサーバ１２に送信してステップ３０４へ移行する。

ステップ３０４では、ＣＰＵ２０Ｄが、センタサーバ１２から撮影画像の送信要求が行われたか否かを判定する。該判定は、上述のステップ２０８により撮影画像の送信要求が行われたか否かを判定する。該判定が肯定されるまで待機してステップ３０６へ移行する。

ステップ３０６では、ＣＰＵ２０Ｄが、要求対象の撮影画像をストレージ２０Ｄから抽出してステップ３０８へ移行する。

ステップ３０８では、ＣＰＵ２０Ｄが、要求対象の撮影画像をセンタサーバ１２に送信して一連の撮影画像の送信時の処理を終了する。

次に、センタサーバ１２において、共通画像７２を生成する際の具体的な処理について説明する。図８は、本実施形態に係る情報処理システム１０におけるセンタサーバ１２の共通画像生成部６０で行われる共通画像を生成する際の処理の流れの一例を示すフローチャートである。図８の処理は、共通画像７２の予め定めた更新頻度毎に開始する。

ステップ４００では、ＣＰＵ３０Ａが、ＤＢ３８に蓄積された予め定めた期間における撮影画像の中から注目撮影画像６２を読み出してステップ４０２へ移行する。

ステップ４０２では、ＣＰＵ３０Ａが、動画フレームマッチング処理を行ってステップ４０４へ移行する。動画フレームマッチング処理は、例えば、同一地点を走行した車両１４の撮影画像のうち比較対象の撮影画像の所定範囲（前後１０ｍ等）の撮影画像を抽出し、それぞれ局所特徴量を計算して、追跡領域の局所特徴量同士のマッチングを把握して、マッチング結果より類似度が高いものを選定撮影画像６８として選定する。このように、追従領域の局所特徴量同士のマッチングを把握することで、処理負荷を低減しながら、適切な撮影画像を選定することが可能となる。なお、動画フレームマッチング処理は選定部に対応し、詳細な処理については後述する。また、追跡領域は、上述したように、ボンネット等の自車両１４が写った領域以外の領域であるが、これに限るものではない。例えば、撮影画像中の自車両１４及び周辺の移動体の少なくとも一方が撮影された領域以外の領域を予め定めた追跡領域としてもよい。

ステップ４０４では、ＣＰＵ３０Ａが、撮影画像の移動体を認識してステップ４０６へ移行する。例えば、ディープラーニングを利用したSemantic Segmentation、ＹｏｌｏＶ４等の技術により歩行者６４及び車両１４等の移動体を認識する。移動体の認識は、注目撮影画像６２、及び動画フレームマッチング処理で抽出された選定撮影画像６８のそれぞれについて認識する。なお、ステップ４０４の処理は検出部に対応する。

ステップ４０６では、ＣＰＵ３０Ａが、注目撮影画像６２及び選定撮影画像６８のそれぞれの撮影画像内の移動体を除去してステップ４０８へ移行する。

ステップ４０８では、ＣＰＵ３０Ａが、動画フレームマッチング処理によって選定した選定撮影画像６８から除去対象の領域を抽出してステップ４１０へ移行する。なお、ここでは、説明を簡略化したが、移動体が存在しない、又は注目撮影画像６２内の移動体と異なる位置に存在する選定画像６８が選定されているものとし、注目撮影画像６２の移動体を除去した領域を、選定撮影画像６８を用いて補うことが可能とされているものとする。

ステップ４１０では、ＣＰＵ３０Ａが、注目撮影画像６２の除去した移動体の領域に選定撮影画像６８から抽出した領域を合成してステップ４１２へ移行する。なお、ステップ４０６～４１０の処理は合成部に対応する。

ステップ４１２では、ＣＰＵ３０Ａが、合成画像を共通画像７２としてＤＢ３８に保存してステップ４１４へ移行する。

ステップ４１４では、ＣＰＵ３０Ａが、共通画像７２の生成を終了するか否かを判定する。該判定は、予め定めた期間における撮影画像について上記処理を終了したか否かを判定する。該判定が否定された場合には、ステップ４００に戻って、他の撮影画像を注目撮影画像６２として上述の処理を繰り返し、ステップ４１４の判定が肯定されたところで、一連の共通画像生成部６０の処理を終了する。

このように共通画像７２を生成することで、車両１４から取得した撮影画像を用いて移動体が存在しない撮影画像を生成することができる。

続いて、上述の動画フレームマッチング処理について説明する。図９は、動画フレームマッチング処理の具体的な処理の流れの一例を示すフローチャートである。

ステップ５００では、ＣＰＵ３０Ａが、同一領域を走行した車両１４を抽出してステップ５０２へ移行する。例えば、車両情報に含まれる位置情報に基づいて、同一領域を走行した車両１４を抽出する。

ステップ５０２では、ＣＰＵ３０Ａが、比較対象車両の近傍車両の撮影画像を抽出してステップ５０４へ移行する。すなわち、注目撮影画像を撮影した車両１４の近傍の車両１４で撮影した撮影画像を選定撮影画像６８の候補群として抽出する。

ステップ５０４では、ＣＰＵ３０Ａが、比較対象車両の撮影画像の特徴量を算出してステップ５０６へ移行する。なお、特徴量は、複数の局所特徴量ベクトルの集合であり、複数箇所の局所特徴量を算出する。

ステップ５０６では、ＣＰＵ３０Ａが、抽出画像群の特徴量を算出してステップ５０８へ移行する。すなわち、選定撮影画像６８の候補群のそれぞれの局所特徴量を算出する。

ステップ５０８では、ＣＰＵ３０Ａが、非追従領域を決定してステップ５１０へ移行する。非追従領域としては、例えば、図１０に示すように、撮影画像の中の自車両１４のフード等が写った自車両領域７４、及び自車両１４の隣を走行する車両１４などの隣車両領域７６の少なくとも一方の領域を非追従領域とする。非追従領域は、例えば、セマンティックセグメンテーションにより把握する。

ステップ５１０では、ＣＰＵ３０Ａが、非追従領域以外の追従領域の特徴量のマッチングを求めてステップ５１２へ移行する。非追従領域を設定して特徴量（具体的には、複数の局所特徴量ベクトルの集合であり、複数箇所の局所特徴量）のマッチングを求めることにより、非追従領域を設定しない場合に比べて処理負荷を軽減できる。なお、ステップ５０８を省略して、非追従領域を設定せずに、局所特徴量のマッチングを求める形態としてもよい。

ステップ５１２では、ＣＰＵ３０Ａが、特徴量のマッチング結果から、類似度が高い画像を選定撮影画像６８として選定して一連の処理を終了する。

このように、動画フレームマッチング処理を行うことで、注目撮影画像６２内の移動体を除去した領域を補完するために必要な選定撮影画像６８を選定することができ、移動体が存在しない共通画像７２を生成することが可能となる。

なお、上記の実施形態では、撮影画像取得部４０、取得条件管理部５０、及び共通画像生成部６０の各機能を単一のセンタサーバ１２の機能として説明したが、これに限るものではなく、各機能を複数のサーバに分散した形態としてもよい。

また、上記の実施形態では、センタサーバ１２がアップロード対象の画像を要求して取得するようにしたが、これに限るものではなく、車載器１６側でスコアを算出して閾値以上の撮影画像をセンタサーバ１２にアップロードする形態としてもよい。

また、上記の実施形態では、撮影画像から移動体を除去して、除去した移動体の領域を他の撮影画像から補う際に、１つの撮影画像から除去対象領域を抽出して合成する例を説明したが、これに限るものではない。例えば、複数の撮影画像を用いて除去対象領域の画像を生成して、撮影画像から移動体を除去した領域に生成した画像を合成するようにしてもよい。

また、上記の実施形態におけるセンタサーバ１２及び車載器１６の各々で行われる処理は、プログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、ＡＳＩＣ（Application Specific Integrated Circuit）、及びＦＰＧＡ（Field-Programmable Gate Array）等のハードウエアで行う処理としてもよい。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムを各種記憶媒体に記憶して流通させるようにしてもよい。また、ソフトウエア処理を行うプロセッサとしてＣＰＵ２０Ａを一例として挙げて説明したが、これに限るものではない。例えば、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、及びＰＬＤ（Programmable Logic Device）等を適用してもよい。

さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０情報処理システム
１２センタサーバ
１４車両
１６車載器
２０制御部
２２車両情報検出部
２４撮影部
３０中央処理部
３８ＤＢ
４０撮影画像取得部（取得部）
５０取得条件管理部（取得部）
６０共通画像生成部（検出部、選定部、及び合成部）
６２注目撮影画像
６４歩行者
６６除去撮影画像
６８選定撮影画像
７０除去選定撮影画像
７２共通画像
７４自車両領域
７６隣車両領域

Claims

複数の車両において撮影された撮影画像であって、撮影鮮度条件、撮影条件、及び撮影画像中の移動体に関する移動体条件を含む複数の条件が予め定めた条件を満たす撮影画像と、当該撮影画像に対応する位置情報を含む車両情報と、を取得する取得部と、
前記取得部が取得した前記撮影画像中に存在する前記移動体を検出する検出部と、
前記取得部が取得した前記撮影画像及び前記車両情報に基づいて、前記検出部によって前記移動体が検出された前記撮影画像の撮影位置に該当する、前記取得部が取得した他の前記撮影画像の中から、予め定めた類似度以上の前記撮影画像を選定する選定部と、
前記検出部によって検出された前記移動体を前記撮影画像から除去し、除去した領域に対応する画像を前記選定部によって選定した前記撮影画像から抽出して合成する合成部と、
を含む情報処理装置。
前記取得部は、撮影鮮度条件、撮影条件、及び移動体条件をスコアにして、前記スコアが予め定めた閾値以上の前記撮影画像を取得する請求項１に記載の情報処理装置。
前記撮影鮮度条件のスコアは、撮影日時が新しいほど高いスコアとし、前記撮影条件のスコアは、明るさが撮影時の条件に適した予め定めた明るさに近く、車速が遅いほど高いスコアとし、前記移動体条件のスコアは、前記撮影画像中の前記移動体が占める画素数が少ないほど高いスコアとしてスコアを算出する請求項２に記載の情報処理装置。
前記取得部は、予め定めた期間中に予め定めた回数の取得を行う請求項１～３の何れか１項に記載の情報処理装置。
前記取得部は、予め定めた期間中に予め定めた回数の取得を行うように前記閾値を変更して前記撮影画像を取得する請求項２又は請求項３に記載の情報処理装置。
前記選定部は、同一または類似の車種の前記撮影画像、及び同一または類似の時刻の前記撮影画像の少なくとも一方の前記撮影画像を優先して選定する請求項１～５の何れか１項に記載の情報処理装置。
前記選定部は、前記撮影画像中の消失点の位置が予め定めた範囲内の前記撮影画像を優先的に選定する請求項１～６の何れか１項に記載の情報処理装置。
前記選定部は、前記撮影画像の予め定めた追跡領域を抽出し、当該追跡領域の特徴量が予め定めた類似度以上の前記撮影画像を選定する請求項１～７の何れか１項に記載の情報処理装置。
前記追跡領域は、前記撮影画像中の自車両及び周辺の移動体の少なくとも一方が撮影された領域以外の領域である請求項８に記載の情報処理装置。
請求項１～９の何れか１項に記載の情報処理装置と、
車両に搭載され、車両周辺を撮影して前記撮影画像を生成する撮影部と、撮影時の車両の位置情報を含む車両情報を検出する検出部と、を含む車載器と、
を含む情報処理システム。
コンピュータを、請求項１～９の何れか１項に記載の情報処理装置の各部として機能させるための情報処理プログラム。