JP2018206108A - 情報処理システム、サーバおよび通信方法 - Google Patents

Abstract

【課題】有用な画像を効率良く収集することができる情報処理システムを提供する。【解決手段】情報処理システムは、カメラ１１を備えた車両１０と、画像を車両１０から収集するサーバ２０とを備える。車両１０は、撮影された画像を保存する画像記憶部１４と、画像認識処理を行って認識結果データを得る認識処理部１３と、サーバ２０との間で通信を行う通信部１６を備える。サーバ２０は、車両１０との間で通信を行う通信部２１と、画像及び認識結果データを保存する画像データベース２６と、車両１０から認識結果データを受信したときに、画像データベース２６に保存されたデータに基づいて認識結果データの妥当性を判断する妥当性判断部２２と、認識結果データが妥当でないと判断されたときに認識結果データを得た元の画像の送信を車両１０に要求する画像送信要求部２７を備える。【選択図】図１

Description

本発明は、情報処理システム、サーバ、および通信方法に関する。

ディープラーニングを契機として近年の人工知能（ＡＩ）を応用した技術が様々な分野で研究、開発されている。人工知能の最も重要な応用分野の一つとして、自動運転技術がある。人工知能によって自動運転を実現するためには、教師データとなる膨大な画像を収集することが必要である。

特許文献１は、自動運転に関する技術ではないが、センターサーバが他の車両で撮影した画像を加工して、走りやすさの情報を車両に提供する発明を開示している。

特開２０１３−１４５５４０号公報

特許文献１に記載された発明では、センターサーバは、車両に撮影画像をアップロードさせている。しかし、画像のデータ量は大きいため、車両から撮像画像をアップロードさせる構成を教師データの収集に用いると、通信容量の増大を招く。そこで、本発明は、上記背景に鑑み、有用な画像を効率良く収集することができる情報処理システム、サーバ、および通信方法を提供することを目的とする。

本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。

本発明の情報処理システム（１）は、カメラ（１１）を備えた車両（１０）と、前記カメラ（１１）にて撮影された画像を前記車両（１０）から収集するサーバ（２０）とを備え、前記車両（１０）は、撮影された画像を保存する画像記憶部と、前記画像の認識処理を行って認識結果データを得る認識処理部（１３）と、前記サーバ（２０）との間で通信を行う通信部（１６）とを備え、前記サーバ（２０）は、前記車両（１０）との間で通信を行う通信部（２１）と、前記画像および前記認識結果データを保存する画像データベース（２６）と、前記車両（１０）から前記認識結果データを受信したときに、前記画像データベース（２６）に保存されたデータに基づいて前記認識結果データの妥当性を判断する妥当性判断部（２２）と、前記認識結果データが妥当でないと判断されたときに前記認識結果データを得た元の画像の送信を前記車両（１０）に要求する画像送信要求部（２７）とを備える。

このようにサーバ（２０）は車両（１０）から送信された画像の認識結果データの妥当性を判断し、認識結果データが妥当でない場合に元の画像の送信要求を行い、認識結果が妥当である場合には、元の画像の送信要求をしない。妥当な認識結果を得られた元の画像については、その認識結果データを元に、サーバ（２０）が適切に状況把握を行うことができると考えられるので、そのような画像の送信を要求しないことで通信量を抑制できる。その一方で、認識結果が妥当でないと判断された場合には、そのような元の画像の送信を要求し、教師データとして用いることにより画像の認識率を高めることができる。

本発明の情報処理システム（１）において、前記車両（１０）は、周辺状況を取得するセンサ（１２）を備え、前記認識処理部（１３）は、前記センサ（１２）で取得したデータを用いて認識処理を行ってもよい。このように周辺状況を取得するセンサ（１２）で取得したデータを用いることにより、精度の高い認識結果データを得ることができる。

本発明の情報処理システム（１）において、前記車両（１０）は、前記認識結果データと共に、前記画像を撮影した位置のデータを含むメタデータを前記サーバ（２０）に送信し、前記サーバ（２０）は、前記画像データベース（２６）に、前記画像、前記認識結果データに加えて前記メタデータを保存してもよい。このようにメタデータを用いることにより、妥当性の判断の精度を高めることができる。

本発明の情報処理システム（１）において、前記妥当性判断部（２２）は、前記画像データベース（２６）に保存されたデータと前記車両（１０）から受信した前記認識結果データとに基づいて画像を復元する画像復元部（２３）と、前記画像復元部（２３）にて復元された画像の認識処理を行って第２の認識結果データを得る第２の認識処理部（２４）と、前記認識結果データと前記第２の認識結果データとを比較して、その差分が所定の条件を満たすときに前記認識結果データが妥当であると判定する比較部（２５）とを備えてもよい。また、メタデータを用いる場合にあっては、本発明の情報処理システム（１）において、前記妥当性判断部（２２）は、前記画像データベース（２６）に保存されたデータと前記車両（１０）から受信した前記認識結果データ及び前記メタデータとに基づいて画像を復元する画像復元部（２３）と、前記画像復元部（２３）にて復元された画像の認識処理を行って第２の認識結果データを得る第２の認識処理部（２４）と、前記認識結果データと前記第２の認識結果データとを比較して、その差分が所定の条件を満たすときに前記認識結果データが妥当であると判定する比較部（２５）とを備えてもよい。

このように認識結果データから復元した画像の第２の認識結果データと車両（１０）から受信した認識結果データとを比較することにより、認識結果から復元した画像がどれだけ元の画像に近いかを判断できる。すなわち、元の画像に近ければ近いほど、車両（１０）から受信した認識結果データと第２の認識結果データとが近くなる。したがって、この比較結果に基づいて、車両（１０）から受信した認識結果データの妥当性を判断することができる。

本発明の情報処理システム（１）において、前記比較部（２５）は、前記認識結果データと前記第２の認識結果データとの間で、認識された物標数が同じであるときに、前記所定の条件を満たすと判定してもよい。この構成により、認識結果データの妥当性を適切に判断できる。

本発明の情報処理システム（１）は、前記画像データベース（２６）に保存されたデータを教師データとして用いて、前記認識処理部（１３）及び前記第２の認識処理部（２４）で用いるモデルの学習を行う学習部（２８）を備えてもよい。この構成により、受信した画像を用いて認識処理の精度を高めることができる。

本発明のサーバ（２０）は、車両（１０）にて撮影された画像を収集するサーバ（２０）であって、前記車両（１０）との間で通信を行う通信部（２１）と、前記車両（１０）から受信した画像および認識結果データを保存する画像データベース（２６）と、前記車両（１０）から前記認識結果データを受信したときに、前記画像データベース（２６）に保存されたデータに基づいて前記認識結果データの妥当性を判断する妥当性判断部（２２）と、前記認識結果データが妥当でないと判断されたときに前記認識結果データを得た元の画像の送信を前記車両（１０）に要求する画像送信要求部（２７）とを備える。

本発明の通信方法は、カメラ（１１）を備えた車両（１０）からサーバ（２０）に前記画像を送信する通信方法であって、前記車両（１０）にて撮影した画像を保存するステップと、前記車両（１０）において、前記画像の認識処理を行って認識結果データを得るステップと、前記車両（１０）から前記サーバ（２０）に前記認識結果データを送信するステップと、前記サーバ（２０）において、画像データベース（２６）に保存された前記画像および前記認識結果データに基づいて、前記車両（１０）から送信された認識結果データの妥当性を判断するステップと、前記認識結果データが妥当でないと判断されたときに前記認識結果データを得た元の画像の送信を前記車両（１０）に要求するステップとを備える。

本発明によれば、画像データの通信量を抑制しつつ、妥当な画像データを収集することができる。

実施の形態の情報処理システムの構成を示す図である。 （ａ）元画像の例を示す図である。（ｂ）認識結果データの例を示す図である。 （ａ）画像ＤＢに記憶されたデータの例を示す図である。（ｂ）画像ＤＢに記憶された画像テンプレートの例を示す図である。 妥当性判断部の処理を説明するための図である。 情報処理システムの動作を示すフローチャートである。

以下、本発明の実施の形態の情報処理システムの構成について図面を参照して説明する。
図１は、本実施の形態の情報処理システム１の構成を示す図である。情報処理システム１は、車両１０とサーバ２０とを備えている。図１では、車両１０を１台しか記載していないが、実際には、サーバ２０は多数の車両１０と通信可能に接続されている。

車両１０は、カメラ１１とセンサ１２と認識処理部１３とを備えている。カメラ１１は、フロントカメラのみならず、サイドカメラやリアカメラを備えてもよい。センサ１２は、車両１０の周囲の状況を検出するための装置であり、例えば、対象物までの距離を測定するレーダーである。カメラ１１にて撮影された画像は、画像記憶部１４に記憶される。なお、画像記憶部１４の記憶容量は、例えば、車両１０を２４時間走行させて撮影を行ったときに得られる画像を記憶することができる程度の大きさである。画像記憶部１４の記憶容量が足りなくなった場合には、古い画像から順に画像データを削除する。

認識処理部１３は、カメラ１１にて撮影した画像の認識処理を行い、画像に写っている物標の位置やその属性等の認識結果データを取得する。図２（ａ）及び図２（ｂ）は、認識処理部１３の処理について説明する図である。図２（ａ）は、認識処理の対象となる画像を示す。画像には、信号のない交差点が映っており、交差点の左側を渡っている歩行者、交差点の向こう側から向かってくる車、交差点を右から左へ渡ろうとしている自転車が映っている。

図２（ｂ）は、図２（ａ）に示す画像の認識処理結果を示している。図２（ｂ）に示すように、交差点に移っていた物標の位置とその種別が認識結果データとして求まる。この例では、物標の位置のデータは、図２（ｂ）に示すように物標の位置を矩形で特定し、その頂点の座標によって位置を特定する。認識処理部１３は、学習済みモデルを用いて、入力された画像をニューラルネットワークで処理することにより、上記のような認識処理を行うことができる。

また、本実施の形態の認識処理部１３は、センサ１２にて取得したデータも用いて認識処理を行う。これにより、例えば、レーダーで対象物までの距離を測定し、対象物までの距離のデータを認識結果データに含めることができる。

認識処理部１３は、得られた認識結果データを運転制御部１７に渡し、運転制御部１７は認識結果データを利用して車両１０の運転を制御する。本実施の形態では、認識結果データを運転制御部１７にて利用する例を挙げているが、認識結果データを運転支援部に渡し、運転支援部が歩行者や他車両１０の接近等をドライバに対して警報で知らせる構成とすることもできる。

また、車両１０は、メタデータ取得部１５を備えている。メタデータは、例えば、日付、日時、車両１０の現在位置、天候等のデータである。メタデータ取得部１５は、画像の撮影と同じタイミングでメタデータを取得し、撮影した画像、画像から得られた認識結果データと関連付ける。

通信部１６は、サーバ２０と通信を行う機能を有している。車両１０は、通信部１６を通じて、サーバ２０に認識結果データ、メタデータ、画像データを送信する。また、車両１０は通信部１６を通じて、サーバ２０から画像の送信要求を受信する機能を有する。車両１０は、はじめに認識結果データ、メタデータをサーバ２０に送信し、サーバ２０から画像の送信要求を受信すると、認識結果データに対応する元の画像をサーバ２０に送信する。

次に、サーバ２０の構成について説明する。サーバ２０は、通信部１６と、妥当性判断部２２と、画像データベース（以下、「画像ＤＢ」という）２６と、画像送信要求部２７とを有している。通信部１６は、車両１０と通信を行う機能を有している。サーバ２０は、通信部１６を通じて、車両１０から送信された認識結果データ、メタデータ、画像データを受信する。また、サーバ２０は、通信部１６を通じて車両１０に画像の送信要求を送信する機能を有する。画像ＤＢ２６には、車両１０から受信した画像データを記憶している。

図３（ａ）及び図３（ｂ）は、画像ＤＢ２６に記憶されている画像データの例を示す図である。なお、図３（ａ）及び図３（ｂ）では、データの項目名のみ示し、具体的なデータの記載は省略している。図３（ａ）に示すように、画像ＤＢ２６には、画像データがメタデータと認識結果データに関連付けて記憶されている。認識結果データは、画像データを認識処理した認識結果データであり、メタデータは画像データに関する付加データである。また、図３（ｂ）に示すように、画像ＤＢ２６には、認識結果データに対応する画像テンプレートが記憶されている。例えば、認識結果データ「歩行者」に対応する「歩行者の画像テンプレート」、認識結果データ「車」に対応する「車の画像テンプレート」等である。

妥当性判断部２２は、車両１０から送信された認識結果データが妥当なものであるか否かの妥当性を判断する機能を有している。妥当性判断部２２は、復元部２３と、第２の認識処理部２４と、比較部２５とを有している。

図４は、妥当性判断部２２が行う処理について説明するための図である。妥当性判断部２２は、車両１０から送信された認識結果データを受信すると、復元部２３によって、認識結果データから元の画像を復元する。本明細書では、復元部２３にて復元された画像を「復元画像」という。復元画像が元の画像に近い画像となる場合に、認識結果データが妥当なものであると判断される。

未だ元の画像を受信していない状態で、復元画像と元の画像とが近いかどうか判断するために、妥当性判断部２２は、第２の認識処理部２４によって復元画像に認識処理を行い、第２の認識結果データを得る。そして、比較部２５が、車両１０から受信した認識結果データと第２の認識結果データとを比較する。比較部２５は、比較結果が所定の条件を満たす場合に、認識結果データと第２の認識結果データとが類似する、すなわち、車両１０から受信した認識結果データが妥当であると判断する。

妥当性判断部２２の構成をさらに詳細に説明する。復元部２３は、認識結果データにて指定された位置に、指定された属性を有する画像テンプレートを当てはめて元の画像の復元を行う。例えば、図２（ｂ）に示す認識結果データの例を取り上げて説明すると、画像の左側に歩行者の物標があるので、この物標の位置に画像ＤＢ２６から読み出した画像テンプレート（図３（ｂ）参照）を重畳する。同様に、車や自転車の物標にもそれぞれ対応する画像テンプレートを重畳して、元の画像を復元する。なお、画像の背景は、画像の撮影位置のメタデータに基づいて、同じ位置で撮影された画像を用いることができる。

第２の認識処理部２４は、車両１０が備えている認識処理部１３と同じ構成を有する。同じ構成を有する認識処理部１３、第２の認識処理部２４によって認識処理を行うので、それらの認識結果データを比較することで、復元画像の精度をチェックできる。

比較部２５が比較に用いる条件は、例えば、認識結果データの物標の数と属性が同じであるか否かという条件である。この条件を満たす場合には、認識結果データと第２の認識結果データが類似すると判定する。なお、物標の数と属性が若干異なる場合でも、認識結果データと第２の認識結果データが類似するとの判定を許容してもよい。例えば、認識結果データでは１つの物標であったものが、２つの物標に分かれたと判定される場合には、物標の数が増えたとしても、類似すると判定してもよい。

学習部２８は、画像ＤＢ２６に記憶されているデータと教師データとして、認識処理部１３で用いる学習モデルの学習を行う。学習部２８にて学習した学習済みモデルは、第２の認識処理部２４に入力すると共に、各車両１０に配信して、各車両１０の認識部に入力する。これにより、車両１０が有する認識処理部１３と、サーバ２０の第２の認識処理部２４は、同じ認識処理を行うことができる。したがって、同じ画像を入力した場合には、認識処理部１３と第２の認識処理部２４は、同じ認識結果データを出力することになる。

図５は、本実施の形態の通信方法のフローチャートを示す図である。車両１０は、カメラ１１にて画像を撮影すると共に、センサ１２にて例えば画像に写っている物体までの距離をセンシングし（Ｓ１０）、撮影した画像を画像記憶部１４に保存する（Ｓ１１）。次に、車両１０は、認識処理部１３にて、撮影画像の認識処理を行って、認識結果データを取得する（Ｓ１２）。図５では示していないが、この処理にて求めた認識結果データを運転制御部１７に渡し、運転制御部１７は認識結果データに基づいて運転制御を行う。

車両１０は、画像の認識処理によって得られた認識結果データをサーバ２０に送信する（Ｓ１３）。サーバ２０は、車両１０から送信された認識結果データを受信すると（Ｓ１４）、妥当性判断部２２にて、車両１０から受信した認識結果データが妥当であるか否かを判断する（Ｓ１５）。妥当性判断の詳しい方法は、図４にて説明したとおりである。

認識結果データが妥当であると判断された場合には（Ｓ１５でＹＥＳ）、サーバ２０はそのまま処理を終了する。認識結果データが妥当ではないと判断された場合には（Ｓ１５でＮＯ）、サーバ２０は、その認識結果データにかかる元画像の送信要求を車両１０に送信する（Ｓ１６）。

１６）。車両１０は、元画像の送信要求を受信すると（Ｓ１７）、画像記憶部１４から元画像を読み出して、読み出した元画像をサーバ２０に送信する（Ｓ１８）。サーバ２０は、車両１０から送信された元画像を受信して、画像ＤＢ２６に記憶する（Ｓ１９）。この際に、サーバ２０は、元画像のデータに関連付けて、認識結果データおよびメタデータを記憶する。以上、本実施の形態の情報処理システム１および通信方法について説明した。

本実施の形態の情報処理システム１は、車両１０から初めから画像のデータを送るのではなく、画像を認識処理して得られた認識結果データをサーバ２０に送信し、サーバ２０で認識結果データの妥当性を判断する。そして、認識結果データが妥当である場合には、画像データを送信しないので、画像データの送信量を抑制することができる。また、認識結果データが妥当ではない場合には、サーバ２０は認識結果データの元画像の送信を要求するので、送信された元画像のデータを用いて、認識処理部１３の学習済みモデルを更新することにより、妥当ではない結果が得られた画像についても、次回以降は妥当な認識処理結果が得られる。以上のように、妥当性を判断した上で元の画像データを送信させるかどうかを判断することにより、画像データの通信量を抑制しつつ、認識処理を適切に行うためのモデルを学習させる画像データを収集できる。

以上、本発明の実施の形態の情報処理システム１について説明したが、本発明は上記した情報処理システム１に限定されるものではない。上記した実施形態では、認識処理部１３は、図２（ｂ）に示すように物標を表す矩形の位置を認識結果データとする処理を行ったが、物標の輪郭を表す形状および位置を認識結果データとして求める処理を行ってもよい。

１・・・情報処理システム、１０・・・車両、１１・・・カメラ、１２・・・センサ、
１３・・・認識処理部、１４・・・画像記憶部、１５・・・メタデータ取得部、
１６・・・通信部、１７・・・運転制御部、２０・・・サーバ、２１・・・通信部、
２２・・・妥当性判断部、２３・・・復元部、２４・・・第２の認識処理部、
２５・・・比較部、２６・・・画像ＤＢ、２７・・・画像送信要求部、２８・・・学習部

Claims (9)

1. カメラ（１１）を備えた車両（１０）と、前記カメラ（１１）にて撮影された画像を前記車両（１０）から収集するサーバ（２０）とを備え、
   前記車両（１０）は、
   撮影された画像を保存する画像記憶部（１４）と、
   前記画像の認識処理を行って認識結果データを得る認識処理部（１３）と、
   前記サーバ（２０）との間で通信を行う通信部（１６）と、
   を備え、
   前記サーバ（２０）は、
   前記車両（１０）との間で通信を行う通信部（２１）と、
   前記画像および前記認識結果データを保存する画像データベース（２６）と、
   前記車両（１０）から前記認識結果データを受信したときに、前記画像データベース（２６）に保存されたデータに基づいて前記認識結果データの妥当性を判断する妥当性判断部（２２）と、
   前記認識結果データが妥当でないと判断されたときに前記認識結果データを得た元の画像の送信を前記車両（１０）に要求する画像送信要求部（２７）と、
   を備える情報処理システム（１）。
2. 前記車両（１０）は、周辺状況を取得するセンサ（１２）を備え、
   前記認識処理部（１３）は、前記センサ（１２）で取得したデータを用いて認識処理を行う請求項１に記載の情報処理システム（１）。
3. 前記車両（１０）は、前記認識結果データと共に、前記画像を撮影した位置のデータを含むメタデータを前記サーバ（２０）に送信し、
   前記サーバ（２０）は、前記画像データベース（２６）に、前記画像、前記認識結果データに加えて前記メタデータを保存する請求項１または２に記載の情報処理システム（１）。
4. 前記妥当性判断部（２２）は、
   前記画像データベース（２６）に保存されたデータと前記車両（１０）から受信した前記認識結果データとに基づいて画像を復元する画像復元部（２３）と、
   前記画像復元部（２３）にて復元された画像の認識処理を行って第２の認識結果データを得る第２の認識処理部（２４）と、
   前記認識結果データと前記第２の認識結果データとを比較して、その差分が所定の条件を満たすときに前記認識結果データが妥当であると判定する比較部（２５）と、
   を備える請求項１または２に記載の情報処理システム（１）。
5. 前記妥当性判断部（２２）は、
   前記画像データベース（２６）に保存されたデータと前記車両（１０）から受信した前記認識結果データ及び前記メタデータとに基づいて画像を復元する画像復元部（２３）と、
   前記画像復元部（２３）にて復元された画像の認識処理を行って第２の認識結果データを得る第２の認識処理部（２４）と、
   前記認識結果データと前記第２の認識結果データとを比較して、その差分が所定の条件を満たすときに前記認識結果データが妥当であると判定する比較部（２５）と、
   を備える請求項３に記載の情報処理システム（１）。
6. 前記比較部（２５）は、前記認識結果データと前記第２の認識結果データとの間で、認識された物標数が同じであるときに、前記所定の条件を満たすと判定する請求項４または５に記載の情報処理システム（１）。
7. 前記画像データベース（２６）に保存されたデータを教師データとして用いて、前記認識処理部（１３）及び前記第２の認識処理部（２４）で用いるモデルの学習を行う学習部（２８）を備える請求項４乃至６のいずれかに記載の情報処理システム（１）。
8. 車両（１０）にて撮影された画像を収集するサーバ（２０）であって、
   前記車両（１０）との間で通信を行う通信部（２１）と、
   前記車両（１０）から受信した画像および認識結果データを保存する画像データベース（２６）と、
   前記車両（１０）から前記認識結果データを受信したときに、前記画像データベース（２６）に保存されたデータに基づいて前記認識結果データの妥当性を判断する妥当性判断部（２２）と、
   前記認識結果データが妥当でないと判断されたときに前記認識結果データを得た元の画像の送信を前記車両（１０）に要求する画像送信要求部（２７）と、
   を備えるサーバ（２０）。
9. カメラ（１１）を備えた車両（１０）からサーバ（２０）に前記画像を送信する通信方法であって、
   前記車両（１０）にて撮影した画像を保存するステップ（Ｓ１１）と、
   前記車両（１０）において、前記画像の認識処理を行って認識結果データを得るステップ（Ｓ１２）と、
   前記車両（１０）から前記サーバ（２０）に前記認識結果データを送信するステップ（Ｓ１３）と、
   前記サーバ（２０）において、画像データベース（２６）に保存された前記画像および前記認識結果データに基づいて、前記車両（１０）から送信された認識結果データの妥当性を判断するステップ（Ｓ１５）と、
   前記認識結果データが妥当でないと判断されたときに前記認識結果データを得た元の画像の送信を前記車両（１０）に要求するステップ（Ｓ１６）と、
   を備える通信方法。

Images