JP2023043957A - 車載装置、画像認識システム、車載装置用の支援装置、画像認識方法、及び、モデルデータ送信方法 - Google Patents

Abstract

【課題】様々な状況に適応して適正な画像認識を実現する。【解決手段】車載装置は、車両に設置されたカメラからの入力画像に対して画像認識を行う画像認識部を備える。画像認識部は、車両の位置情報と、位置情報とは異なる追加参照情報（例えば天候情報）と、に応じた画像認識モデルを用いて、画像認識を行う。【選択図】図５

Description

本発明は、車載装置、画像認識システム、車載装置用の支援装置、画像認識方法、及び、モデルデータ送信方法に関する。

車載カメラの撮影画像に対して画像認識（物体検出等）を行うことのできる車載装置が開発又は研究されている。

尚、機械学習による学習済みモデルを用いて車両の制御を支援する技術が提案されている。当該技術では、学習済みモデルを所定領域ごとに設定し、車両の位置に応じて学習済みモデルを切り替える（例えば下記特許文献１の要約、明細書段落［００４９］～［００５２］参照）。

特開２０２０－９３７６０号公報

車両の位置情報に応じて画像認識モデルを設定する方法（即ち、車両の位置情報に応じた画像認識モデルを用いて画像認識を行う方法）が検討される。当該方法により、地域の特性に応じた画像認識を行うことが可能となり、認識精度の向上が期待される。しかしながら、画像認識は様々な要因の影響を受けるため、改善の余地がある。

本発明は、様々な状況に対応した適正な画像認識の実現に寄与する車載装置、画像認識システム、車載装置用の支援装置、画像認識方法、及び、モデルデータ送信方法を提供することを目的とする。

本発明に係る車載装置は、車両に設置される車載装置であって、前記車両に設置されたカメラからの入力画像に対して画像認識を行う画像認識部を備え、前記画像認識部は、前記車両の位置情報と、前記位置情報とは異なる追加参照情報と、に応じた画像認識モデルを用いて、前記画像認識を行う。

本発明に係る車載装置用の支援装置は、車両に設置されたカメラからの入力画像に対して画像認識を行う車載装置と通信可能に構成された支援装置であって、前記画像認識を行う画像認識モデルを前記車載装置にて設定するためのモデルデータを複数保持するデータ保持部と、前記車両の位置情報と、前記位置情報と異なる追加参照情報と、に基づいて、複数のモデルデータの何れかを選択し、選択したモデルデータを前記車載装置に送信する選択制御部と、を備える。

本発明によれば、様々な状況に対応した適正な画像認識の実現に寄与する車載装置、画像認識システム、車載装置用の支援装置、画像認識方法、及び、モデルデータ送信方法を提供することが可能となる。

本発明の実施形態に係るシステム（画像認識システム）の全体構成図である。 本発明の実施形態に係り、車両に車載装置が搭載されている様子を示す図である。 本発明の実施形態に係り、車載装置の内部構成及び車載装置の周辺装置を示す図である。 本発明の実施形態に係り、サーバ装置の内部構成を示す図である。 本発明の実施形態に係り、車両の位置する領域等に適応して画像認識モデルを設定する様子を示す図である。 本発明の実施形態に係り、サービス提供領域に複数の要素領域が設定される様子を示す図である。 本発明の実施形態に係り、データベースに複数のモデルデータが保持される様子を示す図である。 本発明の実施形態に係り、追加参照情報の構造図である。 本発明の実施形態に係り、図１のシステムの全体動作フローチャートである。 本発明の実施形態に係り、モデルデータ作成工程のフローチャートである。 本発明の実施形態に係り、実運用工程のフローチャートである。 本発明の実施形態に属する第１実施例に係り、隣接する２つの領域を示す図である。 本発明の実施形態に属する第１実施例に係り、地域特性に応じた領域設定例を示す図である。 本発明の実施形態に属する第２実施例に係り、車速情報の利用の具体例を説明するための図である。 本発明の実施形態に属する第３実施例に係り、画像認識部に２つの画像認識モデルが設けられる様子を示す図である。 本発明の実施形態に属する第３実施例に係るフローチャートである。 本発明の実施形態に属する第３実施例に係り、車両の走行ルート等を示す図である。 本発明の実施形態に属する第４実施例に係り、各要素領域に複数の車両が存在する様子を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。

図１は本発明の実施形態に係るシステムＳＹＳの全体構成図である。システムＳＹＳは、車載装置１０及びサーバ装置３０を備えて構成される。システムＳＹＳにおいて、図２に示す如く、車載装置１０は車両ＣＲに設置及び搭載される。車両ＣＲは、任意の車両であるが、ここでは道路上を走行可能な自動車等であるとする。車載装置１０及びサーバ装置３０は、所定の通信網ＮＥＴを通じ双方向通信が可能な態様で互いに無線接続される。通信網ＮＥＴは移動体通信網及びインターネットを含む。

詳細は後述されるが、車載装置１０はカメラ画像に対して画像認識を行うことができ、サーバ装置３０は画像認識の実現に必要なデータを車載装置１０に提供する。このため、サーバ装置３０は車載装置１０にとって支援装置として機能するとも言える。また、車載装置１０及びサーバ装置３０により画像認識システムが形成されると言うこともできる。本実施形態において車載装置１０はドライブレコーダの機能を含む車載装置であるとする。車載装置１０はドライブレコーダそのものであっても良い。スマートホン等の持ち運び容易な情報端末装置を車載装置１０として用いても良い。

図３に車載装置１０の内部構成と車載装置１０の周辺装置を示す。車載装置１０に対し複数の周辺装置が接続される。ここにおける複数の周辺装置も、車載装置１０と同様に車両ＣＲに設置される。複数の周辺装置は、カメラ部２１、車載センサ部２２、ＧＰＳ処理部２３及びインターフェース部２４を含む。各周辺装置と車載装置１０との間の情報のやり取りは、例えば車両ＣＲ内に形成されたＣＡＮ（Controller Area Network）を通じて行われる。但し、カメラ部２１、ＧＰＳ処理部２３及びインターフェース部２４の内、任意の１以上の部位は車載装置１０の構成要素に含まれるものであっても良い。

カメラ部２１は車両ＣＲに設置された１以上のカメラから成る。カメラ部２１を構成する各カメラは、自身の撮影領域（視野）内の風景を所定のフレームレートで順次撮影して、撮影結果を示す撮影画像の画像情報を順次車載装置１０に送る。カメラ部２１による撮影画像の画像情報を特に撮影画像情報と称する。また、カメラ部２１による撮影画像はカメラ画像と称され得る。カメラ部２１は、少なくとも、車両ＣＲの外部であって且つ車両ＣＲの前方の領域を撮影領域として有するフロントカメラ２１Ｆを有する。以下では、撮影画像情報はフロントカメラ２１Ｆの撮影画像の画像情報（画像データ）を表し、カメラ画像はフロントカメラ２１Ｆの撮影により得られた撮影画像を指すと考える。以下の説明において、撮影とは、特に記述なき限り、カメラ部２１（フロントカメラ２１Ｆ）の撮影を指す。

車載センサ部２２は、車両ＣＲに設置された複数の車載センサから成り、各車載センサを用いて車両情報を検出及び取得する。車両情報は所定周期で順次取得され、取得された車両情報は順次車載装置１０に送られる。車両情報は、車両ＣＲの速度を表す車速情報、車両ＣＲに設けられたアクセルペダルの踏み込み量を表すアクセル情報、車両ＣＲに設けられたブレーキペダルの踏み込み量を表すブレーキ情報、及び、車両ＣＲに設けられたステアリングホイールの操舵角を表す操舵角情報などを含む。上記複数の車載センサには加速度センサも含まれ、加速度センサから出力される加速度情報も上記車両情報に含まれる。加速度センサは、互いに直交する３軸又は２軸の夫々の方向において車両ＣＲの加速度を検出し、その検出結果を示す加速度情報を出力する。

ＧＰＳ処理部２３は、ＧＰＳ（Global Positioning System）を形成する複数のＧＰＳ衛星からの信号を受信することで車両ＣＲの位置（現在地）を検出し、検出位置を示す位置情報を求める。位置情報では、車両ＣＲの位置（現在地）が、地球上における経度及び緯度によって表現される。ＧＰＳ処理部２３は、位置情報を所定周期で順次生成し、生成した位置情報を順次車載装置１０に送る。

インターフェース部２４は、車載装置１０と車両ＣＲの乗員（主として運転手）との間のマンマシンインターフェースである。

車載装置１０は、車載制御部１１、記録媒体１２、通信処理部１３及び計時部１４を備える。

車載制御部１１は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等を含む演算処理部と、ＲＯＭ（Read only memory）及びＲＡＭ（Random access memory）等を含むメモリと、をハードウェア資源として備える。車載制御部１１において、メモリに格納されたプログラムを演算処理部にて実行することで、符号１１１～１１４にて参照される各機能ブロックが実現されて良い。これらの機能ブロックについては後述される。

記録媒体１２は、磁気ディスク又は半導体メモリ等から成る、或いは、それらの組み合わせから成る。記録媒体１２は不揮発性の記録媒体であり、車載制御部１１の制御の下で、任意のデータを記録する。車載装置１０に対して記録媒体装着部（不図示）を設けておき、記録媒体装着部に対して記録媒体１２が着脱自在とされていても良い。尚、本明細書において、用語「データ」と用語「情報」は同義である。

通信処理部１３は、通信網ＮＥＴを通じて相手側装置と双方向通信を行う。車載装置１０にとっての相手側装置は、少なくともサーバ装置３０を含む。車載装置１０及び相手側装置間の通信は通信処理部１３を利用して行われるが、以下の説明では通信処理部１３の記載を省略することがある。

計時部１４は、現在の日付及び時刻を示す日時情報を生成する。ＧＰＳ処理部２３の受信信号を用いて日時情報が生成又は修正されても良い。

車載装置１０にて取得又は生成される任意の情報（撮影画像情報、車両情報、位置情報、日時情報など）は、適宜、サーバ装置３０に送信されて良い。

図４にサーバ装置３０の概略構成ブロック図を示す。サーバ装置３０は、サーバ制御部３１、データべース３２及び通信処理部３３を備える。サーバ装置３０は、単一のコンピュータ装置にて構成されていても良いし、複数のコンピュータ装置にて構成されていても良い。所謂クラウドコンピューティングを利用してサーバ装置３０が構成されていても良い。データべース３２はサーバ装置３０に内蔵されていても良いし、サーバ装置３０の外部に設けられてサーバ装置３０に対し有線又は無線にて接続されていても良い。

サーバ制御部３１は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等を含む演算処理部と、ＲＯＭ（Read only memory）及びＲＡＭ（Random access memory）等を含むメモリと、をハードウェア資源として備える。サーバ制御部３１において、メモリに格納されたプログラムを演算処理部にて実行することで、符号３１１～３１３にて参照される各機能ブロックが実現されて良い。これらの機能ブロックについては後述される。

データベース３２は、磁気ディスク又は半導体メモリ等から成る、或いは、それらの組み合わせから成る不揮発性の記録媒体である。データべース３２は、サーバ制御部３１の制御の下で、任意のデータを記録する。

通信処理部３３は、通信網ＮＥＴを通じて相手側装置と双方向通信を行う。サーバ装置３０にとっての相手側装置は、車載装置１０を少なくとも含む。車載装置１０及び相手側装置間の通信は通信処理部３３を利用して行われるが、以下の説明では通信処理部３３の記載を省略することがある。

図３を参照し、車載制御部１１の機能ブロックについて説明する。車載制御部１１は複数の機能ブロックとして、記録処理部１１１、画像認識部１１２、画像認識モデル１１３及びモデル設定部１１４を備える。

記録処理部１１１は、撮影画像情報を記録媒体１２に記録させるための処理を実行する。例えば、記録処理部１１１は、ドライブレコーダの機能として以下に示す基本記録処理を実行できる。基本記録処理では、カメラ部２１から順次得られる撮影画像情報が時系列に沿って記録媒体１２に順次記録されてゆく。この際、関連情報も撮影画像情報に関連付けられた状態で記録媒体１２に記録される。即ち、基本記録処理において、或る時刻で取得された撮影画像情報及び関連情報が互いに関連付けられた状態で記録媒体１２に記録される。関連情報は、上述の車両情報、位置情報及び日時情報を含み、それら以外の情報を更に含んでいても良い。記録媒体１２は一定時間分の撮影画像情報及び関連情報を記録できるだけの記録容量を有する。基本記録処理において、記録媒体１２に空き領域が無くなると最も古い時刻に取得された撮影画像情報及び関連情報に対し新たな撮影画像情報及び関連情報が上書きされる。尚、イベントの発生時には、一定時間分の撮影画像情報及び関連情報が上書き禁止態様で記録媒体１２に記録されて良い。イベントは、例えば、車両ＣＲの加速度が一定値を超える状況である。

画像認識部１１２はカメラ部２１からのカメラ画像を入力画像として受け、入力画像に対して所定の画像認識を行う。換言すれば、画像認識部１１２は、カメラ部２１からカメラ画像を入力され、入力されたカメラ画像に対して画像認識を行う。画像認識部１１２は画像認識モデル１１３を有し、画像認識モデル１１３を用いて画像認識を行う。

画像認識モデル１１３はニューラルネットワーク（以下、ＮＮと表記され得る）１１３ａを含んで形成され、ＮＮ１１３ａに対して画像認識用のパラメータが設定されることで画像認識モデル１１３が形成される。ニューラルネットワークに対するパラメータは重み及びバイアスを含む。画像認識モデル１１３は機械学習を経て形成される。機械学習自体はサーバ装置３０で実行される。機械学習により導出されたパラメータが車載装置１０に供給されることで車載装置１０にて画像認識モデル１１３が形成される。尚、機械学習は、サーバ装置３０及び車載装置１０の何れとも異なる他の装置（不図示）にて実行されても良い。機械学習は深層学習に分類されるものであって良く、本実施形態における任意のニューラルネットワークはディープニューラルネットワークであって良い。

画像認識モデル１１３は、カメラ画像（入力画像）の撮影画像情報に基づきカメラ画像に対する画像認識を行う。ここにおける画像認識は、カメラ画像内における検出対象物の種類及び位置を検出するための処理であり、一般的に物体検出と称される処理であって良い。検出対象物は、車両、人物、信号機及び交通標識などを含む。画像認識は、セマンティックセグメンテーション又はインスタントセグメンテーションなどであっても良い。

画像認識の結果を利用して、車載制御部１１は、カメラ画像の内、一部の画像のみを抜き出して記録媒体１２に記録する又はサーバ装置３０に送信するといったことが可能である。或いは、車載制御部１１は、画像認識の結果に基づいてカメラ画像を加工し、加工後のカメラ画像を記録媒体１２に記録する又はサーバ装置３０に送信するといったことも可能である。上記加工は、例えば、カメラ画像に含まれる人物の顔の画像又は車両のナンバープレートの画像をマスクする処理である。また例えば、画像認識の結果は、車両ＣＲの自動運転制御又は運転支援制御に利用されて良い。

画像認識モデル１１３を形成するために必要なデータをモデルデータと称する。モデルデータは、ＮＮ１１３ａにて画像認識を行わせるために作成されたデータである。モデルデータは、ＮＮ１１３ａに設定されるべきパラメータ（重み及びバイアス）を含み、必要であればパラメータ以外のデータも更に含んでいて良い。

モデル設定部１１４はモデルデータを用いて画像認識モデル１１３を設定する。画像認識モデル１１３の設定を画像認識モデル１１３の形成と読み替えても良い（その逆も同様）。モデルデータを用いて画像認識モデル１１３を設定するとは、モデルデータ中のパラメータをＮＮ１１３ａに設定することにより、有効な画像認識を行い得る画像認識モデル１１３を画像認識部１１２にて形成することを指す。

画像認識モデル１１３に適用されるパラメータ（即ちＮＮ１１３ａに設定されるパラメータ）が変更されたとき、画像認識モデル１１３の特性（換言すれば内容）も変更され、結果、画像認識モデル１１３を用いて実行される画像認識の特性も変更される。例えば、画像認識モデル１１３における最適なパラメータ（検出対象物を識別するためのパラメータとして最適なパラメータ）は、車両ＣＲが或る第１領域内を走行しているときと、車両ＣＲが或る第２領域内を走行しているときとで異なり得る。これを考慮し、本実施形態では、車両ＣＲの位置情報に応じて画像認識モデル１１３に適用されるパラメータを変更する。

更に、時間帯、交通状態又は天候などの情報（追加参照情報）によっても最適なパラメータは変動する。これらを考慮し、モデル設定部１１４は、車両ＣＲの位置情報と、追加参照情報と、に応じたモデルデータ（パラメータ）を画像認識モデル１１３に適用する。これにより、位置情報及び追加参照情報に応じて画像認識モデル１１３の特性が変更される。

この結果、様々な状況に適応した適正な画像認識（望ましくは最適な画像認識）を車載装置１０にて行うことが可能となる。車載装置１０において様々なシーンの入力画像（カメ画像）が取得される。どのシーンにおいても高い検知性能（識別性能）を維持するための方法として、全てのシーンに対応可能なモデルを作る方法と、シーンごとに使用するモデルを切り替える（モデルのパラメータを切り替えることを含む）方法がある。前者の方法では、モデル構造が大きくなることが想定され、また全てのシーンにて高い検知性能を維持するのは現実的に難しいことがある。このため後者の方法が検討されるが、この際、モデル切り替えの制御技術が必要となる。上述のモデル設定部１１４を用いることで様々なシーンに適応して適正な画像認識が可能となる。

単純な一例を図５（ａ）及び（ｂ）に示す。第１領域は繁華街の領域であって且つ第２領域は住宅街の領域であるとする。図５（ａ）に示す如く車両ＣＲが第１領域に位置しているときに第１領域の天候が晴れであるときには、繁華街及び晴れに適したモデルデータを画像認識モデル１１３に適用する。これにより、繁華街及び晴れに適した画像認識モデル１１３にて画像認識が行われる。図５（ｂ）に示す如く、車両ＣＲが第２領域に位置しているときに第２領域の天候が雨であるときには、住宅街及び雨に適したモデルデータを画像認識モデル１１３に適用する。これにより、住宅街及び雨に適した画像認識モデル１１３にて画像認識が行われる。

ここでは、位置情報及び追加参照情報に応じたモデルデータはサーバ装置３０から車載装置１０に供給されるものとする。図４を参照し、当該モデルデータの供給に関わるサーバ制御部３１の機能ブロックについて説明する。サーバ制御部３１は複数の機能ブロックとして、領域設定部３１１、モデルデータ取得部３１２及び選択制御部３１３を備える。

領域設定部３１１は、地図上の所定のサービス提供領域を複数に分割することにより所定のサービス提供領域に複数の領域を設定する。当該分割によって得られた個々の領域を、説明の便宜上、要素領域と称する。複数の要素領域を記号“ＡＲ［１］”～“ＡＲ［ｎ］”にて表す。複数の要素領域ＡＲ［１］～ＡＲ［ｎ］の合成領域がサービス提供領域に相当する。サービス提供領域はシステムＳＹＳによるサービスが適用される地図上の領域（エリア）であって、例えば、日本国に属する陸地の全部又は一部を含む。ｎは２以上の整数であり、通常は２よりも十分に大きい。複数の要素領域ＡＲ［１］～ＡＲ［ｎ］の内、任意の２つの要素領域は互いに重なり合う領域を有さない。

図６に、要素領域ＡＲ［１］～ＡＲ［ｎ］の一部の例として要素領域ＡＲ［１］～ＡＲ［９］を示す。図６の例では、所定の大きさを有する領域が南北の方向に沿って３等分され且つ東西の方向に沿って３等分されることで要素領域ＡＲ［１］～ＡＲ［９］が形成される。即ち、図６の例では要素領域ＡＲ［１］～ＡＲ［９］が互いに同じ大きさ及び形状を有する。

一方、データベース３２（図４参照）には、画像認識モデル１１３を車載装置１０にて形成するためのモデルデータが複数保持される。図７に示す如く、データベース３２に保持される複数のモデルデータをモデルデータＭＤ［１］～ＭＤ［ｍ］と称する。ｍは２以上の整数であり、通常は２よりも十分に大きい。データベース３２はモデルデータＭＤ［１］～ＭＤ［ｍ］を保持するデータ保持部の例である。

モデルデータ取得部３１２は、モデルデータＭＤ［１］～ＭＤ［ｍ］を取得し、取得したモデルデータＭＤ［１］～ＭＤ［ｍ］をデータベース３２に保持させる。モデルデータＭＤ［１］～ＭＤ［ｍ］の夫々は機械学習により作成される。モデルデータ取得部３１２は、自身が機械学習を行うことでモデルデータＭＤ［１］～ＭＤ［ｍ］を作成及び取得する。但し、サーバ装置３０及び車載装置１０の何れとも異なる他の装置（不図示）にて機械学習を行い、これによって他の装置にて生成されたモデルデータＭＤ［１］～ＭＤ［ｍ］が取得部３１２に供給されるようにしても良い。

選択制御部３１３は、車両ＣＲの位置情報と、追加参照情報と、に基づいて、モデルデータＭＤ［１］～ＭＤ［ｍ］の何れかを選択する。選択制御部３１３にて選択されたモデルデータを対象モデルデータと称する。選択制御部３１３は対象モデルデータを車載装置１０に送信することができる。この際、車載装置１０にて対象モデルデータが受信されて対象モデルデータにより画像認識モデル１１３が設定（形成）される。より具体的には、対象モデルデータ内のパラメータがＮＮ１１３ａに設定されることにより、対象モデルデータ内のパラメータが適用された画像認識モデル１１３が設定（形成）される。

これにより、様々な状況に適応した適正な画像認識（望ましくは最適な画像認識）を車載装置１０にて行うことが可能となる。

図８に追加参照情報の例を示す。追加参照情報に、時刻情報、交通状態情報、天候情報及び車速情報の内、任意の１以上の情報を含めておくことができる。

時刻情報は現在時刻を表す。サーバ制御部３１は、タイマを用い自分自身で時刻情報を作成及び取得するようにしても良いし、他の任意の装置から時刻情報を取得するようにしても良い。

例えば、昼間に画像認識を行うことに適したパラメータと、夜間に画像認識を行うことに適したパラメータと、は互いに相違する。このため、追加参照情報に時刻情報を含め、時刻情報に応じて画像認識モデル１１３に適用するパラメータを変更することにより、時間帯に適した画像認識を車載装置１０にて行うことが可能となる。

交通状態情報は各要素領域の交通状態（要素領域ＡＲ［１］～ＡＲ［ｎ］の各交通状態）を表す。より具体的には、交通状態情報は、各要素領域の道路の渋滞情報（道路が渋滞しているか否か）を表す。サービス提供領域の各地点での渋滞情報を提供する渋滞情報管理サーバ（不図示）が通信網ＮＥＴに接続される。サーバ制御部３１は、渋滞情報管理サーバから提供される渋滞情報に基づき交通状態情報を取得できる。

例えば、渋滞の環境下で画像認識を行うことに適したパラメータと、非渋滞の環境下で画像認識を行うことに適したパラメータと、は互いに相違する。このため、追加参照情報に交通状態情報を含め、交通状態情報に応じて画像認識モデル１１３に適用するパラメータを変更することにより、交通状態に適した画像認識を車載装置１０にて行うことが可能となる。

天候情報は各要素領域の天候（要素領域ＡＲ［１］～ＡＲ［ｎ］の各天候）を表す。サービス提供領域の各地点での天候の情報を提供する天候情報提供サーバ（不図示）が通信網ＮＥＴに接続される。サーバ制御部３１は、天候情報提供サーバから提供される情報に基づき天候情報を取得できる。天候情報は、各要素領域の現在の天候を表す他、各要素領域の未来の天候の予報情報を含んでいても良い。

例えば、晴れの環境下で画像認識を行うことに適したパラメータと、雨の環境下で画像認識を行うことに適したパラメータと、は互いに相違する。このため、追加参照情報に天候情報を含め、天候情報に応じて画像認識モデル１１３に適用するパラメータを変更することにより、天候に適した画像認識を車載装置１０にて行うことが可能となる。

尚、追加参照情報に車速情報を含めることの意義については後述される。以下、本実施形態では特に記述な限り、追加参照情報に、時刻情報、交通状態情報及び天候情報が含まれているものとする。

上述したように、モデルデータ取得部３１２にて機械学習を実施することでモデルデータＭＤ［１］～ＭＤ［ｍ］を作成できる。この場合、ＮＮ１１３ａと同一の構造を有するＮＮ（以下、サーバＮＮと称する）をサーバ制御部３１に設けておき、サーバＮＮに対して、画像認識用の機械学習を実施する。機械学習済みのサーバＮＮは、画像認識を行うための学習済みモデルである。ｍ種類の条件を設定し、各条件にて機械学習を実施することで、ｍ種類のモデルデータ、即ちモデルデータＭＤ［１］～ＭＤ［ｍ］を得ることができる。

図９に示す如く、システムＳＹＳでは、まずステップＳ１にてモデルデータ作成工程が実施され、その後にステップＳ２にて実運用工程が実施される。モデルデータ作成工程において、モデルデータＭＤ［１］～ＭＤ［ｍ］がサーバ装置３０にて作成及び保存される。実運用工程において、モデルデータＭＤ［１］～ＭＤ［ｍ］の何れか１以上を利用した車載装置１０での画像認識が行われる。画像認識部１１２、画像認識モデル１１３及びモデル設定部１１４について上述した各動作は、実運用工程での動作である。

図１０はモデルデータ作成工程のフローチャートである。図１０を参照してモデルデータ作成工程を説明する。モデルデータ作成工程では、まずステップＳ１１にてモデルデータの番号を表す変数ｊに“１”が代入される。尚、ステップＳ１１の時点では、モデルデータＭＤ［１］～ＭＤ［ｍ］の何れもがデータベース３２に保存されていない。ステップＳ１１に続くステップＳ１２において、モデルデータ取得部３１２は、第ｊ学習条件の下でサーバＮＮに対する機械学習を実施する。ステップＳ１２の機械学習が完了するとステップＳ１３に進む。

ステップＳ１３において、モデルデータ取得部３１２は、第ｊ学習条件の下での機械学習により得られる学習済みモデルのパラメータ（重み及びバイアス）をモデルデータＭＤ［ｊ］に含め、当該モデルデータＭＤ［ｊ］をデータベース３２に保存する。続くステップＳ１４において、“ｊ＝ｍ”の成否が確認される。“ｊ＝ｍ”が非成立の場合には（ステップＳ１４のＮ）、ステップＳ１５にて変数ｊに“１”が加算されてからステップＳ１２に戻り、ステップＳ１２以降の各処理が再度実行される。“ｊ＝ｍ”が成立する場合には（ステップＳ１４のＹ）、図１０の処理を終える。ステップＳ１４にて“ｊ＝ｍ”が成立して図１０の処理を終える時点では、モデルデータＭＤ［１］～ＭＤ［ｍ］が全てデータベース３２に保存済みとなる。

図１１は実運用工程のフローチャートである。図１１を参照して実運用工程を説明する。実運用工程は以下のステップＳ２１～Ｓ２６の処理から成る。ステップＳ２１では、サーバ制御部３１にて所定のトリガ条件の成否が判断される。トリガ条件は所定の時間が経過するごとに成立する（即ち所定間隔で成立する）。或いは、予め定められた時刻においてトリガ条件が成立する。予め定められた時刻は一日において複数存在する。トリガ条件が非成立であれば（ステップＳ２１のＮ）ステップＳ２１の処理が繰り返される。トリガ条件が成立すれば（ステップＳ２１のＹ）ステップＳ２２に進む。

ステップＳ２２において、選択制御部３１３（図４参照）は、最新の車両ＣＲの位置情報と、最新の追加参照情報と、に基づいて、モデルデータＭＤ［１］～ＭＤ［ｍ］の何れかを対象モデルデータとして選択する。即ち、選択制御部３１３は、現在、車両ＣＲが要素領域ＡＲ［１］～ＡＲ［ｎ］の何れに位置しているかと追加参照情報とに基づいて、上記選択を行う。ステップＳ２２の後、ステップＳ２３に進む。

後述の説明から明らかとなるが、実運用工程の中でステップＳ２２の選択処理は繰り返し実行される。ステップＳ２３において、選択制御部３１３は、今回選択した対象モデルデータが前回選択した対象モデルデータと相違するかを判断する。今回選択した対象モデルデータが前回選択した対象モデルデータと相違する場合には（ステップＳ２３のＹ）ステップＳ２４に進む。前回選択した対象モデルデータが存在しない場合、即ち、今回選択した対象モデルデータが初回に選択した対象モデルデータである場合にも（ステップＳ２３のＹ）、ステップＳ２４に進む。一方、今回選択した対象モデルデータが前回選択した対象モデルデータと一致する場合には（ステップＳ２３のＮ）ステップＳ２１に戻る。

ステップＳ２４において、選択制御部３１３により今回選択された対象モデルデータが車載装置１０に送信される。送信された対象モデルデータは車載装置１０にて受信される。ステップＳ２４の後、ステップＳ２５に進む。

ステップＳ２５において、モデル設定部１１４（図３参照）は、サーバ装置３０から受信した対象モデルデータを用いて画像認識モデル１１３を設定（形成）する。より具体的には、対象モデルデータ内のパラメータをＮＮ１１３ａに設定することにより、対象モデルデータ内のパラメータが適用された画像認識モデル１１３を設定（形成）する。ステップＳ２５の後、ステップＳ２６に進む。

ステップＳ２６において、画像認識部１１２は、設定された画像認識モデル１１３を用いた画像認識を実行する。その後、ステップＳ２１に戻り、ステップＳ２１以降の各処理が繰り返される。ステップＳ２６における画像認識は一度ステップＳ２６に至った後は継続的に実行され、トリガ条件の成立を経てステップＳ２４及びＳ２５の処理が実行されるたびに画像認識モデル１１３が更新されることになる。

図１０のモデルデータ作成工程について説明を加える。モデルデータ作成工程では、第１～第ｍ学習条件の夫々にて機械学習が実施されることになるが、第１～第ｍ学習条件の内、任意の２つの学習条件は互いに異なる。

第ｊ学習条件による機械学習は、第ｊ学習用画像データセットに基づく機械学習である。第ｊ学習用画像データセットは、複数の学習用画像と各学習用画像に対するアノテーション情報を含む。第ｊ学習用画像データセットにおける各学習用画像は、第ｊ撮影環境下における画像取得用車両の設置カメラの撮影画像である。画像取得用車両は、車両ＣＲを含んでいても良いし、他の車両（不図示）を含んでいても良い。或る学習用画像に対するアノテーション情報は、当該学習用画像内における検出対象物の種類及び位置を特定する。

複数の撮影環境の具体例を挙げる。説明の具体化及び便宜上、互いに重なり合わない２つの時間帯として第１時間帯及び第２時間帯を想定する。例えば、第１時間帯は当日午前１０時から当日午後４時までの時間帯であり、第２時間帯は当日午後７時から翌日午前４時までの時間帯である。

第１撮影環境は、第１時間帯において要素領域ＡＲ［１］内の道路が非渋滞であり且つ要素領域ＡＲ［１］内の天候が晴れである。第１学習用画像データセットにおける各学習用画像は、第１撮影環境にて要素領域ＡＲ［１］内を走行する画像取得用車両の設置カメラにより撮影される。
故に、モデルデータＭＤ［１］は、第１時間帯、非渋滞及び晴れの環境下にて車両ＣＲが要素領域ＡＲ［１］内を走行するときにおいて、適正な画像認識を提供する。このため、実運用工程において、車両ＣＲが要素領域ＡＲ［１］内に位置し、現在時刻が第１時間帯に属し、要素領域ＡＲ［１］が非渋滞であって且つ晴れであるとき、選択制御部３１３は、モデルデータＭＤ［１］を対象モデルデータとして選択する。

第２撮影環境は、第２時間帯において要素領域ＡＲ［１］内の道路が非渋滞であり且つ要素領域ＡＲ［１］内の天候が晴れである。第２学習用画像データセットにおける各学習用画像は、第２撮影環境にて要素領域ＡＲ［１］内を走行する画像取得用車両の設置カメラにより撮影される。
故に、モデルデータＭＤ［２］は、第２時間帯、非渋滞及び晴れの環境下にて車両ＣＲが要素領域ＡＲ［１］内を走行するときにおいて、適正な画像認識を提供する。このため、実運用工程において、車両ＣＲが要素領域ＡＲ［１］内に位置し、現在時刻が第２時間帯に属し、要素領域ＡＲ［１］が非渋滞であって且つ晴れであるとき、選択制御部３１３は、モデルデータＭＤ［２］を対象モデルデータとして選択する。

第３撮影環境は、第１時間帯において要素領域ＡＲ［１］内の道路が渋滞しており且つ要素領域ＡＲ［１］内の天候が晴れである。第３学習用画像データセットにおける各学習用画像は、第３撮影環境にて要素領域ＡＲ［１］内を走行する画像取得用車両の設置カメラにより撮影される。
故に、モデルデータＭＤ［３］は、第１時間帯、渋滞及び晴れの環境下にて車両ＣＲが要素領域ＡＲ［１］内を走行するときにおいて、適正な画像認識を提供する。このため、実運用工程において、車両ＣＲが要素領域ＡＲ［１］内に位置し、現在時刻が第１時間帯に属し、要素領域ＡＲ［１］が渋滞しており且つ晴れであるとき、選択制御部３１３は、モデルデータＭＤ［３］を対象モデルデータとして選択する。

第４撮影環境は、第１時間帯において要素領域ＡＲ［１］内の道路が非渋滞であり且つ要素領域ＡＲ［１］内の天候が雨である。第４学習用画像データセットにおける各学習用画像は、第４撮影環境にて要素領域ＡＲ［１］内を走行する画像取得用車両の設置カメラにより撮影される。
故に、モデルデータＭＤ［４］は、第１時間帯、非渋滞及び雨の環境下にて車両ＣＲが要素領域ＡＲ［１］内を走行するときにおいて、適正な画像認識を提供する。このため、実運用工程において、車両ＣＲが要素領域ＡＲ［１］内に位置し、現在時刻が第１時間帯に属し、要素領域ＡＲ［１］が非渋滞であって且つ雨であるとき、選択制御部３１３は、モデルデータＭＤ［４］を対象モデルデータとして選択する。

要素領域ＡＲ［１］に関し、上述と同様にして、時刻情報、交通状態情報及び天候情報の内容の組み合わせごとにモデルデータを作成することができる。要素領域ＡＲ［１］以外の各要素領域についても同様である。

例えば、時刻情報の内容が３種類（第１～第３時間帯の３種類）あり、各要素領域について交通状態情報の内容が２種類（渋滞、非渋滞の２種類）あり、且つ、各要素領域について天候情報の内容が３種類（晴れ、曇り、雨の３種類）ある場合を考える。この場合、“３×２×３＝１８”より、１つの要素領域に対し計１８種類のモデルデータを作成しておくことができる。そして、要素領域ごとに１８種類のモデルデータを作成したならば、計（１８×ｎ）種類のモデルデータがモデルデータＭＤ［１］～ＭＤ［ｍ］としてデータベース３２に保持されることになる。

但し、複数の要素領域に同一のモデルデータを適用することも可能である。即ち例えば、実運用工程において、車両ＣＲが要素領域ＡＲ［１］内に位置し、現在時刻が第１時間帯に属し、要素領域ＡＲ［１］が非渋滞であって且つ晴れであるときにおいて、選択制御部３１３が、モデルデータＭＤ［１］を対象モデルデータとして選択する場合を想定する。この想定の下、車両ＣＲが要素領域ＡＲ［９］内に位置し、現在時刻が第１時間帯に属し、要素領域ＡＲ［１］が非渋滞であって且つ晴れであるときにも、選択制御部３１３は、モデルデータＭＤ［１］を対象モデルデータとして選択することがあっても良い。画像認識の観点から要素領域ＡＲ［１］及びＡＲ［９］が同様の領域であると判断されるときに、このような方法を利用できる。追加参照情報の内容の組み合わせとして第１時間帯、非渋滞及び晴れを例に挙げたが、他の組み合わせ（例えば、第２時間帯、非渋滞及び晴れ）についても同様であって良い。他の複数の要素領域の組み合わせに対しても同様である。

以下、複数の実施例の中で、システムＳＹＳに関する幾つかの具体的な動作例、応用技術又は変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用される。各実施例において、上述の事項と矛盾する事項がある場合には、各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。

＜＜第１実施例＞＞
第１実施例を説明する。図６を参照し、要素領域の大きさ及び形状を全要素領域において同じとする方法を上述した。しかしながら、任意の２つの要素領域間で、要素領域の大きさ又は形状は相違していても良い。

領域設定部３１１は、サービス提供領域内の各地域の特性に応じて要素領域ＡＲ［１］～ＡＲ［ｎ］を設定するようにしても良い。これについて説明を加える。図１２を参照し、互いに隣接する２つの領域ＡＲａ及びＡＲｂを想定する。領域ＡＲａにおける地域特性と領域ＡＲｂにおける地域特性とは互いに相違するものとする。この場合、領域設定部３１１は、領域ＡＲａが属する要素領域と領域ＡＲｂが属する要素領域とを互いに相違させる。例えば、領域ＡＲａ、ＡＲｂを、夫々、要素領域ＡＲ［１］、ＡＲ［２］に設定して良い。

領域ＡＲａ及びＡＲｂ間の地域特性の相違とは、画像認識の認識性能に影響を及ぼす程度に領域ＡＲａ及びＡＲｂ間で撮影シーンが相違することに相当する。

地域の特性は、当該地域の種類によって決定付けられる。地域の種類として、住宅街、繁華街、工場地帯及び山岳地帯などが挙げられる。従って例えば、領域ＡＲａが住宅街であって且つ領域ＡＲｂが繁華街であるとき、領域ＡＲａが属する要素領域と領域ＡＲｂが属する要素領域とを互いに相違させると良い。この場合において、住宅街の大きさ及び形状に応じて領域ＡＲａが属する要素領域の大きさ及び形状が設定されて良い。同様に、繁華街の大きさ及び形状に応じて領域ＡＲｂが属する要素領域の大きさ及び形状が設定されて良い。

実運用工程において、住宅街の領域ＡＲａ内に車両ＣＲが位置しているときには、領域ＡＲａが属する要素領域に対応して作成されたモデルデータが対象モデルデータとして選択され、車載装置１０にて受信される。同様に、実運用工程において、繁華街の領域ＡＲｂ内に車両ＣＲが位置しているときには、領域ＡＲｂが属する要素領域に対応して作成されたモデルデータが対象モデルデータとして選択され、車載装置１０にて受信される。

また例えば、図１３を参照し、サービス提供領域内に高速道路６１０が配置されているとき、高速道路６１０の形状に合わせた要素領域ＡＲ［１０］を設定することもできる。図１３の例では、要素領域ＡＲ［８］、ＡＲ［５］、ＡＲ［２］及びＡＲ［３］を横断する態様で要素領域ＡＲ［１０］が設定されている。要素領域ＡＲ［１０］は高速道路６１０のみを含むように設定されるが、多少は別の道路又は地形を含み得る。

実運用工程において、要素領域ＡＲ［１０］内に車両ＣＲが位置しているときには、要素領域ＡＲ［１０］に対応して作成されたモデルデータ（高速道路用のモデルデータ）が対象モデルデータとして選択され、車載装置１０にて受信される。

更に例えば、図１３を参照し、サービス提供領域内にトンネル６３０が配置されているとき、トンネル６３０の形状に合わせた要素領域ＡＲ［１１］を設定することもできる。図１３の例では、要素領域ＡＲ［４］の外形の内側に要素領域ＡＲ［１１］が設定されている。要素領域ＡＲ［１１］はトンネル６３０のみを含むように設定されるが、多少は別の道路又は地形を含み得る。

実運用工程において、要素領域ＡＲ［１１］内に車両ＣＲが位置しているときには、要素領域ＡＲ［１１］に対応して作成されたモデルデータ（トンネル用のモデルデータ）が対象モデルデータとして選択され、車載装置１０にて受信される。

本実施例の如く、地域特性を考慮して要素領域の設定を行うことにより、地域特性に合わせた適正な画像認識（望ましくは最適な画像認識）を車載装置１０にて行うことが可能となる。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例では、追加参照情報に車速情報が含まれていることを前提とし（図８参照）、車速情報の利用方法を説明する。車速情報は、上述したように車載センサ部２２（図３参照）にて車両情報の一部として取得される。車速情報を含む車両情報は、周期的に車載装置１０からサーバ装置３０に送信される、又は、サーバ装置３０からの要求に応答して車載装置１０からサーバ装置３０に送信される。

実運用工程（図１１参照）におけるステップＳ２２において、第２実施例に係る選択制御部３１３は、車両ＣＲの位置情報と車速情報を含む追加参照情報とに基づいて、対象モデルデータの選択を行う。

図１４を参照し、車速情報の利用の具体例を説明する。図１４は、図１３に対し地点６７０を示すマーカを付加した図である。地点６７０において高速道路６１０と一般道路６５０が立体的に交差する。地点６７０が一般道路６５０上の地点であるならば地点６７０は要素領域ＡＲ［５］に属し、地点６７０が高速道路６１０上の地点であるならば地点６７０は要素領域ＡＲ［１０］に属する。但し、車両ＣＲの位置情報が地点６７０に対応する経度及び緯度を表すとき、車両ＣＲが高速道路６１０上を走行しているのか一般道路６５０上を走行しているのかを、判別し難い。

これを考慮し、車両ＣＲの現在地が地点６７０に相当することが車両ＣＲの位置情報にて表されているケースＣＳ２＿１において、選択制御部３１３は、車速情報に基づき車両ＣＲの走行道路の種類を推定する。この際、車速情報にて示される車両ＣＲの速度が所定の基準速度以上であるならば、車両ＣＲの現在の走行道路は高速道路６１０であると推定する。車速情報にて示される車両ＣＲの速度が基準速度未満であるならば、車両ＣＲの現在の走行道路は一般道路６５０であると推定する。この場合、基準速度は、例えば、時速８０キロメートルである。

ケースＣＳ２＿１において、車両ＣＲの現在の走行道路が高速道路６１０であると推定された場合、選択制御部３１３により車両ＣＲの現在地は要素領域ＡＲ［１０］に属すると判断される。結果、要素領域ＡＲ［１０］に対応するモデルデータ（従って高速道路６１０に適したモデルデータ）が対象モデルデータとして選択される。

ケースＣＳ２＿１において、車両ＣＲの現在の走行道路が一般道路６５０であると推定された場合、選択制御部３１３により車両ＣＲの現在地は要素領域ＡＲ［５］に属すると判断される。結果、要素領域ＡＲ［５］に対応するモデルデータ（従って一般道路６５０に適したモデルデータ）が対象モデルデータとして選択される。

本実施例の如く、車速情報を追加参照情報に含めてモデルデータの選択を行うことにより、車両ＣＲの走行道路の種類等に適応した画像認識（望ましくは最適な画像認識）を車載装置１０にて行うことが可能となる。

尚、図１４の例では、高速道路６１０と一般道路６５０が立体的に交差しているが、高速道路６１０及び一般道路６５０が水平方向又は垂直方向に並んで配置される場合にも、本実施例で述べた方法を利用可能である。ＧＰＳ処理部２３から得られる車両ＣＲの位置情報は誤差を含み得る。誤差の程度によっては、車両ＣＲが高速道路６１０を走行しているときに車両ＣＲが一般道路６５０を走行していると誤認される場合もあり得る（その逆もあり得る）。特に、スマートホン等の持ち運び容易な情報端末装置を車載装置１０として用いた場合には、車載装置１０が車室内で動くことが考えられ、位置情報に誤差が生じやすい。本実施例で述べた方法を用いれば、上記のような誤認を抑制することが可能である。

また、車速情報に基づいて車両ＣＲの走行道路の種類を推定する方法を説明したが、車両ＣＲの移動軌跡の履歴に基づいて車両ＣＲの走行道路の種類を推定しても良い。即ち、ケースＣＳ２＿１において、車両ＣＲの位置情報の履歴から過去における車両ＣＲの移動軌跡を特定する。特定された車両ＣＲの移動軌跡が高速道路６１０上の軌跡であるならば、現在、車両ＣＲは高速道路６１０上を走行していると推定できる。逆に、特定された車両ＣＲの移動軌跡が一般道路６５０上の軌跡であるならば、現在、車両ＣＲは一般道路６５０上を走行していると推定できる。

＜＜第３実施例＞＞
第３実施例を説明する。画像認識部１１２に、各々にニューラルネットワークを備えた複数の画像認識モデル１１３を設けておいて良い。この際、画像認識部１１２は、複数の画像認識モデル１１３の何れか１つを対象モデルに設定し、対象モデルを用いて画像認識を実行する。ここでは、図１５に示す如く、画像認識部１１２に、２つの画像認識モデル１１３である画像認識モデル１１３＿１及び１１３＿２が設けられる場合を想定する。画像認識モデル１１３＿１、１１３＿２に備えられたニューラルネットワークを、夫々、ＮＮ１１３ａ＿１、１１３ａ＿２と称する。

ＮＮ１１３ａ＿１及び１１３ａ＿２の夫々は上述のＮＮ１１３ａと同じものであり、従ってＮＮ１１３ａ＿１及び１１３ａ＿２は互いに同じ構造を有する。但し、或る任意の時刻において、ＮＮ１１３ａ＿１に設定されるパラメータとＮＮ１１３ａ＿２に設定されるパラメータとを相違させることができる。これにより、画像認識モデル１１３＿１による画像認識の特性と画像認識モデル１１３＿２による画像認識の特性とを相違させることができる。

図１６を参照し、第３実施例の動作の例を説明する。図１６の動作はステップＳ３１～Ｓ３６の処理を含む。今、車両ＣＲが要素領域ＡＲ［２］内に位置しており、且つ、対象モデルとしての画像認識モデル１１３＿１を用いて画像認識が実行されている状態を基準に考える（図１７も参照）。ステップＳ３１では、基準の状態にて画像認識が実行される。即ち、ステップＳ３１では、車両ＣＲが要素領域ＡＲ［２］内に位置しており、且つ、対象モデルとしての画像認識モデル１１３＿１を用いて画像認識が実行される。車両ＣＲが要素領域ＡＲ［２］内に位置しているとき、要素領域ＡＲ［２］に対応するモデルデータであって、且つ、現在時刻、要素領域ＡＲ［２］の交通状態情報及び要素領域ＡＲ［２］の天候情報に応じたモデルデータ内のパラメータがＮＮ１１３ａ＿１に設定される。

上記の基準の状態において、選択制御部３１３は、車両ＣＲの走行予定ルート情報に基づき、車両ＣＲが次に遷移する要素領域を特定する（ステップＳ３２）。そして、選択制御部３１３は、特定した要素領域に適応したモデルデータを次期モデルデータとしてモデルデータＭＤ［１］～ＭＤ［ｍ］から抽出する（ステップＳ３２）。抽出された次期モデルデータは選択制御部３１３により車載装置１０に送信される（ステップＳ３２）。

走行予定ルート情報は、車両ＣＲの目的地までの走行予定ルートを表す情報である。車両ＣＲに設置されたナビゲーション装置（不図示）により走行予定ルート情報が作成され、走行予定ルート情報が通信網ＮＥＴを介してサーバ装置３０に供給される。車載装置１０とは別にナビゲーション装置が設けられていても良いし、車載装置１０がナビゲーション装置を内包していても良い。

ここでは、図１７に示す如く、車両ＣＲが要素領域ＡＲ［２］から要素領域ＡＲ［１］に向けて移動することが走行予定ルート情報にて示されているものとする。車両ＣＲが要素領域ＡＲ［２］から要素領域ＡＲ［１］に向けて移動する際、車両ＣＲは要素領域ＡＲ［２］から要素領域ＡＲ［１］以外の要素領域を経由することなく要素領域ＡＲ［１］に直接至るものとする。そうすると、ステップＳ３２において、次に遷移する要素領域として要素領域ＡＲ［１］が特定され、要素領域ＡＲ［１］に適応したモデルデータが次期モデルデータとして抽出される。

この際、追加参照情報に基づいて次期モデルデータが抽出される。つまり、時刻情報と、要素領域ＡＲ［１］の状態の情報と、に基づいて、次期モデルデータが抽出される。要素領域ＡＲ［１］の状態の情報は、交通状態情報に含まれる情報であって、要素領域ＡＲ［１］の交通状態を表す情報、及び、要素領域ＡＲ［１］の天候を表す情報を含む。

まとめると、車両ＣＲが要素領域ＡＲ［２］内を走行している期間において、要素領域ＡＲ［１］に対応するモデルデータであって、且つ、追加参照情報に基づく要素領域ＡＲ［１］の状態（交通状態及び天候）に応じたモデルデータを、次期モデルデータとして抽出する。

具体的には例えば、現在時刻又は車両ＣＲの要素領域ＡＲ［１］への到達予測時刻が第１時間帯に属し、要素領域ＡＲ［１］が非渋滞であって且つ晴れであるとき、選択制御部３１３は、モデルデータＭＤ［１］を次期モデルデータとして抽出する。上述したように、モデルデータＭＤ［１］は、第１時間帯、非渋滞及び晴れの環境下にて車両ＣＲが要素領域ＡＲ［１］内を走行するときに、適正な画像認識を提供するからである。
また例えば、現在時刻又は車両ＣＲの要素領域ＡＲ［１］への到達予測時刻が第２時間帯に属し、要素領域ＡＲ［１］が非渋滞であって且つ晴れであるとき、選択制御部３１３は、モデルデータＭＤ［２］を次期モデルデータとして抽出する。上述したように、モデルデータＭＤ［２］は、第２時間帯、非渋滞及び晴れの環境下にて車両ＣＲが要素領域ＡＲ［１］内を走行するときに、適正な画像認識を提供するからである。
また例えば、現在時刻又は車両ＣＲの要素領域ＡＲ［１］への到達予測時刻が第１時間帯に属し、要素領域ＡＲ［１］が渋滞していて且つ晴れであるとき、選択制御部３１３は、モデルデータＭＤ［３］を次期モデルデータとして抽出する。上述したように、モデルデータＭＤ［３］は、第１時間帯、渋滞及び晴れの環境下にて車両ＣＲが要素領域ＡＲ［１］内を走行するときに、適正な画像認識を提供するからである。
また例えば、現在時刻又は車両ＣＲの要素領域ＡＲ［１］への到達予測時刻が第１時間帯に属し、要素領域ＡＲ［１］が非渋滞及び雨であるとき、選択制御部３１３は、モデルデータＭＤ［４］を次期モデルデータとして抽出する。上述したように、モデルデータＭＤ［４］は、第１時間帯、渋滞及び雨の環境下にて車両ＣＲが要素領域ＡＲ［１］内を走行するときに、適正な画像認識を提供するからである。

ステップＳ３２にて抽出及び送信された次期モデルデータは車載装置１０にて受信される。ステップＳ３２に続くステップＳ３３において、モデル設定部１１４は、受信した次期モデルデータを用いて画像認識モデル１１３＿２を設定する。より具体的には、次期モデルデータ内のパラメータがＮＮ１１３ａ＿２に設定されることにより、次期モデルデータ内のパラメータが適用された画像認識モデル１１３＿２が設定（形成）される。

その後、車両ＣＲの位置が要素領域ＡＲ［２］から要素領域ＡＲ［１］に遷移したかが判断される（ステップＳ３４）。この判断は車載制御部１１にて行われて良いし、サーバ制御部３１にて行われて良い。車両ＣＲの位置が要素領域ＡＲ［１］に遷移したと判断されるまでは（ステップＳ３４のＮ）、ステップＳ３４の処理が繰り返される。車両ＣＲの位置が要素領域ＡＲ［１］に遷移したと判断されると（ステップＳ３４のＹ）、ステップＳ３５に進む。

ステップＳ３５において、モデル設定部１１４は、対象モデルを画像認識モデル１１３＿１から画像認識モデル１１３＿２に切り替える。この切り替え後のステップＳ３６において、画像認識部１１２は、対象モデルとしての画像認識モデル１１３＿２を用いて画像認識を実行する。ステップＳ３６において、車両ＣＲは要素領域ＡＲ［１］にて位置している。

このように、サーバ装置３０は、車両ＣＲが要素領域ＡＲ［２］内を走行している期間において、次に車載装置１０にて必要となると予想されるモデルデータを次期モデルデータとして抽出し且つ車載装置１０に送信しておく。車両ＣＲが要素領域ＡＲ［２］内を走行している期間において、車載装置１０は、要素領域ＡＲ［２］に適応した画像認識モデル１１３＿１を用いて画像認識を行う。一方、車両ＣＲが要素領域ＡＲ［２］内を走行している期間において、車載装置１０は、受信した次期モデルデータを用いて画像認識モデル１１３＿２を設定しておく。そして、車両ＣＲが要素領域ＡＲ［１］に至ることで次期モデルデータを用いた画像認識が必要になると、対象モデルを画像認識モデル１１３＿１から画像認識モデル１１３＿２に切り替える。以後、車両ＣＲが要素領域ＡＲ［１］内を走行している期間では、画像認識モデル１１３＿２が対象モデルに維持されて良い。

以後も、車両ＣＲの走行予定ルートに沿って、次期モデルデータの抽出及び画像認識モデルの切り替えが繰り返し実行される。

このような方法により、車両ＣＲの走行過程において適正な画像認識を切れ目なく実行することができる。

＜＜第４実施例＞＞
第４実施例を説明する。上述の説明では、１台の車両ＣＲにのみ注目したが、複数の車両ＣＲが存在する場合、各車両ＣＲについて上述の説明が適用される。

例えば、図１８に示す如く、複数の車両ＣＲから成る第１車両群が要素領域ＡＲ［１］に位置していて、且つ、他の複数の車両ＣＲから成る第２車両群が要素領域ＡＲ［２］に位置している状態を想定する。各車両ＣＲには車載装置１０が搭載され、全車両ＣＲの車載装置１０とサーバ装置３０とを含んでシステムＳＹＳが形成される。

選択制御部３１３は、第１車両群における各車両ＣＲの車載装置１０に対して、共通に、第１対象モデルデータを送信すれば良い。第１車両群における各車両ＣＲの車載装置１０では、第１対象モデルデータを用いて画像認識が行われる。第１対象モデルデータは、要素領域ＡＲ［１］に対応するモデルデータであって、且つ、現在時刻、要素領域ＡＲ［１］の交通状態情報及び要素領域ＡＲ［１］の天候情報に応じて選択された対象モデルデータである。

選択制御部３１３は、第２車両群における各車両ＣＲの車載装置１０に対して、共通に、第２対象モデルデータを送信すれば良い。第２車両群における各車両ＣＲの車載装置１０では、第２対象モデルデータを用いて画像認識が行われる。第２対象モデルデータは、要素領域ＡＲ［２］に対応するモデルデータであって、且つ、現在時刻、要素領域ＡＲ［２］の交通状態情報及び要素領域ＡＲ［２］の天候情報に応じて選択された対象モデルデータである。

このように、サーバ装置３０は要素領域ごとに一括して必要なモデルデータを選択すれば足る。このため、車両ＣＲごとに必要なモデルデータを選択するような方法との比較において、サーバ装置３０の負荷は小さい。

尚、本実施形態に係る方法とは異なるが、以下のような参考方法も検討される。参考方法では、入力画像の情報を車載装置からサーバ装置に送信し、サーバ装置において入力画像の情報（画素値）に基づきモデル切替の要否を判断する。但し、参考方法では、入力画像をサーバ装置に送信するため通信コストが大きくなる。本実施形態に係る各方法では、モデル切替の判断に入力画像を用いないので通信コストを抑えることができる。また、参考方法では、車両の台数分のモデル切り替え判断を、車両ごとに入力画像に基づきサーバ装置にて行う必要があり、計算コストが膨大となる。また、参考方法では入力画像の情報（画素値）に基づくシーン判別を介してモデル切替を制御することになるが、夜間走行とトンネル内走行との区別がつきにくいなど、精度上の問題もある。

＜＜第５実施例＞＞
第５実施例を説明する。

サーバ装置３０の機能の全部又は一部を車載装置１０に担わせることも可能である。極端には、領域選択部３１１、モデルデータ取得部３１２及び選択制御部３１３を車載制御部１１に設け、データベース３２を車載装置１０に設けることも可能である。特に例えば、テレビ等の中継車にはサーバ装置の機能を担う車載装置が搭載されることが多い。このため、テレビ等の中継車が車両ＣＲである場合には、サーバ装置３０の機能の全部又は一部を車載装置１０に担わせることが妥当となり得る。

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

＜＜付記＞＞
上述の実施形態にて具体的構成例が示された本発明について付記を設ける。

本発明の一側面に係る車載装置（１０）は、車両に設置される車載装置であって、前記車両に設置されたカメラからの入力画像に対して画像認識を行う画像認識部（１１２）を備え、前記画像認識部は、前記車両の位置情報と、前記位置情報とは異なる追加参照情報と、に応じた画像認識モデル（１１３）を用いて、前記画像認識を行う構成である。

位置情報だけでなく追加参照情報にも応じた画像認識モデルを用いて画像認識を行うことにより、様々な状況に適応した適正な画像認識を車載装置にて行うことが可能となる。

本発明の一側面に係る支援装置（３０）は、車両に設置されたカメラからの入力画像に対して画像認識を行う車載装置（１０）と通信可能に構成された支援装置であって、前記画像認識を行う画像認識モデル（１１３）を前記車載装置にて設定するためのモデルデータを複数保持するデータ保持部（３２；図７参照）と、前記車両の位置情報と、前記位置情報と異なる追加参照情報と、に基づいて、複数のモデルデータ（ＭＤ［１］～ＭＤ［ｍ］）の何れかを選択し、選択したモデルデータを前記車載装置に送信する選択制御部（３１３）と、を備える構成である。

位置情報だけでなく追加参照情報にも応じたモデルデータを車載装置に送信することにより、車載装置では、位置情報及び追加参照情報に応じた画像認識モデルを用いて画像認識を行うことができる。結果、様々な状況に適応した適正な画像認識を車載装置にて行うことが可能となる。

ＳＹＳ システム（画像認識システム）
１０ 車載装置
１１ 車載制御部
１１１ 記録処理部
１１２ 画像処理部
１１３、１１３＿１ １１３＿２ 画像認識モデル
１１３ａ １１３ａ＿１ １１３ａ＿２ ＮＮ（ニューラルネットワーク）
１２ 記録媒体
１３ 通信処理部
１４ 計時部
２１ カメラ部
２２ 車載センサ部
２３ ＧＰＳ処理部
２４ インターフェース部
３０ サーバ装置
３１ サーバ制御部
３１１ 領域設定部
３１２ モデルデータ取得部
３１３ 選択制御部
３２ データベース
３３ 通信処理部
ＡＲ［ｉ］ 要素領域
ＭＤ［ｉ］ モデルデータ

Claims (15)

1. 車両に設置される車載装置であって、
   前記車両に設置されたカメラからの入力画像に対して画像認識を行う画像認識部を備え、
   前記画像認識部は、前記車両の位置情報と、前記位置情報とは異なる追加参照情報と、に応じた画像認識モデルを用いて、前記画像認識を行う
   、車載装置。
2. 前記画像認識モデルを設定するモデル設定部を備え、
   前記モデル設定部は、前記位置情報及び前記追加参照情報に応じたパラメータを用いて前記画像認識モデルを設定する
   、請求項１に記載の車載装置。
3. 前記画像認識部は、第１画像認識モデル及び第２画像認識モデルを含む複数の画像認識モデルを有し、前記複数の画像認識モデルの１つである対象モデルを用いて前記画像認識を実行し、
   前記モデル設定部は、前記画像認識を前記第１画像認識モデルにより行っている期間にて前記追加参照情報に応じたパラメータを用いて前記第２画像認識モデルに設定し、その後、前記車両の位置変化に応じて前記対象モデルを前記第１画像認識モデルから前記第２画像認識モデルに切り替える
   、請求項２に記載の車載装置。
4. 前記車両は複数の領域の何れかに位置し、
   前記追加参照情報は、現在時刻を表す時刻情報、各領域の交通状態を表す交通状態情報、及び、各領域の天候を表す天候情報の内、少なくとも１つを含む
   、請求項１～３の何れかに記載の車載装置。
5. 前記追加参照情報は、前記車両の走行速度を表す車速情報を含む
   、請求項１～４の何れかに記載の車載装置。
6. 請求項２に記載の車載装置と、
   前記車載装置と通信可能に構成された支援装置と、を備え、
   前記支援装置は、
   前記画像認識モデルに対するパラメータを含むモデルデータを複数保持するデータ保持部と、
   前記位置情報及び前記追加参照情報に基づいて複数のモデルデータの何れかを選択し、選択したモデルデータを前記車載装置に送信する選択制御部と、を備え、
   前記モデル設定部は、前記受信したモデルデータ内のパラメータを用いて前記画像認識モデルに設定する
   、画像認識システム。
7. 車両に設置されたカメラからの入力画像に対して画像認識を行う車載装置と通信可能に構成された支援装置であって、
   前記画像認識を行う画像認識モデルを前記車載装置にて設定するためのモデルデータを複数保持するデータ保持部と、
   前記車両の位置情報と、前記位置情報と異なる追加参照情報と、に基づいて、複数のモデルデータの何れかを選択し、選択したモデルデータを前記車載装置に送信する選択制御部と、を備える
   、車載装置用の支援装置。
8. 前記車両は複数の領域の何れかに位置し、
   前記選択制御部は、前記車両が前記複数の領域の何れに位置しているかと、前記追加参照情報と、に基づいて、前記選択を行う
   、請求項８に記載の車載装置用の支援装置。
9. 所定領域を分割することで前記複数の領域を設定する領域設定部を更に備え、
   前記領域設定部は、前記所定領域内の各地域の特性に応じて前記複数の領域を設定する
   、請求項９に記載の車載装置用の支援装置。
10. 前記複数の領域は第１領域及び第２領域を含み、
    前記選択制御部は、前記車両が前記第２領域から前記第１領域に向けて走行する際、前記車両が前記第２領域内を走行している期間において、前記第１領域に対応するモデルデータであって且つ前記第１領域の状態に応じたモデルデータを前記車載装置に送信する
    、請求項８又は９に記載の車載装置用の支援装置。
11. 前記追加参照情報は、現在時刻を表す時刻情報、各領域の交通状態を表す交通状態情報、及び、各領域の天候を表す天候情報の内、少なくとも１つを含む
    、請求項８～１０の何れかに記載の車載装置用の支援装置。
12. 前記車両は複数の領域の何れかに位置し、
    前記追加参照情報は、現在時刻を表す時刻情報、各領域の交通状態を表す交通状態情報、及び、各領域の天候を表す天候情報の内、少なくとも１つを含む
    、請求項７に記載の車載装置用の支援装置。
13. 前記追加参照情報は、前記車両の走行速度を表す車速情報を含む
    、請求項７～１２の何れかに記載の車載装置用の支援装置。
14. 車両に設置されたカメラからの入力画像に対して画像認識を行う画像認識ステップを備え、
    前記画像認識ステップでは、前記車両の位置情報と、前記位置情報とは異なる追加参照情報と、に応じた画像認識モデルを用いて、前記画像認識を行う
    、画像認識方法。
15. 車両に設置されたカメラからの入力画像に対して画像認識を行う車載装置にモデルデータを送信するモデルデータ送信方法であって、
    前記モデルデータは、前記画像認識を行う画像認識モデルを前記車載装置にて設定するためのデータであり、
    前記車載装置に送信可能なモデルデータは複数あり、
    前記車両の位置情報と、前記位置情報と異なる追加参照情報と、に基づいて、複数のモデルデータの何れかを選択し、選択したモデルデータを前記車載装置に送信する
    、モデルデータ送信方法。

Images