JP2014074626A - 車両用ナビゲーションシステム - Google Patents

Abstract

【課題】運転者が理解しやすい画像を提供する。
【解決手段】車両用ナビゲーションシステム１は、車両４に搭載された車両装置５と、配信センタ２に設置されたセンタ装置３とを有する。車両装置５は、運転者が理解困難な難解地点を走行したことを判定する。難解地点は、経路離脱、車両挙動、運転者挙動に基づいて判定できる。難解地点を判定するための基準は、学習により修正できる。車両装置５は、難解地点において撮影された原画像を取得する。原画像に基づいて難解地点の判定を検証することができる。車両装置５は、原画像をセンタ装置３に送信する。センタ装置３は、複数の車両４から送信された複数の原画像に基づいて、他の車両および歩行者などの移動体が写っていないクリーン画像を作成する。クリーン画像は、難解地点に到達する後続の車両４に配信される。車両装置５は、配信されたクリーン画像を、案内画像として表示する。
【選択図】図１

Description

本発明は、道路走行車両にナビゲーションのための画像を提供する車両用ナビゲーションシステムに関する。

特許文献１は、間違いやすい分岐点における動画を複数の車両から収集し、その間違いやすい分岐点を走行する車両に提供するナビゲーションシステムを開示する。

特開２００８−１８５３９４号公報

従来技術によって再生される動画には、道路上の他の車両、歩行者などの多くの移動物が写っている。これらの移動物は、動画が再生されるときには、同じ位置には存在しない。このため、他の車両によって撮影された動画を再生するだけでは、運転者の理解を助けることが困難な場合があった。このような観点から、車両用ナビゲーションシステムにはさらなる改良が求められている。

開示された発明の目的のひとつは、運転者が理解しやすい画像を提供できる車両用ナビゲーションシステムを提供することである。

開示された発明の目的の他のひとつは、他の移動体に起因する影響が抑制された画像を提供できる車両用ナビゲーションシステムを提供することである。

開示された発明のひとつは上記目的を達成するために以下の技術的手段を採用する。なお、特許請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示された発明の技術的範囲を限定するものではない。

開示された発明のひとつは、所定の地点において撮影されたから原画像（ＲＶ１、ＲＶ２）を取得する取得部（１４１−１４２）と、原画像から他の車両および／または歩行者などの移動体の少なくとも一部を消去したクリーン画像（ＣＶ）を、地点における運転を支援するための画像として作成する作成部（１４４）とを備えることを特徴とする。

この構成によると、所定の地点において撮影された原画像から、その地点における走行を支援するための画像が作成される。よって、その地点における実際の風景に基づいて運転支援用の画像が提供される。しかも、原画像から、他の車両および／または歩行者などの移動体の少なくとも一部を消去したクリーン画像が作成される。よって、移動体に起因する分かり難さが軽減される。この結果、他の移動体に起因する影響が抑制され、運転者が理解しやすい画像を提供できる。

本発明の第１実施形態に係るシステムを示すブロック図である。 第１実施形態のセンタ装置を示すブロック図である。 第１実施形態の車両装置を示すブロック図である。 第１実施形態の制御処理を示すフローチャートである。 第１実施形態の制御処理を示すフローチャートである。 第１実施形態の制御処理を示すフローチャートである。 第１実施形態の制御処理を示すフローチャートである。 第１実施形態の原画像の一例を示す平面図である。 第１実施形態の原画像の一例を示す平面図である。 第１実施形態のクリーン画像の一例を示す平面図である。 第１実施形態の案内画像の一例を示す平面図である。

以下に、図面を参照しながら開示された発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。また、後続の実施形態においては、先行する実施形態で説明した事項に対応する部分に百以上の位だけが異なる参照符号を付することにより対応関係を示し、重複する説明を省略する場合がある。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
図１に図示されるように、発明を開示する第１実施形態は、車両用ナビゲーションシステム１である。車両用ナビゲーションシステム１は、配信センタ２と、複数の車両３とによって構築されている。配信センタ２には、センタ装置（ＣＮＴＲＤ）３が設けられている。車両４には、車両装置（ＯＮＶＨＤ）５が設けられている。センタ装置３と車両装置５との間にはデータ通信のための通信システム６が設けられている。センタ装置３と複数の車両装置５とは、通信システム６を介してデータ通信可能に接続されている。通信システム６は、無線電話回線、インターネットなどのネットワークを含むことができる。センタ装置３と車両装置５とは、車両用ナビゲーションシステム１を構成する。

センタ装置３は、複数の車両装置５に向けて案内のための画像を配信する。配信される画像は、静止画、または動画である。複数の車両装置５は、配信された画像を受信する。それぞれの車両装置５は、車両４に搭載されたナビゲーション装置によって提供することができる。ナビゲーション装置は、配信された画像を表示することにより、運転者に画像を提供し、運転者の運転を支援する。複数の車両装置５は、それらが搭載された車両４において撮影された画像をセンタ装置３に送信する。センタ装置３は、複数の車両装置５から送信された画像を収集し、加工することによって、配信用の画像を作成する。車両用ナビゲーションシステム１は、複数の車両装置５から収集された画像を加工し、加工された画像を配信する。

図２に図示されるように、センタ装置３は、センタ処理装置（ＣＴＣＰＵ）３ａ、およびメモリ装置（ＭＭＲ）３ｂを備える。メモリ装置３ｂは、データを格納する記憶装置である。センタ処理装置３ａとメモリ装置３ｂとは、マイクロコンピュータを構成する。センタ装置３は、通信システム６との接続を提供するための通信機（ＣＯＭＭ）３ｃを備える。

図３に図示されるように、車両装置５は、車両処理装置（ＶＨＣＰＵ）５ａ、およびメモリ装置（ＭＭＲ）５ｂを備える。メモリ装置５ｂは、データを格納する記憶装置である。車両処理装置５ａとメモリ装置５ｂとは、マイクロコンピュータを構成する。車両装置５は、通信システム６との接続を提供するための通信機（ＣＯＭＭ）５ｃを備える。車両装置５は、車両４の周囲の画像を撮影するためのカメラ（ＶＨＣＡＭ）５ｄを備える。カメラ５ｄは、車両の前方の画像を撮影する。カメラ５ｄは、静止画、または動画を撮影可能である。カメラ５ｄは、車両４の前方の風景を撮影することにより原画像を供給する。車両装置５は、車両用画像撮影装置を提供する。車両装置５は、表示器（ＤＳＰ）５ｅを備える。

車両装置５は、複数の検出器５ｆを備える。複数の検出器５ｆは、ナビゲーション装置として必要なセンサを含む。例えば、複数の検出器５ｆは、車両４の現在位置を検出するための衛星測位装置を含むことができる。複数の検出器５ｆは、車両４の挙動を検出するためのセンサを含む。例えば、複数の検出器５ｆは、車両４の走行速度を検出する速度センサ、およびブレーキ装置の操作を検出するブレーキセンサを含むことができる。複数の検出器５ｆは、運転者の挙動を検出するためのセンサを含む。例えば、運転者の顔を撮影する室内カメラ、運転者の声を検出するマイク、および運転者の心拍を検出する心拍センサを含むことができる。

車両装置５は、車両４に搭載されたナビゲーション装置である。車両装置５は、表示器５ｅに地図を表示するとともに、地図上に車両４の位置を表示する。さらに、車両装置５は、車両４の利用者からの要求に応答して、現在地点から目的地点までの経路案内を実行する。車両装置５は、現在地点から目的地点までの経路を設定する手段を備える。車両装置５は、表示器５ｅに表示された地図上に、設定された経路を表示するとともに、運転者が車両を経路に沿って走行させるように、表示または音声によって支援を提供する。

センタ装置３と車両装置５とは、電子制御装置（ＥＣＵ：Electronic Control Unit）である。ＥＣＵは、処理装置と、プログラムを記憶する記憶媒体としてのメモリ装置とを有する。ＥＣＵは、コンピュータによって読み取り可能な記憶媒体を備えるマイクロコンピュータによって提供される。記憶媒体は、コンピュータによって読み取り可能なプログラムを非一時的に格納している。記憶媒体は、半導体メモリまたは磁気ディスクによって提供されうる。プログラムは、ＥＣＵによって実行されることによって、ＥＣＵをこの明細書に記載される装置として機能させ、この明細書に記載される制御方法を実行するようにＥＣＵを機能させる。ＥＣＵが提供する手段は、所定の機能を達成する機能的ブロック、またはモジュールとも呼ぶことができる。

図４は、車両用ナビゲーションシステム１が提供するリアルビューナビゲーションに関連するリアルビュー処理１２０を示すフローチャートである。リアルビューナビゲーションにおいては、先行車両によって撮影された画像が、後続車両に提供される。しかも、先行車両によって撮影された画像から、他の車両、さらに望ましくは歩行者などの移動体が消去されたクリーン画像が後続車両に配信される。クリーン画像を作成するために、複数の先行車両から原画像が収集される。また、リアルビューナビゲーションにおいては、その車両の前方の風景から、運転を支援するために有用な情報を含む範囲が切り出され、車内の表示器５ｅに表示される。リアルビュー処理１２０には、センタ装置３によって実行されるセンタ装置処理１２１と、車両装置５によって実行される車両装置処理１２２とが含まれている。それぞれのステップは、その機能を提供する処理手段または処理部として見ることができる。

ステップ１２３では、車両４の前方の画像が撮影される。ステップ１２３には、カメラ５ｄによって撮影される複数の画像から利用可能な画像のみを選択する選択処理を含むことができる。例えば、車両のウインドシールドに付着した雨滴を除去するためのワイパを写った画像を廃棄する選択処理を含むことができる。

ステップ１２４では、車両４の前方に出現した道路標識を表示器５ｅに表示する処理が実行される。この処理では、カメラ５ｄによって撮影された画像から、道路標識が認識される。例えば、前方の交差点の行き先を表示する標識が認識される。さらに、この処理では、原画像から、道路標識に対応する部分画像が切り出され、切り出された画像が表示器５ｅに拡大表示される。これにより、運転者による道路標識の認識を支援することができる。

ステップ１３１では、車両４が難解地点を走行したことが判定される。難解地点は、運転者が道路構造または進路を理解することが困難な道路上の地点である。難解地点は、難解な交差点、すなわち分岐点を含むことができる。難解地点は、分岐数が多い分岐点、または分岐角度が特殊な分岐点を含むことができる。このような交差点は、難解交差点とも呼ばれる。また、車両４の目的地となりうる地点の入口、駐車場の入口など、道路を走行する間に見出すことが困難な地点も、難解地点に含むことができる。判定は、自動的に実行することができる。さらに、運転者が難解地点であると判断した場合に操作されるスイッチを設け、このスイッチからの入力操作に応答して難解地点を判定してもよい。

通常とは異なる異常な事象が検出された場合に、車両４が難解地点にあると判定することができる。例えば、交差点の場合、運転者が進行方向の選定を迷ったことを検出することにより、難解交差点であるか否かを判定することができる。運転者が進行方向の選定を迷ったことは、車両４または運転者の挙動によって判定することができる。車両４の挙動には、運転者が車両４に加えた運転操作、車両４の状態、車両４の加速度、および減速度を含むことができる。

難解地点は、運転者が車両４に加えた運転操作、または車両４の挙動に基づいて判定することができる場合がある。難解地点を示す車両挙動の一例は、交差点など候補地点を示す候補範囲内における急減速、すなわち急ブレーキ操作である。他の一例は、候補範囲内における徐行状態である。他の一例は、候補範囲内における停止である。さらに他の一例は、候補範囲内における蛇行操舵である。さらに、減速と蛇行操舵といった複数の車両挙動の組み合わせによって難解地点を判定してもよい。

難解地点を判定するために、観測された車両の挙動と、予め設定された基準挙動とが比較される。観測された車両挙動が基準挙動を逸脱している場合に、その地点は難解地点であると判定することができる。基準挙動は、難解地点において多くの車両にあらわれる挙動に基づいて予め設定することができる。基準挙動は、標準挙動とも呼ぶことができる。基準挙動は、特定の運転者の個性に適合するように調整することができる。このような調整は、手動の調節により、または後述の学習処理によって提供することができる。

難解地点は、運転者の挙動に基づいて判定することができる場合がある。例えば、運転者の体の動き、声、心拍などの挙動に基づいて、運転者が難解な地点を走行したか否かを判定することができる。具体的には、顔にあらわれる表情、目の動き、頭の動きを利用できる。また、運転者が経路を間違えたときに出す声を利用できる。より具体的には、「あっつ！」、「しまった！」、「間違えた！」、「あれ？」といった声を利用できる。また、心拍数の急激な変化を利用することができる。

難解地点を判定するために、観測された運転者の挙動と、予め設定された基準挙動とが比較される。観測された運転者挙動が基準挙動を逸脱している場合に、その地点は難解地点であると判定することができる。基準挙動は、難解地点において多くの運転者が示す挙動に基づいて予め設定することができる。基準挙動は、標準挙動とも呼ぶことができる。基準挙動は、特定の運転者の個性に適合するように調整することができる。このような調整は、手動の調節により、または後述の学習処理によって提供することができる。

難解地点は、車両４が経路案内のための予定された設定経路から離脱したことに基づいて判定することができる場合がある。車両装置５によって経路案内を実行しているときに、車両４が交差点において経路から離脱した場合、その交差点は難解交差点である可能性がある。

ステップ１３１は、運転者が道路構造または進路を理解することが困難な道路上の難解地点を判定する判定部を提供する。判定部は、車両の挙動、および／または運転者の挙動と基準との比較に基づいて難解地点を判定する。難解地点が自動的に判定されるから、運転支援用の画像を自動的に提供できる。

ステップ１３２では、難解地点を撮影した画像が原画像として取り出される。この画像は、車両４からカメラ５ｄによって撮影された生の画像である。原画像は、難解地点に到達する直前にカメラ５ｄによって撮影された少なくとも１つの静止画像を含む。そのような画像には、難解地点がその道路構造を見ることができるように映っている可能性が高い。原画像は、難解地点に到達する前の所定区間、または難解地点を含む所定区間において撮影された複数の静止画像、または動画とすることができる。原画像は、難解地点を含む所定走行距離または所定走行期間に撮影された複数の静止画像、または動画から選択的に取り出すことができる。

ステップ１３３では、原画像に基づいて、ステップ１３１における難解地点であるとの判定が検証される。この検証は、原画像に写っている地点が難解地点であるか否かを検証する処理でもある。ステップ１３１における難解地点の判定は、エラーを含む場合がある。ステップ１３３では、難解地点である可能性が所定値を下回ると、原画像を廃棄し、後続の処理をスキップしてステップ１３１へ戻る。この処理により、難解地点の判定の正確さを向上することができる。

難解地点において観測されることがある車両挙動、運転者挙動、経路逸脱などの難解地点を示す事象は、他の原因によっても発生することがある。このような難解地点以外の原因は、その地点において撮影された原画像に写っている可能性がある。難解地点以外の原因を示す事物は、エラー事物と呼ぶことができる。判定部による判定の検証は、原画像の中にエラー事物が写っているか否かを判定することにより実行できる。

この処理のために、難解地点以外の原因に起因して原画像に写ることがあるエラー事物が予め車両用ナビゲーションシステム１に登録され、記憶される。さらに、原画像を画像処理にすることにより、エラー事物が写っているか否かを判定する。原画像に、エラー事物が写っている場合、ステップ１３１における判定がエラーであると判定でき、エラー処理を実行することができる。ステップ１３１における判定がエラーである場合、ステップ１３２において得られた原画像を破棄することができる。ステップ１３１における判定がエラーであると判定できない場合、原画像に基づいて難解地点における運転を支援するための画像を提供する提供処理を含む後続の処理が実行される。すなわち、検証部によって判定部による難解地点の判定が正しいことが検証された場合に、後続の提供処理が実行される。検証部は、難解地点の判定が正しいことが検証されない場合に、原画像を廃棄する。検証部によって難解地点の判定が正しいことが検証されない場合、後続の提供処理は実行されない。

車両挙動または運転者挙動に基づいて難解地点が判定された場合、誤った判定である可能性がある。難解地点において観測されることがある車両挙動または運転者挙動は、他の原因に基づいてもたらされることもあるからである。例えば、交差点における急ブレーキは、難解交差点に起因して発生する場合、前方車両の急ブレーキに起因して発生する場合、歩行者との接近に起因して発生する場合など多くの原因がある。エラー事物の一例は、至近距離における前方車両の急ブレーキを示す所定面積を上回る赤く点灯したブレーキランプである。エラー事物の他の一例は、至近距離における歩行者の存在である。

ステップ１３４では、原画像が車両装置５からセンタ装置３へ送信される。ステップ１３４は、原画像を車両装置５からセンタ装置３へ送信する送信部を提供する。送信される原画像は、ひとつまたは複数である。ステップ１３４では、ひとつの難解地点の画像、または複数の難解地点の画像を送信することができる。

車両４におけるカメラ５ｄの設置位置は、複数の車両４毎に異なる場合がある。また、カメラ５ｄの機種は、複数の車両４ごとに異なる場合がある。ステップ１３４において送信される画像には、カメラ５ｄの機種、位置、撮影範囲などの撮影条件に関する情報が付加されている。撮影条件には、撮影時の走行車線、日時などの情報を含ませることができる。このような情報は、複数の車両４毎の原画像の差を認識し、画像を修正するために利用される。

原画像が撮影されたときの車両４の位置は、複数の車両４それぞれにおいて異なる場合がある。ステップ１３４において送信される画像には、撮影位置を示す情報が付加されている。例えば、原画像の撮影位置と、交差点の中心点など基準となる地点との間の距離を示す情報が付加される。このような情報は、複数の車両４毎の原画像の差を認識し、画像を修正するために利用される。

ステップ１３４の処理は、難解地点の存在およびその位置をセンタ装置３に通報する処理でもある。この処理により、センタ装置３は、難解地点の存在を知ることができる。さらに、センタ装置３は、難解地点の存在の通報に応答して、難解地点において運転者を支援するための支援情報を後続の他の車両４に対して提供する処理を実行することができる。

ステップ１３５では、ステップ１３１における難解地点を判定するための基準を修正するための学習処理が実行される。ステップ１３５は、難解地点において観測された車両の挙動、および／または運転者の挙動に基づいて、基準を修正する学習部を提供する。ステップ１３５では、難解地点である可能性が所定水準を上回る場合を検出し、その場合に観測された車両挙動、または運転者挙動に基づいて、難解地点を示す基準が修正される。難解地点を示す基準は、閾値、または難解地点に相当する挙動そのものによって与えられる。交差点で分岐先を迷った場合に観測される車両挙動および運転者挙動は、運転者それぞれに依存する。この処理により、難解地点の判定の正確さを向上することができる。

基準の修正の一例は、センサによって観測された挙動と、所定の基準値とを比較し、その結果によって難解地点が示される場合によって説明される。例えば、所定の基準値を上回る大きい挙動が検出された場合に難解地点であると判定する場合である。このような場合、難解地点である可能性が高い場合に観測された挙動に基づいて、基準値が修正される。

一例においては、難解地点において観測されたブレーキ操作量に基づいて、難解地点を判定するためのブレーキ操作量の基準値が修正される。観測されたブレーキ操作量が、現在の基準値より小さい場合、基準値は、現在の値より小さくなるように修正される場合がある。観測されたブレーキ操作量が、現在の基準値より大きい場合、基準値は、現在の値より大きくなるように修正される場合がある。

他の一例においては、難解地点において観測された蛇行操舵の操舵幅に基づいて、難解地点を判定するための操舵幅の基準値が修正される。観測された操舵幅が、現在の基準値より小さい場合、基準値は、現在の値より小さくなるように修正される場合がある。観測された操舵幅が、現在の基準値より大きい場合、基準値は、現在の値より大きくなるように修正される場合がある。

他の一例においては、難解地点において観測された運転者の脈拍変化量に基づいて、難解地点を判定するための脈拍変化量の基準値が修正される。観測された脈拍変化量が、現在の基準値より小さい場合、基準値は、現在の値より小さくなるように修正される場合がある。観測された脈拍変化量操舵幅が、現在の基準値より大きい場合、基準値は、現在の値より大きくなるように修正される場合がある。

基準の修正の他の一例は、難解地点である可能性が高い場合に観測された運転者挙動を、その運転者に特有の「難解地点を示す基準」として設定する場合である。一例においては、難解地点において観測された運転者の声が、難解地点を判定するための基準の声として設定されるように基準が修正される。ある運転者は難解地点において「しまった！」と発声し、他の運転者は難解地点において「おー！」と発声する場合がある。このような運転者の個性に適合した基準を設定するために、前者の場合には「しまった！」を基準として設定し、後者の場合には「おー！」を基準として設定することができる。

ステップ１４１では、センタ装置３は、複数の車両装置５から送信された原画像を受信する。ステップ１４２では、受信された原画像がメモリ装置３ｂに蓄積される。ここでは、地点ごとに原画像が蓄積される。ひとつの地点に関して、異なる複数の原画像を蓄積することができる。

ステップ１４１とステップ１４２とは、所定の地点、すなわち難解地点において撮影された原画像を取得する取得部を提供する。取得部は、それぞれの原画像の撮影条件を示す情報を取得する。取得部は、ステップ１４１によって提供され、送信部から送信された原画像を受信するセンタ受信部を含む。取得部は、ステップ１４２によって提供され、複数の原画像を蓄積する蓄積部を含む。

ステップ１４３では、センタ装置３において、原画像が示す地点が、クリーン画像を提供すべき難解地点として妥当であるか否かを確認する処理が実行される。この確認処理は、オペレータが原画像を見て、判定を下すことによって実施することができる。また、この確認処理には、ひとつの地点に関して、所定の閾値を上回る複数の原画像が蓄積されているか否かの判定を含むことができる。この判定が肯定的である場合、多数の車両４において難解地点であるとの判定がなされたことを示している。この場合、その地点を難解地点であると扱って、後述のクリーン画像を提供することが望ましいと考えられる。ステップ１４３において難解地点としての妥当性が肯定された場合に、ステップ１４４が実行される。ステップ１４３において難解地点としての妥当性が否定された場合には、その地点に関するステップ１４４の実行は先送りされる。

ステップ１４３は、原画像が撮影された地点が、クリーン画像を作成すべき地点として妥当であることを確認する確認部を提供する。確認部は、妥当であると確認した場合に、作成部によるクリーン画像の作成を許容する。確認部は、所定の閾値を越える数の原画像が蓄積された場合に、クリーン画像を作成すべき地点として妥当であることを確認する。

ステップ１４４では、原画像に基づいてクリーン画像が作成される。ステップ１４４では、他の車両および歩行者などの移動体が写っていない難解地点のクリーン画像が作成される。クリーン画像の作成は、ひとつの地点に関して蓄積された複数の原画像から、移動体が写っていない原画像を選択する処理により実行できる場合がある。また、クリーン画像の作成は、原画像から他の車両および歩行者などの移動体を消去することにより実行される場合がある。

クリーン画像の作成は、オペレータが原画像を加工し、修正することによって実施することができる。このようなマニュアル処理においては、対象地点に関して蓄積された複数の原画像に基づいてクリーン画像を作成する作業が実行される。また、クリーン画像の作成は、複数の原画像に基づいてひとつまたは複数のクリーン画像を自動的に生成する画像処理プログラムによって実施することができる。

クリーン画像の生成工程には、基礎画像の選定、基礎画像における移動体の認識、移動体を消去するための背景画像を提供できる他の原画像の選定、および基礎画像の他の原画像との合成といった複数の工程が含まれる。マニュアル処理においても、画像処理プログラムによる自動化処理においても、画像はメモリ装置３ｂに一時的に記憶される。

基礎画像の選定は、複数の原画像から、難解地点をわかりやすく示す原画像を選定することによって実行できる。例えば、撮影位置が、難解地点、例えば難解交差点の基準点から所定の範囲にある原画像を、基礎画像として選定することができる。また、難解交差点に接続している道路の幅員に基づいて設定される所定の条件を満たす原画像を、基礎画像として選定することができる。基礎画像における移動体の認識は、車両または歩行者を示す予め設定された基準形状に基づいて実行することができる。

他の原画像の選定は、基礎画像と類似の原画像を選定することによって実行できる。例えば、撮影位置が基礎画像の撮影位置から所定範囲内である原画像を、他の原画像として選定することができる。また、画像内における特徴的な物、例えば道路標識の位置、形状に注目し、それらが基礎画像と同じように映っている原画像を、他の原画像として選定することができる。具体的には、停止線、または横断歩道を利用することができる。また、交差点内の範囲を認識する画像処理を利用してもよい。

基礎画像と他の画像（部分）との合成においては、撮影位置に基づく補正、日時に基づく影の補正といった補正処理が実行される。撮影位置に基づく補正には、原画像の撮影時における走行車線の違いに基づく左右方向の補正を含むことができる。撮影位置に基づく補正には、カメラ５ｄの高さの差に基づく高さ方向の補正を含むことができる。基礎画像に移動体を消すように、他の原画像の部分を基礎画像に合成することにより、少なくともひとつの移動体が消去されたクリーン画像が生成される。

ステップ１４４は、ひとつの原画像から他の車両および／または歩行者などの移動体の少なくとも一部を消去したクリーン画像を作成する作成部を提供する。クリーン画像は、難解地点における運転を支援するための画像として作成される。作成部は、複数の原画像に基づいてクリーン画像を作成する。この作成部は、それぞれの原画像に付属の撮影条件に基づいて複数の原画像を合成する。作成部は、ひとつの原画像における移動体が写っている範囲に、他の原画像における部分画像を合成することにより移動体が消去されたクリーン画像を作成する。よって、移動体を消去しても、実際の風景に近い画像が提供される。

ステップ１４５では、クリーン画像がセンタ装置３から車両装置５へ配信される。センタ装置３に設けられたステップ１４５は、クリーン画像を車両装置５に配信する配信部を提供する。クリーン画像の配信は、複数の車両４に向けて実行することができる。また、クリーン画像の配信は、車両４からの要求に応答して実行することができる。また、クリーン画像の配置は、ひとつの難解地点に到達しようとしている車両４に対して実行されてもよい。

ステップ１３６では、車両装置５によって、クリーン画像が受信される。ステップ１３６は、配信部から配信されたクリーン画像を受信しメモリ装置５ｂに記憶する車両受信部を提供する。

ステップ１３７では、車両装置５によってクリーン画像が運転者に提供される。ここでは、クリーン画像が表示器５ｅに表示される。車両装置５は、経路案内のためにクリーン画像を利用する。例えば、車両装置５は、車両４が難解地点に到達する前に、クリーン画像を表示器５ｅに表示する。

このとき、経路案内が実行されている場合には、クリーン画像の上に案内記号を重ねて表示することができる。案内記号は、経路を示す矢印、または、分岐路において選択可能な複数の分岐方向を示す多頭矢印である。クリーン画像と案内記号とを含む画像は案内画像と呼ぶことができる。案内記号は、車両装置５においてクリーン画像上に合成することができる。案内記号は、センタ装置３においてクリーン画像上に合成してもよい。クリーン画像および案内画像は、運転支援用の画像である。

ステップ１３２−１３４、１４１−１４５、および１３６−１３７は、難解地点において撮影された原画像に基づいて、難解地点における運転を支援するための画像を提供する提供部を提供している。この実施形態では、少なくとも作成部１４４と配信部１４５と車両受信部１３６と表示部１３７とにより提供部が提供されている。ステップ１３７は、難解地点を走行するときにメモリ装置５ｂに記憶されたクリーン画像を表示器５ｅに表示する表示部を提供する。

ステップ１３１−１３７、および１４１−１４５は、難解地点において撮影された原画像に基づいて、難解地点における運転を支援するための画像を提供する画像配信処理を提供している。この実施形態では、ステップ１２４が提供する標識表示処理またはステップ１３１−１４５が提供する画像配信処理は、ステップ１２３によって撮影された画像を利用する利用部を提供する。

図５は、難解地点、例えば難解交差点を判定する処理１５０を示す。処理１５０は、ステップ１３１の一例を示す。処理１５０は、車両装置５によって実行される。

ステップ１５１では、候補地点が抽出される。候補地点は、難解地点になる可能性がある地点である。難解交差点を判定する場合、メモリ装置５ｂに登録された複数の交差点から、運転者が進行方向を迷いそうな難解な交差点が抽出される。

ステップ１５２では、車両４が候補地点に到達したか否かが判定される。ここで否定的に判定される場合、ステップ１５１へ戻る。肯定的に判定される場合、ステップ１５３へ進む。

ステップ１５３では、候補地点において車両４が経路案内のための設定経路から離脱したか否かが判定される。交差点などにおいて設定経路から離脱した場合、その交差点が難解地点である可能性が高い。ステップ１５３では、車両４が設定経路から離脱した場合に、候補地点が難解地点であると判定される。

ステップ１５４では、候補地点において観測された車両挙動と基準とが比較される。ステップ１５４では、観測された車両挙動が基準を逸脱したか否かが判定される。観測された車両挙動が基準を逸脱する場合、候補地点が難解地点であると判定される。

ステップ１５５では、候補地点において観測された運転者挙動と基準とが比較される。ステップ１５４では、観測された運転者挙動が基準を逸脱したか否かが判定される。観測された運転者挙動が基準を逸脱する場合、候補地点が難解地点であると判定される。

ステップ１５６では、ステップ１５３−１５５における判定処理（１）、（２）、（３）のいずれかによって、候補地点が難解地点であることが示されているか否かを判定する。判定処理（１）、（２）、（３）のいずれかひとつによって候補地点が難解地点であることが示されている場合、ステップ１３２へ進む。ステップ１５６において否定的に判定される場合、ステップ１５１へ戻る。

図６は、難解地点であるとの判定を原画像に基づいて検証する処理１６０を示す。処理１６０は、ステップ１３３の一例を示す。処理１５０は、車両装置５によって実行される。

ステップ１６１では、難解地点の検出原因が車両挙動または運転者挙動であったか否かが判定される。よって、ステップ１５４またはステップ１５５において肯定的に判定された場合に、ステップ１６１において肯定的な判定が得られる。ステップ１６１において否定的に判定される場合、ステップ１３４へ進む。ステップ１６１において肯定的に判定される場合、ステップ１６２へ進む。

ステップ１６２では、原画像においてエラー事物を探索する画像認識処理が実行される。ステップ１６３では、原画像にエラー事物があるか否かが判定される。ステップ１６３において否定的に判定される場合、ステップ１３４へ進む。ステップ１６３において肯定的に判定される場合、ステップ１６４へ進む。ステップ１６４では、ステップ１３２において得られた原画像を破棄する。その後、ステップ１３１へ戻る。

図７は、難解地点を示す基準を学習するための処理１７０を示す。処理１７０は、ステップ１３５の一例を示す。処理１７０は、車両装置５によって実行される。

ステップ１７１では、ステップ１５３−１５５における判定処理（１）、（２）、（３）の複数によって、候補地点が難解地点であることが示されているか否かを判定する。判定処理（１）、（２）、（３）の少なくとも２つによって候補地点が難解地点であることが示されている場合、ステップ１７２へ進む。ステップ１７１において否定的に判定される場合、ステップ１３２へ戻る。

この実施形態では、ステップ１３１が提供する判定部は、複数の判定処理、すなわちステップ１５３−１５５を含む。ステップ１７１は、難解地点の判定の正しさが所定水準以上の高さであることを判定する判定部を提供する。この結果、学習部は、複数の判定処理の少なくとも２つによって難解地点が判定されている場合に、修正を実行する。

ステップ１７２では、難解地点において観測された車両挙動に基づいて、車両挙動のための基準が修正される。ステップ１７３では、難解地点において観測された運転者挙動に基づいて、運転者挙動のための基準が修正される。ステップ１７３は、難解地点において観測された運転者の挙動、例えば声を基準に設定する場合がある。

図８、図９は、それぞれ、原画像の一例を示す。これらの図には、カメラ５ｄにより撮影された画像が、図示のために簡単化されて図示されている。原画像ＲＶ１と原画像ＲＶ２とは、同じ交差点を撮影した画像である。原画像ＲＶ１は、ひとつの車両４における難解交差点の判定に応答して取得された原画像である。原画像ＲＶ２は、他のひとつの車両４における難解交差点の判定に応答して取得された原画像である。原画像ＲＶ１と原画像ＲＶ２とは、撮影された日時、位置が異なっている。

原画像ＲＶ１、ＲＶ２には、交差点の風景が撮影されている。図示されるように、原画像ＲＶ１、ＲＶ２には、道路標識ＲＳと、風景の一部である建物ＢＤと、風景の一部であるオーバーパスＯＰとが写っている。この交差点は、面積が広い。このため、向こう側の建物ＢＤが小さく見える。しかも、信号機などの設置物によって視界が遮られている。さらに、オーバーパスＯＰが広い範囲を覆っており、全体が暗い。これらの原因により、分岐路のそれぞれを認識することが困難である。

原画像ＲＶ１、ＲＶ２には、移動体である他の車両ＶＨ、および歩行者ＰＤが写っている。このため、原画像ＲＶ１、ＲＶ２は異なる風景を表している。これらの原画像ＲＶ１、ＲＶ２を見ただけでは、交差点の形状を正確に認識し、走行するべき分岐路を選択することは容易なことではない。

図１０は、センタ装置３によって合成されたクリーン画像の一例を示す。この図には、カメラ５ｄで撮影された画像に相当する高精細な画像が、図示のための簡単化されて図示されている。クリーン画像ＣＶは、ステップ１４４によって合成された画像である。クリーン画像ＣＶには、道路標識ＲＳ、および風景の一部である建物ＢＤとオーバーパスＯＰとが映し出されている。クリーン画像ＣＶには、少なくとも目立つ移動体は写っていない。クリーン画像ＣＶには、背景の建物ＢＤと同一視できるような小さい移動体が写っている場合がある。クリーン画像ＣＶは、原画像ＲＶ１、ＲＶ２に基づいて合成されたものである。クリーン画像ＣＶは、原画像ＲＶ１、ＲＶ２と同程度の高精細な画像である。クリーン画像ＣＶは、建物などを模式的なブロックとして示した絵より、写真に近い品質の画像である。

図１１は、車両装置５によって表示器５ｅに表示される案内画像の一例を示す。表示器５ｅに表示される案内画像ＮＶは、クリーン画像ＣＶと同程度の高精細な画像である。案内画像ＮＶは、クリーン画像ＣＶと同じ画像品質をもつことができる。案内画像ＮＶには、車両装置５が有する経路案内機能によって経路案内のための案内記号ＧＳが合成されている。図示の例においては、案内記号ＧＳは、複数の分岐路のうちのひとつへ進入するための進行方向を示している。案内記号ＧＳは、センタ装置３において、または車両装置５においてクリーン画像上に合成することができる。

この実施形態によると、難解地点において撮影された原画像から、その難解地点における走行を支援するための画像が作成される。よって、難解地点における実際の風景に基づいて運転支援用の画像が提供される。

一例においては、難解地点を通過した先行車両から原画像が提供され、この原画像に基づいて合成されたクリーン画像が後続車両のための案内画像として提供される。クリーン画像は、先行車両から見えた難解地点の風景に基づいて生成されている。このため、後続車両の運転者には、難解地点における実際の見え方に近い案内画像を提供することができる。

しかも、原画像から、他の車両および／または歩行者などの移動体の少なくとも一部を消去したクリーン画像が作成される。よって、移動体に起因する分かり難さが軽減される。この結果、他の移動体に起因する影響が抑制され、運転者が理解しやすい画像を提供できる。

（他の実施形態）
以上、開示された発明の好ましい実施形態について説明したが、開示された複数の発明は上述した実施形態に何ら制限されることなく、種々変形して実施することが可能である。上記実施形態の構造は、あくまで例示であって、開示された複数の発明の技術的範囲はこれらの記載の範囲に限定されるものではない。開示された複数の発明は、実施形態において示された組み合わせに限定されることなく、それぞれ独立して実施可能である。開示された複数の発明のいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものである。

例えば、制御装置が提供する手段と機能は、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、制御装置をアナログ回路によって構成してもよい。

上述の実施形態では、先行して難解地点を通過した複数の車両４によって取得された複数の原画像に基づいて作成されたクリーン画像が、将来に難解地点に到達する後続の他の車両４に提供される場合を説明した。しかし、車両用ナビゲーションシステムにおいては、ひとつの車両４が繰り返して取得した複数の原画像に基づいて作成されたクリーン画像が、同じ車両４に提供される場合もある。

上述の実施形態では、ステップ１３１−１４５を、センタ装置３と車両装置５とで分散的に実行する構成を説明した。これに代えて、上述の実施形態と異なる処理の分担を採用してもよい。例えば、ステップ１３１−１３５の一部または全部をセンタ装置３において実行してもよい。また、ステップ１４１−１４５の一部または全部を車両装置５において実行してもよい。

上述の実施形態では、ステップ１３１−１３５は、車両４の走行中にリアルタイムで実行される。これに代えて、ステップ１３１−１３５は、所定期間にわたる車両４の走行後に実行されてもよい。この場合、車両４の走行中に観測された情報をメモリ装置５ｂに記憶する処理が付加される。また、ステップ１３１−１３５は、記憶された情報に基づいて実行される。

上記実施形態では、他の車両と歩行者との両方を原画像から消去することによりクリーン画像を作成した。これに代えて、他の車両と歩行者とのいずれか一方だけを原画像から消去してクリーン画像を作成してもよい。

上述の実施形態では、ステップ１２４を車両装置５だけにおいて実行する構成を説明した。これに代えて、ステップ１２４の一部をセンタ装置２において実行してもよい。例えば、標識の画像をセンタ装置３のメモリ装置３ｂに収集し、収集された画像から、最新かつ高品質な標識の画像を車両装置５に配信して表示してもよい。

１ 車両用ナビゲーションシステム、
２ 配信センタ、３ センタ装置、
３ａ センタ処理装置、３ｂ メモリ装置、３ｃ 通信機、
４ 車両、５ 車両装置、６ 通信システム、
５ａ 車両処理装置、５ｂ メモリ装置、５ｃ 通信機、
５ｄ カメラ、５ｅ 表示器、５ｆ 検出器。

Claims (7)

1. 所定の地点において撮影されたから原画像（ＲＶ１、ＲＶ２）を取得する取得部（１４１−１４２）と、
   前記原画像から他の車両および／または歩行者などの移動体の少なくとも一部を消去したクリーン画像（ＣＶ）を、前記地点における運転を支援するための画像として作成する作成部（１４４）とを備えることを特徴とする車両用ナビゲーションシステム。
2. 前記取得部は、複数の原画像を蓄積する蓄積部（１４２）を含み、
   前記作成部（１４４）は、複数の前記原画像に基づいて前記クリーン画像を作成することを特徴とする請求項１に記載の車両用ナビゲーションシステム。
3. さらに、前記原画像が撮影された地点が、前記クリーン画像を作成すべき地点として妥当であることを確認した場合に、前記作成部による前記クリーン画像の作成を許容する確認部（１４３）を備えることを特徴とする請求項２に記載の車両用ナビゲーションシステム。
4. 前記確認部は、所定の閾値を越える数の前記原画像が蓄積された場合に、前記クリーン画像を作成すべき地点として妥当であることを確認することを特徴とする請求項３に記載の車両用ナビゲーションシステム。
5. 前記作成部（１４４）は、ひとつの前記原画像における前記移動体が写っている範囲に、他の前記原画像における部分画像を合成することにより前記移動体が消去された前記クリーン画像を作成することを特徴とする請求項２から請求項４のいずれかに記載の車両用ナビゲーションシステム。
6. 前記取得部は、それぞれの前記原画像の撮影条件を示す情報を取得し、
   前記作成部は、前記撮影条件に基づいて複数の前記原画像を合成することを特徴とする請求項５に記載の車両用ナビゲーションシステム。
7. 前記車両用ナビゲーションシステムは、
   複数の車両（４）のそれぞれに設けられた複数の車両装置（５）と、
   複数の前記車両装置と通信可能に接続されたセンタ装置（３）とを備え、
   前記車両装置（５）は、
   前記車両の前方を撮影することにより前記原画像を供給するカメラ（５ｄ）と、
   前記原画像を前記車両装置から前記センタ装置へ送信する送信部（１３４）とを備え、
   前記センタ装置（３）は、
   前記取得部と、
   前記作成部と、
   さらに、前記クリーン画像を前記車両装置に配信する配信部（１４５）とを備え、
   前記取得部は、前記送信部から送信された前記原画像を受信するセンタ受信部（１４１）を含み、
   前記車両装置（５）は、さらに、
   前記配信部から配信された前記クリーン画像を受信し記憶装置（５ｂ）に記憶する車両受信部（１３６）と、
   前記地点を走行するときに前記記憶装置に記憶された前記クリーン画像を表示器（５ｅ）に表示する表示部（１３７）とを備えることを特徴とする請求項１から請求項６のいずれかに記載の車両用ナビゲーションシステム。

Images