JP2014073737A

JP2014073737A - 車両用撮影装置

Info

Publication number: JP2014073737A
Application number: JP2012221646A
Authority: JP
Inventors: Tomoo Nomura; 朋夫野村
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-10-03
Filing date: 2012-10-03
Publication date: 2014-04-24

Abstract

【課題】ワイパに関連するノイズ要素の量が多い画像の利用を抑制する。
【解決手段】システムは、ウインドシールド４ａを通して外部の光景を撮影するカメラ５ｄを有する。カメラ５ｄの撮影範囲ＶＲは、ワイパ４ｂの払拭範囲と重複している。ワイパ４ｂが非作動であるときに撮影された画像は、利用可能な画像として識別される。ワイパ４ｂが作動しているとき、ワイパ４ｂが写っている画像は、利用不可能な画像として識別される。ワイパ４ｂが撮影範囲ＶＲを通過した後、撮影範囲ＶＲに付着する雨滴ＬＤの数は徐々に増加する。ワイパ４ｂが撮影範囲ＶＲを通過した後の経過時間が計測される。経過時間が所定の時間閾値を上回らない場合、画像は利用可能な画像として識別される。経過時間が所定の時間閾値を上回る場合、画像は利用不可能な画像として識別される。利用可能な画像は、運転を支援するための処理において利用される。
【選択図】図４

Description

本発明は、車両のウインドシールドを通して外部の光景を撮影した画像を提供する車両用撮影装置に関する。

特許文献１は、カメラによって車両の前方の光景を撮影し、得られた画像を利用して、運転を支援する装置を開示する。

特許第３９８４８６３号公報

車両の外部の光景を撮影する場合、カメラを保護するために車両のウインドシールドを通して撮影することが好ましい。ところが、雨が降っている場合、または雪が降っている場合には、ウインドシールドの外面に付着する雨滴または雪片がカメラの視界を部分的にさえぎることがある。このような場合に得られる画像は外部の光景を正確に反映していない。このため、雨または雪の中で得られた画像は、運転支援に利用できない場合がある。

別の観点では、道路走行車両、船舶などの車両においては、ウインドシールドに雨滴を拭き取るためのワイパが設けられている。このワイパも、カメラの視界を部分的にさえぎることがある。ワイパ自身が写り込んだ画像は、運転支援に利用できない場合がある。

さらに、ワイパは、所定の間隔で雨滴または雪片を拭き取るから、カメラの視界を遮る雨滴または雪片の量が周期的に変化する。この場合、画像の中に含まれる雨滴または雪片の量が周期的に変動する。このような変動は、運転支援に利用できる画像と、運転支援に利用できない画像とを生み出す。

このような観点から、車両用画像撮影装置にはさらなる改良が求められている。

開示された発明の目的のひとつは、画像に写るノイズ要素の量が多い画像の利用を抑制することができる車両用撮影装置を提供することである。

開示された発明の目的の他のひとつは、ワイパに関連するノイズ要素の量が多い画像の利用を抑制することができる車両用撮影装置を提供することである。

開示された発明のひとつは上記目的を達成するために以下の技術的手段を採用する。なお、特許請求の範囲およびこの項に記載した括弧内の符号は、ひとつの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示された発明の技術的範囲を限定するものではない。

開示された発明のひとつは、車両のウインドシールドを通して撮影された画像を画像利用部（１２４、１３０）に提供する車両用撮影装置において、ウインドシールドの外面を払拭するワイパ（４ｂ）の状態を取得する取得部（１２３ｂ、１８０、２８０）と、ワイパの状態に基づいて、画像が、画像利用部によって利用可能な画像であるか、利用不可能な画像であるかを識別する識別部（１２３ｃ、１２３ｄ）とを備えることを特徴とする。

この構成によると、画像は、ウインドシールドを通して撮影される。画像は、画像利用部によって利用される。ウインドシールドの外面は、ワイパによって払拭される。ワイパは、ウインドシールドの外面に付着した雨滴または雪片を払拭する。ワイパが作動しているとき、ワイパそれ自身が画像に写り込むことにより、または、ワイパが払拭する前の雨滴または雪片が画像に写り込むことにより、画像の品質は低下する。この結果、ワイパの状態に関連して、利用に適さない画像が発生することがある。識別部は、ワイパの状態に基づいて、画像利用部によって利用可能な画像であるか、利用不可能な画像であるかを識別する。この結果、品質が低下した画像の利用が抑制される。

本発明の第１実施形態に係るシステムを示すブロック図である。第１実施形態のセンタ装置を示すブロック図である。第１実施形態の車両装置を示すブロック図である。第１実施形態のカメラとワイパとの配置を示す正面図である。第１実施形態の画像の一例を示す平面図である。第１実施形態の画像の一例を示す平面図である。第１実施形態の画像の一例を示す平面図である。第１実施形態の画像の一例を示す平面図である。第１実施形態の制御処理を示すフローチャートである。第１実施形態の有効度処理を示すフローチャートである。本発明の第２実施形態の有効度処理を示すフローチャートである。

以下に、図面を参照しながら開示された発明を実施するための複数の形態を説明する。各形態において先行する形態で説明した事項に対応する部分には同一の参照符号を付して重複する説明を省略する場合がある。各形態において構成の一部のみを説明している場合は、構成の他の部分については先行して説明した他の形態を適用することができる。また、後続の実施形態においては、先行する実施形態で説明した事項に対応する部分に百以上の位だけが異なる参照符号を付することにより対応関係を示し、重複する説明を省略する場合がある。各実施形態で具体的に組合せが可能であることを明示している部分同士の組合せばかりではなく、特に組合せに支障が生じなければ、明示してなくとも実施形態同士を部分的に組み合せることも可能である。

（第１実施形態）
図１に図示されるように、発明を開示する第１実施形態は、車両用ナビゲーションシステム１である。車両用ナビゲーションシステム１は、配信センタ２と、複数の車両３とによって構築されている。配信センタ２には、センタ装置（ＣＮＴＲＤ）３が設けられている。車両４には、車両装置（ＯＮＶＨＤ）５が設けられている。センタ装置３と車両装置５との間にはデータ通信のための通信システム６が設けられている。センタ装置３と複数の車両装置５とは、通信システム６を介してデータ通信可能に接続されている。通信システム６は、無線電話回線、インターネットなどのネットワークを含むことができる。センタ装置３と車両装置５とは、車両用ナビゲーションシステム１を構成する。

センタ装置３は、複数の車両装置５に向けて案内のための画像を配信する。配信される画像は、静止画、または動画である。複数の車両装置５は、配信された画像を受信する。それぞれの車両装置５は、車両４に搭載されたナビゲーション装置によって提供することができる。ナビゲーション装置は、配信された画像を表示することにより、運転者に画像を提供し、運転者の運転を支援する。複数の車両装置５は、それらが搭載された車両４において撮影された画像をセンタ装置３に送信する。センタ装置３は、複数の車両装置５から送信された画像を収集し、加工することによって、配信用の画像を作成する。車両用ナビゲーションシステム１は、複数の車両装置５から収集された画像を加工し、加工された画像を配信する。

図２に図示されるように、センタ装置３は、センタ処理装置（ＣＴＣＰＵ）３ａ、およびメモリ装置（ＭＭＲ）３ｂを備える。メモリ装置３ｂは、データを格納する記憶装置である。センタ処理装置３ａとメモリ装置３ｂとは、マイクロコンピュータを構成する。センタ装置３は、通信システム６との接続を提供するための通信機（ＣＯＭＭ）３ｃを備える。

図３に図示されるように、車両装置５は、車両処理装置（ＶＨＣＰＵ）５ａ、およびメモリ装置（ＭＭＲ）５ｂを備える。メモリ装置５ｂは、データを格納する記憶装置である。車両処理装置５ａとメモリ装置５ｂとは、マイクロコンピュータを構成する。車両装置５は、通信システム６との接続を提供するための通信機（ＣＯＭＭ）５ｃを備える。車両装置５は、車両４の周囲の画像を撮影するためのカメラ（ＶＨＣＡＭ）５ｄを備える。カメラ５ｄは、車両の前方の画像を撮影する。カメラ５ｄは、静止画、または動画を撮影可能である。カメラ５ｄは、車両４の前方の光景を撮影することにより原画像を供給する。車両装置５は、車両用撮影装置を提供する。車両用撮影装置は、車両４のウインドシールドを通して撮影された画像を後述の画像利用部に提供する。車両装置５は、表示器（ＤＳＰ）５ｅを備える。

車両装置５は、複数の検出器５ｆを備える。複数の検出器５ｆは、ナビゲーション装置として必要なセンサを含む。例えば、複数の検出器５ｆは、車両４の現在位置を検出するための衛星測位装置を含むことができる。複数の検出器５ｆは、車両４の挙動を検出するためのセンサを含む。例えば、複数の検出器５ｆは、車両４の走行速度を検出する速度センサ、およびブレーキ装置の操作を検出するブレーキセンサを含むことができる。複数の検出器５ｆは、運転者の挙動を検出するためのセンサを含む。例えば、運転者の顔を撮影する室内カメラ、運転者の声を検出するマイク、および運転者の心拍を検出する心拍センサを含むことができる。

車両装置５は、車両４に搭載されたナビゲーション装置である。車両装置５は、表示器５ｅに地図を表示するとともに、地図上に車両４の位置を表示する。さらに、車両装置５は、車両４の利用者からの要求に応答して、現在地点から目的地点までの経路案内を実行する。車両装置５は、現在地点から目的地点までの経路を設定する手段を備える。車両装置５は、表示器５ｅに表示された地図上に、設定された経路を表示するとともに、運転者が車両を経路に沿って走行させるように、表示または音声によって支援を提供する。

センタ装置３と車両装置５とは、電子制御装置（ＥＣＵ：Electronic Control Unit）である。ＥＣＵは、処理装置と、プログラムを記憶する記憶媒体としてのメモリ装置とを有する。ＥＣＵは、コンピュータによって読み取り可能な記憶媒体を備えるマイクロコンピュータによって提供される。記憶媒体は、コンピュータによって読み取り可能なプログラムを非一時的に格納している。記憶媒体は、半導体メモリまたは磁気ディスクによって提供されうる。プログラムは、ＥＣＵによって実行されることによって、ＥＣＵをこの明細書に記載される装置として機能させ、この明細書に記載される制御方法を実行するようにＥＣＵを機能させる。ＥＣＵが提供する手段は、所定の機能を達成する機能的ブロック、またはモジュールとも呼ぶことができる。

図４は、車両４の前方のウインドシールド４ａを前方から見た平面図である。図中には、ウインドシールド４ａと、ワイパ４ｂと、ワイパモータ４ｃと、カメラ５ｄとが図示されている。矢印は、図示の状態におけるワイパ４ｂの移動方向ＡＲを示している。破線で囲まれ、ハッチングが付された範囲は、ワイパ４ｂの払拭範囲ＷＰを示している。図中には、多数の雨滴ＬＤを簡単化した丸印が図示されている。これら丸印は、ワイパ４ｂが作動しているときの雨滴ＬＤの付着状態の一例を図示している。雪片も雨滴ＬＤと同様に付着することがある。

ウインドシールド４ａは透明なガラスなど透明な板である。ワイパ４ｂは、ワイパモータ４ｃによって駆動される。ワイパ４ｂは、ウインドシールド４ａの外面を払拭する。

カメラ５ｄは、車両４の室内に配置されている。カメラ５ｄは、ウインドシールド４ａの背後に配置されている。カメラ５ｄは、ウインドシールド４ａを通して車両４の外側の光景を撮影する。カメラ５ｄは、車両４の進行方向の前方の光景を撮影する。カメラ５ｄの撮影範囲ＶＲと、払拭範囲ＷＰとは、少なくとも部分的に重複している。図示の例では、カメラ５ｄの撮影範囲ＶＲのほぼ全域が払拭範囲ＷＰと重複している。

ウインドシールド４ａの外面上には、雨滴ＬＤが付着する。ワイパ４ｂは、払拭範囲ＷＰを所定の周期で払拭する。このため、払拭範囲ＷＰ内に付着した雨滴ＬＤは、払拭範囲ＷＰの外側より少ない。ワイパ４ｂは、払拭範囲ＷＰ内を往復する。ワイパ４ｂは、移動方向ＡＲで示されるような払拭ストロークを繰り返す。ワイパ４ｂの移動方向ＡＲの前方に付着した雨滴ＬＤの数は、ワイパ４ｂの移動方向の後方に付着した雨滴ＬＤの数より多い。ワイパ４ｂの移動方向の後方においては、ワイパ４ｂが通過した直後の範囲には雨滴ＬＤが少ない。ワイパ４ｂの後方においては、ワイパ４ｂから離れるほど、付着している雨滴ＬＤの数が徐々に増える。言い換えると、雨滴ＬＤの数は、ワイパ４ｂが通過した直後に最も少ない。雨滴ＬＤの数は、ワイパ４ｂが通過した後、時間の経過につれて徐々に増加してゆく。

カメラ５ｄの視界にも雨滴ＬＤが付着する。雨滴ＬＤは、カメラ５ｄにより撮影された画像の中にも写る。しかも、雨滴ＬＤはカメラ５ｄに近接しており、カメラ５ｄの焦点よりはるかに手前に位置している。このため、雨滴ＬＤの範囲内では、画像の鮮明さが損なわれる。雨滴ＬＤの範囲内では、前方の光景が認識できない。

ワイパ４ｂは、カメラ５ｄの撮影範囲ＶＲの中を通過することがある。このため、ワイパ４ｂの一部が画像の中に写ることがある。ワイパ４ｂは画像の中に大きな影として映る。

図５−図８は、カメラ５ｄにより撮影された画像の例を示す。これらの図には、カメラ５ｄにより撮影された画像が、図示のために簡単化されて図示されている。これらの画像ＲＶ０、ＲＶ１、ＲＶ２、ＲＶ３は、同じ交差点を同じ位置から撮影した画像である。画像ＲＶ０−ＲＶ３には、交差点の光景が写っている。

図５に図示される画像ＲＶ０は雨が降っていないときの画像である。画像には、道路標識ＲＳ、光景の一部であるオーバーパスＯＰ、移動体である他の車両ＶＨ、および歩行者ＰＤが写っている。

図６−図８に図示される画像ＲＶ１、ＲＶ２、ＲＶ３は、雨が降っているときの画像である。図中には、雨滴ＬＤが丸印に簡単化されて図示されている。雨滴ＬＤは光を不規則に屈折させ、反射する。このため、雨滴ＬＤの範囲内では、前方の光景が鮮明に見えない。

図６に図示される画像ＲＶ１には、ワイパ４ｂが写っている。ワイパ４ｂは、画像の中に平行な２辺で区画された黒い範囲として写る。図示されたワイパ４ｂは、画像ＲＶ１の中を左から右へ移動している。画像ＲＶ１の中にワイパ４ｂが含まれていることは、ワイパ４ｂの作動を示す信号に基づいて、または画像ＲＶ１の中からワイパ４ｂに対応する黒い領域を認識することによって判定することができる。

図７に図示される画像ＲＶ２は、ワイパ４ｂが通過した直後の画像である。画像ＲＶ２には、少数の雨滴ＬＤだけが写っている。画像ＲＶ２には、道路標識ＲＳ、オーバーパスＯＰ、他の車両ＶＨ、および歩行者ＰＤなどの形状を鮮明に認識することができる。

図８に図示される画像ＲＶ３は、ワイパ４ｂが通過した後、長時間を経過した後の画像、またはワイパ４ｂが通過する直前の画像である。画像ＲＶ３には、多数の雨滴ＬＤが写っている。雨滴ＬＤは、画像の中の事物を覆い隠している。このため、画像ＲＶ３から道路標識ＲＳ、オーバーパスＯＰ、他の車両ＶＨ、および歩行者ＰＤなどの形状を鮮明に認識することは困難である。特に、画像認識プログラムによって画像ＲＶ３の中から所定の形状を認識することは困難である。また、運転者が画像ＲＶ３の全体、または一部を見ても、写っている事物を正確に、かつ迅速に認識することは困難である。

図９は、車両用ナビゲーションシステム１が提供するリアルビューナビゲーションに関連するリアルビュー処理１２０を示すフローチャートである。リアルビューナビゲーションにおいては、先行車両によって撮影された画像が、後続車両に提供される。しかも、先行車両によって撮影された画像から、他の車両、さらに望ましくは歩行者などの移動体が消去されたクリーン画像が後続車両に配信される。クリーン画像を作成するために、複数の先行車両から原画像が収集される。また、リアルビューナビゲーションにおいては、その車両の前方の光景を示す画像から、運転を支援するために有用な情報を含む範囲が切り出され、車内の表示器５ｅに表示される。

リアルビュー処理１２０には、センタ装置３によって実行されるセンタ装置処理１２１と、車両装置５によって実行される車両装置処理１２２とが含まれている。それぞれのステップは、その機能を提供する処理手段または処理部として見ることができる。

ステップ１２３では、車両４の前方の光景を示す画像が撮影される。ステップ１２３には、カメラ５ｄによって撮影される複数の画像から利用可能な画像のみを選択する選択処理を含むことができる。例えば、ウインドシールド４ａに付着した雨滴を除去するためのワイパ４ｂが写った画像を廃棄する選択処理を含むことができる。

ステップ１２３は、画像に写るノイズ要素の量、すなわちノイズ量ＮＳを設定することにより実行することができる。ステップ１２３は、画像に写るノイズ量ＮＳを設定する設定処理を含むことができる。ここで、ノイズ量ＮＳは、その画像が運転の支援に貢献できる度合い、または可能性を尺度として設定することができる。ノイズ量ＮＳは、光景を正確に反映していない領域が、画像に占める割合に相当する場合がある。画像に写るノイズ要素は、運転者などの人が画像に写った事物を認識し理解することを妨げる。ノイズ量ＮＳが多いほど、事物の認識、理解は困難となる。人による認識の可能性に代えて、画像処理プログラムによって画像の中に他の車両の存在、歩行者の存在、道路標識の存在などを自動的に認識する場合も、上記と同様である。

ノイズ要素の一例は、ウインドシールドに付着した雨滴または雪片である。ノイズ要素の一例は、ワイパ４ｂそのものである。ワイパ４ｂそれ自身はもちろん、雨滴または雪片は、ワイパ４ｂの状態に関連して現れたり消滅したりするノイズ要素である。ワイパ４ｂの状態の一例は、ワイパ４ｂの作動（ＯＮ）、または非作動（ＯＦＦ）である。ワイパ４ｂの状態の一例は、ワイパ４ｂが画像の中に写っているか否かである。ワイパ４ｂの状態の一例は、ワイパ４ｂが撮影範囲ＶＲを通過した後の経過時間、言い換えると、ワイパ４ｂが撮影範囲ＶＲを払拭してからの経過時間である。この経過時間は、ワイパ４ｂが作動している期間中における画像の中に含まれる雨滴または雪片の数を示す。

ステップ１２３は、ワイパ４ｂが非作動であるときに所定の閾値Ｎｔｈを上回らないようにノイズ量ＮＳを設定する非作動設定部を提供することができる。ステップ１２３は、画像にワイパ４ｂが含まれる場合に所定の閾値Ｎｔｈを上回るようにノイズ量ＮＳを設定するワイパノイズ設定部を提供することができる。ステップ１２３は、画像に含まれる雨滴または雪片の量が増えるほどノイズ量ＮＳを増加させる比例設定部を提供することができる。ステップ１２３は、ノイズ量ＮＳが、後続の画像利用部における画像の利用に適することを示す閾値Ｎｔｈを上回る場合に、その画像を利用不可能な画像と識別し、その利用を禁止するための識別部を提供することができる。

ステップ１２３ａでは、カメラ５ｄによって前方の光景が撮影され、光景を示す画像が入力され、メモリ装置５ｂに記憶される。この画像は、車両４からカメラ５ｄによって撮影された生の画像である。画像は、少なくとも１つの静止画像を含む。画像は、複数の静止画像、または動画とすることができる。

ステップ１２３ｂは、ウインドシールド４ａの外面を払拭するワイパ４ｂの状態を取得する取得部を提供する。ステップ１２３ｂは、画像に写るノイズ要素の量が所定の閾値を上回らないことを示すワイパの第１状態と、画像に写るノイズ要素の量が閾値を上回ることを示すワイパの第２状態とを取得する。第１状態の一例は、ワイパ４ｂの非作動である。第２状態の一例は、ワイパ４ｂの作動である。第１状態の一例は、ワイパ４ｂが画像に写っていないことである。第２状態の一例は、ワイパ４ｂが画像に写っていることである。第１状態の一例は、ワイパ４ｂが撮影範囲ＶＲを通過した後の経過時間が所定の時間閾値を上回らないことである。第２状態の一例は、ワイパ４ｂが撮影範囲ＶＲを通過した後の経過時間が所定の時間閾値を上回ることである。

ステップ１２３ｂでは、上記画像に含まれるノイズ量ＮＳが評価され、その画像のノイズ量ＮＳが設定される。ノイズ量ＮＳは、ワイパ４ｂの状態に基づいて与えられる。ステップ１２３ｂは、ワイパ４ｂの状態に基づいて、画像に写るノイズ要素の量ＮＳを設定する設定部を提供する。

この構成によると、ワイパの状態は、ノイズ要素の量として設定される。識別部は、ノイズ要素の量が少ない画像を利用可能な画像として識別し、ノイズ要素の量が多い画像を利用不可能な画像として識別する。

ステップ１２３ｃでは、ノイズ量ＮＳが所定の閾値Ｎｔｈを上回るか否かが判定される。ノイズ量ＮＳが閾値Ｎｔｈを上回らない場合、その画像は、後続の画像利用部１２４、１３０に提供される。ノイズ量ＮＳが、閾値Ｎｔｈを上回る場合、ステップ１２３ｄに進む。ステップ１２３ｄでは、その画像の利用が禁止される。

閾値Ｎｔｈは、その画像が運転の支援に利用可能か利用不可能かを識別するための閾値である。閾値Ｎｔｈは、その画像が後続の画像利用部１２４、１３０における画像の利用に適するか否かを判定する閾値でもある。閾値Ｎｔｈは、複数の画像利用部１２４、１３０に適合して、異なる値をとることができる。例えば、第１の画像利用部１２４に適合した画像を示す第１閾値Ｎｔｈ１と、第２の画像利用部１３０に適合した画像を示す第２閾値Ｎｔｈ２とを設けることができる。ひとつの画像に設定されたノイズ量ＮＳが第１閾値Ｎｔｈ１を上回る場合、第１画像利用部１２４への利用は禁止されるが、その画像に設定されたノイズ量ＮＳが第２閾値Ｎｔｈ２を上回らない場合、第２画像利用部１３０への利用は許可される。

ステップ１２３ｃ、１２３ｄは、ワイパ４ｂの状態に基づいて、画像が、画像利用部によって利用可能な画像であるか、利用不可能な画像であるかを識別する識別部を提供する。ステップ１２３ｃは、第１状態が取得されるときに撮影された画像を利用可能な画像として識別し、第２状態が取得されるときに撮影された画像を利用不可能な画像として識別する。ステップ１２３ｃは、ノイズ要素の量ＮＳが所定の閾値Ｎｔｈを上回らないときに撮影された画像を利用可能な画像として識別し、ノイズ要素の量ＮＳが所定の閾値Ｎｔｈを上回るときに撮影された画像を利用不可能な画像として識別する。

ステップ１２４では、車両４の前方に出現した道路標識を表示器５ｅに表示する処理が実行される。この処理では、カメラ５ｄによって撮影された画像から、道路標識が認識される。例えば、前方の交差点の行き先を表示する標識が認識される。さらに、この処理では、原画像から、道路標識に対応する部分画像が切り出され、切り出された画像が表示器５ｅに拡大表示される。これにより、運転者による道路標識の認識を支援することができる。

ステップ１３０では、難解地点において撮影された画像に基づいてクリーン画像を作成し、そのクリーン画像を運転支援のために提供するクリーン画像提供処理が実行される。

ステップ１３１では、車両４が難解地点を走行したことが判定される。難解地点は、運転者が道路構造または進路を理解することが困難な道路上の地点である。難解地点は、難解な交差点、すなわち分岐点を含むことができる。難解地点は、分岐数が多い分岐点、または分岐角度が特殊な分岐点を含むことができる。このような交差点は、難解交差点とも呼ばれる。また、車両４の目的地となりうる地点の入口、駐車場の入口など、道路を走行する間に見出すことが困難な地点も、難解地点に含むことができる。判定は、自動的に実行することができる。さらに、運転者が難解地点であると判断した場合に操作されるスイッチを設け、このスイッチからの入力操作に応答して難解地点を判定してもよい。

通常とは異なる異常な事象が検出された場合に、車両４が難解地点にあると判定することができる。例えば、交差点の場合、運転者が進行方向の選定を迷ったことを検出することにより、難解交差点であるか否かを判定することができる。運転者が進行方向の選定を迷ったことは、車両４または運転者の挙動によって判定することができる。車両４の挙動には、運転者が車両４に加えた運転操作、車両４の状態、車両４の加速度、および減速度を含むことができる。

難解地点は、運転者が車両４に加えた運転操作、または車両４の挙動に基づいて判定することができる場合がある。難解地点を示す車両挙動の一例は、交差点など候補地点を示す候補範囲内における急減速、すなわち急ブレーキ操作である。他の一例は、候補範囲内における徐行状態である。他の一例は、候補範囲内における停止である。さらに他の一例は、候補範囲内における蛇行操舵である。さらに、減速と蛇行操舵といった複数の車両挙動の組み合わせによって難解地点を判定してもよい。

難解地点を判定するために、観測された車両の挙動と、予め設定された基準挙動とが比較される。観測された車両挙動が基準挙動を逸脱している場合に、その地点は難解地点であると判定することができる。基準挙動は、難解地点において多くの車両にあらわれる挙動に基づいて予め設定することができる。基準挙動は、標準挙動とも呼ぶことができる。基準挙動は、特定の運転者の個性に適合するように調整することができる。このような調整は、手動の調節により、または後述の学習処理によって提供することができる。

難解地点は、運転者の挙動に基づいて判定することができる場合がある。例えば、運転者の体の動き、声、心拍などの挙動に基づいて、運転者が難解な地点を走行したか否かを判定することができる。具体的には、顔にあらわれる表情、目の動き、頭の動きを利用できる。また、運転者が経路を間違えたときに出す声を利用できる。より具体的には、「あっつ！」、「しまった！」、「間違えた！」、「あれ？」といった声を利用できる。また、心拍数の急激な変化を利用することができる。

難解地点を判定するために、観測された運転者の挙動と、予め設定された基準挙動とが比較される。観測された運転者挙動が基準挙動を逸脱している場合に、その地点は難解地点であると判定することができる。基準挙動は、難解地点において多くの運転者が示す挙動に基づいて予め設定することができる。基準挙動は、標準挙動とも呼ぶことができる。基準挙動は、特定の運転者の個性に適合するように調整することができる。このような調整は、手動の調節により、または後述の学習処理によって提供することができる。

難解地点は、車両４が経路案内のための予定された設定経路から離脱したことに基づいて判定することができる場合がある。車両装置５によって経路案内を実行しているときに、車両４が交差点において経路から離脱した場合、その交差点は難解交差点である可能性がある。

ステップ１３１は、運転者が道路構造または進路を理解することが困難な道路上の難解地点を判定する判定部を提供する。判定部は、車両の挙動、および／または運転者の挙動と基準との比較に基づいて難解地点を判定する。難解地点が自動的に判定されるから、運転支援用の画像を自動的に提供できる。

ステップ１３４では、難解地点を撮影した画像が原画像として車両装置５からセンタ装置３へ送信される。この原画像は、車両４からカメラ５ｄによって撮影された生の画像である。原画像は、難解地点に到達する直前にカメラ５ｄによって撮影された少なくとも１つの静止画像を含む。そのような画像には、難解地点がその道路構造を見ることができるように映っている可能性が高い。原画像は、難解地点に到達する前の所定区間、または難解地点を含む所定区間において撮影された複数の静止画像、または動画とすることができる。原画像は、難解地点を含む所定走行距離または所定走行期間に撮影された複数の静止画像、または動画から選択的に取り出すことができる。ステップ１３４は、原画像を車両装置５からセンタ装置３へ送信する送信部を提供する。送信される原画像は、ひとつまたは複数である。ステップ１３４では、ひとつの難解地点の画像、または複数の難解地点の画像を送信することができる。

ステップ１４１では、センタ装置３は、複数の車両装置５から送信された原画像を受信する。受信された原画像はメモリ装置３ｂに蓄積される。ステップ１４１は、所定の地点、すなわち難解地点において撮影された原画像を取得する取得部を提供する。

ステップ１４４では、原画像に基づいてクリーン画像が作成される。ステップ１４４では、他の車両および歩行者などの移動体が写っていない難解地点のクリーン画像が作成される。クリーン画像の作成は、ひとつの地点に関して蓄積された複数の原画像から、移動体が写っていない原画像を選択する処理により実行できる場合がある。また、クリーン画像の作成は、原画像から他の車両および歩行者などの移動体を消去することにより実行される場合がある。

クリーン画像の作成は、オペレータが原画像を加工し、修正することによって実施することができる。このようなマニュアル処理においては、対象地点に関して蓄積された複数の原画像に基づいてクリーン画像を作成する作業が実行される。また、クリーン画像の作成は、複数の原画像に基づいてひとつまたは複数のクリーン画像を自動的に生成する画像処理プログラムによって実施することができる。

クリーン画像の生成工程には、基礎画像の選定、基礎画像における移動体の認識、移動体を消去するための背景画像を提供できる他の原画像の選定、および基礎画像の他の原画像との合成といった複数の工程が含まれる。マニュアル処理においても、画像処理プログラムによる自動化処理においても、画像はメモリ装置３ｂに一時的に記憶される。

基礎画像の選定は、複数の原画像から、難解地点をわかりやすく示す原画像を選定することによって実行できる。例えば、撮影位置が、難解地点、例えば難解交差点の基準点から所定の範囲にある原画像を、基礎画像として選定することができる。また、難解交差点に接続している道路の幅員に基づいて設定される所定の条件を満たす原画像を、基礎画像として選定することができる。基礎画像における移動体の認識は、車両または歩行者を示す予め設定された基準形状に基づいて実行することができる。

他の原画像の選定は、基礎画像と類似の原画像を選定することによって実行できる。例えば、撮影位置が基礎画像の撮影位置から所定範囲内である原画像を、他の原画像として選定することができる。また、画像内における特徴的な物、例えば道路標識の位置、形状に注目し、それらが基礎画像と同じように映っている原画像を、他の原画像として選定することができる。具体的には、停止線、または横断歩道を利用することができる。また、交差点内の範囲を認識する画像処理を利用してもよい。

基礎画像と他の画像（部分）との合成においては、撮影位置に基づく補正、日時に基づく影の補正といった補正処理が実行される。撮影位置に基づく補正には、原画像の撮影時における走行車線の違いに基づく左右方向の補正を含むことができる。撮影位置に基づく補正には、カメラ５ｄの高さの差に基づく高さ方向の補正を含むことができる。基礎画像に移動体を消すように、他の原画像の部分を基礎画像に合成することにより、少なくともひとつの移動体が消去されたクリーン画像が生成される。

ステップ１４４は、ひとつの原画像から他の車両および／または歩行者などの移動体の少なくとも一部を消去したクリーン画像を作成する作成部を提供する。クリーン画像は、難解地点における運転を支援するための画像として作成される。作成部は、複数の原画像に基づいてクリーン画像を作成する。この作成部は、それぞれの原画像に付属の撮影条件に基づいて複数の原画像を合成する。作成部は、ひとつの原画像における移動体が写っている範囲に、他の原画像における部分画像を合成することにより移動体が消去されたクリーン画像を作成する。よって、移動体を消去しても、実際の光景に近い画像が提供される。

ステップ１４５では、クリーン画像がセンタ装置３から車両装置５へ配信される。センタ装置３に設けられたステップ１４５は、クリーン画像を車両装置５に配信する配信部を提供する。クリーン画像の配信は、複数の車両４に向けて実行することができる。また、クリーン画像の配信は、車両４からの要求に応答して実行することができる。また、クリーン画像の配置は、ひとつの難解地点に到達しようとしている車両４に対して実行されてもよい。

ステップ１３６では、車両装置５によって、クリーン画像が受信される。ステップ１３６は、配信部から配信されたクリーン画像を受信しメモリ装置５ｂに記憶する車両受信部を提供する。

ステップ１３７では、車両装置５によってクリーン画像が運転者に提供される。ここでは、クリーン画像が表示器５ｅに表示される。車両装置５は、経路案内のためにクリーン画像を利用する。例えば、車両装置５は、車両４が難解地点に到達する前に、クリーン画像を表示器５ｅに表示する。

このとき、経路案内が実行されている場合には、クリーン画像の上に案内記号を重ねて表示することができる。案内記号は、経路を示す矢印、または、分岐路において選択可能な複数の分岐方向を示す多頭矢印である。クリーン画像と案内記号とを含む画像は案内画像と呼ぶことができる。案内記号は、車両装置５においてクリーン画像上に合成することができる。案内記号は、センタ装置３においてクリーン画像上に合成してもよい。クリーン画像および案内画像は、運転支援用の画像である。

ステップ１３１、１３４、１４１、１４４、１４５、および１３６−１３７は、難解地点において撮影された原画像に基づいて、難解地点における運転を支援するための画像を提供する提供部を提供している。この実施形態では、少なくとも作成部１４４と配信部１４５と車両受信部１３６と表示部１３７とにより提供部が提供されている。ステップ１３７は、難解地点を走行するときにメモリ装置５ｂに記憶されたクリーン画像を表示器５ｅに表示する表示部を提供する。ステップ１３１−１３７、および１４１−１４５を含むステップ１３０は、難解地点において撮影された原画像に基づいて、難解地点における運転を支援するための画像を提供する画像配信処理を提供している。この実施形態では、ステップ１２４が提供する標識表示処理またはステップ１３０が提供する画像配信処理は、ステップ１２３によって撮影された画像を利用する利用部を提供する。

図１０は、ワイパ４ｂの状態に基づいて、ひとつの画像についてノイズ量ＮＳを設定するための設定処理１８０を示す。設定処理１８０は、ステップ１２３ｂを提供する。ステップ１８１では、ワイパ４ｂの状態が作動（ＯＮ）であるか、非作動（ＯＦＦ）であるかが判定される。ワイパ４ｂのＯＮ／ＯＦＦは、運転者が操作するワイパスイッチの状態、またはワイパモータ４ｃの作動状態を示す信号に基づいて判定することができる。また、画像の中に所定の周期でワイパ４ｂに相当する影が映るか否かに基づいて、ワイパ４ｂのＯＮ／ＯＦＦを判定してもよい。ワイパ４ｂが非作動である場合、ステップ１８２へ進む。ワイパ４ｂが作動中である場合、ステップ１８３へ進む。

ステップ１８２では、画像のノイズ量ＮＳが最低値０に設定される。ワイパ４ｂが非作動である場合、雨が降っていないと判定できるからである。ワイパ４ｂが非作動であっても、雨を検出するセンサを設け、雨が降っている場合には、ステップ１８３へ進んでもよい。

ステップ１８３では、画像の中にワイパ４ｂが写っているか否かが判定される。画像の中にワイパ４ｂがない場合、ステップ１８４へ進む。画像の中にワイパ４ｂがある場合、ステップ１８６へ進む。

ステップ１８４では、カメラ５ｄの撮影範囲ＶＲをワイパ４ｂが通過した後の経過時間ＴＷＰを計測する。ワイパ４ｂがカメラ５ｄの撮影範囲ＶＲを通過したことは、画像からワイパ４ｂに相当する影が消えたこと、またはワイパ４ｂの作動位置に基づいて判定することができる。経過時間ＴＷＰは、ワイパ４ｂの速度に対応する周期をもつ鋸歯状波によって与えることができる。

ステップ１８５では、経過時間ＴＷＰを変数とする所定の関数ｆｗ（ＴＷＰ）に基づいてノイズ量ＮＳが設定される。関数ｆｗ（ＴＷＰ）は経過時間ＴＷＰに比例してノイズ量ＮＳを設定する。関数ｆｗ（ＴＷＰ）は、図示されるように、経過時間ＴＷＰが大きくなるほど、ノイズ量ＮＳを増加させる特性を有する。

関数ｆｗ（ＴＷＰ）は、ノイズ量ＮＳを最低値０と最高値１．０との間で設定する。関数ｆｗ（ＴＷＰ）は、ノイズ量ＮＳが、最低値０より高い所定値ＮＬ以上となるように設定する。このステップでは、ワイパ４ｂが作動しているから、雨または雪が降っていると考えられる。このような場合、ウインドシールド４ａの外面には、水膜または薄氷が付着している可能性があるから、ノイズ量ＮＳは最低値０より高い所定値ＮＬ以上に設定される。

関数ｆｗ（ＴＷＰ）が設定するノイズ量ＮＳは、経過時間ＴＷＰが所定の時間閾値Ｔｔｈを上回ると、ノイズ量ＮＳが所定の閾値Ｎｔｈを上回るように設定される。経過時間ＴＷＰが時間閾値Ｔｔｈを上回ると、雨滴ＬＤまたは雪片の量が過剰となって画像は利用不可能な画像となるからである。

関数ｆｗ（ＴＷＰ）は、経過時間ＴＷＰが所定の上限値ＴＭを上回るとノイズ量ＮＳを最高値１．０に設定する。経過時間ＴＷＰが上限値ＴＭを上回ると、大量の雨滴ＬＤによって画像が利用不可能なほどに不鮮明となるからである。

関数ｆｗ（ＴＷＰ）は、ワイパ４ｂの速度が速いほど、ノイズ量ＮＳの増加が早くなる特性を有することができる。関数ｆｗ（ＴＷＰ）は、ワイパ４ｂの作動モード、例えば高速モードまたは低速モード、に応じて切換えられる複数の特性をもつことができる。運転者は、雨量が多いほどワイパ４ｂの速度を高く調節する。よって、ワイパ４ｂの速度が速いほど、雨滴ＬＤの増加速度も速くなる。例えば、ワイパ４ｂが低速モードのとき、関数ｆｗ（ＴＷＰ）は、実線の特性を与えられる。ワイパ４ｂが高速モードのとき、関数ｆｗ（ＴＷＰ）は、一点鎖線の特性を与えられる。

ステップ１８６では、画像のノイズ量ＮＳが最高値１．０に設定される。画像の中にワイパ４ｂが写っている場合、その画像は利用不可能と考えられるからである。

ステップ１８１、１８２は、ワイパ４ｂの状態を取得するために、ワイパ４ｂの作動または非作動を判定する作動判定部を提供する。ステップ１２３ｃが提供する識別部は、ワイパ４ｂの非作動が判定されているときに撮影された画像を利用可能な画像として識別する。ワイパ４ｂが非作動であるときは、ワイパ４ｂが画像に写り込むことがない。しかも、ウインドシールド４ａに雨滴ＬＤまたは雪片が付着している可能性は低い。よって、ワイパ４ｂが非作動であるときに撮影された画像は利用可能な画像と識別することができる。

ステップ１８４、１８５は、ワイパ４ｂの状態を取得するために、ワイパ４ｂが撮影範囲ＶＲを通過した後の経過時間ＴＷＰが所定の時間閾値Ｔｔｈを上回るか否かを判定する時間判定部を提供する。ステップ１２３ｃが提供する識別部は、経過時間ＴＷＰが時間閾値Ｔｔｈを上回らないときに撮影された画像を利用可能な画像として識別し、経過時間ＴＷＰが時間閾値Ｔｔｈを上回るときに撮影された画像を利用不可能な画像として識別する。この構成によると、ワイパ４ｂが通過した後に増加する雨滴または雪片の量に応じて、利用可能な画像と利用不可能な画像とが識別される。

ステップ１８３、１８６は、ワイパ４ｂの状態を取得するために、画像にワイパ４ｂが写っているか否かを判定する画像判定部を提供する。ステップ１２３ｃが提供する識別部は、ワイパ４ｂが写っている画像を利用不可能な画像として識別する。

この実施形態によると、雨または雪が降っていないとき、鮮明な画像が得られる。このとき、運転者はワイパ４ｂを作動させないから、画像のノイズ量ＮＳは最低値０とされる。このとき、ノイズ量ＮＳは閾値Ｎｔｈを上回らない。よって、画像は、利用可能な画像として識別され、画像利用部１２４、１３０に提供され利用される。画像利用部１２４、１３０においては、鮮明な画像に基づいて、運転を支援するための処理が提供される。

雨または雪が降ると、運転者がワイパ４ｂを作動させる。ワイパ４ｂが作動すると、そのワイパ４ｂが画像に写ることがある。画像にワイパ４ｂが写っている場合、その画像のノイズ量ＮＳが最高値１．０に設定される。このため、ワイパ４ｂが写った画像は、利用不可能な画像として識別され、画像利用部１２４、１３０に提供されない。よって、ワイパ４ｂに起因する不確かな処理が回避される。

さらに、ワイパ４ｂが作動している間中、画像の中に写る雨滴ＬＤまたは雪片の数は、鋸歯状波のように周期的に変動する。よって、ワイパ４ｂがカメラ５ｄの撮影範囲ＶＲを通過した直後は、利用可能な鮮明な画像が得られる。しかし、ワイパ４ｂがカメラ５ｄの撮影範囲ＶＲを通過した後、所定の時間閾値を経過すると、雨滴ＬＤまたは雪片が撮影範囲ＶＲの多くの範囲を覆い、利用不可能な画像が得られる。ワイパ４ｂが通過した後の経過時間ＴＷＰが長くなるほど、ノイズ量ＮＳが高く設定されるから、雨滴ＬＤまたは雪片の付着数に応じたノイズ量ＮＳが設定される。

ノイズ量ＮＳが閾値Ｎｔｈを上回らない場合、その画像は利用可能な画像として識別され、画像利用部１２４、１３０に提供される。画像利用部１２４、１３０においては、閾値Ｎｔｈを上回らない比較的鮮明な画像に基づいて、運転を支援するための処理が提供される。

一方、ノイズ量ＮＳが閾値Ｎｔｈを上回る場合、その画像は利用不可能な画像として識別され、画像利用部１２４、１３０に提供されない。よって、雨滴ＬＤまたは雪片に起因する不確かな処理が回避される。

（第２実施形態）
この実施形態は、先行する実施形態を基礎的形態とする変形例である。上述の実施形態では、ワイパ４ｂが作動しているとき、ワイパ４ｂが通過した直後の画像の利用を許容した。これに代えて、ワイパ４ｂが作動している期間中は、すべての画像の利用を禁止してもよい。

図１１はこの実施形態の設定処理２８０を示す。この実施形態では、ステップ１８１においてワイパ４ｂが作動していると判定される場合、ステップ１８６へ進む。ワイパ４ｂが作動している期間中は、ワイパ４ｂ、雨滴ＬＤ、または雪片に起因して画像が劣化している可能性がある。ステップ１８１からステップ１８６へ直接的に分岐することで、劣化している可能性がある画像が画像利用部１２４、１３０提供されない。よって、劣化している可能性がある画像の利用が回避される。

設定処理２８０は、取得部を提供する。この取得部は、ワイパ４ｂの状態を取得するために、ワイパ４ｂの作動または非作動を判定する作動判定部を備える。ステップ１２３ｃが提供する識別部は、ワイパ４ｂの非作動が判定されているときに撮影された画像を利用可能な画像として識別し、ワイパ４ｂの作動が判定されているときに撮影された画像を利用不可能な画像として識別する。

（他の実施形態）
以上、開示された発明の好ましい実施形態について説明したが、開示された複数の発明は上述した実施形態に何ら制限されることなく、種々変形して実施することが可能である。上記実施形態の構造は、あくまで例示であって、開示された複数の発明の技術的範囲はこれらの記載の範囲に限定されるものではない。開示された複数の発明は、実施形態において示された組み合わせに限定されることなく、それぞれ独立して実施可能である。開示された複数の発明のいくつかの技術的範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものである。

例えば、制御装置が提供する手段と機能は、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供することができる。例えば、制御装置をアナログ回路によって構成してもよい。

上述の実施形態では、ステップ１２４を車両装置５だけにおいて実行する構成を説明した。これに代えて、ステップ１２４の一部をセンタ装置２において実行してもよい。例えば、標識の画像をセンタ装置３のメモリ装置３ｂに収集し、収集された画像から、最新かつ高品質な標識の画像を車両装置５に配信して表示してもよい。

上述の実施形態では、ステップ１３０に含まれる複数のステップを、センタ装置３と車両装置５とで分散的に実行する構成を説明した。これに代えて、上述の実施形態と異なる処理の分担を採用してもよい。例えば、ステップ１３１の一部または全部をセンタ装置３において実行してもよい。また、ステップ１４１、１４４、１４５の一部または全部を車両装置５において実行してもよい。

１車両用ナビゲーションシステム、
２配信センタ、３センタ装置、
３ａセンタ処理装置、３ｂメモリ装置、３ｃ通信機、
４車両、５車両装置、６通信システム、
５ａ車両処理装置、５ｂメモリ装置、５ｃ通信機、
５ｄカメラ、５ｅ表示器、５ｆ検出器。

Claims

車両のウインドシールドを通して撮影された画像を画像利用部（１２４、１３０）に提供する車両用撮影装置において、
前記ウインドシールドの外面を払拭するワイパ（４ｂ）の状態を取得する取得部（１２３ｂ、１８０、２８０）と、
前記ワイパの状態に基づいて、前記画像が、前記画像利用部によって利用可能な画像であるか、利用不可能な画像であるかを識別する識別部（１２３ｃ、１２３ｄ）とを備えることを特徴とする車両用撮影装置。
前記取得部（１２３ｂ、１８０、２８０）は、
前記画像に写るノイズ要素の量が所定の閾値を上回らないことを示す前記ワイパの第１状態と、前記画像に写るノイズ要素の量が前記閾値を上回ることを示す前記ワイパの第２状態とを取得し、
前記識別部（１２３ｃ）は、
前記第１状態が取得されるときに撮影された前記画像を前記利用可能な画像として識別し、
前記第２状態が取得されるときに撮影された前記画像を前記利用不可能な画像として識別することを特徴とする請求項１に記載の車両用撮影装置。
前記取得部は、前記ワイパの状態を取得するために、
前記ワイパ（４ｂ）の作動または非作動を判定する作動判定部（１８１、１８２）を備え、
前記識別部は、
前記ワイパの非作動が判定されているときに撮影された前記画像を前記利用可能な画像として識別することを特徴とする請求項１または請求項２に記載の車両用撮影装置。
前記取得部は、前記ワイパの状態を取得するために、
前記ワイパが撮影範囲（ＶＲ）を通過した後の経過時間（ＴＷＰ）が所定の時間閾値（Ｔｔｈ）を上回るか否かを判定する時間判定部（１８４、１８５）を備え、
前記識別部は、
前記経過時間が前記時間閾値を上回らないときに撮影された前記画像を前記利用可能な画像として識別し、
前記経過時間が前記時間閾値を上回るときに撮影された前記画像を前記利用不可能な画像として識別することを特徴とする請求項１から請求項３のいずれかに記載の車両用撮影装置。
前記取得部は、前記ワイパの状態を取得するために、
前記画像に前記ワイパ（４ｂ）が写っているか否かを判定する画像判定部（１８３、１８６）を備え、
前記識別部は、
前記ワイパが写っている前記画像を前記利用不可能な画像として識別することを特徴とする請求項１から請求項４のいずれかに記載の車両用撮影装置。
前記ワイパの作動が判定されているときに撮影された前記画像を前記利用不可能な画像として識別することを特徴とする請求項３に記載の車両用撮影装置。
前記取得部（１２３ｂ、１８０、２８０）は、
前記ワイパの状態に基づいて、前記画像に写るノイズ要素の量（ＮＳ）を設定する設定部を提供しており、
前記識別部（１２３ｃ）は、
前記ノイズ要素の量（ＮＳ）が所定の閾値（Ｎｔｈ）を上回らないときに撮影された前記画像を前記利用可能な画像として識別し、
前記ノイズ要素の量（ＮＳ）が所定の閾値（Ｎｔｈ）を上回るときに撮影された前記画像を前記利用不可能な画像として識別することを特徴とする請求項１から請求項６のいずれかに記載の車両用撮影装置。