JP2018045482A - 撮像装置、信号処理装置、及び、車両制御システム - Google Patents

Abstract

【課題】車両が道路の外から道路に進入する場合の運転の支援を適切に行う。
【解決手段】撮像装置は、車両の前方を撮像する撮像部と、前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部とを備え、前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する。本技術は、例えば、運転支援を行う各種の車両に搭載する撮像装置に適用することができる。
【選択図】図４

Description

本技術は、撮像装置、信号処理装置、及び、車両制御システムに関し、特に、道路の外から道路に進入する場合の運転の支援を行う場合に用いて好適な撮像装置、信号処理装置、及び、車両制御システムに関する。

従来、交差点に接近してから通過するまでの運転の診断を行い、交差点においてリスクの高い運転をしたと判定された場合に、交差点の通過後に、リスクの対象物の方向を表示するとともに音声メッセージを出力する技術が提案されている（例えば、特許文献１参照）。

特開２０１５−１２５５６０号公報

しかしながら、特許文献１に記載の技術では、車両が道路の外から道路に進入する場合は想定されていない。

本技術は、このような状況に鑑みてなされたものであり、車両が道路の外から道路に進入する場合の運転の支援を適切に行うことができるようにするものである。

本技術の第１の側面の撮像装置は、車両の前方を撮像する撮像部と、前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部とを備え、前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する。

前記物体検出部には、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更させることができる。

前記物体検出部には、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行わせることができる。

前記物体検出部には、前記車両が前記車道内の第１の車線に合流する場合、前記車両が前記車道に進入する前に、前記第１の車線において前記車両が合流する位置に接近する他の車両の検出処理を優先的に行わせることができる。

前記物体検出部には、前記車両が前記第１の車線に合流する前に前記車道内の第２の車線を横断する場合、前記車両が前記車道に進入する前に、さらに前記第２の車線において前記車両が横断する位置に接近する他の車両の検出処理を優先的に行わせることができる。

前記物体検出部には、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行わせることができる。

前記物体検出部には、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行わせることができる。

前記撮像部には、撮像範囲が異なる複数のカメラを設け、前記物体検出部には、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更させることができる。

前記物体検出部には、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更させることができる。

本技術の第２の側面の信号処理装置は、車両の前方を撮像した撮像画像に基づいて物体検出処理を行う物体検出部を備え、前記物体検出部には、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する。

本技術の第３の側面の車両制御システムは、車両の前方を撮像する撮像部と、前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と、前記物体検出部による物体の検出結果に基づいて、前記車両の制御を行う車両制御部とを備え、前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する。

前記物体検出部には、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更させることができる。

前記物体検出部には、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行わせ、前記車両制御部には、前記車道において障害物が検出された場合、前記車両の前記車道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御させることができる。

前記車両制御部には、前記車道において障害物が検出されない場合、前記車両を前記車道に合流させるための案内を提示するように前記車両を制御させることができる。

前記車両制御部には、前記運転者の運転技量に基づいて前記案内の内容を変更させることができる。

前記物体検出部には、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行わせ、前記車両制御部には、前記合流先の状況に基づいて、前記車両の走行の制御、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御させることができる。

前記物体検出部には、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行わせ、前記車両制御部には、前記歩道において障害物が検出された場合、前記車両の前記歩道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御させることができる。

前記撮像部には、撮像範囲が異なる複数のカメラを設け、前記物体検出部には、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更させることができる。

検出範囲が異なる複数の物体検出用センサをさらに設け、前記物体検出部には、さらに複数の前記物体検出用センサからのセンサデータに基づいて物体検出処理を行わせるとともに、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記物体検出用センサを変更させることができる。

前記物体検出部には、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更させることができる。

本技術の第１の側面においては、車両の前方が撮像され、撮像された撮像画像に基づいて物体検出処理が行われ、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法が変更される。

本技術の第２の側面においては、車両の前方を撮像した撮像画像に基づいて物体検出処理が行われ、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法が変更される。

本技術の第３の側面においては、車両の前方が撮像され、撮像された撮像画像に基づいて物体検出処理が行われ、物体の検出結果に基づいて、前記車両の制御が行われ、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法が変更される。

本技術の第１の側面又は第２の側面によれば、車両の前方の物体を検出することができる。特に、本技術の第１の側面又は第２の側面によれば、車両が道路の外から道路に進入する場合に、車両と道路との位置関係に応じて異なる検出方法で車両の前方の物体を検出することができ、その結果、運転の支援を適切に行うことができる。

本技術の第３の側面によれば、車両の前方の物体の検出結果に基づいて、車両の制御を行うことができる。特に、本技術の第３の側面によれば、車両が道路の外から道路に進入する場合に、車両と道路との位置関係に応じて異なる検出方法で車両の前方の物体を検出することができ、その結果、運転の支援を適切に行うことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

車両の構成例を示す図である。 CAN通信用のバスに接続されるブロックについて説明する図である。 アラウンドビューモニタ機能について説明する図である。 CAN通信用のバスに接続されるブロックの他の例について説明する図である。 フロントカメラモジュールの外観の構成例を示す模式図である。 フロントカメラモジュールの外観の構成例を示す模式図である。 各フロントセンシングカメラの検出範囲の例を示す図である。 フロントカメラECUの機能の構成例を示す図である。 運転支援処理を説明するためのフローチャートである。 運転支援処理を説明するためのフローチャートである。 運転支援処理の具体例を説明するための図である。 運転支援処理の具体例を説明するための図である。 運転者に警告する方法を示す図である。 自転車道を備える道路の構成例を示す図である。 出入口が２カ所ある道路の構成例を示す図である。 ガードレールが設けられた道路の構成例を示す図である。 交差点に進入する場合の運転支援処理を説明するための図である。 コンピュータの構成例を示す図である。

以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．実施の形態
２．変形例
３．その他

なお、本技術は、例えば、車両が道路の外から道路に進入し、合流する場合に適切な運転支援を実現することができるようにするものである。ここでいう運転支援とは支援運転や自律運転など任意の運転モードでの車両の運転時に行われる走行制御をいうが、以下では本技術が適用された車両が支援運転を行っているときに、適宜、運転支援処理が実行される場合を例として説明を続ける。

＜＜１．実施の形態＞＞
＜１−１．車両の構成例＞
図１は、本技術を適用した車両の一実施の形態の構成例を示す図である。

図１に示す車両１１は、フロントセンシングカメラ２１、フロントカメラECU（Electronic Control Unit）２２、位置情報取得部２３、表示部２４、音声出力部２５、通信部２６、ステアリング機構２７、センサ部２８、サイドビューカメラ２９、サイドビューカメラECU３０、統合ECU３１、フロントビューカメラ３２、フロントビューカメラECU３３、制動装置３４、エンジン３５、発電機３６、駆動用モータ３７、バッテリ３８、リアビューカメラ３９、リアビューカメラECU４０、車速検出部４１、及び、ヘッドライト４２を有している。

車両１１に設けられた各ユニットは、CAN（Controller Area Network）通信用のバスや他の接続線などにより相互に接続されているが、ここでは図を見やすくするため、それらのバスや接続線が特に区別されずに描かれている。

フロントセンシングカメラ２１は、例えば車室内のルームミラー近傍に配置されたセンシング専用のカメラからなり、車両１１の前方を被写体として撮像し、その結果得られたセンシング画像をフロントカメラECU２２に出力する。

なお、図５乃至図７を参照して後述するように、フロントセンシングカメラ２１を複数設けることも可能である。

フロントカメラECU２２は、フロントセンシングカメラ２１から供給されたセンシング画像に対して適宜、画質を向上させる処理等を施した後、センシング画像に対して画像認識を行って、センシング画像から道路の区画線や歩行者などの任意の物体を検出する。フロントカメラECU２２は、物体の検出結果をCAN通信用のバスに出力する。

位置情報取得部２３は、例えばGPS（Global Positioning System）などの位置情報計測システムからなり、車両１１の位置を検出して、その検出結果を示す位置情報をCAN通信用のバスに出力する。

表示部２４は、例えば液晶表示パネルなどからなり、インストルメントパネルの中央部分、ルームミラー内部などの車室内の所定位置に配置されている。また、表示部２４はウィンドシールド（フロントガラス）に重畳して設けられた透過型ディスプレイやヘッドアップディスプレイであってもよいし、カーナビゲーションシステムのディスプレイであってもよい。また、コンバイナ式のヘッドアップディスプレイであってもよい。表示部２４は、統合ECU３１の制御に従って各種の画像を表示する。

音声出力部２５は、例えばスピーカ、ブザーなどからなる。音声出力部２５は、統合ECU３１の制御に従って各種の音声を出力する。

通信部２６は、車車間通信や車歩間通信、路車間通信等の各種の無線通信により、周辺車両や、歩行者が所持する携帯型端末装置、路側機、外部のサーバとの間で情報の送受信を行う。例えば通信部２６は周辺車両と車車間通信を行って、周辺車両から乗員数や走行状態を示す情報を含む周辺車両情報を受信し、統合ECU３１に供給する。

ステアリング機構２７は、運転者によるステアリングホイールの操作、又は、統合ECU３１から供給された制御信号に応じて車両１１の走行方向の制御、すなわち舵角制御を行う。

センサ部２８は、車両１１の周囲の物体の有無、物体までの距離等を検出する複数の物体検出用センサを備える。例えば、センサ部２８は、車両１１に近い物体の検出を行う近距離センサ（例えば、超音波センサ等）、並びに、車両１１から遠い距離の物体の検出を行う遠距離センサ（例えば、レーダ、ライダ、TOF（Time of Flight）センサ等）を備える。各物体検出用センサは、検出範囲、検出方式、用途等が異なり、必要に応じて使い分けられる。センサ部２８の各物体検出用センサは、その検出結果を示すセンサデータをCAN通信用のバスに出力する。

サイドビューカメラ２９は、例えばサイドミラーの筐体内やサイドミラー近傍に配置されたカメラであり、運転者の死角となる領域を含む車両１１の側方の画像（以下、側方画像とも称する）を撮像し、サイドビューカメラECU３０に供給する。

サイドビューカメラECU３０は、サイドビューカメラ２９から供給された側方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた側方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。

統合ECU３１は、運転制御ECU５１やバッテリECU５２などの車両１１の中央に配置された複数のECUからなり、車両１１全体の動作を制御する。

例えば運転制御ECU５１は、ADAS（Advanced Driving Assistant System）機能や自律運転（Self driving）機能を実現するECUであり、フロントカメラECU２２からの物体検出結果、位置情報取得部２３からの位置情報、通信部２６から供給された周辺車両情報等の各種の情報、センサ部２８からのセンサデータ、車速検出部４１からの車速の検出結果などに基づいて、車両１１の運転（走行）を制御する。すなわち、運転制御ECU５１は、ステアリング機構２７や、制動装置３４、エンジン３５、駆動用モータ３７等を制御して車両１１の運転を制御する。また、運転制御ECU５１は、フロントカメラECU２２から物体の検出結果として供給された、対向車のヘッドライトの有無等に基づいてヘッドライト４２を制御してハイビームとロービームの切り替えなどヘッドライト４２によるビーム照射を制御する。

なお、統合ECU３１では、ADAS機能や自律運転機能、ビーム制御などの機能ごとに専用のECUを設けるようにしてもよい。

バッテリECU５２は、バッテリ３８による電力の供給等を制御する。

フロントビューカメラ３２は、例えばフロントグリル近傍に配置されたカメラからなり、運転者の死角となる領域を含む車両１１の前方の画像（以下、前方画像とも称する）を撮像し、フロントビューカメラECU３３に供給する。

フロントビューカメラECU３３は、フロントビューカメラ３２から供給された前方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた前方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。

制動装置３４は、運転者によるブレーキ操作、または統合ECU３１から供給された制御信号に応じて動作し、車両１１を停止させたり減速させたりする。

エンジン３５は、車両１１の動力源であり、統合ECU３１から供給された制御信号に応じて駆動する。

発電機３６は、統合ECU３１により制御され、エンジン３５の駆動に応じて発電する。

駆動用モータ３７は、車両１１の動力源であり、発電機３６やバッテリ３８から電力の供給を受け、統合ECU３１から供給された制御信号に応じて駆動する。なお、車両１１の走行時にエンジン３５を駆動させるか、または駆動用モータ３７を駆動させるかは、適宜、統合ECU３１により切り替えられる。

バッテリ３８は、例えば12Vのバッテリや200Vのバッテリなどを有しており、バッテリECU５２の制御に従って車両１１の各部に電力を供給する。

リアビューカメラ３９は、例えばテールゲートのナンバープレート近傍に配置されるカメラからなり、運転者の死角となる領域を含む車両１１の後方の画像（以下、後方画像とも称する）を撮像し、リアビューカメラECU４０に供給する。例えばリアビューカメラ３９は、図示せぬシフトレバーがリバース（Ｒ）の位置に移動されると起動される。

リアビューカメラECU４０は、リアビューカメラ３９から供給された後方画像に対して、ホワイトバランス調整などの画質を向上させる画像処理を施すとともに、得られた後方画像をCAN通信用のバスとは異なるケーブルを介して統合ECU３１に供給する。

車速検出部４１は、車両１１の車速を検出するセンサであり、車速の検出結果を統合ECU３１に供給する。なお、車速検出部４１において、車速の検出結果から加速度や加速度の微分（ジャーク、jerk）が算出されるようにしてもよい。例えば算出された加速度は、車両１１の物体との衝突までの時間の推定などに用いられる。算出されたジャークは、乗員の乗り心地に関わるパラメータとして用いられる。

ヘッドライト４２は、統合ECU３１から供給された制御信号に応じて動作し、ビームを出力することで車両１１の前方を照明する。

また、車両１１では、図２に示すようにフロントカメラモジュール７１、通信部２６、運転制御ECU５１、ステアリング機構２７、センサ部２８、制動装置３４、エンジン３５、駆動用モータ３７、およびヘッドライト４２を含む複数のユニットがCAN通信用のバス７２により相互に接続され、車両制御システムを構成している。なお、図２において図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

この例では、フロントカメラモジュール７１はレンズ８１、イメージセンサ８２、フロントカメラECU２２、およびMCU（Module Control Unit）８３を有している。

また、レンズ８１およびイメージセンサ８２によってフロントセンシングカメラ２１が構成されている。イメージセンサ８２は、例えばCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。

なお、図５乃至図７を参照して後述するように、レンズ８１およびイメージセンサ８２を複数組設けることにより、フロントカメラモジュール７１にフロントセンシングカメラ２１を複数設けることも可能である。

フロントカメラモジュール７１では、被写体からの光がレンズ８１によってイメージセンサ８２の撮像面上に集光される。イメージセンサ８２は、レンズ８１から入射した光を光電変換することでセンシング画像を撮像し、フロントカメラECU２２に供給する。なお、イメージセンサ８２のカラーフィルタはベイヤ配列でもよいし、Red画素１つに対してクリア画素が３つ配列されるRCCC配列であってもよい。RCCC配列である場合、センシングに特化した画像データを得ることができる。

フロントカメラECU２２は、イメージセンサ８２から供給されたセンシング画像に対して、例えばゲイン調整やホワイトバランス調整、HDR（High Dynamic Range）処理、交通信号のフリッカ補正処理などの画質調整処理を施した後、センシング画像に対して画像認識を行う。なお、画質調整処理は、フロントカメラECU２２で実行されることに限定されず、イメージセンサ８２内部で実行されてもよい。画質調整処理がイメージセンサ８２内部で実行される場合、イメージセンサ８２は積層型イメージセンサであることが望ましい。

画像認識では、例えば、歩行者、自転車等の軽車両、車両、ヘッドライト、ブレーキライト、区画線等の道路標示、縁石、路肩、ガードレール、道路標識等の任意の物体の検出や、前方車両との衝突までの時間の検出等が行われる。これらの画像認識による検出結果は、MCU８３でCAN通信用の形式の信号に変換され、バス７２へと出力される。

また、バス７２から供給された情報は、MCU８３でフロントカメラモジュール７１用に定められた形式の信号に変換され、フロントカメラECU２２へと供給される。なお、MCU８３は、マイクロコントロールユニットに限定されず、種々のコントローラが適用可能である。

運転制御ECU５１は、MCU８３からバス７２に出力された物体の検出結果、センサ部２８からのセンサデータ等に基づいて、適宜、ステアリング機構２７や制動装置３４、エンジン３５、駆動用モータ３７、ヘッドライト４２などを制御する。これにより走行方向の変更、ブレーキ、加速、発進等の運転制御や、警告通知制御、ビームの切り替え制御などが実現される。

また、運転制御ECU５１が自律運転機能等を実現する場合には、例えばフロントカメラECU２２で得られた各時刻の画像認識結果から、運転制御ECU５１において、さらに対象物体の位置の軌跡が認識され、その認識結果が通信部２６を介して外部のサーバに送信されるようにしてもよい。そのような場合、例えばサーバではディープニューラルネット等の学習が行われて必要な辞書等が生成され、車両１１へと送信される。車両１１では、このようにして得られた辞書等が通信部２６により受信され、受信された辞書等が運転制御ECU５１での各種の予測などに用いられる。

さらに、運転制御ECU５１は、運転者が車両１１に対して行った運転操作の履歴等に基づいて、運転者の運転技量や運転の傾向等の学習を行う。

なお、運転制御ECU５１により行われる制御のうち、センシング画像に対する画像認識の結果のみから実現できる制御については、運転制御ECU５１ではなくフロントカメラECU２２により行われるようにしてもよい。

具体的には、例えばフロントカメラECU２２は、センシング画像に対する画像認識により得られた対向車のヘッドライトの有無に基づいて、ヘッドライト４２を制御してもよい。この場合、例えばフロントカメラECU２２は、ロービームとハイビームの切り替え等を指示する制御信号を生成し、MCU８３およびバス７２を介してヘッドライト４２に制御信号を供給することで、ヘッドライト４２によるビーム切り替えを制御する。

その他、例えばフロントカメラECU２２が、センシング画像に対する画像認識により得られた道路の区画線や縁石、歩行者などの検出結果に基づいて、対象物への衝突の警告通知や走行車線（レーン）からの逸脱の警告通知等を生成し、MCU８３を介してバス７２に出力することで、警告通知の制御を行うようにしてもよい。この場合、フロントカメラECU２２から出力された警告通知は、例えば表示部２４や音声出力部２５等に供給される。これにより、表示部２４において警告表示を行ったり、音声出力部２５により警告メッセージを出力したりすることができる。

さらに、車両１１では、例えば駐車時などにおいて表示部２４に合成画像を表示することでアラウンドビューモニタ機能が実現される。

すなわち、例えば図３に示すように各部で得られた前方画像、後方画像、及び、側方画像がCAN通信用のバスとは異なるケーブルを介して、統合ECU３１に設けられた画像合成ECU１０１に供給され、それらの画像から合成画像が生成される。なお、図３において図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図３では、図１に示したサイドビューカメラ２９として、車両１１の左側に配置されたサイドビューカメラ２９Ｌと、車両１１の右側に配置されたサイドビューカメラ２９Ｒとが設けられている。また、サイドビューカメラECU３０として、車両１１の左側に配置されたサイドビューカメラECU３０Ｌと、車両１１の右側に配置されたサイドビューカメラECU３０Ｒとが設けられている。

画像合成ECU１０１には、フロントビューカメラ３２で得られた前方画像がフロントビューカメラECU３３から供給され、リアビューカメラ３９で得られた後方画像がリアビューカメラECU４０から供給される。また、画像合成ECU１０１には、サイドビューカメラ２９Ｌで得られた側方画像（以下、特に左側方画像とも称する）がサイドビューカメラECU３０Ｌから供給され、サイドビューカメラ２９Ｒで得られた側方画像（以下、特に右側方画像とも称する）がサイドビューカメラECU３０Ｒから供給される。

画像合成ECU１０１は、供給されたこれらの画像に基づいて前方画像、後方画像、左側方画像、及び、右側方画像を対応する領域に配置した合成画像を生成するとともに、得られた合成画像を表示部２４に供給し、表示させる。運転者は、このようにして表示された合成画像を確認しながら車両１１を運転することで、安全かつ容易に駐車を行うことができる。なお、統合ECU３１が合成画像に基づいて車両１１の駆動を制御し、駐車を行うようにしてもよい。

また、運転制御ECU５１により複数の異なる機能の制御を行うのではなく、例えば図４に示すように制御内容ごとに、すなわち機能ごとに制御部を設けるようにしてもよい。なお、図４において図２と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図４に示す例では、CAN通信用のバス７２にはフロントカメラモジュール７１、通信部２６、ステアリング機構２７、センサ部２８、制動装置３４、エンジン３５、駆動用モータ３７、ヘッドライト４２、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、アクセル制御部１１５、及び、学習部１１６を含む複数のユニットが接続されている。

この例では、図２の例において運転制御ECU５１により行われていた制御が、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、アクセル制御部１１５、及び、学習部１１６により分担されて行われる。

具体的には、例えばビーム制御部１１１は、フロントカメラECU２２で得られた画像認識の結果等に基づいてヘッドライト４２を制御することでロービームとハイビームの切り替え制御を行う。

警告通知制御部１１２は、フロントカメラECU２２で得られた物体の検出結果等に基づいて、表示部２４での各種の警告表示やガイダンス表示、音声出力部２５での警告メッセージや案内メッセージの出力など、警告や各種の情報の通知の制御を行う。

ステアリング制御部１１３は、フロントカメラECU２２で得られた物体の検出結果、センサ部２８からのセンサデータ等に基づいてステアリング機構２７を制御することで、車両１１の走行方向の制御を行う。

ブレーキ制御部１１４は、フロントカメラECU２２で得られた物体の検出結果、センサ部２８からのセンサデータ等に基づいて制動装置３４を制御することで、車両１１の走行停止や減速の制御を行う。

アクセル制御部１１５は、フロントカメラECU２２で得られた物体の検出結果、センサ部２８からのセンサデータ等に基づいてエンジン３５や駆動用モータ３７を制御することで、車両１１の発進や加速の制御を行う。

学習部１１６は、運転者が車両１１に対して行った運転操作の履歴等に基づいて、運転者の運転技量や運転の傾向等の学習を行う。

なお、以下、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、及び、アクセル制御部１１５をまとめて、車両制御部１２１と称する。

また、以下、図２及び図４のうち、図４の構成例を用いて説明を行う。

＜１−２．フロントカメラモジュールの構成例＞
次に、図５乃至図８を参照して、フロントカメラモジュール７１の構成例について説明する。

図５及び図６は、フロントカメラモジュール７１の外観の構成例を模式的に示している。図５は、車両１１のウィンドシールド１４１近傍に設置された状態のフロントカメラモジュール７１の外観を横から見た模式図であり、図６は、フロントカメラモジュール７１のメイン基板１５２の構成を模式的に示す斜視図である。なお、図５では、図を分かりやすくするために、フロントカメラモジュール７１の筐体１５１の側面が透過され、筐体１５１の内部が図示されている。

なお、以下、図５の右側、すなわち、ウィンドシールド１４１側をフロントカメラモジュール７１の前側とする。

フロントカメラモジュール７１は、車両１１のルームミラー（不図示）近傍において、ウィンドシールド１４１に近接するように設置される。フロントカメラモジュール７１の筐体１５１の前方は、ウィンドシールド１４１に合わせた形状となっている。筐体１５１内には、メイン基板１５２等の各部が格納されている。

メイン基板１５２の上面には、イメージセンサ用基板１５３が、ＦＰＣ（Flexible printed circuits）１５４−１乃至１５４−ｎを介して、メイン基板１５２の上面に対して垂直、かつ、左右方向に延びるように設置されている。イメージセンサ用基板１５３の前面には、イメージセンサ８２−１乃至８２−ｎが、ＦＰＣ１５４−１乃至１５４−ｎの位置に合わせて、左右に並ぶように配置されている。

また、メイン基板１５２の上面には、レンズ８１−１乃至８１−ｎが、イメージセンサ８２−１乃至８２−ｎの前方に、イメージセンサ８２−１乃至８２−ｎの位置に合わせて左右に並ぶように配置されている。レンズ８１−１乃至８１−ｎに入射した入射光は、イメージセンサ８２−１乃至８２−ｎの撮像面において、それぞれ結像する。このレンズ８１−１乃至８１−ｎ、及び、イメージセンサ８２−１乃至８２−ｎにより、フロントセンシングカメラ２１−１乃至２１−ｎが構成される。従って、フロントカメラモジュール７１は、フロントセンシングカメラ２１−１乃至２１−ｎによりｎ枚のセンシング画像を同時に撮像することが可能である。

さらに、メイン基板１５２の上面のイメージセンサ用基板１５３の後方には、フロントカメラECU２２及びMCU８３が配置されている。イメージセンサ８２−１乃至８２−ｎは、ＦＰＣ１５４−１乃至１５４−ｎを介して、個別にフロントカメラECU２２に電気的に接続されている。

なお、以下、フロントセンシングカメラ２１−１乃至２１−ｎ、レンズ８１−１乃至８１−ｎ、イメージセンサ８２−１乃至８２−ｎを個々に区別する必要がない場合、それぞれ単に、フロントセンシングカメラ２１、レンズ８１、イメージセンサ８２と称する。

図７は、各フロントセンシングカメラ２１の検出範囲（撮像範囲）の例を示している。図７は、フロントセンシングカメラ２１−１乃至２１−３の３台のフロントセンシングカメラ２１が、フロントカメラモジュール７１に設けられている場合の検出範囲の例を示している。

検出範囲Ａ１乃至Ａ３は、フロントセンシングカメラ２１−１乃至２１−３の検出範囲をそれぞれ示している。フロントセンシングカメラ２１−１の視野角は最も広く、例えば約１５０度に設定される。一方、フロントセンシングカメラ２１−１の検出距離は最も短く、例えば約２０ｍに設定される。フロントセンシングカメラ２１−２の視野角は２番目に広く、例えば約５０度に設定される。フロントセンシングカメラ２１−２の検出距離は２番目に長く、例えば約１２０ｍに設定される。フロントセンシングカメラ２１−３の視野角は最も狭く、例えば約２５度に設定される。フロントセンシングカメラ２１−３の検出距離は最も長く、例えば約１５０ｍに設定される。

従って、フロントセンシングカメラ２１−１乃至２１−３（のセンシング画像）を使い分けることにより、車両１１の前方において優先的に物体を検出する検出範囲（以下、優先検出範囲と称する）を変更することが可能になる。

図８は、フロントカメラECU２２の機能の構成例を示している。フロントカメラECU２２は、画像処理部１７１、物体検出部１７２、及び、学習部１７３を備える。

画像処理部１７１は、各イメージセンサ８２から供給されたセンシング画像に対して、例えばゲイン調整やホワイトバランス調整、HDR処理などを施す。

物体検出部１７２は、画像処理部１７１により画像処理が施された各センシング画像に対して画像認識を行うとともに、センサ部２８からのセンサデータに基づいて、車両１１の周囲の物体検出処理を行う。例えば、物体検出部１７２は、歩行者、自転車等の軽車両、車両、ヘッドライト、ブレーキライト、区画線等の道路標示、縁石、路肩、ガードレール、道路標識等の検出や、前方の障害物（例えば、前方車両等）との衝突までの時間の検出等を行う。物体検出部１７２は、検出結果をMCU８３に供給する。

学習部１７３は、物体検出部１７２の検出結果等に基づいて、車両１１の周囲の物体の検出精度を向上させるための学習処理を行う。物体検出部１７２は、必要に応じて、学習部１７３による学習結果を用いて、物体検出処理を行う。

＜１−３．合流支援処理＞
次に、図９及び図１０のフローチャートを参照して、車両１１により実行される運転支援処理について説明する。この処理は、例えば、車両１１が、道路の外から道路に進入し、道路内の車道に合流する場合（例えば、駐車場等から車道に合流する場合）の運転の支援を行う場合に実行される。

なお、以下、図１１及び図１２を具体例として挙げながら説明を行う。なお、本具体例においては、日本における法規を想定しているため車両は左側通行、歩行者は右側通行となっている。しかしながら、本技術は日本及び車両が左側通行の地域のみへの適用に限定されず、車両が右側通行の地域においても適用可能である。車両が右側通行の地域において本技術を適用する場合、例えば、本具体例の左右を反転させることで適用可能である。

図１１及び図１２は、車両１１が、前方の道路２０１の外から道路２０１に進入し、道路２０１内の車道２１２に合流する場合の例を示している。

道路２０１は、車両１１の前方に左右方向に延びている。道路２０１は、車両１１に近い方から、歩道２１１、車道２１２、及び、歩道２１３により構成される。車道２１２は、車線２２１−１乃至２２１−４の４車線からなる。車線２２１−１及び車線２２１−２が、図内の右から左へ走行するための車線であり、車線２２１−３及び車線２２１−４が、図内の左から右へ走行するための車線である。

図１１は、車両１１が、左折しながら、歩道２１１を横断した後、車線２２１−１に合流する例を示している。図１２は、車両１１が、右折をしながら、歩道２１１、車線２２１−１、及び、車線２２１−２を横断した後、車線２２１−３に合流する例を示している。

なお、以下、車両１１が合流する車線を合流車線と称する。例えば、図１１の例では、車線２２１−１が合流車線となり、図１２の例では、車線２２１−３が合流車線となる。また、以下、車両１１が合流車線に合流する前に横断する車線を横断車線と称する。例えば、図１１の例では、横断車線はなく、図１２の例では、車線２２１−１及び車線２２１−２が横断車線となる。

なお、本明細書において、車道は、車両が通行することが想定される道路の部分とする。すなわち、本明細書において、車道は、法令上の車道だけでなく、車道とみなされる道路の部分も含む。

また、本明細書において、歩道は、歩行者が通行することが想定される道路の部分とする。従って、本明細書において、歩道は、法令上の歩道及び路側帯だけでなく、歩道とみなされる道路の部分も含む。なお、歩道には、歩行者に準ずるもの（例えば、自転車等の軽車両）の通行が想定されるものと想定されないものがある。

さらに、本明細書において、自転車道は、自転車が優先して通行することが想定される道路の部分とする。従って、本明細書において、自転車道は、法令上の自転車道だけでなく、自転車道とみなされる道路の部分も含む。なお、自転車道には、自転車だけでなく、自転車以外の軽車両が優先して通行することが想定されるものがある。

なお、以下、歩行者及び歩行者に準ずるものを合わせて、歩行者等と称する。

図９及び図１０の運転支援処理は、例えば、車両１１を起動し、運転を開始するための操作が行われたとき、例えば、車両１１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。その後、車両１１は、前進を開始し、合流先の道路に近づいていく。

ステップＳ１において、車両１１は、前方の監視を開始する。具体的には、各フロントセンシングカメラ２１は、車両１１の前方を撮像し、センシング画像をフロントカメラECU２２に供給する処理を開始する。センサ部２８の各物体検出用センサは、車両１１の周囲の物体の有無及び物体までの距離等の検出を行い、検出結果を示すセンサデータを、バス７２及びMCU８３を介してフロントカメラECU２２に供給したり、バス７２を介して、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、アクセル制御部１１５、及び、学習部１１６等に供給したりする処理を開始する。

物体検出部１７２は、各フロントセンシングカメラ２１からのセンシング画像、及び、センサ部２８からのセンサデータに基づいて、車両１１の前方の物体の検出処理を開始する。例えば、物体検出部１７２は、車両１１の前方の道路を検出するとともに、区画線等の道路標示、縁石、路肩、ガードレール等を検出することにより、道路の構成を検出する処理を開始する。また、物体検出部１７２は、MCU８３及びバス７２を介して、ビーム制御部１１１、警告通知制御部１１２、ステアリング制御部１１３、ブレーキ制御部１１４、アクセル制御部１１５、及び、学習部１１６等に、検出結果を供給する処理を開始する。

ステップＳ２において、物体検出部１７２は、車道の手前に歩道があるか否かを判定する。物体検出部１７２は、車両１１の前方において、車道の手前に歩道があると判定した場合、処理はステップＳ３に進む。これは、車両１１が車道に合流する前に歩道を横断する必要がある場合である。

ステップＳ３において、物体検出部１７２は、歩道までの距離が所定の範囲内であるか否かを判定する。例えば、物体検出部１７２は、センシング画像、及び、センサ部２８からのセンサデータに基づいて、車両１１の前方の歩道と車両１１との間の最短距離を検出する。そして、物体検出部１７２は、検出した最短距離が所定の範囲内になるまで、ステップＳ３の判定処理を繰り返し実行する。そして、検出した最短距離が所定の範囲内であると判定された場合、処理はステップＳ４に進む。

ステップＳ４において、物体検出部１７２は、歩道の監視を優先する。例えば、物体検出部１７２は、歩道を優先検出範囲とする検出処理、並びに、歩行者等を優先的に検出する検出対象（以下、優先検出対象と称する）とする検出処理のうち少なくとも１つを開始する。

例えば、物体検出部１７２は、各フロントセンシングカメラ２１のセンシング画像のうち、歩道の物体の検出処理に適したセンシング画像、例えば、画像内に歩道を多く含む画像を優先的に用いて検出処理を行う。また、物体検出部１７２は、センサ部２８の各物体検出用センサのうち歩道の物体検出処理に適したセンサ、例えば、検出距離の短いセンサ、歩道を検出範囲に多く含むセンサ等のセンサデータを優先的に用いて検出処理を行う。或いは、物体検出部１７２は、センサ部２８の各物体検出用センサの中に検出範囲を変更可能なセンサがある場合、そのセンサの検出範囲を、歩道を中心とする領域に変更する。これにより、歩道が優先検出範囲に設定される。

また、例えば、物体検出部１７２は、画像認識において、歩道を通行する可能性のある歩行者及び歩行者に準ずるもの（例えば、自転車等の軽車両等）を優先的に認識する対象に設定する。これにより、歩行者等が優先検出対象に設定される。

その結果、例えば、図１１及び図１２の例において、車両１１が歩道２１１に所定の距離の範囲内に近づいたとき、歩道２１１を通行する歩行者等の検出処理が優先的に行われるようになる。

なお、状況や設定等により、検出範囲が優先検出範囲に限定される場合と限定されない場合がある。後者においては、優先検出範囲における検出処理が重点的に行われるが、その他の範囲における検出処理も行われる。同様に、状況や設定等により、検出対象が優先検出範囲対象に限定される場合と限定されない場合がある。後者においては、優先検出対象の検出処理が重点的に行われるが、その他の対象の検出処理も行われる。

ステップＳ５において、物体検出部１７２は、歩道に障害物が存在するか否かを判定する。例えば、物体検出部１７２は、歩道及びその近傍に存在する物体の位置、移動方向、及び、移動速度を検出する。そして、物体検出部１７２は、車両１１がこのまま歩道に進入した場合に衝突又は接触する可能性がある物体が存在する場合、歩道に障害物が存在すると判定し、処理はステップＳ６に進む。

この障害物は、主に歩道を通行する歩行者や自転車等が想定される。例えば、図１１又は図１２の例において、歩道２１１内を歩行者や自転車が車両１１に接近する方向に移動している場合、歩道に障害物が存在すると判定され、処理はステップＳ６に進む。

なお、物体検出部１７２は、歩道２１１内を歩行者や自転車が車両１１に接近する方向に移動している場合と比較して、歩道２１１内を歩行者や自転車が車両１１から遠ざかる方向に移動している場合の歩行者や自転車の検出範囲を狭く設定してもよい。具体的には、例えば、物体検出部１７２が、歩行者や自転車が車両１１に接近する方向に移動している場合、車両から２０ｍの範囲内に歩行者等が存在することで歩道に障害物が存在すると判定し、歩行者や自転車が車両１１から遠ざかる方向に移動している場合、車両から１０ｍの範囲内に歩行者等が存在することで歩道に障害物が存在すると判定するようにしてもよい。これは、車両１１から遠ざかる方向に移動している歩行者等は、車両１１との衝突可能性が比較的低いためである。これにより、車両１１は円滑に車道へ進入することが可能となる。なお、歩行者や自転車が車両１１からに接近する方向に移動しているか、遠ざかる方向に移動しているかの判定は、例えば、各フロントセンシングカメラ２１が撮像したセンシング画像の複数のフレーム間の差分を用いて実行される。

ステップＳ６において、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、警告音等により、運転者への警告を行う。例えば、歩道を横断できない旨を通知したり、障害物に対する運転者の注意を喚起したりするための警告が行われる。

図１３は、運転者に警告する方法の一例を示している。この例では、車両１１の左前方から歩行者２５１が接近している例が示されている。

また、この例では、表示部２４は、車両１１のステアリングホイール２６１及びダッシュボード２６２の上方において、ウィンドシールド１４１に重畳して設けられた透過型ディスプレイ、又は、コンバイナ式ヘッドアップディスプレイにより構成されている。従って、表示部２４が運転者の視界に入り、運転者が運転中に容易に視認することができる。そして、表示部２４には、歩行者への注意を促すメッセージとともに歩行者の位置を示す矢印が表示されている。これにより、運転者が歩行者２５１の存在に気付き、車両１１が歩行者２５１に衝突又は接触することが防止される。

なお、この例では、ルームミラー２６３の下にフロントカメラモジュール７１が設置されている。

ステップＳ７において、車両制御部１２１は、歩道への進入を禁止する。例えば、ブレーキ制御部１１４は、制動装置３４を制御して、車両１１を停止させる。これにより、車両１１の歩道への進入が制止され、車両１１が歩道の障害物（例えば、歩行者、自転車等）に衝突又は接触することが防止される。また、アクセル制御部１１５は、エンジン３５や駆動用モータ３７を制御して、車両１１の発進を禁止する。

なお、このとき、ブレーキ制御部１１４は、障害物への衝突予測時間に応じて制動装置３４の動作度合いを調整してもよい。例えば、ブレーキ制御部１１４は、障害物への衝突予測時間が短い場合、最大の制動力が出るように制動装置３４を制御する。一方、ブレーキ制御部１１４は、障害物への衝突予測時間が比較的長い場合、乗員の乗り心地が悪化しない程度の制動力で制動装置３４を制御する。乗り心地が悪化しない程度の制動力とは、例えば、車速検出部４１において算出されたジャーク値が所定閾値以下となる制動力である。なお、障害物への衝突予測時間は、車両１１と障害物との距離、車両１１の車速、及び、車両１１の加速度に基づいて算出される。

その後、処理はステップＳ５に戻り、ステップＳ５において、歩道に障害物が存在しないと判定されるまで、ステップＳ５乃至Ｓ７の処理が繰り返し実行される。これにより、障害物が存在すると判定されている間、車両１１の歩道への進入が禁止される。

一方、ステップＳ５において、歩道に障害物が存在しないと判定された場合、処理はステップＳ８に進む。

ステップＳ８において、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、効果音等により、歩道横断可の案内を行う。例えば、歩道を横断可能である旨を通知するための案内や、車両１１を発進させるタイミングの提示等が行われる。

ステップＳ９において、車両制御部１２１は、歩道への進入を許可する。具体的には、ステップＳ７において、歩道への進入が禁止されている場合、アクセル制御部１１５は、エンジン３５や駆動用モータ３７を制御して、車両１１の発進の禁止を解除する。これにより、車両１１の歩道への進入が許可される。その後、車両１１は、前進を再開し、歩道に進入し、合流先の車道に近づいていく。

一方、歩道への進入が禁止されていない場合、ステップＳ９において、特に処理は行われない。

その後、処理はステップＳ１０に進む。

一方、ステップＳ２において、車道の手前に歩道がないと判定された場合、ステップＳ３乃至Ｓ９の処理はスキップされ、処理はステップＳ１０に進む。

ステップＳ１０において、物体検出部１７２は、車道までの距離が所定の範囲内であるか否かを判定する。例えば、物体検出部１７２は、車両１１が車道に進入する前に、センシング画像、及び、センサ部２８からのセンサデータに基づいて、車両１１の前方の車道と車両１１との間の最短距離を検出する。そして、物体検出部１７２は、検出した最短距離が所定の範囲内になるまで、ステップＳ１０の判定処理を繰り返し実行する。そして、検出した最短距離が所定の範囲内であると判定された場合、処理はステップＳ１１に進む。

ステップＳ１１において、物体検出部１７２は、合流車線以外の車線を横断するか否かを判定する。具体的には、物体検出部１７２は、図示せぬ車両１１の方向指示スイッチの位置に基づいて、車両１１が左折又は右折のいずれを行うかを検出する。そして、例えば、物体検出部１７２は、左側通行の地域で左折する場合、又は、右側通行の地域で右折する場合、例えば図１１の例の場合、合流車線以外の車線を横断しないと判定する。一方、物体検出部１７２は、左側通行の地域で右折する場合、又は、右側通行の地域で左折する場合、例えば図１２の例の場合、合流車線以外の車線を横断すると判定する。

なお、道路の構成等によっては、左側通行の地域で左折する場合、又は、右側通行の地域で右折する場合でも、合流車線以外の車線を横断すると判定される場合がある。例えば、車両１１が片側２車線以上の車道の内側の車線に合流する場合、例えば、図１１の例において、車線２２１−１を横断して車線２２１−２に合流する場合等である。

また、道路の構成等によっては、左側通行の地域で右折する場合、又は、右側通行の地域で左折する場合でも、合流車線以外の車線を横断しないと判定される場合がある。例えば、車両１１が合流する道路が一方通行である場合等である。

そして、合流車線以外の車線を横断しないと判定された場合、処理はステップＳ１２に進む。

ステップＳ１２において、物体検出部１７２は、合流車線の監視を優先する。具体的には、物体検出部１７２は、合流車線を優先検出範囲とする検出処理、及び、他の車両を優先検出対象とする検出処理のうち少なくとも１つを開始する。

例えば、物体検出部１７２は、各フロントセンシングカメラ２１のセンシング画像のうち、合流車線の物体の検出処理に適したセンシング画像、例えば、画像内に合流車線を多く含む画像を優先的に用いて検出処理を行う。また、物体検出部１７２は、センサ部２８の各物体検出用センサのうち合流車線の物体検出処理に適したセンサ、例えば、検出距離の長いセンサ、合流車線を検出範囲に多く含むセンサ等のセンサデータを優先的に用いて検出処理を行う。或いは、物体検出部１７２は、センサ部２８の各物体検出用センサの中に検出範囲を変更可能なセンサがある場合、そのセンサの検出範囲を、合流車線を中心とする領域に変更する。これにより、合流車線が優先検出範囲に設定される。

また、例えば、物体検出部１７２は、画像認識において、他の車両を優先的に認識する対象に設定する。これにより、他の車両が優先検出対象に設定される。

その結果、例えば、図１１の例において、車両１１が車道２１２に所定の距離の範囲内に近づいたとき、合流車線である車線２２１−１の車両の検出が優先的に行われるようになる。

なお、合流車線のうち車両１１に接近する他の車両（以下、接近車と称する）が存在する可能性のある領域、すなわち、合流車線において車両１１が合流する位置より後方の領域を、特に優先的に物体の検出を行う範囲に設定することが望ましい。これにより、合流車線において車両１１が合流する位置に接近する接近車の検出処理が優先的に行われるようになる。

また、ステップＳ４の処理と同様に、状況や設定等により、検出範囲が優先検出範囲に限定される場合と限定されない場合がある。同様に、状況や設定等により、検出対象が優先検出範対象に限定される場合と限定されない場合がある。

ステップＳ１３において、物体検出部１７２は、合流車線に障害物が存在するか否かを判定する。例えば、物体検出部１７２は、合流車線及びその近傍に存在する物体の位置、移動方向、及び、移動速度を検出する。そして、物体検出部１７２は、車両１１がこのまま合流車線に進入した場合に衝突又は接触する可能性がある物体が存在する場合、合流車線に障害物が存在すると判定し、処理はステップＳ１６に進む。

この障害物は、主に合流車線において車両１１が合流する位置に接近する接近車が想定される。例えば、図１１の例において、他の車両が車線２２１−１内を右側から車両１１が合流する位置に接近している場合、合流車線に障害物が存在すると判定され、処理はステップＳ１６に進む。

一方、ステップＳ１１において、合流車線以外の車線を横断すると判定された場合、処理はステップＳ１４に進む。

ステップＳ１４において、物体検出部１７２は、横断車線及び合流車線の監視を優先する。具体的には、物体検出部１７２は、横断車線及び合流車線を優先検出範囲とする検出処理、及び、他の車両を優先検出対象とする検出処理のうち少なくとも１つを開始する。

例えば、物体検出部１７２は、各フロントセンシングカメラ２１のセンシング画像のうち、横断車線又は合流車線の物体の検出処理に適したセンシング画像、例えば、画像内に横断車線又は合流車線を多く含む画像を優先的に用いて検出処理を行う。また、物体検出部１７２は、センサ部２８の各物体検出用センサのうち横断車線又は合流車線の物体検出処理に適したセンサ、例えば、検出距離の長いセンサ、横断車線又は合流車線を検出範囲に多く含むセンサ等のセンサデータを優先的に用いて検出処理を行う。或いは、物体検出部１７２は、センサ部２８の各物体検出用センサの中に検出範囲を変更可能なセンサがある場合、そのセンサの検出範囲を、横断車線及び合流車線を中心とする領域に変更する。これにより、横断車線及び合流車線が優先検出範囲に設定される。

また、例えば、物体検出部１７２は、画像認識において、他の車両を優先的に認識する対象に設定する。これにより、他の車両が優先検出対象に設定される。

その結果、例えば、図１２の例において、車両１１が車道２１２に所定の距離の範囲内に近づいたとき、横断車線である車線２２１−１及び２２１−２、並びに、合流車線である車線２２１−３の車両の検出が優先的に行われるようになる。

なお、横断車線及び合流車線のうち車両１１に接近する接近車が存在する可能性のある領域、すなわち、横断車線において車両１１が横断する位置より後方の領域、並びに、合流車線において車両１１が合流する位置より後方の領域を、特に優先的に物体の検出を行う範囲に設定することが望ましい。これにより、横断車線及び合流車線において車両１１が横断又は合流する位置に接近する接近車の検出処理が優先的に行われるようになる。

また、ステップＳ４及びＳ１２の処理と同様に、状況や設定等により、検出範囲が優先検出範囲に限定される場合と限定されない場合がある。同様に、状況や設定等により、検出対象が優先検出範対象に限定される場合と限定されない場合がある。

なお、ステップＳ９において歩道への進入が許可されてから、ステップＳ１２において合流車線の監視を優先するか、ステップＳ１４において横断車線及び合流車線の監視が優先するまでの間、優先的に監視する対象を定めてもよいし、定めなくてもよい。例えば、優先的に監視する対象を定める場合、車両１１が歩道に進入するまでは、歩道の監視を優先的に行い、車両１１が歩道に進入した後は、合流車線、又は、横断車線と合流車線の監視を優先的に行うようにしてもよい。或いは、ステップＳ１０において、車道までの距離が所定の範囲内であると判定されるまで、歩道の監視を優先する処理を継続してもよい。

ステップＳ１５において、物体検出部１７２は、横断車線又は合流車線に障害物が存在するか否かを判定する。例えば、物体検出部１７２は、横断車線及び合流車線、並びに、それらの近傍に存在する物体の位置、移動方向、及び、移動速度を検出する。そして、物体検出部１７２は、検出結果に基づいて、車両１１がこのまま横断車線又は合流車線に進入した場合に衝突又は接触する可能性がある物体が存在する場合、横断車線又は合流車線に障害物が存在すると判定し、処理はステップＳ１６に進む。

この障害物は、主に横断車線において車両１１が横断する位置に接近する接近車、及び、合流車線において車両１１が合流する位置に接近する接近車が想定される。例えば、図１２の例において、他の車両が車線２２１−１又は２２１−２内を右側から車両１１が横断する位置に接近している場合、或いは、他の車両が車線２２１−３内を左側から車両１１が合流する位置に接近している場合、横断車線又は合流車線に障害物が存在すると判定され、処理はステップＳ１６に進む。

ステップＳ１６において、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、警告音等により、運転者への警告を行う。例えば、車道に進入できない旨を通知したり、障害物に対する運転者の注意を喚起したりするための警告が行われる。

ステップＳ１７において、車両制御部１２１は、車道への進入を禁止する。例えば、ブレーキ制御部１１４は、制動装置３４を制御して、車両１１を停止させる。これにより、車両１１の車道への進入が制止され、車両１１が車道の障害物（例えば、他の車両等）に衝突又は接触することが防止される。また、アクセル制御部１１５は、エンジン３５や駆動用モータ３７を制御して、車両１１の発進を禁止する。

その後、処理はステップＳ１１に戻り、ステップＳ１３において、合流車線に障害物が存在しないと判定されるか、ステップＳ１５において、横断車線及び合流車線に障害物が存在しないと判定されるまで、ステップＳ１１乃至Ｓ１７の処理が繰り返し実行される。これにより、障害物が存在すると判定されている間、車両１１の車道への進入が禁止される。また、車両１１の車道への進入が禁止されている間に、車両１１が合流する方向が変更された場合、優先的に監視する領域が変更される。

一方、ステップＳ１３において、合流車線に障害物が存在しないと判定された場合、又は、ステップＳ１５において、横断車線及び合流車線に障害物が存在しないと判定された場合、処理はステップＳ１８に進む。

ステップＳ１８において、車両１１は、車道への進入を許可する。具体的には、ステップＳ１７において、車道への進入が禁止されている場合、アクセル制御部１１５は、エンジン３５や駆動用モータ３７を制御して、車両１１の発進の禁止を解除する。これにより、車両１１の車道への進入が許可される。

一方、車道への進入が禁止されていない場合、ステップＳ１８において、特に処理は行われない。

ステップＳ１９において、物体検出部１７２は、合流先の監視を優先する。ここで、合流先とは、合流車線において車両１１が合流する位置より前方の領域である。物体検出部１７２は、合流先の状況を優先的に検出する検出処理を開始する。

例えば、物体検出部１７２は、各フロントセンシングカメラ２１のセンシング画像のうち、合流先の監視に適したセンシング画像、例えば、画像内に合流先を多く含む画像を優先的に用いて監視を行う。また、物体検出部１７２は、センサ部２８の各物体検出用センサのうち合流先の物体検出処理に適したセンサ、例えば、検出距離の長いセンサ、合流先を検出範囲に多く含むセンサ等のセンサデータを優先的に用いて検出処理を行う。或いは、物体検出部１７２は、センサ部２８の各物体検出用センサの中に検出範囲を変更可能なセンサがある場合、そのセンサの検出範囲を、合流先を中心とする領域に変更する。これにより、合流先が優先検出範囲に設定される。

また、物体検出部１７２は、合流先に存在する可能性のある車両、歩行者、交通信号、横断法道等を優先検出対象に設定される。

これにより、合流先の状況の検出処理が優先的に行われるようになる。例えば、図１１の例において、車線２２１−１の車両１１が合流する位置より前方の車両、歩行者、交通信号、横断歩道等の検出処理が優先的に行われるようになる。また、例えば、図１２の例において、車線２２１−３の車両１１が合流する位置より前方の車両、歩行者、交通信号、横断歩道等の検出処理が優先的に行われるようになる。

ステップＳ２０において、物体検出部１７２は、合流先に駐車車両があるか否かを判定する。合流先に駐車車両があると判定された場合、処理はステップＳ２１に進む。

ステップＳ２１において、警告通知制御部１１２は、駐車車両ありの警告情報を生成する。

その後、処理はステップＳ２２に進む。

一方、ステップＳ２０において、合流先に駐車車両がないと判定された場合、ステップＳ２１の処理はスキップされ、処理はステップＳ２２に進む。

ステップＳ２２において、物体検出部１７２は、合流先が渋滞しているか否かを判定する。合流先が渋滞していると判定された場合、処理はステップＳ２３に進む。

ステップＳ２３において、警告通知制御部１１２は、渋滞ありの警告情報を生成する。

その後、処理はステップＳ２４に進む。

一方、ステップＳ２２において、合流先が渋滞していないと判定された場合、ステップＳ２３の処理はスキップされ、処理はステップＳ２４に進む。

ステップＳ２４において、物体検出部１７２は、合流先の横断歩道に歩行者等がいるか否かを判定する。物体検出部１７２は、合流先に横断歩道があり、かつ、横断歩道に歩行者等がいる場合、合流先の横断歩道に歩行者等がいると判定し、処理はステップＳ２５に進む。

ステップＳ２５において、警告通知制御部１１２は、歩行者等ありの警告情報を生成する。

その後、処理はステップＳ２６に進む。

一方、ステップＳ２４において、合流先の横断歩道に歩行者等がいないと判定された場合、又は、合流先に横断歩道がないと判定された場合、ステップＳ２５の処理はスキップされ、処理はステップＳ２６に進む。

ステップＳ２６において、物体検出部１７２は、合流先の交通信号が通行許可であるか否かを判定する。物体検出部１７２は、合流先に交通信号があり、かつ、交通信号が通行許可でない場合（例えば、交通信号が黄又は赤である場合）、合流先の交通信号が通行許可でないと判定し、処理はステップＳ２７に進む。

なお、合流先の交通信号を検出する際は、フロントカメラECU２２またはイメージセンサ８２の少なくともいずれか一方が、交通信号のフリッカ補正処理を実行することが望ましい。これにより、確実に交通信号の点灯状態を判定することができる。

ステップＳ２７において、警告通知制御部１１２は、交通信号が通行許可でない旨の警告情報を生成する。

その後、処理はステップＳ２８に進む。

一方、ステップＳ２６において、合流先の交通信号が通行許可であると判定された場合（例えば、合流先の交通信号が青である場合）、又は、合流先に交通信号がないと判定された場合、ステップＳ２７の処理はスキップされ、処理はステップＳ２８に進む。

ステップＳ２８において、警告通知制御部１１２は、警告情報があるか否かを判定する。警告通知制御部１１２は、ステップＳ２１、ステップＳ２３、ステップＳ２５、及び、ステップＳ２７の全ての処理をスキップした場合、警告情報がないと判定し、処理はステップＳ２９に進む。

ステップＳ２９において、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、効果音等により、合流可の案内を行う。例えば、運転者に合流車線への合流が可能である旨が通知される。

また、例えば、必要に応じて、車両１１を合流車線に合流させるための案内が提示される。例えば、車両１１を合流させるタイミング、速度、左折又は右折する方向等が、図１３の表示部２４において運転者に提示される。例えば、合流タイミングは、車両１１を合流車線に合流させるために発進させるのに適したタイミングまでの残り時間が、カウントダウン形式（例えば、３秒後、１秒後等）で提示される。或いは、合流タイミングは、”まもなく”、”すぐ”等の感覚的な表現で提示される。また、左折又は右折する方向として、例えば、推奨するステアリングホイールの回転角が提示される。これにより、運転技量が低い運転者でも、楽に車両１１を合流車線に合流させることができる。

なお、この発進タイミング、速度、左折又は右折する方向は、例えば、合流車線及び横断車線の幅、合流車線又は横断車線の接近車の速度、並びに、歩道と車道との間の段差等に基づいて設定される。さらに、この発進速度は、車速検出部４１において検出される加速度の微分（ジャーク）に基づいて、乗員の乗り心地を考慮した発進速度が設定されてもよい。

また、車両１１を合流車線に合流させるための案内の一部又は全部を、ステップＳ１８の処理の前後に提示するようにすることも可能である。

その後、運転支援処理は終了する。

一方、ステップＳ２８において、警告通知制御部１１２は、ステップＳ２１、ステップＳ２３、ステップＳ２５、及び、ステップＳ２７の少なくとも１つの処理において、警告情報を生成している場合、警告情報があると判定し、処理はステップＳ３０に進む

ステップＳ３０おいて、表示部２４及び音声出力部２５は、警告通知制御部１１２の制御の下に、表示画像、音声メッセージ、警告音等により、該当する警告を行う。例えば、合流先に駐車車両がある旨、合流先が渋滞している旨、合流先の横断歩道に歩行者がいる旨、又は、合流先の交通信号が通行許可でない旨を通知したり、運転者に注意を喚起したりするための警告が行われる。

また、例えば、ステップＳ２９の処理と同様に、車両１１を合流車線に合流させるための案内が提示される。

さらに、例えば、車両制御部１２１は、必要に応じて、危険要因を避けるように車両１１の走行を制御する。ここで、危険要因とは、例えば、合流先の駐車車両、合流先の渋滞車両、若しくは、合流先の横断歩道の歩行者への衝突や接触、又は、合流先の交通信号の無視等である。例えば、ブレーキ制御部１１４が、制動装置３４を制御して、車両１１を減速又は停止させたり、ステアリング制御部１１３が、ステアリング機構２７を制御して、車両１１の走行方向を制御したりすることにより、危険要因が回避される。

また、片側二車線以上の車道に合流する場合、警告通知制御部１１２は、表示部２４や音声出力部２５を制御して、渋滞している車線と異なる車線に合流するよう案内するようにしてもよい。例えば、図１１の例の場合、車線２２１−１が渋滞しており、車線２２１−２が渋滞していない場合、車線２２１−２に合流するように案内が行われる。また、図１２の例の場合、車線２２１−３が渋滞しており、車線２２１−４が渋滞していない場合、車線２２１−４に合流するように案内が行われる。

その後、運転支援処理は終了する。

なお、ステップＳ１９以降の処理は、車両１１が車道に進入する前又は進入した後のいずれのタイミングで行われてもよい。ただし、運転者の運転技能が低い場合には、ステップＳ２９又はＳ３０において、車両１１を車道に進入及び合流させるための案内を提示してから、車道に進入するようにすることが望ましい。

以上のようにして、車両が道路の外から道路に進入する場合の運転の支援が適切に行われる。その結果、運転者は、道路の外から道路内の所望の車線に車両１１を容易に合流させることができる。

＜＜２．変形例＞＞
以下、上述した本開示に係る技術の実施の形態の変形例について説明する。

＜２−１．物体検出処理に関する変形例＞
以上の説明では、車両１１と道路との間の距離に基づいて、物体の検出方法を変更する例を示した。具体的には、車両１１と歩道との間の距離が所定の範囲内である場合、歩道の歩行者等を優先的に検出する処理が行われ、車両１１と車道との間の距離が所定の範囲内である場合、車道（合流車線又は横断車線と合流車線）の他の車両を優先的に検出する処理が行われる例を示した。

一方、距離以外の車両１１と道路との位置関係に基づいて、物体の検出方法を変更するようにしてもよい。例えば、車両１１が進入する道路に歩道がある場合、車両１１が歩道に進入するまでは、車両１１と歩道との間の距離に関わらず、歩道の歩行者等を優先的に検出する処理が行われるようにしてもよい。そして、車両１１が歩道に進入した後は（車両１１と歩道との間の距離が０になった後は）、車両１１と車道との間の距離に関わらず、車道の他の車両を優先的に検出する処理が行われるようにしてもよい。

また、例えば、車両１１が進入する道路に歩道がない場合、車両１１が車道に進入するまで、車両１１と車道との間の距離に関わらず、車道の他の車両を優先的に検出する処理が行われるようにしてもよい。

さらに、以上の説明では、車両１１が他の車線を横断するか否かで、優先検出領域を変更する例を示したが、車両１１が他の車線を横断するか否かで、優先検出領域を変更しないようにしてもよい。例えば、車両１１が他の車線を横断するか否かに関わらず、車両１１が進入する車道の全ての車線を優先検出領域に設定するようにしてもよい。

また、例えば、センシング画像以外にも、必要に応じて、前方画像、後方画像、及び、側方画像等を用いて、物体検出処理を行うようにしてもよい。

さらに、例えば、本技術は、フロントセンシングカメラ２１又は物体検出用センサのいずれかを用いて物体検出処理を行う場合にも適用することができる。また、例えば、本技術は、複数のフロントセンシングカメラ２１を用いずに、１台のフロントセンシングカメラ２１を用いて物体検出処理を行う場合にも適用することができる。同様に、本技術は、複数の物体検出用センサを用いずに、１つの物体検出用センサを用いて物体検出処理を行う場合にも適用することができる。

＜２−２．運転支援に関する変形例＞
例えば、図１４に示されるように、歩道と車道の間に自転車道が設けられる場合がある。具体的には、図１４の道路３０１は、車両１１に近い方から、歩道３１１、自転車道３１２、車道３１３、自転車道３１４、及び、歩道３１５により構成される。車道３１３は、車線３２１−１乃至３２１−４の４車線からなる。

この場合、例えば、車両１１が歩道３１１に進入した後、自転車道３１２に進入する前に、自転車道の監視が優先的に行われる。例えば、自転車道を優先検出範囲とする検出処理、並びに、自転車及び自転車に準ずるものを優先検出対象とする検出処理のうち少なくとも１つが行われる。そして、自転車道に障害物が存在すると判定された場合、車両１１の自転車道への進入が禁止され、自転車道に障害物が存在しないと判定された場合、車両１１の自転車道への進入が許可される。

また、例えば、図１５に示されるように、駐車場等において、車道に合流するための出入口が２つ以上設けられている場合、より車道に合流しやすい出入口に誘導するようにしてもよい。

図１５の道路３５１は、車両１１に近い方から、歩道３６１、車道３６２、及び、歩道３６３により構成される。車道３６２は、車線３７１−１乃至３７１−４の４車線からなる。また、出入口３５２−１及び３５２−２が、歩道３６１側の道路３５１への出入口として設けられている。さらに、車線３７１−１又は３７１−２は、出入口３５２−２より左側において渋滞している。

例えば、車両１１が、車線３７１−１に合流する場合に出入口３５２−１から出ると、渋滞中の車両により車線３７１−１に合流することが難しくなる。一方、車両１１が、出入口３５２−２から出ると、渋滞中の車両がないため、出入口３５２−１から出た場合と比べて、車線３７１−２に合流しやすくなる。

そこで、例えば、物体検出部１７２が、出入口３５２−１及び３５２−２の位置、並びに、車線３７１−１及び３７１−２の渋滞状況を検出する。そして、警告通知制御部１１２は、検出結果に基づいて、表示部２４及び音声出力部２５を制御して、出入口３５２−２から出るように運転者を誘導するための案内等を提示する。

なお、上記の例以外にも、例えば、見通しの良い出入口、歩道において接近してくる歩行者等を検出しやすい出入口等に誘導するようにしてもよい。

また、合流車線や横断車線が渋滞している場合、運転技量の低い運転者にとって、渋滞中の車両の合間を縫って、合流車線に合流することは難しい。そこで、車両１１が、合流車線に合流するための案内を行うようにしてもよい。例えば、物体検出部１７２が、合流車線又は横断車線を走行中の車両の車間距離、車両の速度、及び、道を譲るために停止する車両等を検出する。そして、警告通知制御部１１２は、検出結果に基づいて、表示部２４及び音声出力部２５を制御して、渋滞中の車両の合間を縫って、合流車線に合流するタイミング等の案内を提示するようにしてもよい。

さらに、例えば、図１６に示されるように、道路に進入する前にガードレール等の障害物が存在する場合、障害物を避けて道路に進入するように運転者を誘導するようにしてもよい。

図１６の道路４０１は、車両１１に近い方から、歩道４１１、車道４１２、及び、歩道４１３により構成される。車道４１２は、車線４２１−１乃至４２１−４の４車線からなる。また、歩道４１１の外側にガードレール４０２が設置されており、車両１１は、ガードレール４０２の隙間４０２Ａから道路４０１に進入する必要がある。

この場合、例えば、物体検出部１７２は、ガードレール４０２の位置等を検出する。ステアリング制御部１１３は、車両１１の位置及び姿勢、並びに、ガードレール４０２の位置に基づいて、ステアリングを目一杯切った場合、ガードレール４０２に接触せずに、隙間４０２Ａから道路４０１に進入できるか否かを判定する。そして、ガードレール４０２に接触すると判定された場合、警告通知制御部１１２は、表示部２４や音声出力部２５を制御して、運転者に対して警告を行ったり、運転を支援するための案内を提示したりする。その後、車両１１がガードレール４０２に接触せずに、隙間４０２Ａから道路４０１に進入できる状態になったとき、警告通知制御部１１２は、表示部２４や音声出力部２５を制御して、道路４０１に進入することが可能である旨を通知する。

また、以上の説明では、車両１１が道路の外から道路に進入し、合流する場合の例を示したが、本技術は、例えば、図１７に示されるように、車両１１が道路を走行中に、交差点を左折又は右折して、交差する他の道路に合流する場合にも適用することができる。

図１７の例では、車両１１は、道路４５２を走行中である。そして、車両１１の前方には、道路４５２に対して垂直に道路４５１が交差している。道路４５１は、車両１１に近い方から、歩道４６１、車道４６２、及び、歩道４６３により構成される。車道４６２は、車線４７１−１乃至４７１−４の４車線からなる。道路４５１と道路４５２が接続する部分において、歩道４６１上に横断歩道４６４が表示されている。

この場合も、図１０及び図１１を参照して上述した処理により、車両１１の運転を支援することができる。すなわち、車両１１が横断歩道４６４（歩道４６１）に進入する前に、図１１又は図１２の歩道２１１に進入する前と同様の処理を行い、車両１１が車道４６１に進入する前に、図１１又は図１２の車道２１２に進入する前と同様の処理を行うようにすればよい。

さらに、運転者の運転技量に応じて、警告や案内等の提示の有無や内容を変更するようにしてもよい。例えば、運転技量の低い運転者のみに合流車線に合流するための案内を提示し、それ以外の運転者には、案内を提示しないようにしてもよい。

なお、運転者の運転技量は、上述したように学習部１１６が学習するようにしてもよいし、運転者が自ら設定するようにしてもよい。或いは、例えば、車両１１からサーバ（不図示）に運転者の運転操作の履歴等のデータを提供し、サーバにおいて運転者の運転技量を学習するようにしてもよい。さらに、車室内に設置された運転者認識用カメラを用いて、予め登録された運転者情報と運転者認識用カメラの撮像画像との比較を行い、運転者の運転技量を設定してもよい。

また、例えば、物体検出部１７２が、腕の動き等に基づいて交通整理を行う係員を検出するようにしてもよい。そして、係員が検出された場合には、上記の運転支援処理を停止し、物体検出部１７２が係員のジェスチャを認識し、車両制御部１２１は、認識したジェスチャによる指示に従って、車両１１の走行を制御するようにしてもよい。ジェスチャの認識については、種々のセンサまたはフロントカメラを用いることができるが、TOFセンサを用いることが最も望ましい。

さらに、例えば、フロントカメラECU２２の学習部１７３が、歩き方、表情、視線方向等に基づいて、各歩行者等が車両１１に道を譲るために停止するか否かを判別するための学習処理を行うようにしてもよい。そして、例えば、物体検出部１７２は、車両１１が歩道に進入する際に車両１１の方向に接近している歩行者等を検出した場合、学習結果に基づいて、その歩行者等が停止するか否か判定するようにしてもよい。そして、歩行者等が停止すると判定された場合、例えば、車両制御部１２１は、車両１１の歩道への進入を制止せずに、車両１１を歩道に進入させるようにしてもよい。また、その際、例えば、警告通知制御部１１２は、カーホーン（クラクション）を鳴らす等により、その歩行者に対して何らかの合図を送るようにしてもよい。さらに、警告通知制御部１１２は、検出された歩行者等が停止することが予想される旨等を運転者に通知するようにしてもよい。

＜２−３．その他の変形例＞
例えば、学習部１７３が、道路の構成を検出するための学習処理（例えば、車道と歩道とを識別するための学習処理）を行うようにしてもよい。そして、物体検出部１７２は、学習結果に基づいて、合流する道路の構成を検出するようにしてもよい。これにより、例えば、歩道と車道の境界が分かりにくい道路や、法令上の歩道が設けられていない車道において、実質的に歩行者等が通行する歩道を正確に検出することが可能になる。

なお、上記の学習処理は、必ずしも車両１１単独で行う必要はない。例えば、各車両からサーバ（不図示）にデータを提供し、サーバにおいて学習処理を行い、サーバから各車両に学習結果を提供するようにしてもよい。これにより、より多くのデータに基づいて学習処理を行うことができ、道路の構成の検出精度を向上させることができる。

＜２−４．適用例＞
本技術は、車両の動力源やエネルギー供給源に関わらず、各種の車両に適用することができる。例えば、本技術は、ガソリン車、ハイブリッド車、プラグインハイブリッド車、電気自動車、燃料電池車等に適用することができる。また、本技術は、一般的な自動車以外にも、バス、トラック、自動二輪車等の車道を走行する各種の車両に適用することができる。

また、本技術は、自律運転を行う車両（以下、自動運転車と称する）にも適用することができる。すなわち、自動運転車においても、上記の技術を適用することにより、障害物への衝突又は接触を避け、適切なタイミングで合流車線に合流することができる。なお、上記の技術を自動運転車に適用する場合、車両の発進や制動の制御が自動で行われるが、制動については運転者の操作による制御を優先させるように設定されていてもよい。

なお、自動運転車に本技術を適用する場合、搭乗者が、警告通知制御部１１２による案内等に従って、自動運転を開始するボタンを押下する等により、自動運転車を発進させるタイミング等を制御するようにしてもよい。

＜＜３．その他＞＞
＜３−１ コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、入力スイッチ、ボタン、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。また、複数のコンピュータが連携して上述した処理が行われるようにしてもよい。上述した処理を行う単数または複数のコンピュータから、コンピュータシステムが構成される。

なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

＜３−２．構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。

（１）
車両の前方を撮像する撮像部と、
前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と
を備え、
前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
撮像装置。
（２）
前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更する
前記（１）に記載の撮像装置。
（３）
前記物体検出部は、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行う
前記（２）に記載の撮像装置。
（４）
前記物体検出部は、前記車両が前記車道内の第１の車線に合流する場合、前記車両が前記車道に進入する前に、前記第１の車線において前記車両が合流する位置に接近する他の車両の検出処理を優先的に行う
前記（３）に記載の撮像装置。
（５）
前記物体検出部は、前記車両が前記第１の車線に合流する前に前記車道内の第２の車線を横断する場合、前記車両が前記車道に進入する前に、さらに前記第２の車線において前記車両が横断する位置に接近する他の車両の検出処理を優先的に行う
前記（４）に記載の撮像装置。
（６）
前記物体検出部は、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行う
前記（３）乃至（５）のいずれかに記載の撮像装置。
（７）
前記物体検出部は、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行う
前記（２）乃至（６）のいずれかに記載の撮像装置。
（８）
前記撮像部は、撮像範囲が異なる複数のカメラを備え、
前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更する
前記（１）乃至（７）のいずれかに記載の撮像装置。
（９）
前記物体検出部は、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更する
前記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）
車両の前方を撮像した撮像画像に基づいて物体検出処理を行う物体検出部を
備え、
前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
信号処理装置。
（１１）
車両の前方を撮像する撮像部と、
前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と、
前記物体検出部による物体の検出結果に基づいて、前記車両の制御を行う車両制御部と
を備え、
前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
車両制御システム。
（１２）
前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更する
前記（１１）に記載の車両制御システム。
（１３）
前記物体検出部は、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行い、
前記車両制御部は、前記車道において障害物が検出された場合、前記車両の前記車道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
前記（１２）に記載の車両制御システム。
（１４）
前記車両制御部は、前記車道において障害物が検出されない場合、前記車両を前記車道に合流させるための案内を提示するように前記車両を制御する
前記（１３）に記載の車両制御システム。
（１５）
前記車両制御部は、前記運転者の運転技量に基づいて前記案内の内容を変更する
前記（１４）に記載の車両制御システム。
（１６）
前記物体検出部は、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行い、
前記車両制御部は、前記合流先の状況に基づいて、前記車両の走行の制御、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
前記（１３）乃至（１５）のいずれかに記載の車両制御システム。
（１７）
前記物体検出部は、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行い、
前記車両制御部は、前記歩道において障害物が検出された場合、前記車両の前記歩道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
前記（１２）乃至（１６）のいずれかに記載の車両制御システム。
（１８）
前記撮像部は、撮像範囲が異なる複数のカメラを備え、
前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更する
前記（１１）乃至（１７）のいずれかに記載の車両制御システム。
（１９）
検出範囲が異なる複数の物体検出用センサを
さらに備え、
前記物体検出部は、さらに複数の前記物体検出用センサからのセンサデータに基づいて物体検出処理を行うとともに、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記物体検出用センサを変更する
前記（１１）乃至（１８）のいずれかに記載の車両制御システム。
（２０）
前記物体検出部は、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更する
前記（１１）乃至（１９）のいずれかに記載の車両制御システム。

１１ 車両， ２１ フロントセンシングカメラ， ２２ フロントカメラECU， ２３ 位置情報取得部， ２４ 表示部， ２５ 音声出力部， ２７ ステアリング機構， ２８ センサ部， ３１ 統合ECU， ３４ 制動装置， ３５ エンジン， ３７ 駆動用モータ， ５１ 運転制御ECU， ７１ フロントカメラモジュール， ８１，８１−１乃至８１−ｎ レンズ， ８２，８２−１乃至８２−ｎ イメージセンサ， １０１ 画像処理ECU， １１２ 警告通知制御部， １１３ ステアリング制御部， １１４ ブレーキ制御部， １１５ アクセル制御部， １１６ 学習部， １２１ 車両制御部， １７１ 画像処理部， １７２ 物体検出部， １７３ 学習部

Claims (20)

1. 車両の前方を撮像する撮像部と、
   前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と
   を備え、
   前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
   撮像装置。
2. 前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更する
   請求項１に記載の撮像装置。
3. 前記物体検出部は、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行う
   請求項２に記載の撮像装置。
4. 前記物体検出部は、前記車両が前記車道内の第１の車線に合流する場合、前記車両が前記車道に進入する前に、前記第１の車線において前記車両が合流する位置に接近する他の車両の検出処理を優先的に行う
   請求項３に記載の撮像装置。
5. 前記物体検出部は、前記車両が前記第１の車線に合流する前に前記車道内の第２の車線を横断する場合、前記車両が前記車道に進入する前に、さらに前記第２の車線において前記車両が横断する位置に接近する他の車両の検出処理を優先的に行う
   請求項４に記載の撮像装置。
6. 前記物体検出部は、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行う
   請求項３に記載の撮像装置。
7. 前記物体検出部は、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行う
   請求項２に記載の撮像装置。
8. 前記撮像部は、撮像範囲が異なる複数のカメラを備え、
   前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更する
   請求項１に記載の撮像装置。
9. 前記物体検出部は、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更する
   請求項１に記載の撮像装置。
10. 車両の前方を撮像した撮像画像に基づいて物体検出処理を行う物体検出部を
    備え、
    前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
    信号処理装置。
11. 車両の前方を撮像する撮像部と、
    前記撮像部により撮像された撮像画像に基づいて物体検出処理を行う物体検出部と、
    前記物体検出部による物体の検出結果に基づいて、前記車両の制御を行う車両制御部と
    を備え、
    前記物体検出部は、前記車両と前記車両が外から進入する道路との位置関係に基づいて、物体の検出方法を変更する
    車両制御システム。
12. 前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体の検出を行う優先検出範囲、及び、優先的に検出を行う優先検出対象のうち少なくとも１つを変更する
    請求項１１に記載の車両制御システム。
13. 前記物体検出部は、前記車両が前記道路内の車道に進入する前に、前記車道を前記優先検出範囲とする検出処理、及び、他の車両を前記優先検出対象とする検出処理のうち少なくとも１つを行い、
    前記車両制御部は、前記車道において障害物が検出された場合、前記車両の前記車道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
    請求項１２に記載の車両制御システム。
14. 前記車両制御部は、前記車道において障害物が検出されない場合、前記車両を前記車道に合流させるための案内を提示するように前記車両を制御する
    請求項１３に記載の車両制御システム。
15. 前記車両制御部は、前記運転者の運転技量に基づいて前記案内の内容を変更する
    請求項１４に記載の車両制御システム。
16. 前記物体検出部は、前記車道において障害物が検出されない場合、前記車両が前記車道に合流する合流先の状況の検出処理を優先的に行い、
    前記車両制御部は、前記合流先の状況に基づいて、前記車両の走行の制御、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
    請求項１３に記載の車両制御システム。
17. 前記物体検出部は、前記車両が前記道路内の歩道に進入する前に、前記歩道を前記優先検出範囲とする検出処理、及び、歩行者を前記優先検出対象とする検出処理のうち少なくとも１つを行い、
    前記車両制御部は、前記歩道において障害物が検出された場合、前記車両の前記歩道への進入の制止、及び、運転者への警告のうち少なくとも１つを行うように前記車両を制御する
    請求項１２に記載の車両制御システム。
18. 前記撮像部は、撮像範囲が異なる複数のカメラを備え、
    前記物体検出部は、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記カメラを変更する
    請求項１１に記載の車両制御システム。
19. 検出範囲が異なる複数の物体検出用センサを
    さらに備え、
    前記物体検出部は、さらに複数の前記物体検出用センサからのセンサデータに基づいて物体検出処理を行うとともに、前記車両と前記道路との位置関係に基づいて、優先的に物体検出処理に用いる前記物体検出用センサを変更する
    請求項１１に記載の車両制御システム。
20. 前記物体検出部は、前記車両と前記道路との間の距離に基づいて、物体の検出方法を変更する
    請求項１１に記載の車両制御システム。

Images