JP2022040533A - 車両の運転支援装置、車両の運転支援方法、およびプログラム - Google Patents

車両の運転支援装置、車両の運転支援方法、およびプログラム Download PDF

Info

Publication number
JP2022040533A
JP2022040533A JP2020145297A JP2020145297A JP2022040533A JP 2022040533 A JP2022040533 A JP 2022040533A JP 2020145297 A JP2020145297 A JP 2020145297A JP 2020145297 A JP2020145297 A JP 2020145297A JP 2022040533 A JP2022040533 A JP 2022040533A
Authority
JP
Japan
Prior art keywords
display object
specific display
driving support
control
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020145297A
Other languages
English (en)
Other versions
JP7384131B2 (ja
Inventor
健 松村
Takeshi Matsumura
宏晃 伊藤
Hiroaki Ito
洸祐 藤井
Kosuke Fujii
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020145297A priority Critical patent/JP7384131B2/ja
Priority to US17/378,260 priority patent/US20220063498A1/en
Priority to CN202110879760.4A priority patent/CN114103917A/zh
Publication of JP2022040533A publication Critical patent/JP2022040533A/ja
Application granted granted Critical
Publication of JP7384131B2 publication Critical patent/JP7384131B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/10Conjoint control of vehicle sub-units of different type or different function including control of change-speed gearings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/10Accelerator pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/3623Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】車外に存在する表示物を誤検出した場合に運転者が感じる煩わしさを低減することができる運転支援装置を提供する。【解決手段】車両の運転支援装置10は、車両100の前方に存在する表示物を検出するとともに検出した前記表示物の表示内容を認識する前方カメラ15および画像処理ECU13と、前方カメラ15および画像処理ECU13によって表示物が検出されると運転者を支援する運転支援制御を実行する運転支援ECU14とを有し、運転支援ECU14は、検出された表示物が過去に複数回にわたって検出されたものであり、検出回数に対する同じ表示内容であると判定された回数である認識結果の一致率が第一閾値X1以上である場合には、認識結果の一致率が前記第一閾値X1未満である場合に比較して運転支援制御の支援レベルを高くする。【選択図】図3

Description

本発明は車両の運転支援装置、車両の運転支援方法、およびプログラムに関する。
従来より、車外に存在する道路標識などの表示物を検出し、運転者に向けて検出した表示物の表示内容を示す表示を行う車両の運転支援装置が知られている。例えば、特許文献1には、車両の前方に存在する指定方向外進行禁止を示す特定の道路標識を検出するカメラと、カメラにより検出された特定の道路標識の指定方向と相違する方向へ車両が進行しているときに注意表示を行う表示装置および警報を発する警報装置と、を有する運転支援装置が開示されている。この運転支援装置によれば、検出した表示物の表示内容に応じた運転支援制御を提供できる。
特開2017-97681号公報
しかしながら、特許文献1に開示されている運転支援装置では、カメラにより道路標識を誤検出した場合、運転者が道路標識の表示内容に適合する運転操作を行っているにもかかわらず、表示装置が注意表示を実行し警報装置が警報を発する(警告音を発する)。したがって、カメラが道路標識を誤検出した場合には、運転者が表示装置による注意表示および警報装置による警告音を煩わしく感じるおそれがある。
本発明は、上述した課題に対応するためになされた。すなわち、本発明の目的の一つは、車外に存在する表示物を誤検出した場合(表示物の表示内容を誤認識した場合も含む)、または誤検出した可能性が高い場合において、運転者が感じる煩わしさを低減することができる運転支援装置、車両の運転支援方法、およびプログラムを提供することである。
上記課題を解決するため、本発明に係る車両の運転支援装置(10)は、車両(100)の前方の風景を撮影することにより画像データを生成するカメラセンサ(前方カメラ(15))と、生成された前記画像データに基づいて前記車両の前方に特定の表示物が存在していると判定した場合には、存在していると判定した前記特定の表示物の表示内容を認識し、前記車両の運転者による運転を支援するための制御であって前記特定の表示物の前記表示内容に応じた制御である運転支援制御を実行する制御ユニット(運転支援ECU(14))と、を有し、前記制御ユニット(運転支援ECU(14))は、「同一の前記特定の表示物が存在すると判定された回数」に対する「当該同一の前記特定の表示物の前記表示内容の認識結果が同じである回数」の割合である認識結果の一致率が第一閾値(X)未満であると判定した場合には、前記認識結果の一致率が前記第一閾値(X)以上であると判定した場合に比較して、前記運転者へ及ぼす影響度合いを表す支援レベルが低い制御を、前記運転支援制御として実行するように構成されている。
本発明の一側面において、車両の運転支援装置(10)は、前記特定の表示物に関する情報を前記運転者に報知する報知装置(表示装置(17)、音声出力装置(18))をさらに有し、前記制御ユニット(運転支援ECU(14))は、前記認識結果の一致率が前記第一閾値以上であると判定した場合、前記特定の表示物が存在すると判定されたことを前記報知装置(表示装置(17)、音声出力装置(18))により前記運転者に報知する報知制御と、前記車両(100)の走行状態を前記特定の表示物の前記表示内容に適合する状態に近づけるための車両制御である適合制御と、を含む制御を前記運転支援制御として実行し、前記認識結果の一致率が前記第一閾値未満であると判定した場合、前記報知制御を含むが前記適合制御を含まない制御を前記運転支援制御として実行するように構成されている。
本発明の一側面において、前記制御ユニット(運転支援ECU(14))は、当該同一の前記特定の表示物が存在すると判定された回数が前記所定回数以上であるが、前記認識結果の一致率が第二閾値(X)未満であると判定した場合には、当該同一の前記特定の表示物が存在すると判定された回数が前記所定回数以上であり、かつ、前記認識結果の一致率が前記第二閾値(X)以上であると判定した場合に比較して、前記支援レベルが低い制御を、前記運転支援制御として実行するように構成されている。
本発明の一側面において、車両の運転支援装置(10)は、前記特定の表示物に関する情報を前記運転者に報知する報知装置(表示装置(17)、音声出力装置(18))をさらに有し、前記制御ユニット(運転支援ECU(14))は、当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数以上であり、かつ、前記認識結果の一致率が前記第二閾値(X)以上である場合、前記特定の表示物が存在すると判定されたことを前記報知装置(表示装置(17)、音声出力装置(18))により前記運転者に報知する報知制御と、前記車両の走行状態を前記特定の表示物の前記表示内容に適合する状態に近づけるための車両制御である適合制御と、を含む制御を前記運転支援制御として実行し、当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数以上であるが、前記認識結果の一致率が前記第二閾値未満であると判定した場合、前記報知制御を含むが前記適合制御を含まない制御を前記運転支援制御として実行するように構成されている。
本発明の一側面において、前記制御ユニット(運転支援ECU(14))は、当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数未満である場合、前記認識結果の一致率が前記第一閾値以上である場合に比較して、前記支援レベルが低い制御を、前記運転支援制御として実行するように構成されている。
本発明の一側面において、前記制御ユニット(運転支援ECU(14))は、当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数未満である場合、前記報知制御を含むが前記適合制御を含まない制御を前記運転支援制御として実行するように構成されている。
本発明によれば、特定の表示物の表示内容の認識の精度に応じて運転支援制御の支援レベルを変更する(運転支援制御の内容を変更する)。具体的には、特定の表示物の表示内容の認識精度が低い場合(すなわち、特定の表示物の表示内容を誤認識している可能性が高い場合)には、認識精度が高い場合に比較して運転支援制御のレベルを低くする。このような構成であれば、特定の表示物の表示内容を誤認識した場合において、運転者が運転支援制御対して感じる煩わしさを低減できる。
本発明の一側面において、車両の運転支援装置(10)は、前記制御ユニット(運転支援ECU(14))により存在すると判定された前記特定の表示物の位置および前記表示内容の前記認識結果の履歴が登録されたデータベース(検出物DB(27))をさらに有し、前記制御ユニット(運転支援ECU(14))は、存在すると判定した前記特定の表示物の前記位置および前記表示内容の前記認識結果を前記データベース(検出物DB(27))に登録し、前記データベース(検出物DB(27))を参照して当該同一の前記特定の表示物についての前記認識結果の一致率を演算するように構成されている。
検出された表示物についての認識結果をデータベース(検出物DB(27))に登録していくことによりデータベースの精度の向上を図ることができる。さらに、運転支援装置(10)がデータベース(検出物DB(27))を有する構成であれば、データベース(検出物DB(27))を参照する際に通信費が発生しない。
本発明の一側面において、前記制御ユニット(運転支援ECU(14))は、当該同一の前記特定の表示物が存在すると判定した回数が所定回数以上であり、かつ、前記認識結果の一致率が第二閾値(X)以上である場合には、前記データベース(検出物DB(27))から、当該同一の前記特定の表示物についての前記認識結果を1つを残して削除するように構成されている。
本発明の一側面において、前記制御ユニット(運転支援ECU(14))は、所定の期間にわたって検出されない前記特定の表示物についての前記認識結果を前記データベース(検出物DB(27))から削除するように構成されている。
このような構成であれば、データベース(検出物DB(27))の容量を小さくできる。
本発明の一側面において、前記制御ユニット(運転支援ECU(14))は、前記画像データとあらかじめ用意されている前記特定の表示物の存在を判定するためのテンプレートとの類似度を演算し、前記類似度が検出閾値以上である場合に前記特定の表示物が存在すると判定し、前記類似度が前記検出閾値以上であるが前記検出閾値より高い値である精度閾値未満である場合、前記特定の表示物についての前記認識結果を前記データベース(検出物DB(27))に登録しないように構成されている。
このような構成であれば、データベースに登録されている認識結果の精度の低下を防止または抑制できる。
本発明の一側面において、前記制御ユニット(運転支援ECU(14))は、当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数以上であり、前記認識結果の一致率が前記第二閾値(X)以上であり、かつ、当該同一の前記特定の表示物についての類似度が所定の閾値以上である場合、前記データベース(検出物DB(27))から当該同一の前記特定の表示物についての前記認識結果を削除するように構成されている。
このような構成であれば、データベース(検出物DB(27))の容量を小さくできる。
本発明の車両の運転支援方法は、車両(100)の前方の風景を撮影することにより取得された前記画像データに基づいて前記車両(100)の前方に特定の表示物が存在しているか否かを判定するステップと、前記車両(100)の前方に前記特定の表示物が存在していると判定した場合には、存在していると判定した前記特定の表示物の表示内容を認識し、前記車両(100)の運転者による運転を支援するための制御であって前記特定の表示物の前記表示内容に応じた制御である運転支援制御を実行するステップと、を有する車両の運転支援方法であって、
前記車両(100)の前方に前記特定の表示物が存在していると判定した場合には、「同一の前記特定の表示物が存在すると判定された回数」に対する「当該同一の前記特定の表示物の前記表示内容の認識結果が同じである回数」の割合である認識結果の一致率が第一閾値未満であるか否かを判定するステップをさらに有し、前記認識結果の一致率が前記第一閾値未満であると判定した場合には、前記認識結果の一致率が前記第一閾値以上であると判定した場合に比較して、前記運転支援制御を実行するステップにおいて、前記運転者へ及ぼす影響度合いを表す支援レベルが低い制御を、前記運転支援制御として実行する。
本発明のプログラムは、車両の運転支援装置のコンピュータに、車両(100)の前方の風景を撮影することにより取得された前記画像データに基づいて前記車両(100)の前方に特定の表示物が存在しているか否かを判定するステップと、前記車両(100)の前方に前記特定の表示物が存在していると判定した場合には、存在していると判定した前記特定の表示物の表示内容を認識し、前記車両(100)の運転者による運転を支援するための制御であって前記特定の表示物の前記表示内容に応じた制御である運転支援制御を実行するステップと、を実行させるためのプログラムであって、前記車両(100)の前方に前記特定の表示物が存在していると判定した場合には、「同一の前記特定の表示物が存在すると判定された回数」に対する「当該同一の前記特定の表示物の前記表示内容の認識結果が同じである回数」の割合である認識結果の一致率が第一閾値未満であるか否かを判定するステップをさらに有し、前記認識結果の一致率が前記第一閾値未満であると判定した場合には、前記認識結果の一致率が前記第一閾値以上であると判定した場合に比較して、前記運転支援制御を実行するステップにおいて、前記運転者へ及ぼす影響度合いを表す支援レベルが低い制御を、前記運転支援制御として実行する。
本発明によれば、特定の表示物の表示内容を誤認識した場合において、運転者が運転支援制御対して感じる煩わしさを低減できる。
上記説明においては、本発明の理解を助けるために、後述する実施形態に対応する発明の構成に対し、その実施形態で用いた名称及び/又は符号を括弧書きで添えている。しかしながら、本発明の各構成要素は、前記名称及び/又は符号によって規定される実施形態に限定されない。
図1は、車両の構成を示す図である。 図2は、表示物のデータベース(検出物DB)の内容を示す図である。 図3は、運転支援制御開始ルーチンを示すフローチャートである。
以下、本発明の実施形態に係る車両の運転支援装置について説明する。以下の説明では、車両の運転支援装置を「支援装置」と略して記すことがある。支援装置は車両に搭載される。以下の各実施形態では、走行用の駆動力源としてエンジン(内燃機関)を有する車両に支援装置が搭載される形態を示すが、支援装置は走行用の駆動力源としてモータ(電動機)を有する車両(電動車両)、および、走行用の駆動力源としてエンジンおよびモータを有する車両(ハイブリッド車両)にも搭載可能である。また、支援装置の検出対象である特定の表示物には、道路脇および道路上方に設置された道路標識、電光掲示板、案内板、および路面に記載された文字、数字および記号が含まれる。さらに、特定の表示物には、表示内容が変化しない表示物、および表示内容が変化する表示物(例えば、動画を表示する表示物、および表示と非表示が切り替わる表示物など)も含まれる。
図1に示すように、車両100は、支援装置10、エンジンECU11、およびブレーキECU12を有している。支援装置10は、画像処理ECU13、運転支援ECU14、前方カメラ15、車速センサ16、表示装置17、音声出力装置18および位置検出装置19を有している。各ECUは、CPU、ROM及びRAMなどのメモリ24を有するコンピュータを有している。CPUは、所定のプログラム(ルーチン)を逐次実行することによってデータの読み込み、数値演算、及び演算結果の出力等を行う。ROMには、CPUが実行するプログラム及びルックアップテーブル(マップ)等があらかじめ登録されている。RAMは、データを一時的に記憶することができる。これらのECUは、CAN(Controller Area Network)を介して互いにデータ通信可能(データ交換可能)である。このほか、車両100は、駆動力源であるエンジン20、エンジン20を制御するエンジンアクチュエータ21、エンジン20の駆動力を調節して駆動輪に伝達するトランスミッション22(変速機)、各車輪に制動力を付与するブレーキアクチュエータ23を有している。
エンジンECU11は、アクセルペダルセンサ24、エンジンアクチュエータ21、及びトランスミッション22に接続されている。アクセルペダルセンサ24は、アクセルペダルの操作量(踏み込み量)を逐次検出できるように構成されている。アクセルペダルは、エンジン20が発生する力を調整することにより車両100の駆動力を変更するために運転者によって操作される。エンジンECU11は、アクセルペダルセンサ24によるアクセルペダルの操作量の検出結果を逐次取得し、取得したこれらの検出結果に応じた駆動力が車両100の駆動輪に伝達されるように、エンジン20およびトランスミッション22を制御する。さらに、エンジンECU11は、運転支援ECU14から送信される指令に基づいてエンジン20およびトランスミッション22を制御する。さらに、エンジンECU11は、運転支援ECU14からの駆動力変更指令を受信した場合、その駆動力変更指令に応じてエンジン20およびトランスミッション22を制御することにより、駆動輪に伝達される駆動力を増減させることができる。すなわち、エンジンECU11は、駆動力変更指令に応じて車両100の速度を増減させることができる。
ブレーキECU12は、ブレーキアクチュエータ23に接続されている。ブレーキアクチュエータ23は、車輪のそれぞれに設けられた摩擦ブレーキ機構の作動油の油圧を調整して、その油圧に応じた摩擦制動力を車輪のそれぞれに付与する。ブレーキECU12は、ブレーキペダルセンサ26によって検出されたブレーキペダルの操作量に基いて運転者要求減速度を決定し、車両100が運転者要求減速度にて減速するようにブレーキアクチュエータ23を制御する。更に、ブレーキECU12は、運転支援ECU14からブレーキ指令を受信した場合、そのブレーキ指令に含まれる要求減速度にて車両100が減速するようにブレーキアクチュエータ23の作動を制御する。即ち、ブレーキECU12はブレーキ指令に応じてブレーキアクチュエータ23を駆動することにより、車両に加わる制動力(以下、「車両制動力」という。)を調整して車両100の速度を低下させることができる。
前方カメラ15は、車両100の前方の所定の範囲の風景を逐次(例えば100msec周期で)撮影し、撮影した画像のデータ(画像データ)を生成し、生成した画像データを画像処理ECU13に逐次送信する。なお、本実施形態における「前方」には、車両100の正面方向のみならず前方斜め上側および下側、前方斜め右側および左側も含まれる。前方カメラ15は車室内のルームミラー付近に設置されたいる。ただし、前方カメラ15の設置位置は特に限定されるものではなく、例えば、フロントバンパの中央部およびサイドミラーの前方部などの「車両100の車室外の所定位置」であってもよい。
画像処理ECU13は、前方カメラ15から逐次送信される画像データに対して従来公知の画像認識処理を行うことにより、検出対象として予め設定されている特定の表示物が車両100の前方に存在するか否かを判定する。換言すると、画像処理ECU13は、車両100の前方に存在する特定の表示物を検出する。画像認識処理には、パターンマッチングやハフ(Hough)変換等の公知の方法が適用できる。具体的には、画像処理ECU13は、前方カメラ15から取得した画像データに対してエッジ検出などの公知の画像処理を行い、画像に含まれている全ての物体の輪郭を抽出する。そして、画像処理を施した画像データに対して、特定の表示物が存在するか否かを判定するために特定の表示物の種類ごとにあらかじめ用意されている複数のテンプレートを用いてパターンマッチング処理を行うことによって、検出対象に設定されている特定の表示物が車両100の前方に存在するか否かを判定する。
より具体的には、画像処理ECU13は、前方カメラ15により生成された画像データと複数のテンプレートとの類似度(SSD(Sum of Squared Difference)またはSAD(Sum of Absolute Difference)を演算する。そして、画像処理ECU13は、類似度が所定の閾値(以下、「検出閾値」と記す)以上であり、かつ、類似度の値が最も高いテンプレートに対応する特定の表示物が検出されたと判定する(正確には、テンプレートに対応する特定の表示物が撮影した画像に含まれていると判定する)。
そして、画像処理ECU13は、検出対象である特定の表示物が存在すると判定した場合には、その表示内容を認識する。特に、特定の表示物が最高速度を示す道路標識である場合には、当該特定の表示物が示す最高速度を認識する。例えば、テンプレートには特定の表示物の表示内容が紐づけられている。そして、画像処理ECU13は、存在すると判定した特定の表示物に対応するテンプレートを認識することにより、検出された特定の表示物の内容を認識できる。
表示装置17は、運転支援ECU14からの表示指令に基づいて画像(図形、文字および記号を含む)を表示するように構成されている。そして、表示装置17が画像を表示することにより、運転者に対して各種の情報を提供できる。特に、表示装置17は、存在すると判定された特定の表示物の表示内容を示す画像を表示することにより、特定の表示物が車両100の前方に存在すると判定されたこと(換言すると特定の表示物の存在)および特定の表示物の表示内容、すなわち特定の表示物に関する情報を運転者に報知できる。表示装置17は、例えば液晶ディスプレイを有しており、運転者が特定の表示物の表示内容を視認可能な位置(例えば車室内のセンターコンソール)に配置されている。表示装置17は、例えば二次元画像をフルカラー表示可能であり、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイ等を用いて構成することができる。本実施形態において表示装置17は、インストゥルメントパネルの車幅方向中央付近に配置されるセンターディスプレイである。ただし、表示装置17はセンターディスプレイに限定されるものではない。
音声出力装置18は、運転支援ECU14からの発音指令に基づいて音声を出力できるように構成されている。具体的には、音声出力装置18はアンプ(増幅器)およびスピーカ(拡声器)を有している。音声出力装置18は、特定の表示物が存在すると判定された場合に所定の音声を発することで、当該特定の表示物に関する情報を運転者に報知できる。
車速センサ16は、車両100の速度を逐次検出し、検出した車両100の速度を表す信号を逐次出力するように構成されている。車速センサ16は、車両100の速度(即ち、車速)に応じて変化する信号を出力するように構成されている。運転支援ECU14は、車速センサ16からの信号に基づいて車速を取得するようになっている。車速センサ16は、車両100が備える4つの車輪毎に設けられた車輪速センサであってもよい。
運転支援ECU14は、画像処理ECU13により特定の表示物が存在すると判定された場合に、運転者による車両100の運転を支援するための制御であって、当該特定の表示物の表示内容に応じた制御である運転支援制御を実行する。運転支援制御には、特定の表示物が存在すると判定されたこと及び当該特定の表示物の内容を運転者に報知(警告)する制御(以下、「報知制御」と記す)、及び車両100を当該特定の表示物の表示内容に適合した走行状態に近づけるような制御(以下、「適合制御」と記す)が含まれる。
報知制御には、存在すると判定された特定の表示物の表示内容を示す画像を表示装置17に表示させる制御、および、音声出力装置18に所定の音声(警告音、および音声アナウンスなど)を出力させる制御が含まれる。例えば、最高速度を示す特定の表示物(例えば道路標識)が存在すると判定された場合には、当該特定の表示物に示されている最高速度を表示装置17に表示させるとともに、音声出力装置18に警告音を発生させる。報知制御によれば、特定の表示物が存在すると判定されたこと、および存在すると判定された表示物の表示内容を運転者に報知できる。そしてこれにより、運転者に対し「車両100の走行状態を特定の表示物の表示内容に適合する走行状態に近づけるような運転操作」を実行するように促すことができる。
適合制御は、車両100の走行状態を当該特定の表示物の表示内容に適合した走行状態に近づけるか又は当該表示内容に適合した走行状態に一致させるための車両制御である。例えば、特定の表示物が最高速度を示す道路標識(規制標識)であり、車両100の速度が特定の表示物に表示される最高速度よりも高い場合に、車両駆動力及び/又は車両制動力を調整することにより、車両100を自動的に減速させる制御である。
さらに、運転支援ECU14は支援レベルの異なる運転支援制御を実行できる。支援レベルは、運転者の運転操作への介入の程度(車両100の走行状態に及ぼす影響度合いの強さ)である。運転操作への介入の程度が高いほど支援レベルが高い。例えば、運転支援制御が報知制御である場合には、支援レベルは、運転者が報知(警告)を認識しやすいほど高い。
具体的には、支援レベルは、表示装置17に画像を表示させる動作においては、静止画を表示させる動作に比較して動画(画像の点滅および画像の拡大縮小も含む)を表示させる処理の方が高い。また、支援レベルは、表示装置17に動画を表示させる動作であっても、画像の動きが速いまたは動きが大きい(点滅速度および拡大縮小速度が速い)方が高い。また、支援レベルは、報知制御が音声出力装置18に警告音を発生させる動作である場合には、警告音の音量が大きくなるにしたがって高くなる。さらに、運転支援制御が報知制御である場合には、支援レベルは、表示装置17に画像を表示させる処理と音声出力装置18に警告音を発生させる動作のいずれか一方である場合よりも、両者の組み合わせの方が高い。運転支援制御が適合制御である場合には、支援レベルは、制御量が大きいほど高い。例えば、車両100を減速する場合には、減速幅が大きいほど支援レベルが高い。さらに、支援レベルは、報知制御単独よりも、報知制御と適合制御との組み合わせの方が高い。このように、支援レベルが互いに異なる場合には、運転支援制御の内容が互いに異なる。
そして、運転支援ECU14(支援装置10)は、第一レベルの運転支援制御、第二レベルの運転支援制御及び第三レベルの運転支援制御を状況に応じて実行する。この三つの運転支援制御のうち、第一レベルの運転支援制御が運転者の運転操作への介入の程度が最も低く、第三レベルの運転支援制御が運転者の運転操作への介入の程度が最も高く、第二レベルの運転支援制御の運転操作への介入程度は、第一レベルの運転支援制御の運転操作への介入程度と第二レベルの運転支援制御の運転操作への介入程度との間である。
より具体的に述べると、運転支援ECU14は、第一レベルの運転支援制御として、特定の表示物の内容を表示装置17に表示させる報知制御を実行する。運転支援ECU14は、第二レベルの運転支援制御として、当該特定の表示物の内容を表示装置17に表示させ且つ音声出力装置18に警告音を出力させる報知制御を実行する。運転支援ECU14は、第三レベルの運転支援制御として、当該特定の表示物の内容を表示装置17に表示させ且つ音声出力装置18に警告音を出力させる報知制御を実行するとともに、車両100を減速させる適合制御の実行を許容する。すなわち、本実施形態では、最も低い第一レベルとその次に低い第二レベルでは報知制御のみが実行され、最も高い第三レベルでは報知制御の実行に加えて適合制御の実行が許容される。このように、第一レベルと第二レベルと第三レベルとでは、運転支援制御の内容が互いに異なる。
そして、本実施形態では、運転支援ECU14は、存在すると判定された特定の表示物についてのこれまでの認識結果の一致率(すなわち、同一の特定の表示物についての認識結果の一致率)に応じて運転支援制御の支援レベル(運転支援制御の内容)を変更する。すなわち、特定の表示物の汚損、光線の状態、および天候(降雨、降雪および積雪)などの要因により、画像処理ECU13が特定の表示物の表示内容を誤認識することがある。このため、同一の特定の表示物であれば毎回同じ認識結果になるはずであるが、前述の要因によって認識結果が異なる(すなわち、誤認識する)ことがある。そして、画像処理ECU13が特定の表示物の表示内容を誤認識した場合には、運転支援ECU14は、誤認識された表示内容に基づいて運転支援制御を実行する。例えば、運転支援ECU14は、最高速度を示す特定の表示物の表示内容(すなわち最高速度)を誤認識した場合、誤認識した最高速度を表示装置17に表示させるとともに音声出力装置18に警告音を発生させる。さらに、運転支援ECU14は、車速センサ16により検出される車両100の速度が誤認識した最高速度より高い場合には、車両100を減速させる制御を実行することがある。このため、車両100の速度が特定の表示物に示される最高速度以下であるにもかかわらず、誤認識によって特定の表示物の表示内容に適合しない運転支援制御が実行されることがある。その結果、運転者は運転支援制御を煩わしく感じるおそれがある。
そこで、本実施形態では、特定の表示物の表示内容を誤認識した可能性が高いと判定される場合には、当該特定の表示物の表示内容を正しく認識したと判定される場合に比較して、運転支援制御の支援レベルを低くする。具体的には、運転支援ECU14は、同一の特定の表示物が検出された場合に、当該同一の特定の表示物の過去の認識結果を参照し、当該同一の特定の表示物の認識結果の一致率を算出する。「認識結果の一致率」は、

(認識結果の一致率)=(当該同一の特定の表示物の表示内容の認識結果が同じである回数)/(当該同一の特定の表示物が存在すると判定された回数(換言すると、当該同一の特定の表示物の検出回数))

で示される。なお、上記式における「当該同一の特定の表示物が存在すると判定された回数」は2以上(すなわち複数)である。すなわち、同一の特定の表示物は、複数回にわたって検出された場合に認識結果の一致率が高いほど正しく認識されやすく、認識結果の一致率が低いほど誤認識されやすい傾向を有する。そこで、当該同一の特定の表示物が複数回にわたって存在すると判定され、かつ、当該同一の特定の表示物についての認識結果の一致率が所定の閾値以上である場合には、当該特定の同一の表示物の表示内容を正しく認識できており、認識結果の一致率が所定の閾値(第一閾値X)未満である場合には、当該同一の特定の表示物の表示内容を誤認識している可能性が高いとみなす。そして、認識結果の一致率が所定の閾値未満である場合には、所定の閾値以上である場合に比較して、運転支援制御の支援レベルを低くする。
なお、最高速度を示す特定の表示物が検出された場合には、誤認識によって互いに異なる最高速度が認識されることがあり、その場合には、互いに異なる最高速度ごとに(認識結果の一致率)が存在することになる。例えば、80km/hの最高速度を示す1つの特定の表示物を10回検出した場合において、10回のうちの8回において80km/hと認識し、2回において60km/hと認識すれば、当該同一の特定の表示物の認識結果の一致率は80km/hについては0.8であり、60km/hについては0.2である。このような場合には、「認識結果の一致率」が最も高い最高速度についての当該認識結果の一致率を、当該同一の特定の表示物の「認識結果の一致率」として扱う。前記の例では、高い方の値である「0.8」を当該同一の特定の表示物の認識結果の一致率とし、当該表示物が示す最高速度は80km/hであると判定する。
このような運転支援制御を実現するため、運転支援ECU14のメモリ24には、図2に示すような検出物DB27(データベース)が、コンピュータで読み取り可能な形式で格納されている。この検出物DB27における「緯度」および「経度」の項には、存在すると判定された特定の表示物の位置(経度および緯度)が登録されている。「高精度フラグ」の項には、各特定の表示物についての「正しく認識されやすいか」を示す値が登録されている。すなわち、「高精度フラグ」の項の値は、正しく認識されやすい場合には“ON”に設定され、誤認識されやすい場合には“OFF”が設定される。なお、高精度フラグの初期値は「OFF」に設定される。すなわち、初めて存在すると判定された特定の表示物(存在すると判定された回数が1回の特定の表示物)についての高精度フラグは「OFF」である。「履歴」の項には、特定の表示物の表示内容の認識結果が登録されている。図2に示す例では、特定の表示物が最高速度を示す道路標識(規制標識)である例を示しており、この場合には履歴の項には、最高速度の認識結果が登録される。なお、図2においては、過去5回分の認識結果が登録される構成を示すが、検出物DB27に登録される認識結果の回数は5回に限定されない。「最終更新日」の項には、各表示物についての高精度フラグのONとOFFの変更、または「履歴」の項の内容に変更があった最終の日付が登録されている。
運転支援ECU14は、画像処理ECU13により特定の表示物が検出されると、当該検出された特定の表示物についての過去の認識履歴が存在するか検索する。そして、運転支援ECU14は、当該検出された特定の表示物についての認識履歴が存在する場合には、検出した当該特定の表示物(すなわち、同一の特定の表示物)についての今回および過去の複数回にわたる表示内容の認識結果の一致率が第一閾値X以上であるか否かを判定する。第一閾値X以上である場合には、当該同一の特定の表示物の表示内容を正確に認識している可能性が高いとみなすことができる。一方、認識結果の一致率が第一閾値X未満である場合には、当該同一の特定の表示物の表示内容を誤認識している可能性があるとみなすことができる。そこで、運転支援ECU14は、認識結果の一致率が第一閾値X未満である場合には、認識結果の一致率が第一閾値X以上である場合に比較して、低い支援レベルの運転支援制御を実行する。このような構成であれば、特定の表示物の表示内容を誤認識した場合に、おいて、運転者が運転支援制御に対して感じる煩わしさを低減できる。なお、第一閾値Xの具体的な値は特に限定されるものではなく、適宜設定可能である。
なお、運転支援ECU14は、検出された特定の表示物と検出物DB27に登録されている表示物との同一性の判定に、位置検出装置19により検出された車両100の位置と検出物DB27の位置の項の値とを用いる。具体的には、画像処理ECU13により特定の表示物が存在すると判定されたタイミングにおいて、位置検出装置19により検出された車両100の位置と同じ位置の表示物の履歴が検出物DB27に登録されている場合には、運転支援ECU14は、「画像処理ECU13により存在すると判定された特定の表示物」は検出物DBに登録されている位置が同じ検出物と同一物であると判定する。ただし、GPSの誤差を考慮し、位置検出装置19により検出された車両100の位置と一致する位置の表示物の履歴が存在しない場合には、位置検出装置19により検出された車両100の位置に最も近く、かつ、位置検出装置19により検出された車両100の位置から所定の距離以下である表示物を、当該存在すると判定された特定の表示物と同一の表示物であると判定する。
そして、運転支援ECU14は、特定の表示物が存在すると判定され、当該特定の表示物の表示内容の認識結果を画像処理ECU13から取得するごとに、検出物DB27における当該表示物の「履歴」の項の値を更新する。ただし、更新することによって検出物DB27の精度が低くなるおそれがある場合には、運転支援ECU14は、運転支援制御を実行するが検出物DB27の更新を行わない。または、運転支援ECU14は、検出物DB27を更新する(具体的には、存在すると判定された特定の表示物についての各項の値を検出物DB27に追記する)が、最終更新日は変更しない。
例えば、画像処理ECU13により特定の表示物が存在すると判定された場合において、位置検出装置19により検出された車両100の位置と検出物DB27に登録されている位置との距離が大きくなるにしたがって、存在すると判定された特定の表示物と検出物DB27に登録されている表示物とが同一である確率が低くなる。そこで、前記「所定の距離」よりも小さい「別の所定の距離」を設定しておき、「位置検出装置19により検出された車両100の位置」から「検出物DB27に登録されている表示物の位置」までの距離が前記「別の所定の距離」以上前記「所定の距離」以下である場合には、存在すると判定された特定の表示物と検出物DB27に登録されている表示物とが互いに異なる表示物である可能性があるとみなす。そしてこの場合には、運転支援ECU14は、運転支援制御を実行するが、検出物DB27の更新は実行しない。
また、特定の表示物が存在するか否かの判定にパターンマッチングを使用する場合には、画像処理ECU13は、テンプレートと撮影された画像との類似度を算出し、類似度が検出閾値以上である場合に、特定の表示物が存在すると判定する。この場合、検出閾値よりも高い値の精度閾値を設定しておき、類似度が前記検出閾値以上で前記精度閾値未満である場合には特定の表示物の表示内容の認識の精度が低いとみなす。そこでこの場合には、画像処理ECU13は、当該特定の表示物についての履歴を更新しない。
なお、同一の特定の表示物についての過去に存在すると判定された回数が少ないと、当該同一の特定の表示物についての認識結果の一致率の信頼性が低くなる。そこで、運転支援ECU14は、同一の特定の表示物が存在すると判定された場合には当該同一の特定の表示物についての今回を含めたこれまでの「同一の特定の表示物が存在すると判定された回数」を判定する。なお、この「同一の特定の表示物が存在すると判定された回数」は、今回の判定を含めた回数である。以下、この回数を「検出回数」と記す。そして、同一の特定の表示物についてのこれまでの検出回数が所定回数以上であるが、当該同一の特定の表示物についてのこれまでの認識結果の一致率(今回の認識結果を含めて計算された認識結果の一致率)が第二閾値X未満である場合には、当該同一の特定の表示物についてのこれまでの検出回数が所定回数以上であり、かつ、当該同一の特定の表示物についてのこれまでの認識結果の一致率が第二閾値X以上である場合に比較して、運転支援制御の支援レベルを低くする。すなわち、これまでの検出回数が所定回数以上であれば、これまでの認識結果の一致率の信頼性が高いとみなすことができ、これまでの検出回数が所定回数未満であればこれまでの認識結果の一致率の信頼性が低いとみなすことができる。
そして、これまでの検出回数が所定回数以上である場合にこれまでの認識結果の一致率を判定することによって、当該同一の特定の表示物の表示内容を正しく認識している可能性が高いとみなせる場合には、当該同一の特定の表示物の表示内容に即した運転支援制御を提供できる。なお、第二閾値Xは第一閾値Xよりも高い値である。ただし、第二閾値Xの具体的な値は限定されるものではなく、適宜設定される。同様に、前記「所定回数」の具体的な値も限定されるものではなく、適宜設定される。
そして、同一の特定の表示物についてのこれまでの検出回数が所定回数以上であるが、当該同一の特定の表示物についてのこれまでの認識結果の一致率が第二閾値X未満である場合には、それ以外の場合に比較して、当該同一の特定の表示物は誤検出しやすい傾向が高いとみなせる。そこで、この場合には、誤認識している可能性があるとみなし、「検出回数が所定回数未満である」場合、および、「検出回数が所定回数以上であり、かつ、過去の認識結果の一致率が第二閾値X以上である」場合に比較して、運転支援制御の支援レベルを低くする。具体的には、運転支援ECU14は、運転支援制御の支援レベルを、最も低い第一レベルに設定する。
当該同一の特定の表示物のこれまでの検出回数が所定回数未満である場合には、前記のとおりこれまでの認識結果の一致率の信頼性は低いとみなせる。そこで、この場合には、運転支援ECU14は、当該同一の特定の表示物についてのこれまでの検出回数が所定回数以上であり、かつ、当該特定の表示物についてのこれまでの認識結果の一致率が第二閾値X以上である場合に比較して、運転支援制御のレベルを低くする。本実施形態では、この場合の運転支援制御の支援レベルを第二レベルに設定する。すなわち、運転支援ECU14は、当該同一の特定の表示物についてのこれまでの検出回数が所定回数以上であり、かつ、当該同一の特定の表示物についてのこれまでの認識結果の一致率が第二閾値X以上である場合の第三レベルよりも低く、当該同一の特定の表示物についてのこれまでの検出回数が所定回数以上であるが、当該同一の特定の表示物についてのこれまでの認識結果の一致率が第二閾値X未満である場合の第一レベルよりも高く設定する。
さらに、本実施形態では、運転支援ECU14は、高精度フラグがONであるかOFFであるかに応じて運転支援制御の支援レベルを変更する。具体的には、上記のとおり、ある同一の特定の表示物についてのこれまでの検出回数が所定回数以上であり、かつ、これまでの認識結果の一致率が第二閾値X以上である場合には、運転支援ECU14は、当該同一の特定の表示物の高精度フラグをONにする。一方、ある同一の特定の表示物についてこれまでの検出回数が所定回数以上であるが、当該同一の特定の表示物についてのこれまでの認識結果の一致率が第一閾値X未満である場合には、運転支援ECU14は、当該同一の特定の表示物の高精度フラグをOFFにする。そして、運転支援ECU14は、高精度フラグがONである場合には、OFFである場合に比較して、運転支援制御の支援レベルを高くする。具体的には、運転支援ECU14は、高精度フラグがONである場合には運転支援制御の支援レベルを第三レベルに設定し、高精度フラグがOFFである場合には運転支援制御の支援レベルを第一レベルまたは第二レベルに設定する。なお、これまでの検出回数が所定回数未満である場合には、当該同一の特定の表示物についてのこれまでの認識結果の一致率が「正しく認識されやすいか」を示す指標として有意とみなすことができない。そこで、運転支援ECU14は、これまでの検出回数が所定回数未満である特定の表示物については、高精度フラグをOFFに設定する。また、運転支援ECU14は、高精度フラグの初期値をOFFに設定する。
したがって、運転支援ECU14は、同一の特定の表示物について、高精度フラグがOFFである場合に、これまでの検出回数が所定回数以上であり、かつこれまでの認識結果の一致率が第二閾値X以上である場合には、当該同一の特定の表示物についての高精度フラグをOFFからONに変更する。そして、運転支援ECU14は、高精度フラグがONになった後は、認識結果の一致率が第一閾値X未満に低下しなければ、高精度フラグをONに維持する。そして、運転支援ECU14は、高精度フラグがONである間に当該同一の特定の表示物が検出された場合には、高精度フラグがOFFである場合に比較して運転支援制御の支援レベルを高くする。本実施形態では、運転支援ECU14は、最も支援レベルが高い運転支援制御を実行する。
ところで、運転支援ECU14が検出物DB27を有する構成では、存在すると判定した特定の表示物の数、および存在すると判定した回数(すなわち検出回数)が多くなるにしたがって、検出物DB27のサイズが大きくなる。そしてその結果、検出物DBを格納するために必要なメモリ24の使用量が多くなる。運転支援ECU14が検出物DB27を有する場合、すなわち、車両100が検出物DB27を有する場合には、車外の設備(例えばデータセンタ)のメモリ24に検出物DB27が登録される構成と比較して、メモリ24の容量の制限が大きいため、検出物DB27のサイズは小さいことが好ましい。
そこで、運転支援ECU14は、高精度フラグがONである特定の表示物の履歴を1つに統合し、残りの履歴を削除する。図2の「識別ID」が「2」である表示物は、履歴が1つに統合された状態を示す。具体的には、運転支援ECU14は、これまでの検出回数が所定回数以上であり、これまでの認識結果の一致率が第二閾値X以上である特定の表示物の認識履歴を、認識結果が正しい1つの履歴(認識結果の一致率が所定の閾値以上である値)を残して削除する。これにより、検出物DB27を用いた認識結果の高さを維持しつつ、運転支援ECU14のメモリ24の使用量を削減できる。
なお、運転支援ECU14は、高精度フラグがONであることに代え、「同一の特定の表示物のこれまでの検出回数が所定回数以上であり、かつ、これまでの認識結果の一致率が第二閾値X以上である」場合に、当該同一の特定の表示物のこれまでの認識結果の履歴を削除して1つに統合してもよい。すなわち、同一の特定の表示物の表示内容の認識結果は毎回同じ認識結果になるはずであるであるため、当該同一の特定の表示物のこれまでの検出回数が所定回数以上(少なくとも複数回)であり、かつ、これまでの認識結果の一致率が第二閾値X以上であれば、当該同一の特定の表示物の表示内容を正確に認識できているとみなせる。そこで、運転支援ECU14は、このような特定の表示物についての高精度フラグをONに設定し、認識の履歴を、1つを残して削除する。これにより、検出物DB27を用いた判定結果の正確さを維持しながら、検出物DB27のサイズの削減を図ることができる。なお、ここでは、同一の特定の表示物のこれまでの認識結果の履歴を削除して1つに統合する条件の判定に第二閾値Xを用いるが、第一閾値Xを用いてもよい。さらに、第一閾値Xおよび第二閾値Xとは別の閾値を用いてもよい。
さらに、履歴の最終更新日からの経過期間が所定の日数以上になった場合には、以降特定の表示物を検出する可能性が低い(当該特定の表示物が設置されている位置を通過しない)か、または、当該特定の表示物が撤去または移設されている可能性が高い。そこで、運転支援ECU14は、現在の日付と検出物DB27に登録されている各表示物についての最終更新日を比較し、最終更新日から所定の期間経過した特定の表示物(すなわち、最終更新日の後検出されていない特定の表示物)についての情報を削除する。これにより、検出物DB27のサイズの削減を図ることができるとともに、検出物DB27の精度の向上を図ることができる。なお、この「所定の期間」の具体的な値は特に限定されるものではなく、適宜設定できる。
また、同一の特定の表示物についてこれまでの認識結果が所定回数以上一致しない場合には、検出物DB27から当該同一の特定の表示物についての認識結果の履歴を削除してもよい。例えば、自車の前方を走行する車両に描かれている図柄(例えばトラックの荷台の背面に描かれている図柄)を表示物として検出する(すなわち、誤認識する)ことがある。このような場合には、今回の認識結果と過去の認識結果とは一致しない。そこで、このような場合に認識履歴を削除することにより、誤認識に基づく運転支援制御の実行を抑制できる。なお、この「所定回数」も特に限定されるものではなく、適宜設定できる。
さらに、上記のような高精度フラグを使用する構成では、特定の表示物の表示内容が変更された場合には、変更前には高精度フラグがONであっても、変更後には高精度フラグがOFFになる。そして、検出物DB27に過去の認識結果の履歴が登録されているため、標識が変更されたのち、ある程度の回数が検出されるまでの間は、当該特定の表示物についての認識結果の一致率が所定値(第二閾値X)未満になり、当該特定の表示物が検出された場合に運転支援制御の支援レベルが低くなる(第一レベルに設定される)期間が生じる。そこで、このような場合に第一レベルの期間を短くするため、当該特定の表示物についての過去の認識結果を検出物DB27から削除してもよい。
具体的には、運転支援ECU14は、同一の特定の表示物についてのこれまでの検出回数が所定回数以上であるが、これまでの認識結果の一致率が第二閾値X未満である場合には、画像処理ECU13から当該同一の特定の表示物についての類似度を取得し、この類似度が精度閾値以上であるか否かを判定する。そして、この類似度が精度閾値以上である場合には、画像処理ECU13により当該同一の特定の表示物の内容が正しく認識されていたものとみなす。そして、当該同一の特定の表示物の履歴を、直近の1回(すなわち、類似度が精度閾値以上である場合の1回)を除き削除する。このためこの場合には、当該同一の特定の表示物の検出回数は1回に設定される。したがって、当該同一の特定の表示物が次回検出された場合には、「検出回数が所定回数未満」になるから、運転支援ECU14は、当該同一の特定の表示物について検出回数が所定回数以上であるが、過去の認識結果の一致率が第二閾値X未満である場合に比較して、運転支援制御の支援レベルが高くなる。したがって、同一の特定の表示物についてこれまでの検出回数が所定回数以上であるが、過去の認識結果の一致率が第二閾値X未満である場合に実行される運転支援制御の支援レベルである期間を短くできる。
また、車両100の前方を走行するトラックなどの大型車によって特定の表示物が隠れ、画像処理ECU13により当該特定の表示物が検出されないことがある。この場合には、運転支援ECU14は、検出物DB27に登録されている履歴に基づいて運転支援制御を実行する。具体的には、検出物DB27に登録されている特定の表示物が存在する位置を車両100が通過したにもかかわらず画像処理ECU13によって当該特定の表示物が検出されない場合には、検出物DB27に登録されている当該特定の表示物についての高精度フラグがONであるかOFFであるかを判定し、OFFである場合にはさらに、過去の認識結果の一致率が所定の閾値(第二閾値X)以上であるか否かを判定する。そして、「当該特定の表示物についての高精度フラグがONである」場合、または、「当該特定の表示物についての高精度フラグがOFFであるが過去の認識結果の一致率が所定の閾値(第二閾値)以上である」場合には、当該特定の表示物が何らかの原因で認識できなかったものとみなす。そして、運転支援ECU14は当該特定の表示物を検出した場合と同様に運転支援制御を実行する。ただし、この場合には、運転支援ECU14は、当該特定の表示物を実際に検出した場合に比較して、運転支援制御の支援レベルを下げてもよい。なお、「高精度フラグがONになっていなくても認識結果の一致率が第二閾値Xを超えている場合」とは、検出回数が所定回数未満である場合が該当する。
これにより、特定の表示物が他の車両100などに隠れて検出されなかった場合であっても、存在するはずの当該特定の表示物の表示内容に適した運転支援制御を提供できる。また、本実施形態では、運転支援ECU14が検出物DB27を有している。このような構成であれば、例えば車両100の外部に構築される検出物DBと通信しなくてもよいから、特定の表示物が検出されなかった場合であっても、通信費を要することなく運転支援制御を提供できる。
このほか、同一の特定の表示物についてのこれまでの検出回数が所定回数以上であるが、これまでの認識結果の一致率が第二閾値X以上にならない場合には、当該同一の特定の表示物は、汚損および照明条件などによって画像処理ECU13では認識が困難であるとみなせる。そこで、このような表示物について撮影する場合には、前方カメラ15の倍率を上げる(カメラ性能の向上を図る)などにより、認識結果の一致率を高める構成が適用できる。
次に、運転支援ECU14の具体的な動作について説明する。運転支援ECU14のCPU(以下、単に「CPU」とも称呼される。)は、図3のフローチャートにより表された「運転支援制御開始ルーチン」を所定の時間が経過する毎に繰り返し実行する。なお、車両100の前方に特定の表示物が存在する場合、CPUは、車両100が当該特定の表示物の位置を通過するまで、当該特定の表示物が存在すると判定し続けることになる。このため、CPUは一度検出した当該特定の表示物を周知の物体追跡(トラッキング)手法により逐次追尾することにより、「当該特定の表示物が存在する」と判定される回数を、特定の表示物が前方カメラ15にフレームインしてからフレームアウトするまでの間で1回とする。この運転支援制御開始ルーチンを実行するためのコンピュータプログラムは、あらかじめ運転支援ECU14のROMに格納されている。運転支援ECU14のCPUは、このコンピュータプログラムをROMから読み出して実行する。これにより、運転支援制御開始ルーチンが実行される。
ステップS101において、CPUは、検出対象である特定の表示物が車両100の前方に存在するか否かを判定する。CPUは、特定の表示物が車両100の前方に存在しないと判定した場合、いったんこの運転支援制御開始ルーチンを終了する。したがって、特定の表示物が存在すると判定されるまでは運転支援制御が開始されない。ただし、CPUは、既に運転支援制御を実行している場合には、当該運転支援制御を継続してもよい。
CPUは、ステップS101において特定の表示物が存在すると判定した場合には、ステップS102に進む。ステップS102において、CPUは、検出物DB27を参照し、存在すると判定した特定の表示物が検出物DB27に登録されているか否かを検索し、登録されている場合には検出された特定の表示物が検出物DB27に登録されている複数の表示物のうちのいずれの表示物と同一であるかを判定する。具体的には、CPUは、位置検出装置19から車両100の現在位置(経度および緯度)の検出結果を取得し、現在位置の検出結果を検出物DB27に登録されている表示物の位置(経度および緯度)と照合することにより、存在すると判定した特定の表示物と検出物DB27に登録されている表示物の同一性を判定する。さらに、CPUは、存在すると判定した特定の表示物の表示内容を認識する。そしてCPUはステップS103に進む。
なお、位置検出装置19により検出された位置と一致する位置の表示物が検出物DB27に存在しないことがある。この場合には、CPUは、検出物DB27に登録されている複数の表示物のうちの「位置検出装置19により検出された車両100の位置に最も近く、かつ車両100の現在位置からの距離が所定の値以下である表示物」が、存在すると判定した特定の表示物と同一の特定の表示物であると判定する。また、検出物DB27に「特定の表示物の検出時点における車両100の位置からの距離が所定の値以下である表示物」が存在しない場合には、CPUは、存在すると判定した特定の表示物は、今回初めて存在すると判定した表示物であると判定する。この場合、CPUは、当該特定の表示物についての高精度フラグを「OFF」に設定するとともに、検出回数を「1回」に設定する。
ステップS103において、CPUは存在すると判定した特定の表示物についての高精度フラグがONであるかOFFであるかを判定する。高精度フラグがONである場合にはステップS104に進む。
ステップS104において、CPUは、検出物DB27を参照して当該特定の表示物のこれまでの認識結果の一致率(今回の認識結果を含めた一致率)を演算し、演算したこれまでの認識結果の一致率が第一閾値X以上であるか否かを判定する。CPUは、当該同一の特定の表示物の認識結果の一致率が第一閾値X以上である場合には、ステップS105に進む。ステップS105においては、CPUは第三レベルの運転支援制御を実行する。そして、CPUは、ステップS106に進む。
CPUは、ステップS104において認識結果の一致率が第一閾値X未満であると判定した場合には、ステップS107に進む。ステップS107において、CPUは当該同一の特定の表示物についての高精度フラグの値をONからOFFに変更する。そして、CPUはステップS108に進む。ステップS108において、CPUは第二レベルの運転支援制御を実行する。そしてCPUはステップS106に進む。
ステップS106において、CPUは、ステップS101において存在すると判定した特定の表示物についての認識結果を検出物DB27に追加するとともに、検出物DB27に登録されている当該特定の表示物についての最終更新日を更新する。なお、ステップS107を経てステップS106に進んだ場合には、CPUは、検出物DB27に登録されている当該特定の表示物についての高精度フラグの値をONからOFFに変更する。
このように、この運転支援制御開始ルーチンでは、CPUは、認識結果の一致率が第一閾値X未満である場合には、第一閾値X以上である場合に比較して、運転支援制御の支援レベルを低くする。すなわち、特定の表示物について誤認識した表示内容に基づいて運転支援制御を実行した場合、運転者は運転支援制御に違和感を覚えたり運転支援制御を煩わしく感じたりすることがある。そこで、存在すると判定された特定の表示物についての高精度フラグがONであり、かつ認識結果の一致率が第一閾値X以上である場合には、当該特定の表示物の表示内容を正しく認識している(誤認識していない)可能性が高いものとみなす。そしてこの場合には、CPUは、最も支援レベルの高い第三レベルの運転支援制御を実行する。これに対して、高精度フラグがONであっても、認識結果の一致率が第一閾値X未満である場合には、CPUは、高精度フラグをOFFに変更するとともに、第三レベルよりも低い第二レベルの運転支援制御を実行する。
この運転支援制御開始ルーチンによれば、特定の表示物の表示内容を正しく認識している場合には、当該特定の表示物の表示内容に適合する運転支援制御を実行できる。一方、特定の表示物の表示内容を誤認識した場合において、運転者が運転支援制御に対する違和感や煩わしさを低減できる。
CPUは、ステップS103において高精度フラグがOFFである場合には、ステップS109に進む。ステップS109において、CPUはステップS101において存在すると判定した同一の特定の表示物の検出回数が閾値以上であるか否かを判定する。閾値以上である場合には、CPUはステップS110に進む。
CPUは、ステップS110において、当該同一の特定の表示物についてのこれまでの認識結果の一致率が第二閾値X以上であるか否かを判定する。CPUは、これまでの認識結果の一致率が第二閾値X以上であると判定した場合にはステップS111に進む。
同一の特定の表示物の検出回数が所定回数以上であり、かつ、当該同一の特定の表示物についての認識結果の一致率が第二閾値X以上である場合には、当該同一の特定の表示物は画像処理ECU13により正しく認識されやすい傾向があるとみなせる。そこで、CPUは、ステップS111において、当該同一の特定の表示物についての高精度フラグをOFFからONに変更する。そして、CPUはステップS112に進む。ステップS112において、CPUは、当該同一の特定の表示物についての過去の履歴を統合する。そしてステップS105に進み、CPUは第三レベルの運転支援制御を実行する。
CPUは、ステップS110において特定の表示物の認識結果の一致率が第二閾値X未満であると判定した場合には、ステップS113に進む。ステップS113において、CPUは第一レベルの運転支援制御を実行する。そしてCPUはステップS106に進む。
ステップS106においては、CPUは、ステップS101において存在すると判定した特定の表示物についての認識結果を検出物DB27に登録するとともに、検出物DB27に登録されている最終更新日を当該特定の表示物が検出された日付に変更する。
このように、この運転支援制御開始ルーチンにおいては、CPUは、同一の特定の表示物についての認識結果の一致率が第二閾値X以上である場合には、認識結果の一致率が第二閾値X以下である場合に比較して、運転支援制御の支援レベルを高くする。これにより、当該特定の表示物の表示内容を正しく認識している場合には、当該特定の表示物の表示内容に適合する運転支援制御を実行できる。具体的には、CPUは、同一の特定の表示物についての認識結果の一致率が第二閾値X以上である場合には、最も高い支援レベルである第三レベルの運転支援制御を実行する。一方、CPUは、当該同一の特定の表示物についての認識結果の一致率が第二閾値X未満である場合には、認識結果の一致率が第二閾値X以上である場合に比較して、運転支援制御の支援レベルを低くする。特に、CPUは、当該同一の特定の表示物の検出回数が所定回数未満であり、かつ、当該同一の特定の表示物についての認識結果の一致率が第二閾値X未満である場合には、最も低い支援レベルである第一レベルの運転支援制御を実行する。これにより、当該同一の特定の表示物の表示内容を誤認識した場合に、運転者が運転支援制御に対して抱く違和感や煩わしさを低減できる。
同一の特定の表示物の検出回数が少ない場合には、当該同一の特定の表示物についての認識結果の一致率は、「当該同一の特定の表示物が正しく認識されやすい」か否かを示す指標としては信頼性が低い。そこで、CPUは、ステップS101において存在すると判定した特定の表示物についての検出回数が所定回数以上であるか否かをステップS109において判定し、所定回数未満である場合には、ステップS108に進む。すなわちこの場合には、CPUは、高精度フラグがONである場合の支援レベルである第三レベルよりも支援レベルを低くし、認識結果の一致率が第二閾値X未満である場合の支援レベルである第一レベルよりも支援レベルを高くする。なお、特定の表示物の履歴データが検出物DB27に存在しない場合、すなわち、当該特定の表示物が初めて検出された表示物である場合には、高精度フラグがOFFかつ検出回数が所定回数以下である場合と同様に、CPUはステップS102からステップS108に進み、第二レベルの運転支援制御を実行する。
なお、特定の表示物が検出された場合において、CPUは、検出物DB27における当該特定の表示物の検出履歴を更新するが、更新することにより検出物DB27の精度が低下するおそれがある場合には、検出物DB27を更新しないというルーチンが適用される。例えば、CPUは、画像処理ECU14による画像認識の際に演算された類似度が精度閾値未満である場合、存在すると判定した特定の表示物と検出物DB27に登録されている表示物の距離が所定の距離以上である場合、の少なくともいずれかである場合には、運転支援制御を実行するが検出物DB27の更新は実行しない。このような構成であれば、検出物DBの精度の低下を防止または抑制できる。
また、前述のとおり、特定の表示物の表示内容が変更された場合には、運転支援制御の支援レベルが低くなる期間が生じる。この期間を短くするため、ステップS110とステップS113の間に、画像処理ECU13が特定の表示物の検出のために演算した類似度が精度閾値以上であるか否かを判定するステップを追加してもよい。そして、CPUは、この追加されたステップにおいて類似度が精度閾値以上であると判定した場合には、当該特定の表示物の認識結果(履歴)を削除する。一方、CPUは、この追加されたステップにおいて類似度が精度閾値未満であると判定した場合には、当該特定の表示物の認識結果を削除しない。このような運転支援制御開始ルーチンによれば、同一の特定の表示物の検出回数が前記所定回数以上であり(ステップS109において「Y」)、当該同一の特定の表示物についてのこれまでの認識結果の一致率が第二閾値X未満であり(ステップS110において「N」)、かつ、当該同一の特定の表示物についての類似度が所定の閾値以上である場合には、検出物DB27から当該同一の特定の表示物についての認識結果が削除される。したがって、運転支援制御の支援レベルが低くなる期間を短くできる。
(他の実施形態)
前記実施形態では、運転支援ECU14が検出物DB27を有する構成を示したが、車両100の外部に検出物DB27が構築され、車両100のデータセンタに検出物DBが構築される構成であってもよい。この場合、車両100の支援装置10とデータセンタとの間で無線通信することにより、運転支援ECU14はデータセンタの検出物DBを参照できるとともに、運転支援ECU14による認識結果をデータセンタに送信することにより、データセンサの検出物DBを更新する構成であってもよい。このような構成であれば、他車の検出結果による検出物DBを共有できるため、例えば車両100が初めて検出した特定の表示物についての履歴情報および高精度フラグを利用できる。
さらに、検出した特定の表示物についての最終更新日からの経過期間が所定以上である場合には、当該特定の表示物についての履歴の信頼性は低いとみなし、支援装置10はデータセンタと通信してデータセンタの検出物DBを参照する、という構成であってもよい。そして、データセンタの検出物DBに登録されている当該特定の表示物についての最終更新日が車両100の運転支援ECU14の検出物DB27に登録されている最終更新日よりも新しい場合には、データセンタの検出物DBに登録されている情報を用いて運転支援制御を実行する。このような構成によれば、車両100の運転支援ECU14の検出物DB27のみを使用する構成に比較して、運転支援制御の支援レベルの設定の精度の向上を図ることができる。
また、支援装置10は、検出された特定の表示物が運転支援ECU14の検出物DB27に登録されている場合にはこの検出物DB27を参照し、登録されていない場合にはデータセンタと通信してデータセンタの検出物DBを参照する、という構成であってもよい。さらに、検出された特定の表示物の最終更新日からの経過期間が所定の期間以上である場合には、データセンタと通信してデータセンタの検出物DBを参照するという構成であってもよい。すなわち、支援装置10は、車両100の運転支援ECU14の検出物DB27の精度(信頼性)が低いとみなせる場合には、データセンタと通信してデータセンタの検出物DB27を参照する、という構成であってもよい。このような構成によれば、通信費を抑制しつつ、精度の高い運転支援制御を提供できる。
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。
例えば、前記実施形態では、検出対象の表示物として最高速度を示す標識を示したが、検出対象の表示物は限定されない。例えば、検出対象の表示物としては、指定方向以外進行禁止標識、一時停止標識、および最低速度標識など、各種の道路標識が適用できる。また、検出対象の表示物には、道路標識のほかに、電光掲示板や各種の案内表示が適用できる。
なお、前述の第一レベル、第二レベル及び第三レベルの運転支援制御は一例であり、これらに限定されるものではない。例えば、これらの運転支援制御は以下に述べるような制御であってもよい。
<組み合わせの例1>
第一レベル:CPUは、表示装置17に検出した特定の表示物の静止画を表示させる報知制御を実行する。
第二レベル:CPUは、表示装置17に特定の表示物の動画(例えば、当該特定の表示物を点滅させる画面)を表示させる報知制御を実行する。
第三レベル:CPUは、第二レベルの報知制御と、上述の適合制御と、の両方を実行する。
<組み合わせの例2>
第一レベル:CPUは、表示装置17に特定の表示物の静止画を表示させ且つ音声出力装置18に警告音を出力させる報知制御を実行する。
第二レベル:CPUは、表示装置17に特定の表示物の静止画を表示させ且つ音声出力装置18に第一レベルよりも音量の大きい警告音を出力させる報知制御を実行する。
第三レベル:CPUは、第二レベルの報知制御と、上述の適合制御と、の両方を実行する。
<組み合わせの例3>
第一レベル:CPUは、表示装置17に特定の表示物の静止画を表示させ且つ音声出力装置18に警告音を出力させる報知制御を実行する。
第二レベル:CPUは、表示装置17に特定の表示物の動画を表示させ且つ音声出力装置18に第一レベルよりも音量の大きい警告音を出力させる報知制御を実行する。
第三レベル:CPUは、第二レベルの報知制御と、上述の適合制御と、の両方を実行する。
なお、第一レベル乃至第三レベルの運転支援制御が、報知制御を含み適合制御を含まなくてもよい。例えば、次のような組み合わせであってもよい。
<組み合わせの例4>
第一レベル:CPUは、表示装置17に特定の表示物の静止画表示させる報知制御を実行する。
第二レベル:CPUは、表示装置17に特定の表示物の動画を表示させ且つ音声出力装置18に警告音を出力させる報知制御を実行する。
第三レベル:CPUは、表示装置17に特定の表示物の動画(ただし、第二レベルよりも激しい動きの動画)を表示させ且つ音声出力装置18に第二レベルよりも大きい音量の警告音を出力させる報知制御を実行する。
<組み合わせの例5>
第一レベル:CPUは、表示装置17に特定の表示物の静止画を表示させる報知制御を実行する。
第二レベル:CPUは、表示装置17に特定の表示物の動画(例えば、当該特定の表示物を点滅させる画面)を表示させる報知制御を実行する。
第三レベル:CPUは、表示装置17に特定の表示物の動画(例えば、当該特定の表示物を点滅させる画面)を表示させるとともに音声出力装置18に警告音を出力させる報知制御を実行する。
さらに、前記実施形態では、運転支援制御の支援レベルが第一レベル乃至第三レベルの3つを有する構成を示したが、運転支援制御の支援レベルの数は3つに限定されるものではない。すなわち、運転支援制御の支援レベルが2つであってよく、4以上であってもよい。
また、前記実施形態では、検出物DB27が運転支援ECU14のメモリ24に格納されている構成を示したが、このような構成に限定されない。例えば、支援装置10が別途メモリまたはストレージデバイス(例えば、ハードディスク、SSDなど)を有しており、検出物DB27はこのメモリまたはストレージデバイスに格納されている構成であってもよい。
また、前記各実施形態では、駆動力源としてエンジン(内燃機関)を有する車両を示したが、駆動力源はエンジンに限定されるものではない。駆動力源としてモータ(電動機)を有する車両(電気自動車)、および駆動力源としてエンジンおよびモータを有する車両(ハイブリッド車両)にも適用できる。
100…車両、10…車両の運転支援装置、12…ブレーキECU、13…画像処理ECU、14…運転支援ECU、15…前方カメラ、17…表示装置、18…音声出力装置、19…位置検出装置

Claims (13)

  1. 車両の前方の風景を撮影することにより画像データを生成するカメラセンサと、
    生成された前記画像データに基づいて前記車両の前方に特定の表示物が存在していると判定した場合には、存在していると判定した前記特定の表示物の表示内容を認識し、前記車両の運転者による運転を支援するための制御であって前記特定の表示物の前記表示内容に応じた制御である運転支援制御を実行する制御ユニットと、
    を有し、
    前記制御ユニットは、
    「同一の前記特定の表示物が存在すると判定された回数」に対する「当該同一の前記特定の表示物の前記表示内容の認識結果が同じである回数」の割合である認識結果の一致率が第一閾値未満であると判定した場合には、前記認識結果の一致率が前記第一閾値以上であると判定した場合に比較して、前記運転者へ及ぼす影響度合いを表す支援レベルが低い制御を、前記運転支援制御として実行するように構成された、
    車両の運転支援装置。
  2. 請求項1に記載の車両の運転支援装置であって、
    前記特定の表示物に関する情報を前記運転者に報知する報知装置をさらに有し、
    前記制御ユニットは、
    前記認識結果の一致率が前記第一閾値以上であると判定した場合、前記特定の表示物が存在すると判定されたことを前記報知装置により前記運転者に報知する報知制御と、前記車両の走行状態を前記特定の表示物の前記表示内容に適合する状態に近づけるための車両制御である適合制御と、を含む制御を前記運転支援制御として実行し、
    前記認識結果の一致率が前記第一閾値未満であると判定した場合、前記報知制御を含むが前記適合制御を含まない制御を前記運転支援制御として実行するように構成された、
    車両の運転支援装置。
  3. 請求項1に記載の車両の運転支援装置であって、
    前記制御ユニットは、
    当該同一の前記特定の表示物が存在すると判定された回数が前記所定回数以上であるが、前記認識結果の一致率が第二閾値未満であると判定した場合には、当該同一の前記特定の表示物が存在すると判定された回数が前記所定回数以上であり、かつ、前記認識結果の一致率が前記第二閾値以上であると判定した場合に比較して、前記支援レベルが低い制御を、前記運転支援制御として実行するように構成された、
    車両の運転支援装置。
  4. 請求項3に記載の車両の運転支援装置であって、
    前記特定の表示物に関する情報を前記運転者に報知する報知装置をさらに有し、
    前記制御ユニットは、
    当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数以上であり、かつ、前記認識結果の一致率が前記第二閾値以上である場合、前記特定の表示物が存在すると判定されたことを前記報知装置により前記運転者に報知する報知制御と、前記車両の走行状態を前記特定の表示物の前記表示内容に適合する状態に近づけるための車両制御である適合制御と、を含む制御を前記運転支援制御として実行し、
    当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数以上であるが、前記認識結果の一致率が前記第二閾値未満であると判定した場合、前記報知制御を含むが前記適合制御を含まない制御を前記運転支援制御として実行するように構成された、
    車両の運転支援装置。
  5. 請求項3に記載の車両の運転支援装置であって、
    前記制御ユニットは、
    当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数未満である場合、前記認識結果の一致率が前記第一閾値以上である場合に比較して、前記支援レベルが低い制御を、前記運転支援制御として実行するように構成された、
    車両の運転支援装置。
  6. 請求項5に記載の車両の運転支援装置であって、
    前記制御ユニットは、
    当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数未満である場合、前記報知制御を含むが前記適合制御を含まない制御を前記運転支援制御として実行するように構成された、
    車両の運転支援装置。
  7. 請求項1乃至請求項6のいずれか1項に記載の車両の運転支援装置であって、
    前記制御ユニットにより存在すると判定された前記特定の表示物の位置および前記表示内容の前記認識結果の履歴が登録されたデータベースをさらに有し、
    前記制御ユニットは、
    存在すると判定した前記特定の表示物の前記位置および前記表示内容の前記認識結果を前記データベースに登録し、前記データベースを参照して当該同一の前記特定の表示物についての前記認識結果の一致率を演算するように構成された、
    車両の運転支援装置。
  8. 請求項7に記載の車両の運転支援装置であって、
    前記制御ユニットは、
    当該同一の前記特定の表示物が存在すると判定した回数が所定回数以上であり、かつ、前記認識結果の一致率が第二閾値以上である場合には、前記データベースから、当該同一の前記特定の表示物についての前記認識結果を1つを残して削除するように構成された、
    車両の運転支援装置。
  9. 請求項7または請求項8に記載の車両の運転支援装置であって、
    前記制御ユニットは、
    所定の期間にわたって検出されない前記特定の表示物についての前記認識結果を前記データベースから削除するように構成された、
    車両の運転支援装置。
  10. 請求項7乃至請求項9のいずれか1項に記載の車両の運転支援装置であって、
    前記制御ユニットは、
    前記画像データとあらかじめ用意されている前記特定の表示物の存在を判定するためのテンプレートとの類似度を演算し、前記類似度が検出閾値以上である場合に前記特定の表示物が存在すると判定し、前記類似度が前記検出閾値以上であるが前記検出閾値より高い値である精度閾値未満である場合、前記特定の表示物についての前記認識結果を前記データベースに登録しないように構成された、
    車両の運転支援装置。
  11. 請求項7乃至請求項10のいずれか1項に記載の車両の運転支援装置であって、
    前記制御ユニットは、
    当該同一の前記特定の表示物が存在すると判定した回数が前記所定回数以上であり、前記認識結果の一致率が前記第二閾値以上であり、かつ、当該同一の前記特定の表示物についての類似度が所定の閾値以上である場合、前記データベースから当該同一の前記特定の表示物についての前記認識結果を削除するように構成された、
    車両の運転支援装置。
  12. 車両の前方の風景を撮影することにより取得された前記画像データに基づいて前記車両の前方に特定の表示物が存在しているか否かを判定するステップと、
    前記車両の前方に前記特定の表示物が存在していると判定した場合には、存在していると判定した前記特定の表示物の表示内容を認識し、前記車両の運転者による運転を支援するための制御であって前記特定の表示物の前記表示内容に応じた制御である運転支援制御を実行するステップと、
    を有する車両の運転支援方法であって、
    前記車両の前方に前記特定の表示物が存在していると判定した場合には、「同一の前記特定の表示物が存在すると判定された回数」に対する「当該同一の前記特定の表示物の前記表示内容の認識結果が同じである回数」の割合である認識結果の一致率が第一閾値未満であるか否かを判定するステップをさらに有し、
    前記認識結果の一致率が前記第一閾値未満であると判定した場合には、前記認識結果の一致率が前記第一閾値以上であると判定した場合に比較して、前記運転支援制御を実行するステップにおいて、前記運転者へ及ぼす影響度合いを表す支援レベルが低い制御を、前記運転支援制御として実行する、
    車両の運転支援方法。
  13. 車両の運転支援装置のコンピュータに、
    車両の前方の風景を撮影することにより取得された前記画像データに基づいて前記車両の前方に特定の表示物が存在しているか否かを判定するステップと、
    前記車両の前方に前記特定の表示物が存在していると判定した場合には、存在していると判定した前記特定の表示物の表示内容を認識し、前記車両の運転者による運転を支援するための制御であって前記特定の表示物の前記表示内容に応じた制御である運転支援制御を実行するステップと、
    を実行させるためのプログラムであって、
    前記車両の前方に前記特定の表示物が存在していると判定した場合には、「同一の前記特定の表示物が存在すると判定された回数」に対する「当該同一の前記特定の表示物の前記表示内容の認識結果が同じである回数」の割合である認識結果の一致率が第一閾値未満であるか否かを判定するステップをさらに有し、
    前記認識結果の一致率が前記第一閾値未満であると判定した場合には、前記認識結果の一致率が前記第一閾値以上であると判定した場合に比較して、前記運転支援制御を実行するステップにおいて、前記運転者へ及ぼす影響度合いを表す支援レベルが低い制御を、前記運転支援制御として実行する、
    プログラム。
JP2020145297A 2020-08-31 2020-08-31 車両の運転支援装置、車両の運転支援方法、およびプログラム Active JP7384131B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020145297A JP7384131B2 (ja) 2020-08-31 2020-08-31 車両の運転支援装置、車両の運転支援方法、およびプログラム
US17/378,260 US20220063498A1 (en) 2020-08-31 2021-07-16 Driving assistance device for vehicle, driving assistance method for vehicle, and program
CN202110879760.4A CN114103917A (zh) 2020-08-31 2021-08-02 车辆的驾驶辅助装置、车辆的驾驶辅助方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020145297A JP7384131B2 (ja) 2020-08-31 2020-08-31 車両の運転支援装置、車両の運転支援方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2022040533A true JP2022040533A (ja) 2022-03-11
JP7384131B2 JP7384131B2 (ja) 2023-11-21

Family

ID=80358195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020145297A Active JP7384131B2 (ja) 2020-08-31 2020-08-31 車両の運転支援装置、車両の運転支援方法、およびプログラム

Country Status (3)

Country Link
US (1) US20220063498A1 (ja)
JP (1) JP7384131B2 (ja)
CN (1) CN114103917A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230099178A1 (en) * 2021-09-28 2023-03-30 Univrses Ab Managing mobile data gathering agents
US20230213351A1 (en) * 2021-12-30 2023-07-06 Omnieyes Co., Ltd. Taiwan Branch System and method for navigation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275690A (ja) * 2005-03-29 2006-10-12 Fujitsu Ten Ltd 運転支援装置
JP2014044744A (ja) * 2013-11-14 2014-03-13 Toyota Motor Corp 運転支援装置
JP2015108604A (ja) * 2013-12-06 2015-06-11 日立オートモティブシステムズ株式会社 車両位置推定システム,装置,方法、及び、カメラ装置
JP2017041070A (ja) * 2015-08-19 2017-02-23 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4724043B2 (ja) * 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
JP5453048B2 (ja) * 2009-10-22 2014-03-26 富士重工業株式会社 車両の運転支援制御装置
JP5626578B2 (ja) * 2010-12-02 2014-11-19 アイシン・エィ・ダブリュ株式会社 走行支援システム、走行支援プログラム、及び走行支援方法
JP5930067B2 (ja) * 2012-12-18 2016-06-08 三菱電機株式会社 視認性推定装置及び安全運転支援システム
JP2014229197A (ja) * 2013-05-24 2014-12-08 株式会社デンソー 車両用報知装置
JP6462328B2 (ja) * 2014-11-18 2019-01-30 日立オートモティブシステムズ株式会社 走行制御システム
JP6394921B2 (ja) * 2016-02-12 2018-09-26 トヨタ自動車株式会社 車両用運転支援装置
JP6368958B2 (ja) * 2016-05-12 2018-08-08 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
US11106925B2 (en) * 2018-10-25 2021-08-31 Intel Corporation Computer-assisted or autonomous driving traffic sign recognition method and apparatus
JP7206886B2 (ja) * 2018-12-19 2023-01-18 トヨタ自動車株式会社 運転支援装置
KR20200131664A (ko) * 2019-05-14 2020-11-24 삼성전자주식회사 차량의 주행을 보조하는 전자 장치 및 방법
JP7255706B2 (ja) * 2019-11-12 2023-04-11 日産自動車株式会社 信号機認識方法及び信号機認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275690A (ja) * 2005-03-29 2006-10-12 Fujitsu Ten Ltd 運転支援装置
JP2014044744A (ja) * 2013-11-14 2014-03-13 Toyota Motor Corp 運転支援装置
JP2015108604A (ja) * 2013-12-06 2015-06-11 日立オートモティブシステムズ株式会社 車両位置推定システム,装置,方法、及び、カメラ装置
JP2017041070A (ja) * 2015-08-19 2017-02-23 ソニー株式会社 車両制御装置と車両制御方法と情報処理装置および交通情報提供システム

Also Published As

Publication number Publication date
JP7384131B2 (ja) 2023-11-21
US20220063498A1 (en) 2022-03-03
CN114103917A (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
JP5434912B2 (ja) 運転状態判定方法、運転状態判定システム及びプログラム
JP2022040533A (ja) 車両の運転支援装置、車両の運転支援方法、およびプログラム
JP2002331850A (ja) 運転行動意図検出装置
JP2006275690A (ja) 運転支援装置
JP2019144748A (ja) 情報処理システム、車載制御装置、及び情報処理装置
EP2741268B1 (en) Vehicle information processing apparatus and vehicle information processing method
CN109410617B (zh) 汽车限速指示控制方法、装置、系统及汽车
JP6693321B2 (ja) 能力評価システム
JP2008241309A (ja) 車両用サービス提示装置
US20200108835A1 (en) Server, information processing method, and non-transitory storage medium storing program
JP7163614B2 (ja) 運転支援装置、プログラム、及び制御方法
US10176714B2 (en) Driving support apparatus
JP4894795B2 (ja) 運転行動推定装置
JPH05325098A (ja) 車両用運転警告装置
JP2007233744A (ja) 運転支援装置
JP2002087107A (ja) 走行状態検出装置、覚醒度検出装置、覚醒度対応制御装置、及び記録媒体
US11628768B2 (en) Driving support device for vehicle, driving support method for vehicle, and non-transitory storage media
US10227004B2 (en) Vehicle constant-speed travel control apparatus, vehicle constant-speed travel control method, and computer readable medium
JP4591171B2 (ja) 車両用制動援助装置
CN112824125A (zh) 车辆的加速踏板开度指导方法、装置以及车辆
JP2007328631A (ja) 物体候補領域検出装置、物体候補領域検出方法、歩行者認識装置および車両制御装置
JP2019096137A (ja) 信号機認識装置
JP2013068115A (ja) 車両用情報処理装置及び車両用情報処理方法
CN117746658A (zh) 电子装置、车辆及存储介质
JP4830541B2 (ja) 車両用走行制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R151 Written notification of patent or utility model registration

Ref document number: 7384131

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151