JP2022171735A - 運転支援装置、車両および運転支援方法 - Google Patents

運転支援装置、車両および運転支援方法 Download PDF

Info

Publication number
JP2022171735A
JP2022171735A JP2022140104A JP2022140104A JP2022171735A JP 2022171735 A JP2022171735 A JP 2022171735A JP 2022140104 A JP2022140104 A JP 2022140104A JP 2022140104 A JP2022140104 A JP 2022140104A JP 2022171735 A JP2022171735 A JP 2022171735A
Authority
JP
Japan
Prior art keywords
sound wave
candidate
vehicle
wave sensor
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022140104A
Other languages
English (en)
Other versions
JP7460968B2 (ja
Inventor
崇 吉田
Takashi Yoshida
吉正 岡部
Yoshimasa Okabe
将由 道口
Masayoshi Michiguchi
祐一郎 相原
Yuichiro Aihara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2022140104A priority Critical patent/JP7460968B2/ja
Publication of JP2022171735A publication Critical patent/JP2022171735A/ja
Application granted granted Critical
Publication of JP7460968B2 publication Critical patent/JP7460968B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/10Systems for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S15/325Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of coded signals, e.g. of phase-shift keyed [PSK] signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06Systems determining the position data of a target
    • G01S15/08Systems for measuring distance only
    • G01S15/32Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S15/34Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004Means for monitoring or calibrating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/534Details of non-pulse systems
    • G01S7/536Extracting wanted echo signals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20Ambient conditions, e.g. wind or rain
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87Combinations of sonar systems
    • G01S15/876Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G01S2015/938Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details in the bumper area

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両の周囲に存在する人を検知することができる運転支援装置を提供する。【解決手段】本開示に係る運転支援装置は、パルス方式、および周波数拡散変調方式のいずれかの送受信方式で音波センサを制御する音波センサ制御部を備える。前記音波センサ制御部は、前記周波数拡散変調方式を選択したときに、前記周波数拡散変調方式を用いた音波の送信と受信とを順次、前記音波センサに行わせる。【選択図】図1

Description

本開示は、運転支援装置、車両および運転支援方法に関する。
車両において、進路上の障害物を音波センサで検知し、検知結果に応じて車両の制御を行う技術がある。また、撮像画像に基づいて、音波センサの反射波による物体検知が困難となる所定物体に対して車両が近づいている状況下にあると判定された場合に、音波センサによる物体検知の感度を一時的に大きくする技術も知られている。
特開2018-081050号公報
しかし、音波で人を検知する場合、人は音波に対する反射率が低い為に、人で反射したエコーの強度は弱くなってしまう。特に、降雨時の雨音、あるいはタイヤの走行音は背景雑音となり、背景雑音がエコーよりも大きくなってしまうと、感度を大きくしても背景雑音とエコーを区別する手段にはならないので、エコーを検知できなくなってしまう。そのため、雑音が存在する状況下においても車両の周囲に存在する人を検知する技術が求められている。
本開示は、車両の周囲に存在する人を検知することができる運転支援装置、車両および運転支援方法を提供する。
本開示に係る運転支援装置は、車両の周囲の環境情報を取得する環境情報取得部と、前記環境情報から、特定障害物がある可能性を示す、特定障害物候補を検出し、前記特定障害物候補の推定位置を算出するデータ処理部と、音波を用いて障害物を検知する音波センサを制御する音波センサ制御部と、を備えた車両に搭載可能な運転支援装置である。前記音波センサ制御部は、前記データ処理部が前記特定障害物候補を検出したときに、前記特定障害物候補の非検出時と比較して、前記音波センサの送信電力が大きくなるように制御する。
本開示に係る運転支援装置、車両および運転支援方法によれば、雑音が存在する状況下においても、車両の周囲に存在する人を検知することができる。
図1は、第1の実施形態による運転支援装置を含む車両の構成の一例を模式的に示すブロック図である。 図2Aは、第1の実施形態による車両の一例を模式的に示す側面図である。 図2Bは、第1の実施形態による車両の一例を模式的に示す上面図である。 図3Aは、変調部の機能を模式的に示す図である。 図3Bは、復調部の機能を模式的に示す図である。 図4Aは、パルス方式で信号を送受信する場合のパルス状の送信信号と受信信号の時間変化の一例を模式的に示す図である。 図4Bは、周波数拡散変調して送受信する場合の送信信号と受信信号の時間変化の一例を模式的に示す図である。 図5Aは、PN符号変調方式を用いる場合の変調部の構成の一例を示す図である。 図5Bは、PN符号変調方式を用いる場合の復調部の構成の一例を示す図である。 図6Aは、PN符号で変調されていないキャリアの一例を示す図である。 図6Bは、PN符号で変調された送信信号の一例を示す図である。 図7Aは画像データの一例である。 図7Bは推定位置の算出方法の一例を示す図である。 図7Cは画像データ上での推定位置の一例を示す図である。 図8Aは、鉛直面内での撮像部と推定位置との間の関係を模式的に示す図である。 図8Bは、水平面内での撮像部と推定位置との間の関係を模式的に示す図である。 図9は、撮像部と音波センサと人候補の推定位置との間の関係を模式的に示す図である。 図10は、音波センサから送信された音波が人候補で反射されてエコーとして戻ってくる伝播時間の関係を模式的に示す図である。 図11Aは、周波数拡散変調した場合で推定距離が長い場合の送信信号の送信期間の調整を説明するための図である。 図11Bは、周波数拡散変調した場合で推定距離が短い場合の送信信号の送信期間の調整を説明するための図である。 図12Aは、人候補までの推定距離が短い場合で周波数拡散変調をする場合の送受信の一例を模式的に示す図である。 図12Bは、人候補までの推定距離が短い場合で周波数拡散変調をしない場合の送受信の一例を模式的に示す図である。 図13は、第1の実施形態による運転支援方法の手順の一例を示すフローチャートである。 図14は、復調部の他の構成例を示す図である。 図15は、復調部の他の構成例を示す図である。 図16Aは、チャープ変調方式での変調部の構成の一例を模式的に示す図である。 図16Bは、チャープ変調方式での復調部の構成の一例を模式的に示す図である。 図17は、チャープ信号の一例を示す図である。 図18は、チャープ変調方式の場合の人候補の推定位置の補正方法の一例を示す図である。 図19は、チャープ信号の周波数の時間に対する変化の一例を示す図である。 図20は、周波数ホッピング方式での変調部および復調部の構成の一例を模式的に示す図である。 図21は、PN符号を用いた復調タイミングに対する受信信号の入力タイミングによる位相の一致度合の一例を示す図である。 図22は、1周期分のPN符号を送信した場合の問題点を説明するための図である。 図23は、第2の実施形態によるPN符号の一例を示す図である。 図24は、第2の実施形態によるPN符号を用いた場合のPN符号を用いた復調と受信信号の受信のタイミングの一例を示す図である。 図25Aは、1周期分のチャープ信号の時間に対する周波数の変化を示す図である。 図25Bは、図25Aのチャープ信号でチャープ変調された受信信号を復調して得られる信号の一例を示す図である。 図25Cは、連続送信する場合のチャープ信号の時間に対する周波数の変化を示す図である。 図25Dは、拡張したチャープ信号の時間に対する周波数の変化の一例を示す図である。 図25Eは、図25Dのチャープ信号でチャープ変調された受信信号を復調して得られる信号の一例を示す図である。 図25Fは、第2の実施形態による拡張したチャープ信号の時間に対する周波数の変化の一例を示す図である。 図25Gは、図25Fのチャープ信号でチャープ変調された受信信号を復調して得られる信号の一例を示す図である。 図26は、第3の実施形態による車両の構成の一例を模式的に示すブロック図である。 図27は、第3の実施形態による人確認モードにある場合のモードの切り替え制御処理の手順の一例を示すフローチャートである。 図28は、第3の実施形態による車両の構成の他の例を模式的に示すブロック図である。 図29は、第3の実施形態による後退モードにある場合のモードの切り替え制御処理の手順の他の例を示すフローチャートである。 図30は、第4の実施形態による運転支援装置を含む車両の構成の一例を模式的に示すブロック図である。 図31Aは、第4の実施形態による車両の一例を模式的に示す側面図である。 図31Bは、第4の実施形態による車両の一例を模式的に示す上面図である。 図32は、撮像部と各音波センサと人候補の推定位置との間の関係を模式的に示す図である。 図33は、音波センサから送信された送信信号が人候補で反射されて受信信号として戻ってくる伝播時間の関係を模式的に示す図である。 図34は、第5の実施形態による車両の一例を模式的に示す側面図である。 図35は、第5の実施形態による人候補の判定方法の一例を示す図である。 図36は、第5の実施形態による推定位置の人候補の判定処理の手順の一例を示すフローチャートである。
以下、図面を参照しながら、本開示に係る運転支援装置、車両および運転支援方法の実施形態について説明する。
(第1の実施形態)
第1の実施形態では、電磁波を用いて取得した車両の所定の方向の環境情報から特定の障害物がある可能性を示す特定障害物候補を検出すると、周波数拡散変調方式(スペクトラム拡散変調方式)で変調した音波を送信し、特定障害物候補で反射されたエコーを観測して、特定障害物が推定位置に存在するかを確認する。特定障害物は、障害物のうち車両の進行方向での存在を確認した場合には、車両の障害物への接近を中断する必要がある障害物である。特定障害物は、歩行者や幼児、人が乗車している車椅子またはベビーカー、あるいは音波に対する反射率が低くかつ保護を必要とする移動可能な物体である。電磁波を用いて取得した車両の所定の方向の環境情報は、具体的には、撮像装置、つまりカメラで撮影した車両後方の画像データである。
図1は、第1の実施形態による運転支援装置を含む車両の構成の一例を模式的に示すブロック図である。図2Aおよび図2Bは、第1の実施形態による車両の一例を模式的に示す図であり、図2Aは側面図であり、図2Bは上面図である。運転支援装置は、車両1に設けられ、カメラで撮影した車両後方の画像から車両1の進行方向側に存在する特定障害物候補を検出すると、特定障害物候補の推定位置を算出し、音波を用いて推定位置に特定障害物候補が存在するかを確認する装置である。なお、車両1として、自動車、バイク、列車などを例示することができる。
車両1は、環境情報取得部としての撮像部11と、音波センサ12と、ギア検知部13と、ECU(Electronic Control Unit)14と、加速制御部15と、制動制御部16と、HMI(Human-Machine Interface)17と、を備える。
撮像部11は、車両1の所定の範囲を撮像した環境情報としての画像データをECU14に出力する。ここでは、図2Aおよび図2Bに示されるように、撮像部11は、車両1の後部の例えばトランクパネル101に設けられる。そのため、所定の範囲は、車両1の後方である。撮像部11は、FPD-Linkなどの通信線41を介して接続される。
音波センサ12は、音波を送信信号として送信し、音波が車両1の外部の物体で反射されて返ってきたエコーを受信信号として受信する。音波センサ12は、モードによって、パルス状の音波(以下、パルス波ともいう)あるいは連続した音波(以下、連続波ともいう)を送信する。音波センサ12として、送信用振動子と受信用振動子とが兼用ものを用いることができる。この場合、音波センサ12では、送信期間と受信期間とが切り替えられる。図2Aおよび2Bに示されるように、音波センサ12は、車両1のリアバンパ102の幅方向の中央付近に設けられる。ここでは、音波センサ12が1つ設けられる場合が例示される。音波センサ12は、LAN(Local Area Network)、CAN(Controller Area Network)などのネットワーク42を介してECU14と接続される。音波センサ12として、ソナーなどが用いられる。
音波センサ12は、変調部121と、復調部122と、を含む。図3Aは、変調部の機能を模式的に示す図であり、図3Bは、復調部の機能を模式的に示す図である。変調部121は、図3Aに示されるように、拡散信号SSを用いた周波数拡散変調により、単一周波数のキャリアCTをスペクトル拡散した信号である送信信号STを生成する。つまり、グラフ801のように単一周波数に電力密度が集中したキャリアCTは、拡散信号SSで変調されることによって、グラフ802のように電力密度が広い範囲の周波数に分散した送信信号STとなる。
復調部122は、図3Bに示されるように、スペクトル拡散した信号である受信信号SRを、拡散信号SSを用いた復調により、単一周波数のキャリアCRに復元する。つまり、グラフ803のように、電力密度が広い範囲の周波数に分散した受信信号SRが、拡散信号SSで復調されることによって、グラフ804のように単一周波数に電力密度が集中したキャリアCTとなる。
周波数拡散変調は、直接拡散方式、直線状周波数変調方式、周波数ホッピング方式を含む。直接拡散方式は、疑似ランダム変調方式または符号化変調方式とも呼ばれるが、PN符号(Pseudo Noise符号)を用いることから、以下の説明では、PN符号変調方式の呼称を用いる。直線状周波数変調方式は、チャープ変調方式ともいわれる。
図4Aおよび図4Bは、送信信号と受信信号の時間変化の一例を模式的に示す図である。図4Aは、パルス方式で信号を送受信する場合を示し、図4Bは、周波数拡散変調して送受信する場合を示している。これらの図で、横軸は、時間を示し、縦軸は電力を示している。図示の通り、パルス方式での送信期間は短く、周波数拡散変調方式での送信期間は幅広である。ここでは、時刻t1に送信信号ST1,ST2が音波センサ12から送信され、送信信号ST1,ST2が特定障害物候補で反射された受信信号SR1,SR2が時刻t2に音波センサ12で受信されるものとする。音波で人または物体の検知を行う場合には、常に妨害や雑音が存在する。例えば、妨害としては音波送信の残響N1、音波の路面からの反射波N2があり、雑音としては背景雑音N3が存在する。音波送信の残響N1は、時間に依存して減衰し、路面からの反射波N2は送信電力に比例し、距離に依存して低下する。背景雑音N3は、送信電力、距離および時刻に関係せずに存在する。
図4Aのパルス方式の場合には、パルス状の送信信号ST1の送信時間であるパルス幅W1は非常に短いので、送信電力と送信時間の積である送信信号ST1の電力積は小さくなる。つまり、送信するエネルギーの総量は小さい。したがって、受信信号SR1の電力積も小さくなる。また、受信信号SR1の振幅は、距離の2乗に反比例して小さくなるので、場合によっては、受信信号SR1は、上記のような雑音の中に埋もれてしまい、受信信号SR1を検出するのは困難となる。
一方、図4Bに示されるように、周波数拡散変調した場合には、送信信号ST2の送信期間W2は、パルス幅W1に比して極めて大きいので、送信信号ST2の電力積が大きくなる。つまり、送信するエネルギーの総量は大きい。したがって、受信信号SR2の電力積も図4Aの場合に比して大きくなる。雑音のうち、路面からの反射波N2は、距離、すなわち位相が異なるので分離することができ、背景雑音N3は相関器で長時間積分することによって抑圧することができる。そのため、包絡線波形では受信信号SR2のレベルがノイズレベル以下であったとしても、特定障害物候補の距離を特定することができる。
ここでは、周波数拡散変調方式としてPN符号変調方式を用いて音波の変調および復調を行う場合を説明する。PN符号変調方式で使用される疑似ランダム符号として、M(Maximum-Length)系列符号、バーカーコード、Gold符号などがある。図5Aは、PN符号変調方式を用いる場合の変調部の構成の一例を示す図であり、図5Bは、PN符号変調方式を用いる場合の復調部の構成の一例を示す図である。
変調部121は、図5Aに示されるように、後述する人確認モードの場合に、キャリアCTをnビット(nは1以上の整数)のPN符号PNCで変調して送信信号STCにする乗算器によって構成される。具体的には、変調部121は、PN符号PNCのビット周期を単位として、PN符号PNCが1の場合にはキャリアCTの位相はそのままとし、PN符号PNCが0の場合には、キャリアCTの位相を反転させる。なお、単一周波数のキャリアは、PN符号変調によって、PN符号のビットレートに比例した帯域幅に電力密度が拡散される。
図6Aおよび図6Bは、キャリアのPN符号を用いた変調または復調の一例を示す図であり、図6Aは、PN符号で変調されていないキャリアの一例を示す図であり、図6Bは、PN符号で変調された送信信号の一例を示す図である。なお、ここでは、7ビットのPN符号「1110100」を用いて符号変調される場合を例示する。また、この例では、7ビットのPN符号「1110100」を単位として変調または復調が行われるので、この単位を周波数拡散信号の周期という。
図6Aに示されるキャリアに対して、7ビットのPN符号を用いて符号変調すると、送信信号STCは図6Bのような波形となる。ここでは、図中の左側ほど時間的に早く送信された波を示している。図6Aに示されるように、キャリアをPN符号のビット周期Tを単位として区切ると、キャリアは、成分C1~C7を含むことになる。図6Bに示されるように、「1110100」のPN符号を用いてキャリアを変調すると、成分C4,C6,C7で位相が反転し、その他の成分C1~C3,C5では位相は元のままとなる。音波センサ12からは、図6Bに示される成分C1~C7を含む送信信号STCが送信されることになる。
復調部122は、特定障害物候補で反射した受信信号SRCが音波センサ12で受信されるタイミングで、受信信号SRCをPN符号PNCを用いて復調する。復調部122は、図5Bに示されるように、相関器によって構成され、乗算器1231と、n-1個(nは1以上の整数)の遅延器1232と、加算器1233と、を有する。乗算器1231は、受信信号SRCにPN符号PNCを乗算し、単一周波数のキャリアを後段の遅延器1232および加算器1233に出力する。遅延器1232は、復調されたキャリアを、PN符号PNCのビット周期Tだけ遅延させて出力する。乗算器1231と加算器1233との間に、n-1個の遅延器1232が直列に接続され、各遅延器1232の出力側は加算器1233にも接続される。加算器1232は、乗算器1231およびn-1個の遅延器1232の出力を加算する。
具体的には、復調部122は、PN符号PNCのビット周期Tを単位として、PN符号PNCが1の場合には受信信号SRCの位相はそのままとし、PN符号PNCが0の場合には、受信信号SRCの位相を反転させる。このとき、乗算器1225には受信信号を受信したタイミングでPN符号PNCが入力される。
図6Bに示されるPN変調された送信信号が特定障害物候補で反射され、音波センサ12に到達すると、受信信号も図6Bに示されるような波形となる。ただし、受信信号には雑音が加算されている。この受信信号を「1110100」のPN符号を用いて復調すると、成分C4,C6,C7で位相が反転し、その他の成分C1~C3,C5では位相は元のままとなる。つまり、図6Aに示されるように、符号が消えて連続波となる。
図5Bを用いて復調部122での動作の概要を説明する。ここでは、図6Bのような受信信号SRCが復調部122に入力されるものとする。後述する音波センサ制御部24から送られてくるPN符号PNCのタイミングで受信信号SRCが復調されると、成分C4,C6,C7では位相が反転され、他の成分では位相はそのままとなる。そして、復調されたキャリアは、PN符号PNCの遅延器1232へ出力される。なお、図6Aに示されるキャリアの前には、何も信号が受信されていない状態にあるとする。
各遅延器1232-1~1232-6ではPN符号PNCのビット周期Tだけずらして、キャリアが出力される。すなわち、遅延器1232-1~1232-6に受信信号の成分Ci(iは1以上n以下の整数)が入力されると、ビット周期Tだけ遅延された成分Ciが後段の遅延器1232-2~1232-6または加算器1233へと出力される。また、乗算器1231および遅延器1232-1~1232-5は、後段の遅延器1232に出力する際に、加算器1233にも成分Ciを出力する。
加算器1232は、各遅延器1232-1~1232-6および乗算器1231からの出力を加算する。すなわち、加算器1233では、各遅延器1232-1~1232-6および乗算器1231から出力された成分C1~C7の波が加算される。例えば、遅延器1232-6~1232-1にそれぞれ成分C1~C6が入力された状態にあり、乗算器1231から成分C7が出力されるタイミングで、各遅延器1232-6~1232-1からはそれぞれ成分C1~C6が加算器1233に出力される。これによって、加算器1233では、成分C1~C7の波が加算され、出力振幅の大きな波形が得られることになる。つまり、PN符号PNCの1周期分のキャリア信号が相乗した状態で加算されたものが加算器1233から出力され、振幅が加算前の7倍になる。一方、受信信号に含まれる雑音は周波数も位相もランダムであり、加算で相乗し合う場合もあれば相殺し合う場合もあるので、必ず相乗し合うキャリア信号よりも、振幅が抑圧されることになる。一般的に、雑音が無相関のランダム雑音の場合には、n段の加算によって振幅は√n倍になるので、この例では加算器1233が出力するランダム雑音の振幅は√7倍になる。加算で7倍になるキャリア信号を基準とすると、ランダム雑音の振幅は1/√7倍になるので、S/N比を改善する変調利得(ノイズ抑圧比)が得られると言える。ここでは符号長n=7で説明しているが、符号長が長いほど大きな変調利得が得られるので、実際に用いられるPN符号の符号長は、数十ビットから数百ビットに及ぶものが多い。一方、受信信号SRCの音波センサ12への到着のタイミングと、PN符号PNCによる復調のタイミングと、がずれている場合には、受信信号SRCのPN符号が消えず、電力密度が拡散されたままとなるので、大きな振幅の信号が得られない。また、パルス方式では、受信したパルスの振幅が敷居値を越えた時点を受信信号の受信時刻としてECU14に報告するが、周波数拡散方式では1周期分の信号成分C1~C7の波が相関器に収まり、加算されたときに出力振幅がピークを迎える。この、信号を受信してから相関器の出力がピークを迎えるまでの時間は、符号長が長いほど長くなるので、音波センサ12がECU14に受信時刻を報告する際に符号長に応じた補正を加えるか、または音波センサ12がピーク値を観測した時点を報告した時刻をECU14側で補正するか、いずれかの処理を加える必要がある。
なお、図5Bは、復調部122がデジタルフィルタで構成される場合を示しているが、実施形態はこれに限定されない。例えば、復調部122をアナログフィルタで構成してもよい。
ここで図1に戻って説明を続ける。ギア検知部13は、車両1のギアが所定のギアポジションとなったかを判定する。ここでは、ギア検知部13は、車両1のギアが後退ギアに移行した場合、あるいは車両1のギアが後退ギアから他のギアに移行した場合にギアポジションの変更が行われたことを示す信号をECU14に出力する。
ECU14は、車両1の動作を制御する制御部である。本実施形態では、車両1の後退時に、撮像部11からの画像データに特定障害物候補が検出された場合に、音波センサ12を用いて特定障害物候補が推定位置に存在するかを確認し、特定障害物候補が推定位置に存在する場合に車両1を停止させたり、特定障害物候補に所定の距離以上近づかないようにしたりする制御を行う運転支援装置である。以下では、特定障害物が人である場合を例に挙げて説明する。
ECU14は、モード切替部21と、データ処理部である画像処理部22と、制御情報算出部23と、音波センサ制御部24と、特定障害物候補確認部である人候補確認部25と、推定位置補正部26と、表示処理部27と、を有する。
モード切替部21は、車両1の制御モードを、前進モードと、後退モードと、特定障害物確認モードである人確認モードと、後退制限モードと、の間で切り替える。音波センサ12の制御モードは車両1の制御モードとは独立しており、送受信方式が通常のパルス方式である第1モードと、送受信方式が周波数拡散変調方式を用いる第2モードと、の間で切り替える。車両1の制御モードの一つである前進モードは、車両1が前進または停止しているときであり、撮像部11を用いずに、音波センサ12を用いてパルス方式である第1モードで物体を検知するモードである。後退モードは、車両1が後退しているときに、撮像部11で車両1後方を撮像しながら、音波センサ12で、前進モードと同様にパルス方式である第1モードで物体を検知するモードである。人確認モードは、撮像部11で撮像された画像データから特定障害物候補である人候補が検出された場合に、音波センサ12を用いて人候補の推定位置に人が存在するかを確認するモードである。人確認モードでは、概ね、音波センサ12でパルス方式ではなく、周波数拡散変調方式を用いて人候補を検知し、人候補の推定位置に人が存在するか確認する。後退制限モードは、人が人候補の推定位置に存在することが確認された場合に、人に対して車両1が近づかないように車両1の動作を制限するモードである。音波センサ12の制御モードは車両1の制御モードとは独立しており、前進モードおよび後退モードではパルス方式で物体を検知するモードである第1モードで制御し、人確認モードおよび後退制限モードでは、概ね、周波数拡散変調方式を用いる第2モードで制御するが、状況に応じて第1モードで制御することもある。
モード切替部21は、ギア検知部13でギアが後退ギアとなったことが検知されると、前進モードから後退モードへと切り替え、撮像部11を起動する。また、モード切替部21は、後退モード中に、画像処理部22で人候補が検出されると、人確認モードへと切り替える。モード切替部21は、人確認モード中に、人候補確認部25で人候補の存在が確認されると、後退制限モードへと切り替える。なお、モード切替部21は、ギア検知部13で、ギアが後退ギアから他のギアとなったことが検知された場合には、後退モード、人確認モードおよび後退制限モードのいずれかのモードから前進モードへと切り替え、撮像部11を停止させる。
画像処理部22は、撮像部11から画像データを受信する入力部を備え、撮像部11で撮像される画像データから2本足で立つとみなされる人候補を検出する人候補検出処理と、人の推定位置情報を算出する推定位置算出処理と、を含む画像処理を実行する。
人候補検出処理では、画像処理部22は、撮像部11で撮像された画像データから2本足で立つものを人候補として検出する。図7A~図7Cは、撮像部で撮像された画像データの一例を示す図であり、図7Aは画像データの一例であり、図7Bは推定位置の算出方法の一例を示す図であり、図7Cは画像データ上での推定位置の一例を示す図である。
具体的には、図7Bに示されるように、画像処理部22は、画像データ820についてエッジ検出を行い、一対の縦方向のエッジ821を足とみなし、この足が2本並んで立っている場合に、人候補として検出する。縦方向のエッジ821の検出の際には、エッジ821が水平方向に対して90度を中心に所定の角度範囲にあるものを縦方向のエッジ821としてもよい。このように2本足であるものを人候補として検出すると、傘、コートまたはリュックなどで全体のシルエットが普通の人の外見と大きく違っている場合でも、人候補を正しく検出することができる。また、動物を人候補であるとする誤検知の発生も低減することができる。例えば、図7Aに示されるように、人が傘をさしていて、膝よりも上の部分が隠れてしまっている画像データ820の場合でも、2本足の存在によって人候補として検出することができる。しかし逆に言うと、画像上に2本足に見えるシルエットがあれば、人候補として検出されることになり、例えば路面上に引かれた2本の線を人の足と誤認する場合がある。これが、画像だけでは人であると判断できず、音波センサによる確認を必要とする所以である。
立ち位置算出処理では、画像処理部22は、人候補検出処理で検出された人候補の画像データ上での推定位置を算出し、推定位置を、例えば車両1上に設けた座標系上での座標に換算する。図7Bに示されるように、画像処理部22は、足とみなされた一対の縦方向のエッジ821の下端同士の中点822をそれぞれの足について求め、さらに、2つの中点822の中点823を求め、これを画像データ上の推定位置P’とする。例えば、図7Cに示されるように、画像データ上の推定位置P’は、画像データ820の左上の角部を原点O’とし、図の左右方向に延在する方向をX’軸とし、上下方向に延在する方向をY’軸とする座標系を用いて(XP’,YP’)と表される。
また、画像処理部22は、画像データ上の推定位置P’の座標と、撮像部11の画角および取付角の情報と、を用いて、撮像部11の設置位置を基準とした推定位置の3次元の方位角を算出する。そして、画像処理部22は、この3次元の方位角を用いて、画像データ上の推定位置P’を路面上の推定位置Pに変換する。3次元の方位角は、俯角と水平面内の方位角とを用いて表すことができる。なお、公知の方法を用いて、撮像部11の画角および取付角の情報から、人候補の推定位置の3次元の方位角を求めることができる。また、路面上の推定位置Pは、車両1の撮像部11が設置されている位置を原点とした座標系で表されるものとする。
図8Aおよび図8Bは、3次元の方位角を用いた路面上の推定位置の求め方の一例を模式的に示す図である。図8Aは、鉛直面内での撮像部と推定位置との間の関係を模式的に示す図であり、図8Bは、水平面内での撮像部と推定位置との間の関係を模式的に示す図である。車両1に設置された撮像部11の位置を原点Oとし、この原点Oを通り、水平面と平行な面内で車両1の長さ方向に平行な方向に延在する軸をY軸とし、原点を通り、Y軸に直交する水平面に平行な面内での軸をX軸とする。また、原点を通り、X軸およびY軸に垂直な軸をZ軸とする。
図8Aに示されるように、撮像部11(原点O)と推定位置Pとを結ぶ直線Lが水平面となす角度を俯角θaとする。この俯角θaは、撮像部11の垂直画角と画像データ上の推定位置P’のY座標YP’と、撮像部11の垂直方向の取付角とから求めることができる。また、撮像部11の設置位置の路面からの高さHは既知であるので、撮像部11と推定位置Pとの間の水平距離Lhは、次式(1)で求めることができる。
Lh=H/tanθa ・・・(1)
図8Bに示されるように、水平面内で撮像部11(原点O)と推定位置Pとを結ぶ直線LhがY軸となす角度が水平面内での方位角θbである。この方位角θbは撮像部11の水平画角と画像データ上の推定位置P’のX座標XP’と、撮像部11の水平面内の取付角とから求めることができる。(1)式から撮像部11と推定位置Pとの間の水平距離Lhが求められているので、これと方位角θbとから推定位置PのXY平面内での座標(XP,YP)を求めることができる。すなわち、推定位置Pの座標は、次式(2)によって表される。
(XP,YP)=(Lh・sinθb,Lh・cosθb) ・・・(2)
以上のようにして、画像処理部22によって、路面上の人候補の推定位置情報である座標(XP,YP)が求められる。なお、路面上の人候補の推定位置では、Z座標については考慮しないものとする。
制御情報算出部23は、画像処理部22からの人候補の推定位置情報あるいは後述する推定位置補正部26からの補正された人候補の推定位置情報を用いて、音波センサ12を制御する制御情報を算出する。図9は、撮像部と音波センサと人候補の推定位置との間の関係を模式的に示す図であり、図10は、音波センサから送信された音波が人候補で反射されてエコーとして戻ってくる伝播時間の関係を模式的に示す図である。
まず、制御情報算出部23は、音波センサ12と推定位置Pとの間の距離L1を算出し、音波センサ12と推定位置Pとの間で伝播される音波の伝播時間を算出する。図2Bに示されるように、車両1上において、撮像部11と音波センサ12との間の位置関係は予めわかっているので、制御情報算出部23は、撮像部11を中心とした座標系上での音波センサ12と推定位置Pとの間の距離L1を算出することができる。例えば、音波センサ12の座標を(X1,Y1)とすると、次式(3)によって距離L1を求めることができる。
L1={(XP-X1)2+(YP-Y1)21/2 ・・・(3)
ついで、図10に示されるように、制御情報算出部23は、音波センサ12と推定位置Pとの間の距離L1と、既知である音波の速度、すなわち音速Vと、を用いて、次式(4)によって、推定伝播時間T1を算出する。
T1=L1/V ・・・(4)
これによって、音波センサ12が送信されてから推定位置Pで反射して戻ってくるまでの音波の推定飛行時間が算出される。図10で、音波センサ12から推定位置Pまでの推定伝播時間がT1であるので、推定飛行時間は推定伝播時間T1の2倍である2T1となる。制御情報算出部23は、音波センサ12の推定伝播時間T1を含む制御情報を音波センサ制御部24に渡す。
音波センサ制御部24は、車両1の制御モードに応じて、音波センサ12の動作を制御する。前進モードおよび後退モードでは、音波センサ制御部24は、第1モードで音波センサ12を制御し、音波センサ12はパルス方式で物体の検知を行う。人確認モードでは、音波センサ制御部24は、概ね第2モードで音波センサ12を制御し、PN符号を用いてキャリアを変調するタイミングと、制御情報に基づいてPN符号を用いて受信信号を復調するタイミングと、を制御する。
また、第2モードでは、音波センサ制御部24は、音波センサ12での送信期間と受信期間との間の切り替えを行う。このとき、送信期間は、周波数拡散信号の1周期以上であり、推定飛行時間よりも短く設定される。これは、送信用振動子と受信用振動子とが兼用の音波センサ12の場合には、送信信号の送信を終えた後でなければ、受信信号を受信できないからである。つまり、送信期間が推定飛行時間よりも長いと、推定位置に存在する人候補で反射したエコーである受信信号の先頭部分が受信されなくなってしまうからである。また、送信期間を周波数拡散信号の1周期以上とすることで、周波数拡散変調によって変調利得を得ることができる。
また、音波センサ制御部24は、推定飛行時間に基づいて、音波センサ12に含まれるアンプのゲインを最適化する。すなわち、送信信号を送信してから、受信信号の受信が期待される時間帯でアンプの出力が飽和しないようにゲインを最適化する。音波センサ制御部24は、アンプ出力のレベルが適切でなく、飽和している場合や過小である場合には、ゲインを補正する。
送信期間および受信期間の切り替えのタイミングは、人候補の推定位置までの距離である推定距離に応じて変えることができる。図11Aおよび図11Bは、周波数拡散変調した場合の送信信号の送信期間の調整を説明するための図である。図11Aは、推定距離が長い場合を示し、図11Bは、推定距離が短い場合を示している。これらの図で、横軸は、時間を示し、縦軸は電力を示している。
図11Aに示されるように、人候補までの推定距離が長い場合には、送信信号ST2の電力積を大きくすることで、包絡線波形では受信信号SR2のレベルがノイズレベル以下であったとしても、人候補の距離を特定することができる。このようにPN符号の周期(符号長)を大きくすることで、送信信号ST2の送信期間W3を大きくすることができる。変調利得は符号長が長いほど大きくなるが、PN符号のビット周期が同じであれば、符号長が長いほど1周期のPN符号を送信するのに要する時間が長くなる。
図11Bに示されるように、人候補までの推定距離が短い場合には、拡散信号であるPN符号の周期を短くして、図11Aの場合の送信期間W3よりも短い送信期間W4とする。ただし、受信信号SR2を受信する時点で、送信信号の送信の残響N1が収まっている必要があるので、送信信号の送信の残響N1が収まった時刻に受信信号が受信されるようにPN符号の周期が調整される。その結果、図11Aの場合に比して処理利得が下がってしまうが、音波は距離の二乗に反比例して減衰するので、距離が短ければ、その分、受信信号SR2の強度が強くなると期待できる。つまり、距離が短いために受信信号SR2のレベルが大きければ、処理利得が小さくても受信信号SR2を検出することができる可能性が高くなる。なお、人候補までの推定距離の長短は、相対的なものであってもよいし、ある基準値に対する推定距離の長短であってもよい。
このように、人候補までの推定距離に応じて、周波数拡散信号の周期を変えることができる。例えば、上記したように、人候補までの推定距離が長ければ、周期が長いPN符号が用いられ、人候補までの推定距離が短ければ、周期が短いPN符号が用いられる。
図12Aおよび図12Bは、人候補までの推定距離が短い場合の信号の送受信の一例を模式的に示す図である。図12Aは、周波数拡散変調をした場合であり、図12Bは、周波数拡散変調をしない場合である。これらの図で、横軸は、時間を示し、縦軸は電力を示している。ここでは、時刻t1で送信信号ST1,ST2が音波センサ12から送信され、送信信号ST1,ST2が人候補で反射された受信信号SR1,SR2が時刻t5で音波センサ12で受信されるものとする。
図12Aに示されるように、人候補までの推定距離が図11Bの場合よりも短い場合には、PN符号の周期が短くなってしまうので、周波数拡散変調をしても、低い変調利得しか得られない。しかし、このように人候補が音波センサ12に近い場合には、図12Bに示されるように、受信信号SR1の電力はノイズレベルよりも大きくなることが多いと考えられる。つまり、通常のパルス方式でも検知可能である確率が高い。
そこで、音波センサ制御部24は、音波センサ12と人候補の推定位置との間の推定距離が所定の距離よりも大きい場合には、周波数拡散変調方式を選択し、音波センサ12と人候補の推定位置との間の推定距離が所定の距離未満である場合には、通常のパルス方式を継続して人の検知を行ってもよい。所定の距離は、受信信号のレベルがノイズレベルよりも大きい値になると期待できる距離である。つまり、人確認モードでも、人候補までの推定距離が短ければ、周波数拡散変調方式を用いる第2モードではなく、通常のパルス方式を用いる第1モードで制御してよい。
この使い分けを適用する場合、復調部122は、所定の距離よりも遠い距離に合わせた長い周波数拡散信号の周期にだけ対応できればよい。また、音波センサ制御部24は、人候補の推定位置までの距離が近距離の場合にはパルス方式を選択し、中距離の場合には周波数拡散符号の周期が短い周波数拡散変調方式を選択し、長距離の場合には周波数拡散符号の周期が長い周波数拡散方式を選択するようにしてもよい。この場合の近距離、中距離、長距離も、相対的なものであってもよいし、ある基準値に対する推定距離の長短であってもよい。人候補までの推定距離が例えば第1基準値よりも短い場合には、近距離であるとし、第1基準値よりも長く第2基準値よりも短い場合には、中距離であるとし、第2基準値よりも長い場合には、長距離であるとしてもよい。
このように人候補の推定位置までの距離にPN符号の周期を変えることによって、人候補の推定位置までの距離に応じた符号化利得を得ることができる。特に、人候補が遠方に存在し、受信信号が微弱になる場合でも、大きな符号化利得が得られるので、人候補を検知することができる。また、人候補が近距離に存在する場合にも、距離に応じたPN符号の周期が選択されるので、人候補を検知することができる。
なお、人候補の推定位置が音波センサ12から遠方にあり、背景雑音が支配的な妨害要因である場合には、音波センサ制御部24は、送信電力を上げることで、より具体的には、前進モードまたは後退モードのときにおける送信電力よりも大きい送信電力とすることで、背景雑音よりも大きい受信電力の受信信号が得られる場合がある。このとき、音波センサ制御部24は、送信電力を上げる制御を行った上で周波数拡散変調を行なってもよいし、周波数拡散変調を行うことなく、パルス波の送信電力を上げる制御を行ってもよい。これによって、より確実な検知を行うことができる。
また、音波センサ制御部24は、音波センサ12から送信信号を送信する前に受信レベルを測定させた結果を受信し、ノイズレベルが所定値以下である場合には、周波数拡散変調を行うことなく、通常のパルス波の送信を行ってもよい。つまり、音波センサ制御部24は、パルス波で障害物の検出を行う第1モードから、周波数拡散変調して特定障害物候補の確認を行う第2モードへと切り替えずに、第1モードのまま特定障害物候補の確認を行ってもよい。ノイズレベルが所定値以下である場合には、人候補で反射した受信信号を周波数拡散変調を行わなくても受信することができるので、人確認モードであっても、特定の距離の障害物の検知に限られる周波数拡散変調方式ではなく、不定の距離の障害物の検知が可能なパルス方式を継続することができる。
音波センサ制御部24は、音波センサ12で送信信号を送信した後、送信信号が人候補で反射した受信信号の受信状況を人候補確認部25に渡す。受信状況は、音波センサ12で受信した受信信号と、音波センサ12で送信信号を送信してから受信信号を受信するまでの音波(送信信号)の飛行時間と、を含む。なお、推定飛行時間に所定の許容範囲を加えた期間、受信信号を受信しなかった場合には、受信信号を受信しなかったとし、このときの飛行時間は、受信しなかったことを示す情報となる。本実施形態では、音波センサ12が1個である構成で説明しているが、音波センサ12が複数である構成でも本実施形態の技術は実施可能であり、水平面上に距離を置いて並べられた複数の音波センサ12からの飛行時間を3辺測量に適用すれば、水平面上での座標を特定できることは言うまでも無い。つまり、音波センサ12が複数あれば飛行時間の情報は複数になり、それは座標を特定し得る情報である。
人候補確認部25は、音波センサ12での受信信号の受信状況に基づいて、画像処理部22による人検知の信頼度評価を行う。具体的には、人候補確認部25は、音波センサ12で送信信号を送信してからの飛行時間を、人候補の位置から推定される推定飛行時間と比較し、その差が所定の誤差範囲内である場合には、推定位置に人候補が存在することを示す情報をモード切替部21に渡す。複数の音波センサ12を持つ場合には、複数の音波センサ12について推定飛行時間と実際の飛行時間を各々比較し、誤差を二次元的に評価して所定範囲内である場合には、推定位置に人候補が存在することを示す情報をモード切替部21に渡す。人候補確認部25は、音波センサ12での受信がない場合、及び、推定飛行時間と実際の飛行時間の差が、所定範囲より大きい場合は人候補の推定位置の補正を行う旨の情報を推定位置補正部26に通知する。なお、この例では、音波センサ12から得られる飛行時間と推定飛行時間を比較しているが、飛行時間および推定飛行時間に対応する位置情報を用いて比較してもよい。
推定位置補正部26は、人候補確認部25から人候補の推定位置の補正を行う旨の情報を受けると、撮像部11と推定位置とを結ぶ方向で、推定位置を補正する。推定位置の補正は、例えば撮像部11と推定位置とを結ぶ方向で、現在の推定位置から有効なソナー検知範囲の直径分だけずらした位置とすることができる。補正した推定位置は、制御情報算出部23に渡される。
表示処理部27は、モード切替部21が車両1の状態を前進モードから後退モードに切り替えたときに、撮像部11で撮像された画像データをHMI17に表示する。また、表示処理部27は、人確認モードが所定の時間継続した場合には、目視確認を促す情報をHMI17に出力する。さらに、表示処理部27は、モード切替部21が車両1の状態を人確認モードから後退制限モードに切り替えたときに、車両1後部での歩行者の存在の注意喚起を示す情報をHMI17に出力する。
加速制御部15は、車両1の加速を制御する。加速制御部15は、後退制限モード中に、車速が所定の速度を超える操作がなされた場合に、加速を禁止する。
制動制御部16は、車両1の制動を制御する。制動制御部16は、後退制限モード中で、人が車両1から所定の距離以内に存在する場合には、制動する。
HMI17は、音声および表示の少なくともいずれか一方によって、車両1の運転者に情報を与えるとともに、運転者からの操作を受け付ける運転者インタフェースである。HMI17は、例えばスピーカー付きのタッチパネルである。
つぎに、このような運転支援装置を含む車両1の動作について説明する。図13は、第1の実施形態による運転支援方法の手順の一例を示すフローチャートである。まず、車両1が後退ギア以外のポジションにギアが位置する前進モードにあるときに(ステップS11)、ギア検知部13が、ギアが後退ギアに切り替わったかを判定する(ステップS12)。前進モードでは、車両1の後方に設けられている撮像部11は停止状態にある。ギアが後退ギアに切り替わっていない場合(ステップS12でNoの場合)には、ステップS11に戻る。
一方、ギアが後退ギアに切り替わった場合(ステップS12でYesの場合)には、モード切替部21は、車両1の制御モードを前進モードから後退モードに切り替える(ステップS13)。後退モードに切り替わると、モード切替部21は、車両1の後方に設けられている撮像部11を起動する(ステップS14)。その後、表示処理部27は、撮像部11で撮像された画像データをHMI17に表示させ(ステップS15)、画像処理部22は、画像データを用いて人候補検出処理を行う(ステップS16)。検出の結果、人候補が存在しない場合(ステップS17でNoの場合)には、ステップS15へと処理が戻る。なお、後退モードでは、音波センサ12は、パルス方式で障害物の検知を行っている。
人候補が存在する場合(ステップS17でYesの場合)には、モード切替部21は、車両1の制御モードを後退モードから人確認モードへと切り替える(ステップS18)。
また、画像処理部22は、人候補の路面上での推定位置を算出する(ステップS19)。推定位置の算出では、人候補の画像データ上の推定位置が求められ、画像データ上の推定位置と撮像部11の取付角および画角とから、推定位置の3次元の方位角が算出され、3次元の方位角と撮像部11の設置高さとを用いて、人候補の路面上での推定位置が算出される。
その後、制御情報算出部23は、音波センサ12を人確認モードで制御する際に使用する制御情報を算出する(ステップS20)。制御情報の算出では、人候補の路面上での推定位置と、音波センサ12の車両1上での設置位置と、から音波センサ12と推定位置との間の推定距離が求められる。そして、推定距離と音速とから推定位置までの制御情報としての音波の推定伝播時間が求められる。
その後、音波センサ制御部24は、周波数拡散変調した送信信号を音波センサ12から送信するように制御する(ステップS21)。これによって、音波センサ12からは周波数拡散変調された送信信号が送信される。
推定位置に人が存在する場合には、送信信号が人で反射され、反射された送信信号は、受信信号として音波センサ12へと到達する。つまり、音波センサ12から送信信号が送信された後、制御情報中の推定伝播時間の2倍の時間(推定飛行時間)が経過した後に、音波センサ12に受信信号が到達することになる。一方、推定位置に人候補が存在しない場合には、受信信号は反射されず、各音波センサ12には受信信号が返らない。また、人候補が推定位置とは異なる位置に存在する場合には、制御情報中の推定伝播時間の2倍の時間とは異なる時間に受信信号が到達することになる。音波センサ12は、このような受信信号の受信状況を取得し(ステップS22)、受信状況を人候補確認部25に渡す。このとき、周波数拡散方式の場合、前述の様に反射波の先頭部分を受信してから相関器の出力がピーク値を迎えるまで時間差があるので、音波センサ12側または人候補確認部25で受信時刻を補正してから人候補確認を行う必要がある。
その後、表示処理部27は、人確認モードに切り替わってから所定の時間が経過したかを判定する(ステップS23)。所定の時間が経過した場合(ステップS23でYesの場合)には、表示処理部27は、後方の目視を運転者に促す情報をHMI17に出力する(ステップS24)。目視を促す情報は、表示可能な情報でもよいし、音声情報でもよい。
その後、あるいは所定の時間が経過していない場合(ステップS23でNoの場合)には、人候補確認部25は、推定位置に人候補が存在するか否かを判定する(ステップS25)。推定位置に人候補が存在しない場合(ステップS25でNoの場合)には、推定位置補正部26は、路面上での人候補の推定位置を補正する(ステップS26)。なお、人候補確認部25は、送信信号を送信してから推定飛行時間が経過した時刻とは大きく異なる時刻に受信信号を受信した場合、あるいは受信信号を受信しなかった場合には、人候補が推定位置に存在しないとする。そして、処理がステップS20に戻る。
また、推定位置に人候補が存在する場合(ステップS25でYesの場合)には、人候補確認部25は、推定位置に人候補が存在することを示す情報をモード切替部21に通知し、モード切替部21は、制御モードを人確認モードから後退制限モードへと切り替える(ステップS27)。また、表示処理部27は、HMI17に人が所定の範囲内に存在することを示す人注意喚起情報を出力する。人注意喚起情報は、表示可能な情報でもよいし、音声情報でもよい。後退制限モード中では、加速制御部15は、車速が所定の速度を超える加速を禁止し、制動制御部16は、人が所定の距離以内のときには制動する。
その後、人候補確認部25は、画像データ中から人候補が居なくなったかを判定する(ステップS28)。画像データ中に人候補がいる場合(ステップS28でNoの場合)には、人候補が居なくなるまで待ち状態となる。また、画像データ中から人候補が居なくなった場合(ステップS28でYesの場合)には、ステップS13へと処理が戻る。
なお、連続波を送信信号として送信する場合には、音波センサ制御部24は、音波センサ12から送信信号を送信してから、推定飛行時間よりも短い時間で連続波の送信信号を送信する送信期間と、連続波の受信信号を受信する受信期間と、が繰り返すように音波センサ12を制御する。受信期間は、送信期間が終了した後、推定飛行時間にマージンを取った期間とされる。そして、この処理が繰り返し行われる。
また、復調部122の構成は、図5Bに示される構成のものに限られず、種々のものを用いることができる。図14は、復調部の他の構成例を示す図である。この復調部122は、スライディング相関器によって構成される。復調部122は、乗算器1231、n-1個の遅延器1232および加算器1233を含むフィルタ130A~130Cが3つ並列に配置されている。また、フィルタ130B,130Cには、フィルタ130AよりもPN符号の乗算器1231への入力を遅らせる遅延器131B,131Cが設けられている。フィルタ130Bの乗算器1231へのPN符号の入力は、フィルタ130Cの乗算器1231へのPN符号の入力よりも遅くなるように遅延器121B,131Cが設定される。ここでは、フィルタ130Aを基準にして、0.5T、1Tだけ遅れてPN符号がフィルタ130B,130Cに入力されるように設定されている。
このような構成では、受信信号SRCの入力とPN符号PNCの入力とがいずれかのフィルタ130A~130Cで一致する可能性が高まる。例えば、受信信号SRCの入力に対してPN符号PNCの入力のタイミングが、フィルタ130A,130Cでは合わないが、フィルタ120Bでは合う場合もある。この場合には、フィルタ130A,130Cでは、出力されるキャリアからPN符号が消えず、振幅が小さい信号が得られるが、フィルタ120Bでは、出力されるキャリアからPN符号が消えて振幅が大きな連続波となる信号が得られる。なお、いずれの場合でも雑音は加算平均で小さくなる。
このように、復調のタイミングを変えたフィルタ130A~130Cを並列動作させることで、人候補の推定位置に誤差があり、受信信号SRCのPN符号の位相が少しずれていた場合でも、複数のフィルタ130A~130Cのうち出力振幅が最大のもので受信信号を検知することができる。また、どのフィルタ130A~130Cの出力振幅が最大になったかを特定することで、基準となるフィルタからのずれに基づいて音波センサ12と人候補との間の正しい距離を特定することができる。なお、図14では、フィルタ130A~130Cが3つ設けられる場合が示されているが、任意の数のフィルタを設けることができる。
図15は、復調部の他の構成例を示す図である。この復調部122は、相関器によって構成される。復調部122は、n-1個の遅延器1234と、使用されるPN符号に合わせて遅延器1234の出力側あるいは受信信号SRCの出力側に設けられるインバータ1235と、入力された受信信号SRCおよび各遅延器1234の出力を加算する加算器1236と、を備える。図15の復調部122では、受信信号SRCをPN符号PNCで復調する乗算器が設けられていないが、回路上に固定されたインバータ1235により信号が反転される。このような構成の復調部122では、各遅延器1234に固定の反転/非反転パターンにマッチするビットが乗ったときに加算器1236に入力される信号の位相が同位相になり、全ての信号が相乗した状態で加算されてピーク値が出力される。送信信号の送信時を基準として復調部122でピーク値を出力するタイミングを取得することで、人候補の実際の位置と推定位置とのずれを求めることができ、その結果、音波センサ12と人候補との間の距離を求めることができる。この相関器は符号1周期分の信号を加算する状態となったときに大振幅を出力し、それ以外のタイミングでは大振幅を出力しないので、外見的には1周期分の幅広パルスの信号が、ビット周期1Tの幅に圧縮された様に見える。これは、相関器が1周期分の受信電力をビット周期1Tの間に集中させた、とも言える。この性質を捉えて、周波数拡散変調方式をパルス圧縮方式と呼ぶことがある。なお、遅延器の前でPN符号PNCを打ち消す構成でも、相関器内の固定のインバータでPN符号PNCを打ち消す構成でも、変調利得(ノイズ抑圧比)は同じであり、符号長が長いほうが大きな変調利得が得られる。
(第1の実施形態の第1の変形例)
第1の実施形態では、周波数拡散変調方式としてPN符号変調方式を用いる場合を例に挙げたが、実施形態がこれに限定されるものではない。第1の変形例では、周波数拡散変調方式として、チャープ変調方式を用いる場合を例に挙げる。なお、以下では、第1の実施形態と異なる部分のみ説明する。
図16Aは、チャープ変調方式での変調部の構成の一例を模式的に示す図であり、図16Bは、チャープ変調方式での復調部の構成の一例を模式的に示す図である。図17は、チャープ信号の一例を示す図である。変調部121は、図16Aに示されるように、単一周波数のキャリアCTに、拡散信号であるチャープ信号CSを乗算する乗算器であり、これによって、送信信号STCが生成される。チャープ信号CSは、図17に示されるように、時間に対して周波数が所定の変化率で変化する信号である。
復調部122は、図16Bに示されるように、遅延器1220と、乗算器1221と、狭帯域バンドパスフィルタ1222と、周波数検出器1223と、を有する。乗算器1221は、送信信号STCが人候補で反射され、雑音を含む受信信号SRCにチャープ信号CSを遅延量が可変な遅延器1220で遅延したものを乗算し、単一周波数のキャリアを出力する。復調部122のチャープ信号CSは変調部121のチャープ信号CSと同一であり、遅延器1220で与える遅延量は、人候補の推定位置に対応した音波の飛行時間である。狭帯域バンドパスフィルタ1222は、キャリア周波数と中心周波数が一致するフィルタであり、乗算器1221から出力されたキャリア中の雑音を除去する。周波数検出器1223は、狭帯域バンドパスフィルタを通過したキャリアの周波数を検出する。
図18は、チャープ変調方式の場合の人候補の推定位置の補正方法の一例を示す図であり、図19は、チャープ信号の周波数の時間に対する変化の一例を示す図である。これらの図で、横軸は時間を示し、縦軸は周波数を示している。人候補が推定位置に存在する場合には、遅延器1220で与える遅延量は、人候補の推定位置に対応した音波の飛行時間であるので、復調部122での受信信号の受信タイミングと、チャープ信号の復調のタイミングとが一致しており、受信信号に加えられたチャープ信号の周波数と、乗算器1221で掛け合わされるチャープ信号の周波数は同じになっている。そのため、グラフ840に示されるように、復調されたキャリアは、チャープ信号の周波数が打ち消され、基準となる周波数F0(キャリア周波数)を有することになる。人候補確認部25は、この基準となる周波数F0を保持している。
人候補が推定位置よりも近くに存在する場合には、遅延器1220で与える遅延量は、人候補の推定位置に対応した音波の飛行時間なので、復調部122でのチャープ信号の復調タイミングに比して、受信信号が早く到着する。復調タイミングでは、チャープ信号は時間に比例して周波数が下がる信号であるので、早く到着した分だけ、受信信号の周波数が下がっている。このような受信信号を、人候補の推定位置に対応した時間だけ遅延したチャープ信号を用いて復調すると、グラフ842に示されるように、復調されたキャリアの周波数F1は、基準となる周波数F0よりも低くなる。また、復調タイミングよりも前の時間では、復調されていない成分で、周波数F1よりも大きい周波数F1aが現れている。周波数F1aの成分は、狭帯域バンドパスフィルタ1223によって除去される。
人候補が推定位置よりも遠くに存在する場合には、遅延器1220で与える遅延量は、人候補の推定位置に対応した音波の飛行時間なので、復調部122でのチャープ信号の復調タイミングに比して、受信信号が遅れて到着する。チャープ信号は時間に比例して周波数が下がる信号であるので、復調タイミングでは、遅く到着した分だけ、受信信号の周波数が上がっている。このような受信信号を人候補の推定位置に対応した時間だけ遅延したチャープ信号を用いて復調すると、グラフ844に示されるように、復調されたキャリアの周波数F2は、基準となる周波数F0よりも高くなる。また、チャープ信号による復調が終了したタイミングよりも後の時間では、復調されていない成分で、周波数F2よりも小さい周波数F2aが現れている。周波数F2aの成分は、狭帯域バンドパスフィルタ1223によって除去される。
図19に示されるように、チャープ信号は、時間の経過とともに周波数が一定の割合で減少していく信号である。そこで、例えば基準となる周波数F0とグラフ842で検知される周波数F1との間の周波数差ΔFを、図19から時間差Δtに変換することができる。そして、この時間差Δtと音速Vとを用いることで、人候補の推定位置からのずれが求められる。例えば、この場合には、撮像部11と推定位置とを結ぶ方向で、推定された推定位置よりも算出したずれの分だけ車両1側に近い位置に人候補が存在することになる。グラフ844で検知される周波数F2の場合にも同様にして人の推定位置を補正することができる。この場合には、撮像部11と推定位置とを結ぶ方向で、推定された推定位置よりも算出したずれの分だけ車両1から離れる位置に人候補が存在することになる。このような人候補の位置の補正は、ECU14の人候補確認部25で行われる。
また、受信状況が送信信号を送信してから所定の時間内に受信信号を受信しなかったことを示す場合には、人候補確認部25は、人候補の推定位置の補正を行う旨の情報を推定位置補正部26に通知する。
なお、図16Bは、復調部122がアナログフィルタで構成される場合を示しているが、実施形態の変形例はこれに限定されない。例えば、復調部122をベースバンド処理が可能なデジタルフィルタで構成してもよい。この場合には、復調部122は、相関器によって構成される。相関器では、積分期間を送信信号の送信期間に対応して変えることによって、送信信号の送信期間を長くすることができる。これによって、帯域幅の変更がアナログフィルタの場合に比して容易となり、高いS/N比の改善が得られる。また、PN符号変調方式とチャープ変調方式とを組み合わせて送信してもよい。
(第1の実施形態の第2の変形例)
第2の変形例では、周波数拡散変調方式として、周波数ホッピング方式を用いる場合を例に挙げる。なお、以下では、第1の実施形態と異なる部分のみ説明する。
図20は、周波数ホッピング方式での変調部および復調部の構成の一例を模式的に示す図である。変調部121および復調部122は、FM(Frequency Modulation)変調器で構成され、復調部122は遅延器1225と接続される。変調部121では、周波数に対する電力密度がグラフ851のようなキャリアに、時間に対する周波数が疑似ランダムなグラフ855で示されるホッピングパターンHPを用いて周波数拡散変調される。その結果、周波数に対する電力密度がグラフ852のような送信信号STCが送信される。
復調部122では、周波数に対する電力密度がグラフ853のような雑音を含む受信信号SRCが、時間に対する周波数が疑似ランダムなグラフ856で示されるホッピングパターンHPを用いて復調される。復調部122には遅延器1225を介してホッピングパターンHPが入力される。遅延器1225は、変調部121に入力されてから推定飛行時間だけ遅れてホッピングパターンHPを復調部122に出力するように構成される。また、遅延器1225では、ホッピングパターンHPの周波数変化の方向を変調部121に入力したホッピングパターンと逆になるように復調部122に出力する。これによって、実際の送信信号の飛行時間が推定飛行時間と一致する場合には、周波数変化が打ち消されて、グラフ854aのように、電力分布が集中した一定周波数のキャリア信号が得られる。PN符号変調方式の場合と同様に、遅延器と加算器を組み合わせて復調されたキャリア信号をホッピングパターンHPの周期に渡って加算することにより、処理利得を得ることもできる。しかし、実際の送信信号の飛行時間が推定飛行時間と一致しない場合には、グラフ854bのように、周波数変化が打ち消されず、電力密度が拡散されたままのキャリアが得られる。そのため、電力密度がキャリア周波数に集中するように、遅延器1225の遅延時間を調整することによって、送信信号の送信から受信信号の受信までの間に遅延された時間を取得することができる。音波センサ12は、この遅延した時間を音波の飛行時間として報告する。ECU14の人候補確認部25はソナーから報告された音波の飛行時間と人候補の位置までの距離を照合し、許容誤差範囲内であれば、人候補の位置に実際に人が居ると判定する。また、音波センサ12が復調器の出力にキャリアを検出しなかった場合は、音波センサ12は飛行時間を報告せず、ECU14の人候補確認部25は音波センサ12から音波の飛行時間の報告が無ければ、人候補の位置に実際に人が居ると判定しない。なお、送信信号の飛行時間と推定飛行時間とが一致するとは、多少のずれを含んでいてもよく、送信信号の飛行時間と推定飛行時間とが相応する場合を含むものである。
第1の実施形態では、環境情報取得部である撮像部11で撮像された画像データから、データ処理部である画像処理部22で特定障害物候補である人候補を検出し、人候補の推定位置を算出する。モード切替部21は、人候補が検出されると、所定の方向に存在する障害物の有無を検知する第1モードから、人候補が推定位置に存在するかを確認する第2モードと、を切り替える。音波センサ制御部24は、第2モードのときに、音波を周波数拡散変調方式で変調した送信信号を音波センサ12から送信させ、送信信号を送信した後に、送信信号が人候補で反射され、音波センサ12で受信された受信信号を復調させる制御を行う。人候補確認部26は、音波センサ12での受信信号の受信状況に基づいて、人候補が推定位置に存在するかを確認する。音波を周波数拡散方式で変調し、送信期間を周波数拡散信号の周期まで長くして送信信号の電力積を変調しない場合よりも上げることで、人候補で反射された受信信号の電力積も変調しない場合よりも上げることができる。人候補の推定位置に応じて音波センサ12での受信信号の復調タイミングと受信信号の受信タイミングとを一致させると、周波数拡散信号の周期に渡って信号を加算することにより、復調信号とノイズの比率、即ちS/N比が改善され、この変調利得によってノイズレベルよりも大きな受信信号を得ることができる。その結果、雑音が存在する状況下においても、撮像部11で検出された人候補の推定位置に存在する人候補の存在を検知することができる。
また、復調タイミングと受信信号の受信タイミングとのずれを検出することで、人候補の実際の位置の推定位置からのずれを求めることができる。例えば、チャープ変調方式では、人候補の実際の位置が推定位置からずれている場合に、復調されたキャリアの周波数が、人候補が推定位置に居る場合に比して変化する。この周波数変化が推定位置と実際に存在する位置との間の伝播時間のずれに対応し、実際の位置の推定位置からのずれがわかり、人候補の実際の位置を特定することができる。
なお、駐車場などでは、他の車両の送信信号を受信して妨害を受けることがあり、また、自車両の送信信号の長さを長くすると、他の車両に妨害を与える可能性が高くなる。送信信号の長さが短い場合でも、多重反射によって、エコーが長時間残ることがある。しかし、第1の実施形態で説明したPN符号変調およびチャープ変調は周波数拡散変調と呼ばれる変調方式の一種であり、信号の帯域幅を広げることで、周波数が一定であるノイズの妨害を受けにくくなる。また、妨害となる信号が、周波数拡散変調されている別の信号である場合でも、PN符号の符号位相またはチャープ変調の走引開始時刻の様に、復調の鍵になるタイミングが違っていれば、周波数拡散変調された信号同士が互いに与える妨害は小さくなるという性質がある。つまり、第1の実施形態による運転支援装置を備えた車両1が向き合う様な状況があっても、どちらの車両1も大きな妨害を受けずに人候補の検知を行うことができる。
また、制御情報算出部23は、推定位置と第1音波センサとの間の推定距離を算出し、音波センサ制御部24は、第2モードのときに、推定距離が所定値よりも大きい場合に、第1モードでの送信電力よりも大きい送信電力で、音波の送信信号を音波センサ12から送信する制御を行う。推定距離が所定値よりも大きい場合には、雑音は背景雑音がメインとなり、第1モードでの送信電力よりも大きい送信電力で音波を送信することで、ノイズレベルよりも大きな受信信号が得られる。その結果、雑音が存在する状況下においても、撮像部11で検出された人候補の推定位置に存在する人候補の存在を検知することができる。
また、画像データから人候補を検出した場合に、人確認モードに切り替えるようにしたので、人候補を検出していない期間は、通常のパルス方式で他の障害物を検知することができる。さらに、画像データ中の一対の縦方向のエッジが2本並んでいる場合に、人候補が存在するものとして検知するようにした。これによって、人が傘をさしている場合、あるいは防寒服を着たりまたはリュックサックを背負っていたりしている場合のように、上体のシルエットに影響されることがないので、人全体のシルエットを用いて人候補を検知する場合に比して、人候補を容易に検知することができる。
また、第1の実施形態では、画像データから人候補を検出した場合を紹介したが、人候補を検出する手段は、カメラ撮影画像の処理に限定されない。例えば、第1モードで受信したエコーが微弱で、音波の反射率が低い物体の存在が推定される場合には、第2モードを利用し、S/Nを改善した状態で物体の有無を確認するような機能を構成してもよい。
(第2の実施形態)
第1の実施形態では、1周期分の周波数拡散信号を用いて変調された受信信号を復調する例を示したが、受信信号の入力タイミングと周波数拡散信号を用いた復調タイミングとがずれてしまった場合に問題を生じる部分がある。第2の実施形態では、前記課題に対策した運転支援装置、車両および運転支援方法について説明する。また、ここでは、周波数拡散変調方式としてM系列PN符号変調方式を用いる場合を例に挙げる。
図21は、PN符号を用いた復調タイミングに対する受信信号の入力タイミングによる位相の一致度合の一例を示す図である。第1の実施形態と同様に、7ビットのPN符号「1110100」を用いる場合を示す。また、1周期のM系列PN符号を、PN符号の1ビット周期Tごとに循環遅延してビットの一致度合を算出している。一致度合は、ビットの一致数から不一致数を引いたものである。図に示されるように、遅延がPN符号の1周期の整数倍(0T,7T)の場合には、一致度合は最大となり、遅延がPN符号の1周期の整数倍以外の場合には、一致数と不一致数とが相殺する。
PN符号と受信信号の位相とが不一致である場合、言い換えると、復調タイミングと受信信号のタイミングとがずれている場合には、一致数と不一致数とが相殺して出力が小さくなる。逆に、PN符号と受信信号の位相とが一致する場合には、すべて一致となって出力が大きくなる。この性質を利用して、符号の位相、すなわち遅延量を知ることができる。
PN符号は、少なくとも1周期分を送信する必要があるが、遅延時間の推定に誤差があった場合には、1周期分のPN符号の送信だけでは、正負が相殺しない問題が生じる。図22は、1周期分のPN符号を送信した場合の問題点を説明するための図である。ここでは、図5Bまたは図15に示される復調部122(相関器)でPN符号の1周期を検波区間(相関検出の積分区間)とし、PN符号を用いた復調タイミングに対して、受信信号が遅延して入力された場合の一致度合を示すものである。
1周期分のPN符号で変調された送信信号の場合には、受信信号の受信とPN符号を用いた復調タイミングとが一致している場合、すなわち遅延差が±0Tの場合には、相関器の内部が有意な値を取る。ここで、有意な値とは、受信信号とPN符号とが一致しているのか不一致であるのか確定しない状態を含まないことを言う。
しかし、受信信号の受信とPN符号を用いた復調タイミングとが少しでも前後にずれると、検波区間内に無信号区間が生じる。図22中で「?」マークを付した部分である。このような無信号区間は不定となり、一致度合を算出することができない。すなわち、一致数と不一致数とが相殺できなくなり、検波結果(相関検出の出力)が不確定になる。このように、1周期分のPN符号だけでは、一致数と不一致数とが相殺しないという問題が生じる。
そこで、第2の実施形態では、1周期分のPN符号の前後に、連続する符号位相を付加したPN符号を変調に用いる。図23は、第2の実施形態によるPN符号の一例を示す図である。第2の実施形態によるPN符号500は、1周期分のPN符号からなる本体部510と、本体部510の前後に付加される拡張部521,522と、を有する。拡張部521は、本体部510の前に付加され、拡張部522は、本体部510の後ろに付加される。拡張部521,522は、PN符号の1周期未満の長さを有する。拡張部521は、本体部510の最も後ろのビット512から所定の数のビット列516と同じ配列を有する。拡張部522は、本体部510の最も前のビット511から所定の数のビット列515と同じ配列を有する。ここでは、拡張部521,522の長さが3ビットである場合を例示している。つまり、受信信号の受信とPN符号を用いた復調タイミングとが一致する場合の前後3ビット周期分において、検波結果を出力することができる。なお、図では、拡張部521,522は、本体部510の前後に設けられる場合を示しているが、本体部510の前および後ろのうち少なくとも一方に設けられていればよい。第2の実施形態では、変調部121は、図23に示したようなPN符号を用いてキャリアの変調を行う。
図24は、第2の実施形態によるPN符号を用いた場合のPN符号を用いた復調と受信信号の受信のタイミングとの一例を示す図である。この図に示されるように、遅延差が-3Tから+3Tの範囲で、検波区間の全体に渡って有意な検波結果が出力される。また、どの符号位相で最大の出力が得られるかを調べることにより、遅延差を特定することができる。すなわち、遅延差が-3Tから+3Tの範囲であれば、人候補の実際の位置と推定位置との誤差を求めることができる。
なお、PN符号変調の場合だけではなく、チャープ変調で1周期分のチャープ信号を用いて変調を行う場合にも、変調部121は上記と同様に本体部に拡張部を付加したチャープ信号を用いることができる。
図25A~図25Gは、チャープ信号の一例を説明するための図である。図25Aは、1周期分のチャープ信号の時間に対する周波数の変化を示す図であり、図25Bは、図25Aのチャープ信号でチャープ変調された受信信号を復調して得られる信号の一例を示す図である。図25Cは、連続送信する場合のチャープ信号の時間に対する周波数の変化を示す図であり、図25Dは、拡張したチャープ信号の時間に対する周波数の変化の一例を示す図であり、図25Eは、図25Dのチャープ信号でチャープ変調された受信信号を復調して得られる信号の一例を示す図である。図25Fは、第2の実施形態による拡張したチャープ信号の時間に対する周波数の変化の一例を示す図であり、図25Gは、図25Fのチャープ信号でチャープ変調された受信信号を復調して得られる信号の一例を示す図である。これらの図において、横軸は時間を示し、縦軸は周波数を示している。
図25Aに示される1周期T分のチャープ信号を用いてキャリアを変調した送信信号が人候補で反射した受信信号を受信する場合を考える。受信信号の受信および復調のタイミングが合わないと、図25Bに示されるように、期待する信号が得られない区間が発生する。
PN符号変調の場合には、図23のように1周期分のPN符号の本体部510の前後に拡張部521,522を付加した。チャープ信号を連続送信する場合には、図25Cに示されるような周波数の変化を示すチャープ信号を送信する。そこで、この図25Cから1周期T分のチャープ信号を本体部とし、その前後から拡張部を抽出すると、図25Dに示されるような周波数の時間変化を示す拡張されたチャープ信号が得られる。この拡張されたチャープ信号を用いてキャリアを変調した場合には、受信信号の受信と復調とのタイミングが一致しなければ、周波数が不連続に変化する部分があるため、不一致期間の分だけ、図25Eに示されるように、本来とは異なる周波数を有する信号が発生してしまう。
そこで、第2の実施形態では、1周期T分のチャープ信号を連続性を持って前後に拡張する。すなわち、図25Fに示されるように、1周期T分のチャープ信号を本体部530とし、この本体部530の前後に、本体部530での時間に対する周波数の変化が連続する拡張部531を設けたものを拡張したチャープ信号とする。図25Fに示される拡張されたチャープ信号を用いてキャリアを変調した場合には、周波数の不連続な部分が現れないので、図25Gに示されるように、検波区間の全体に渡って人候補の推定位置と実際の位置との距離差に応じた周波数の信号が得られる。その結果、第1の実施形態の第1の変形例で説明したように、得られる信号から推定した推定位置と実際の推定位置との間のずれを正しく特定することができる。
なお、上記した説明では、本体部が周波数拡散信号の1周期分である場合を例に挙げたが、周波数拡散信号の周期の整数倍であってもよい。
第2の実施形態では、変調部121は、PN符号の1周期分の本体部510の前後の少なくとも一方に所定のビット数の拡張部521,522を付加した拡張したPN符号を用いてキャリアの変調を行う。これによって、人候補の推定位置、すなわち遅延時間に誤差があっても拡張部521,522の範囲内での誤差であれば、復調部122で一致と不一致とを相殺できないという問題が生じない。その結果、拡張部521,522の範囲内で、人候補の推定位置からの実際の位置のずれを検出することができる。
また、変調部121は、チャープ信号の1周期分の本体部530の前後の少なくとも一方に、本体部530の周波数の時間に対する変化率と同じ変化率を有し、本体部530の前後で連続する所定の期間の拡張部531を付加した拡張したチャープ信号を用いてキャリアの変調を行う。これによって、受信信号の受信とチャープ信号を用いた復調とのタイミングがずれていても、人候補の推定位置と実際の位置との距離差に応じた周波数の信号が得られる。その結果、推定位置と実際の位置との間のずれを正しく特定することができる。
(第3の実施形態)
周波数拡散変調方式では、特定の距離に障害物が存在するか否かがわかるだけであり、その他の距離の障害物を検知することができない。つまり、周波数拡散変調方式では、推定位置以外の位置に存在する他の障害物を検知することができない。第3の実施形態では、人確認モードの場合でも他の障害物を検知することができる運転支援装置、車両および運転支援方法について説明する。
図26は、第3の実施形態による車両の構成の一例を模式的に示すブロック図である。ここでは、上記した実施形態と異なる部分について説明する。第3の実施形態による車両1は、ECU14に時間管理部28が設けられる。時間管理部28は、通常のパルス波を用いて障害物の検知を行うモード(第1モード)から特定の距離の障害物を検知するモード(第2モード)に切り替わると、切り替わった時点から第1モードの中断時間の計時を開始し、第1モードの中断時間が所定の時間を超えた場合に、第2モードを一時的に中断して第1モードの挿入をモード切替部21に指示する。モード切替部21は、第1モードの挿入の指示を受けると、通常のパルス波を用いて障害物の検知を行う第1モードを所定の時間行った後に、再び中断前の第2モードに切り替える。時間管理部28は、中断前の第2モードに切り替わった時点から再び中断時間の計時を開始する。
図27は、第3の実施形態による人確認モードにある場合のモードの切り替え制御処理の手順の一例を示すフローチャートである。時間管理部28は、車両1の制御モードが通常のパルス波を用いて障害物の検知を行う第1モードから第2モードに切り替わると(ステップS51)、第1モードの中断時間の計時を開始する(ステップS52)。
ついで、時間管理部28は、人確認モードが終了したかを判定する(ステップS53)。例えば、人候補の検出が無くなって後退モードに切り替わった場合、あるいは車両1のギアが後退ギアから後退ギア以外のギアポジションになり、前進モードに切り替わって、後方の人確認が不要になった場合は、人確認モードが終了したと判定する。
人確認モードが終了していない場合(ステップS53でNoの場合)には、時間管理部28は、中断時間が挿入判定閾値を超えたかを判定する(ステップS54)。中断時間が挿入判定閾値を超えていない場合(ステップS54でNoの場合)には、時間管理部28は、第2モードを継続する(ステップS55)。その後、処理がステップS53へと戻る。
ステップS54で中断時間が挿入判定閾値を超えている場合(ステップS54でYesの場合)には、時間管理部28は、第1モードの挿入をモード切替部21に指示する。これによって、モード切替部21は、第2モードから第1モードに切り替え(ステップS56)、第1モードで検知を行う(ステップS57)。第1モードでは、パルス波の送信信号が音波センサ12から送信され、障害物からの反射波である受信信号を受信することで、障害物の検知を行う。第1モードを例えば所定の時間実行した後、モード切替部21は、第1モードから、第2モードに切り替える(ステップS58)。その後、処理がステップS52へと戻る。なお、ステップS57は第1モードの継続時間で次のステップに進める方法と、第1モードでの測定回数でステップに進める方法とがある。
また、ステップS53で人確認モードが終了した場合(ステップS53でYesの場合)には、モード切替部21は、第1モードへと切り替え(ステップS59)、処理が終了する。
なお、人確認モード中での第1モードの挿入の有無を、車両の速度によって決定してもよい。図28は、第3の実施形態による車両の構成の他の例を模式的に示すブロック図である。なお、上記した実施形態と異なる部分について説明する。この例では、車両1は、車両1の速度を検知する車速センサ18をさらに備える。車速センサ18は、検知した車両の速度をECU14に出力する。
時間管理部28は、中断時間が所定の時間を超えた場合でも、車速センサ18から取得した車速が所定値以下である場合には、第2モードを継続する。また、車速センサ18から取得した車速が所定値より大きい場合には、時間管理部28は、第2モードを一時的に中断して第1モードの挿入をモード切替部21に指示する。
図29は、第3の実施形態による後退モードにある場合のモードの切り替え制御処理の手順の他の例を示すフローチャートである。図26のフローチャートと異なる部分について説明する。
ステップS54で中断時間が挿入判定閾値を超えた場合(ステップS54でYesの場合)には、時間管理部28は、車速センサ18から車速を取得し(ステップS71)、車速が継続判定閾値以下であるかを判定する(ステップS72)。車速が継続判定閾値以下である場合(ステップS72でYesの場合)には、モード切替部21は、第2モードを継続する(ステップS55)。これによって、例えば車速が停止状態に近い速度である場合には、第1モードによる他の障害物の検知よりも、人候補の検知を優先することができる。車速の継続判定閾値は例えばゼロとしてもよく、車両1が完全に停止しているときだけ第2モードの継続時間に制限を設けない様にしてもよい。その後、処理がステップS53へと戻る。
また、ステップS72で車速が継続判定閾値を超えた場合(ステップS72でNoの場合)には、ステップS56へと処理が移る。
第3の実施形態では、音波センサ12の制御が第2モードにある状態が所定の時間よりも長く継続した場合に、パルス波を用いて障害物の検知を行う第1モードへと切り替えるようにした。これによって、人確認モードにあるときに、他の障害物を検知することができない状態を短くすることができる。
(第4の実施形態)
第4の実施形態では、複数の音波センサを用いて、受信信号の電力を大きくすることができる運転支援装置、車両および運転支援方法について説明する。
図30は、第4の実施形態による運転支援装置を含む車両の構成の一例を模式的に示すブロック図である。図31Aおよび図31Bは、第4の実施形態による車両の一例を模式的に示す図であり、図31Aは側面図であり、図31Bは上面図である。また、以下では、上記した実施形態と異なる部分について説明する。
第4の実施形態では、車両1には、複数の音波センサ12が設けられる。ここでは、4つの音波センサ12-1~12-4が設けられる場合を示す。また、音波センサ12-1~12-4には、変調部および復調部は設けられていない。図31Aおよび図31Bに示されるように、リアバンパ102にほぼ等間隔で同じ高さに4つの音波センサ12-1~12-4が設けられる。
制御情報算出部23は、制御情報として、各音波センサ12-1~12-4と推定位置との間の推定伝播時間と、最も推定伝播時間が長い音波センサと他の音波センサの推定伝播時間との差である時間差と、を算出し、音波センサ制御部24に渡す。図32は、撮像部と各音波センサと人候補の推定位置との間の関係を模式的に示す図であり、図33は、音波センサから送信された送信信号が人候補で反射されて受信信号として戻ってくる伝播時間の関係を模式的に示す図である。
推定伝播時間の算出は、第1の実施形態と同様の方法で算出される。図32に示されるように、車両1上において、撮像部11と音波センサ12-1~12-4との間の位置関係は予めわかっている。各音波センサ12-1~12-4の座標を(X11,Y11)、(X12,Y12)、(X13,Y13)、(X14,Y14)とすると、式(3)と同様の方法で、推定距離L11~L14が求められる。そして、推定距離L11~L14と算出時点の温度における音速Vとを用いて、式(4)と同様の方法で、推定伝播時間T11~T14が求められる。ここでは、推定伝播時間はT14>T13>T11>T12であったとする。
制御情報算出部23は、各音波センサ12-1~12-4の推定伝播時間T11~T14から、最も推定伝播時間の長い音波センサを基準とした他の音波センサの推定伝播時間の差を算出する。図33に示されるように最も推定伝播時間の長い音波センサは音波センサ12-4であるので、この推定伝播時間T14とその他の音波センサ12-1~12-3の推定伝播時間T11~T13との時間差ΔT11~ΔT13を算出する。時間差ΔT11~ΔT13は、次式(5-1)~(5-3)で示される。
ΔT11=T14-T11 ・・・(5-1)
ΔT12=T14-T12 ・・・(5-2)
ΔT13=T14-T13 ・・・(5-3)
音波センサ制御部24は、人確認モードでは、各音波センサ12-1~12-4からの音波が推定位置で相乗されるように、すなわち各音波センサ12-1~12-4からの音波が同時に推定位置に到達するように各音波センサ12-1~12-4からの音波の送信時刻を制御する。つまり、音波センサ制御部24は、時間差ΔT11~ΔT13を用いて、各音波センサ12-1~12-4での音波の送信時刻を制御する。
この場合には、音波センサ制御部24は、推定位置から最も遠い音波センサ12-4で音波を時刻t10で送信した後、時刻t10+ΔT13で音波センサ12-1-12-3から音波を送信し、時刻t10+ΔT11で音波センサ12-1から音波を送信し、時刻t10+ΔT12で音波センサ12-2から音波を送信するように制御する。このように、推定位置から最も遠い位置にある音波センサ12-4を基準にして、時間差を設けて各音波センサ12-1~12-3から音波を送信すると、推定位置に同時刻に各音波が到達する。その結果、それぞれの音波が推定位置で合成され、強度の強い音波となる。また、強い音波が人候補で反射すると、反射波であるエコーも強度の強い音波となる。強度の強いエコーは、雑音に埋もれることがなく、各音波センサ12-1~12-4で検出することが可能になる。
なお、このとき、すべての音波センサ12の音波の送信開始時点の音波の位相が同位相であれば、音波が推定位置に到達した瞬間の音波の位相は同位相になり、合成で音波は加算される。また、音波センサ12-1~12-4間で送信周波数に差があれば、徐々に位相がずれていくことになるが、少なくとも音波到着直後の一定期間は同位相といえる状態になる。
また、音波センサ制御部24は、各音波センサ12-1~12-4で送信信号を送信した後、送信信号が人候補で反射した受信信号の受信状況を含む情報を人候補確認部25に渡す。受信状況を含む情報は、各音波センサ12-1~12-4で送信信号を送信してから受信信号を受信するまでの音波の飛行時間を含む。
なお、音波を送信してから各音波センサ12-1~12-4での推定飛行時間以上の長さの所定の期間、受信信号を受信しなかった場合には、受信信号を受信しなかったとし、伝播時間は、受信しなかったことを示す情報となる。
第4の実施形態による運転支援方法は、第1の実施形態の図13で示したものと同様である。ただし、音波センサ制御部24は、ステップS21で、複数の音波センサ12-1~12-4からの音波が同時に推定位置に到達するように音波の送信を制御する。
なお、第4の実施形態の音波センサ12-1~12-4に、第1~第3の実施形態で説明した変調部121および復調部122を有する音波センサ12-1~12-4を適用して周波数拡散変調した音波を送信してもよく、通常のパルス方式で音波を送信してもよい。音波が周波数拡散方式で変調された連続波である場合、音波センサ12-1~12-4の発振周波数に差があると、推定位置に到達した音波の位相が同位相の状態から徐々にずれて行くことが考えられる。しかし、ECU14から音波センサ12-1~12-4に共通クロックを供給する方法、あるいはECU14と音波センサ12-1~12-4を結ぶ車載LANのバス上に供給されている統一クロックを利用する方法で、キャリアの位相基準を作り、全ての音波センサ12-1~12-4で同期の取れたキャリアを周波数拡散変調する構成にすることで、位相ずれの課題は解決可能である。
このように、第4の実施形態の運転支援装置では、撮像部11で人候補を検知した場合に、画像データから人候補の推定位置と、複数の音波センサ12-1~12-4からの音波の推定伝播時間と、を算出する。そして、複数の音波センサ12-1~12-4からの音波が推定位置に同時に到達するように各音波センサ12-1~12-4を制御する。これによって、音波が推定位置で強め合い、人候補で反射された音波である受信信号の強度もノイズレベルよりも高くなる。推定位置に人が存在する場合には、強度の強い受信信号が各音波センサ12-1~12-4で検知され、人の存在を確認することができる。特に、降雨時あるいは車両1のタイヤの走行音が背景雑音として存在する場合でも、複数の音波センサ12-1~12-4からの合成された音波が反射されたエコーを検出することになるので、背景雑音にエコーが埋もれることなく、人を検知することができる。
また、音波センサの送信信号の強度を大きくすることも、強度の強い受信信号を得る上で有効な手段である。例えば、人候補の推定位置が遠方にあって、エコーとノイズレベルの関係が図4Aの様な大小関係にある場合。音波センサの送信信号ST1の強度を大きくすれば、受信信号SR1の信号レベルが比例して大きくなり、ノイズレベルを上回って検知が可能になると期待できる。検知を妨げる妨害としては音波送信の残響N1、音波の路面からの反射波N2があり、音波センサ12の送信信号ST1の強度を大きくすると、それぞれ比例して大きくなるが、残響N1は短時間で収束するので影響は無く、路面からの反射波N2は、この場合は受信信号SR1の信号レベルを下回っているので、送信信号ST1の強度に比例して受信信号SR1と反射波N2が同じ比率で大きくなれば、反射波N2が受信信号SR1を上回って検知を妨げることは無い。
音波を周波数拡散方式で変調する方法をA、音波が推定位置で相乗するよう送信タイミングを制御する方法をB、音波センサの送信信号の強度を大きくする方法をCとすると、A,B,Cの三つの方法は任意に組み合わせて実施可能であり、A,B,Cをそれぞれ単独で行っても効果があるが、AとB,BとC,CとA、AとBとCを組み合わせて実施することにより、効果を大きくすることができる。例えば、背景雑音のレベルが高く、人候補の推定位置が遠方にあって、受信信号が小さいと予想される場合は、音波を周波数拡散方式で変調する方法:A、音波が推定位置で相乗するよう送信タイミングを制御する方法:B、および音波センサの送信信号の強度を大きくする方法:Cを全て実施し、複数の音波センサ12-1~12-4でクロック位相を同期させる事が困難な構成であれば、音波を周波数拡散方式で変調する方法:A、および音波センサの送信信号の強度を大きくする方法:Cを組み合わせて実施し、人候補の推定位置が比較的近くて、拡散信号の周期が短くなるときは、周波数拡散をせず、音波が推定位置で相乗するよう送信タイミングを制御する方法:B、および音波センサの送信信号の強度を大きくする方法:Cだけを行い、人候補の推定位置が近くて、路面からの反射波N2が支配的な妨害になる場合は、周波数拡散と送信信号の強度アップを避け、音波が推定位置で相乗するよう送信タイミングを制御する方法だけを行う様な制御方式としてもよい。
(第5の実施形態)
第1~第4の実施形態では、推定位置に存在する人候補の高さが考慮されていない。第5の実施形態では、人候補の高さを考慮して推定位置に存在する人候補が人であるか否かを判定することができる運転支援装置、車両および運転支援方法について説明する。
図34は、第5の実施形態による車両の一例を模式的に示す側面図である。なお、ここでは、第1の実施形態の車両1を例に挙げて説明する。第5の実施形態では、車両1の後方のトランクパネル101に、音波センサ19がさらに設けられる。音波センサ19は、音波センサ12よりも高い位置に設けられる。
第5の実施形態による運転支援装置を含む車両1の構成は、第1の実施形態の図1と同様である。ただし、音波センサ制御部24は、人確認モードのときに、音波センサ12,19から送信信号を送信し、人候補で反射した受信信号を各音波センサ12,19で受信するまでの音波の受信状況を取得する。受信状況として、各音波センサ12,19から送信信号を送信してから受信信号が返るまでの飛行時間を含む。音波センサ制御部24は、受信状況を人候補確認部25に渡す。
人候補確認部25は、各音波センサ12,19での飛行時間を用いて、人候補が人であるか否かを判定する機能をさらに有する。図35は、第5の実施形態による人候補の判定方法の一例を示す図である。音波センサ19は音波センサ12よりも高い位置に設置されている。そのため、人候補の推定位置に実際には人が居らず、路上物110Bの様に低い位置に物体がある場合には、音波センサ12での飛行時間は、音波センサ19での飛行時間よりも大幅に短くなる。人候補の推定位置に実際に人が居れば、音波センサ12での飛行時間は、音波センサ19での飛行時間と同等になるので、人候補の推定位置に人が居る場合と、路上物があるだけである場合とを判別することができる。
つまり、人候補確認部25は、音波センサ12での音波の飛行時間が音波センサ19での音波の飛行時間と概ね同等である場合には、人候補は人110Aであると判定する。また、人候補確認部25は、音波センサ12での音波の飛行時間が音波センサ19での音波の飛行時間よりも大幅に短い場合には、人候補は人ではなく路上物110Bであると判定する。このように、人候補確認部25は、推定位置に人候補が人110Aであるか否かを判定することができる。
図36は、第5の実施形態による推定位置の人候補の判定処理の手順の一例を示すフローチャートである。音波センサ制御部24は、高さの異なる音波センサ12,19から送信信号を送信するように制御し(ステップS71)、各音波センサ12,19から送信信号が送信される。送信信号は、人候補で反射し、受信信号として各音波センサ12,19で検知される。各音波センサ12,19は、受信状況として飛行時間を人候補確認部25に渡し、人候補確認部25は、飛行時間を取得する(ステップS72)。
人候補確認部25は、2つの音波センサ12,19の飛行時間に基づいて、人候補が人であるかを判定する(ステップS73)。すなわち、人候補確認部25は、音波センサ12での飛行時間が音波センサ19での飛行時間と同等であるか、あるいは音波センサ12での飛行時間は音波センサ19での飛行時間よりも大幅に短いかかを判定する。ここで、音波センサ12での飛行時間が音波センサ19での飛行時間と同等である場合には、人候補は人110Aであると判定される。また、音波センサ12での飛行時間が音波センサ19での飛行時間よりも大幅に短い場合には、人候補は路上物110Bであると判定される。なお、音波センサ12での飛行時間と音波センサ19での飛行時間とが誤差の範囲で等しい場合を、音波センサ12での飛行時間が音波センサ19での飛行時間と同等であるとする。また、例えば、音波センサ12での飛行時間と音波センサ19での飛行時間とが誤差の範囲を考えて等しくなく、音波センサ12での飛行時間が音波センサ19での飛行時間よりも短い場合を、音波センサ12での飛行時間が音波センサ19での飛行時間よりも大幅に短いとする。
判定の結果、人候補が人である場合(ステップS74でYesの場合)には、例えば、モード切替部21は、後退制限モードに切り替え(ステップS75)、処理が終了する。また、人候補が人ではない場合(ステップS74でNoの場合)には、例えば、モード切替部21は、後退モードに切り替え(ステップS76)、処理が終了する。
なお、ここでは、音波センサ19が音波センサ12よりも高い位置に設けられる場合を示したが、高さ関係が逆であってもよい。また、ここでは、第1の実施形態の場合を例に挙げて説明したが、第1~第4の実施形態に対して第5の実施形態を適用することができる。
第5の実施形態では、画像データに人候補を検出した場合に、他の音波センサ12とは異なる高さに音波センサ19を配置し、音波センサ12,19から人候補に向けて送信信号を送信したときの飛行時間の差によって、人候補が人であるか否かを判定した。これによって、人候補が実際に人であるか否かを確認することができるので、推定位置に存在する路上物を人と誤検知して後退制限モードに切り替えてしまうことを抑制することができる。
なお、上記した説明では、車両1の後方に撮像部11と音波センサ12とを設け、車両1が後退する場合に画像データから検出された人候補を確認する場合を説明した。しかし、車両1の前方に撮像部11と音波センサ12とを設け、車両1が前進する場合に画像データから検出された人候補を確認するようにしてもよい。また、上記した説明では、環境情報取得部が撮像部11であり、撮像部11で撮像された画像データを用いて人候補の検出を行う場合を説明したが、環境情報取得部がレーダであってもよい。また、音波センサ12が環境情報取得部でもあって、音波センサ12が検知した物体が人であるか否かを、音波センサ19が取得した距離情報を利用して確認する、という構成であってもよい。
さらに、運転支援装置であるECU14の構成は、ハードウェア的には、任意のコンピュータのCPU(Central Processing Unit)、メモリ、その他のLSI(Large Scale Integrated Circuit)で実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ハードウェアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 車両
11 撮像部
12,19 音波センサ
13 ギア検知部
14 ECU
15 加速制御部
16 制動制御部
17 HMI
18 車速センサ
21 モード切替部
22 画像処理部
23 制御情報算出部
24 音波センサ制御部
25 人候補確認部
26 推定位置補正部
27 表示処理部
28 時間管理部
121 変調部
122 復調部

Claims (11)

  1. 車両の周囲の環境情報を取得する環境情報取得部と、
    前記環境情報から、特定障害物がある可能性を示す、特定障害物候補を検出し、前記特定障害物候補の推定位置を算出するデータ処理部と、
    音波を用いて障害物を検知する音波センサを制御する音波センサ制御部と、を備えた車両に搭載可能な運転支援装置であって、
    前記音波センサ制御部は、前記データ処理部が前記特定障害物候補を検出したときに、前記特定障害物候補の非検出時と比較して、前記音波センサの送信電力が大きくなるように制御する、
    運転支援装置。
  2. 車両の周囲の環境情報を取得する環境情報取得部と、
    前記環境情報から、特定障害物がある可能性を示す、特定障害物候補を検出し、前記特定障害物候補の推定位置を算出するデータ処理部と、
    音波を用いて障害物を検知する複数の音波センサを制御する音波センサ制御部と、を備えた車両に搭載可能な運転支援装置であって、
    前記音波センサ制御部は、前記データ処理部が前記特定障害物候補を検出したときに、前記複数の音波センサによる音波の送受信方式に周波数拡散変調方式を用いる第1制御方式、前記複数の音波センサの送信電力を変更する第2制御方式、および前記特定障害物候補の前記推定位置で前記複数の音波センサが送信した前記音波が相乗するように送信タイミングを制御する第3制御方式のうち少なくとも1つの制御方式を用いて、前記複数の音波センサを制御する、
    運転支援装置。
  3. 前記音波センサ制御部は、前記特定障害物候補までの距離に応じて、前記第1制御方式、前記第2制御方式および前記第3制御方式のうち少なくとも1つの方式を用いて前記複数の音波センサを制御する、
    請求項2に記載の運転支援装置。
  4. 前記音波センサ制御部は、前記複数の音波センサから受信したノイズレベルに応じて、前記第1制御方式、前記第2制御方式および前記第3制御方式のうち少なくとも1つの方式を用いて前記複数の音波センサを制御する、
    請求項2または3に記載の運転支援装置。
  5. 前記音波センサの送受信方式がパルス方式であるモードの中断時間を計測する時間管理部をさらに備え、
    前記音波センサ制御部は、前記中断時間が所定値を超えるときに、前記音波センサの前記送受信方式が前記パルス方式でないモードを中断して、前記パルス方式であるモードを挿入する、
    請求項1から4のいずれか1項に記載の運転支援装置。
  6. 前記音波センサ制御部は、車速情報が所定値以下のときには、前記中断時間が前記所定値を超えても、前記音波センサの前記送受信方式が前記パルス方式でないモードを中断しない、
    請求項5に記載の運転支援装置。
  7. 前記データ処理部が、前記特定障害物候補である人候補を検出すると、車両の高さ方向の異なる位置に設けられた複数の前記音波センサでの音波の飛行時間に基づいて、前記人候補が人であるか否かを判定する人候補確認部と、を備える、
    請求項2から6のいずれか1項に記載の運転支援装置。
  8. 前記特定障害物候補は、人、車椅子、ベビーカー、または音波に対する反射率が低くかつ保護を必要とする移動体のいずれかを含む前記特定障害物の存在の推定と、前記特定障害物の推定される位置と、を含む情報である、
    請求項1または2および7のいずれか1項に記載の運転支援装置。
  9. 前記人候補確認部が、前記人候補が人であると判定すると、前記人に対して前記車両が近づかないように前記車両の動作を制限するモード切替部と、を備える、
    請求項7に記載の運転支援装置。
  10. 車両の周囲の環境情報を取得する環境情報取得部と、
    前記環境情報から、特定障害物がある可能性を示す、特定障害物候補を検出し、前記特定障害物候補の推定位置を算出するデータ処理部と、
    音波を用いて障害物を検知する複数の音波センサを制御する音波センサ制御部と、
    を備え、
    前記データ処理部が前記特定障害物候補を検出したときに、
    前記音波センサ制御部は、前記複数の音波センサによる前記音波の送受信方式に周波数拡散変調方式を用いる第1制御方式、前記複数の音波センサの送信電力を変更する第2制御方式、および前記特定障害物候補の位置で前記複数の音波センサが送信した音波が相乗するように送信タイミングを制御する第3制御方式のうち少なくとも1つの制御方式を用いて前記特定障害物候補の検知を行い、
    前記特定障害物候補が人である場合、前記人に対して前記車両が近づかないように前記車両の動作を制限するモード切替部と、を備えた、
    車両。
  11. 車両の周囲の環境情報を取得し、
    前記環境情報から、特定障害物がある可能性を示す、特定障害物候補を検出したときは、
    前記特定障害物候補の推定位置を算出し、
    また、複数の音波センサは、音波の送受信方式に周波数拡散変調方式を用いる第1制御方式、前記複数の音波センサの送信電力を変更する第2制御方式、および前記特定障害物の位置で前記複数の音波センサが送信した音波が相乗するように送信タイミングを制御する第3制御方式のうち少なくとも1つの方式を用いて前記特定障害物候補の検知を行い、
    前記特定障害物候補が人である場合、前記人に対して前記車両が近づかないように前記車両の動作を制限する、
    運転支援方法。
JP2022140104A 2018-11-01 2022-09-02 運転支援装置、車両および運転支援方法 Active JP7460968B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022140104A JP7460968B2 (ja) 2018-11-01 2022-09-02 運転支援装置、車両および運転支援方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018206949A JP2020071182A (ja) 2018-11-01 2018-11-01 運転支援装置、車両および運転支援方法
JP2022140104A JP7460968B2 (ja) 2018-11-01 2022-09-02 運転支援装置、車両および運転支援方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018206949A Division JP2020071182A (ja) 2018-11-01 2018-11-01 運転支援装置、車両および運転支援方法

Publications (2)

Publication Number Publication Date
JP2022171735A true JP2022171735A (ja) 2022-11-11
JP7460968B2 JP7460968B2 (ja) 2024-04-03

Family

ID=70458501

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018206949A Pending JP2020071182A (ja) 2018-11-01 2018-11-01 運転支援装置、車両および運転支援方法
JP2022140104A Active JP7460968B2 (ja) 2018-11-01 2022-09-02 運転支援装置、車両および運転支援方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018206949A Pending JP2020071182A (ja) 2018-11-01 2018-11-01 運転支援装置、車両および運転支援方法

Country Status (3)

Country Link
US (1) US11105923B2 (ja)
JP (2) JP2020071182A (ja)
DE (1) DE102019128729A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021016307A1 (en) * 2019-07-25 2021-01-28 Battelle Memorial Institute Can bus protection systems and methods
CN113917397A (zh) * 2021-09-17 2022-01-11 深圳市睿联技术股份有限公司 测距方法、装置、系统及计算机可读存储介质
WO2024080201A1 (ja) * 2022-10-13 2024-04-18 アルプスアルパイン株式会社 測距システム、通信局、及び、測距方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108745A (ja) * 1999-10-13 2001-04-20 Matsushita Electric Ind Co Ltd 車載用レーダ装置
JP2002131428A (ja) * 2000-10-25 2002-05-09 Mitsubishi Electric Corp 超音波障害物検出装置
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
JP2005157765A (ja) * 2003-11-26 2005-06-16 Alpine Electronics Inc 歩行者検出装置
JP2008275442A (ja) * 2007-04-27 2008-11-13 Univ Of Tokyo レーザ計測システム及び方法
JP2013057584A (ja) * 2011-09-08 2013-03-28 Mitsubishi Electric Corp 物体検出装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2768439B2 (ja) * 1994-11-08 1998-06-25 本田技研工業株式会社 Fm−cw方式マルチビームレーダー装置
JP3566182B2 (ja) * 2000-05-01 2004-09-15 川崎重工業株式会社 目標位置の推定装置
JP4241646B2 (ja) * 2004-04-20 2009-03-18 パナソニック株式会社 受信装置、送信装置及び無線システム
EP1933166A4 (en) * 2005-10-07 2009-07-22 Panasonic Corp RADAR DEVICE
US7616148B2 (en) * 2005-11-23 2009-11-10 Honeywell International Inc. Microwave smart motion sensor for security applications
US8126642B2 (en) * 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
JP2012127863A (ja) 2010-12-16 2012-07-05 Panasonic Corp 車載用障害物検出システム
KR101199202B1 (ko) * 2011-01-04 2012-11-07 주식회사 만도 타깃 물체 감지 방법 및 레이더 장치
JP5891449B2 (ja) 2011-10-18 2016-03-23 パナソニックIpマネジメント株式会社 障害物検知装置
JP6365251B2 (ja) * 2014-02-28 2018-08-01 パナソニック株式会社 レーダ装置
JP6738803B2 (ja) * 2015-03-31 2020-08-12 古河電気工業株式会社 パルスレーダ装置
US10324166B2 (en) * 2015-09-28 2019-06-18 Rockwell Collins, Inc. Affordable combined pulsed/FMCW radar AESA
JP6649865B2 (ja) 2016-10-27 2020-02-19 株式会社Soken 物体検知装置
JP6703471B2 (ja) 2016-11-18 2020-06-03 株式会社Soken 物体検知装置
CN110462422B (zh) * 2017-03-30 2023-04-25 日立安斯泰莫株式会社 雷达装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108745A (ja) * 1999-10-13 2001-04-20 Matsushita Electric Ind Co Ltd 車載用レーダ装置
JP2002131428A (ja) * 2000-10-25 2002-05-09 Mitsubishi Electric Corp 超音波障害物検出装置
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
JP2005157765A (ja) * 2003-11-26 2005-06-16 Alpine Electronics Inc 歩行者検出装置
JP2008275442A (ja) * 2007-04-27 2008-11-13 Univ Of Tokyo レーザ計測システム及び方法
JP2013057584A (ja) * 2011-09-08 2013-03-28 Mitsubishi Electric Corp 物体検出装置

Also Published As

Publication number Publication date
US20200142059A1 (en) 2020-05-07
US11105923B2 (en) 2021-08-31
JP2020071182A (ja) 2020-05-07
JP7460968B2 (ja) 2024-04-03
DE102019128729A1 (de) 2020-05-07

Similar Documents

Publication Publication Date Title
JP7460968B2 (ja) 運転支援装置、車両および運転支援方法
JP6333412B2 (ja) 障害物検知装置
KR101839157B1 (ko) 초음파 측정 장치 및 초음파 신호의 평가 방법
JP2021511488A (ja) 仮想開口レーダ追跡のためのシステムおよび方法
US7148841B2 (en) Radar device
JP4197033B2 (ja) レーダ
JP2012108121A (ja) 相関検出のための半導体デバイスおよびその形成方法
JP2016223937A (ja) 物体検出装置
WO2017141370A1 (ja) 物体検出装置、物体検出方法及び物体検出プログラム
JP2007192575A (ja) 目標測位装置
CN112098943A (zh) 一种可穿戴设备的定位方法和智能设备
US8018372B2 (en) Spread spectrum radar apparatus, method for determining virtual image, and method for suppressing virtual image
JP2001036429A (ja) 擬似雑音符号位相検出装置
WO2021039606A1 (ja) 空間位置算出装置
JP2012112793A (ja) 速度計測装置
JPH07325149A (ja) スペクトラム拡散を用いるレーダ装置
JP3213143B2 (ja) レーダ装置
KR20220166704A (ko) 비가시 경로 레이더 장치
CN112416001A (zh) 一种车辆的自动跟随方法、装置和车辆
JP3902590B2 (ja) レーダ装置
JP3800157B2 (ja) 測距システム
JP2006125947A (ja) レーダー装置
JP7317541B2 (ja) レーダ装置及び物標検出方法
JP2023135249A (ja) 緊急車両検知システム
KR101796336B1 (ko) 타깃 물체 감지 방법 및 레이더 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20240226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20240226

R150 Certificate of patent or registration of utility model

Ref document number: 7460968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150