JP2022123787A - 障害物検出装置、方法及びプログラム - Google Patents

障害物検出装置、方法及びプログラム Download PDF

Info

Publication number
JP2022123787A
JP2022123787A JP2021021323A JP2021021323A JP2022123787A JP 2022123787 A JP2022123787 A JP 2022123787A JP 2021021323 A JP2021021323 A JP 2021021323A JP 2021021323 A JP2021021323 A JP 2021021323A JP 2022123787 A JP2022123787 A JP 2022123787A
Authority
JP
Japan
Prior art keywords
obstacle
door
ultrasonic sensor
distance
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021021323A
Other languages
English (en)
Inventor
公祐 塚尾
Kosuke Tsukao
修靖 三輪
Nagayasu Miwa
達馬 藤田
Tatsuma Fujita
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Corp filed Critical Aisin Corp
Priority to JP2021021323A priority Critical patent/JP2022123787A/ja
Priority to CN202210070703.6A priority patent/CN114924277A/zh
Priority to US17/583,448 priority patent/US20220259914A1/en
Priority to DE102022103099.7A priority patent/DE102022103099A1/de
Publication of JP2022123787A publication Critical patent/JP2022123787A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42—Detection using safety edges
    • E05F15/43—Detection using safety edges responsive to disruption of energy beams, e.g. light or sound
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G01S15/876—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G01S15/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector wherein transceivers are operated, either sequentially or simultaneously, both in bi-static and in mono-static mode, e.g. cross-echo mode
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42—Detection using safety edges
    • E05F15/43—Detection using safety edges responsive to disruption of energy beams, e.g. light or sound
    • E05F2015/432—Detection using safety edges responsive to disruption of energy beams, e.g. light or sound with acoustical sensors
    • E05F2015/433—Detection using safety edges responsive to disruption of energy beams, e.g. light or sound with acoustical sensors using reflection from the obstruction
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42—Detection using safety edges
    • E05F15/43—Detection using safety edges responsive to disruption of energy beams, e.g. light or sound
    • E05F2015/434—Detection using safety edges responsive to disruption of energy beams, e.g. light or sound with optical sensors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42—Detection using safety edges
    • E05F2015/483—Detection using safety edges for detection during opening
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/763—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using acoustical sensors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/10—Electronic control
    • E05Y2400/44—Sensors therefore
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00—Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/10—Electronic control
    • E05Y2400/52—Safety arrangements
    • E05Y2400/53—Wing impact prevention or reduction
    • E05Y2400/54—Obstruction or resistance detection
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Application of doors, windows, wings or fittings thereof for vehicles characterised by the type of wing
    • E05Y2900/531—Doors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

【課題】障害物に衝突する直前でドアを停止させたり、様々な状況において障害物への衝突を回避したりする。【解決手段】実施形態の障害物検出装置は、超音波により所定の検出範囲内の障害物までの距離を検出する車両のドアに配置された超音波センサの出力に基づいて、障害物までの距離及び障害物の形状のうち、少なくとも距離を検出する超音波センサ信号処理部と、車両のドアの開時の軌跡範囲及び超音波センサの検出範囲を含む領域を撮像する車両のカメラの出力に基づいて、障害物までの距離及び障害物の形状を検出するカメラ画像処理部と、超音波センサ信号処理部の検出結果及びカメラ画像処理部の検出結果に基づいて、ドアの開動作制御を行うコントローラと、を備える。【選択図】図１

Description

本発明の実施形態は、障害物検出装置、方法及びプログラムに関する。
従来、カメラや超音波センサ等を用いて車両のドアの周辺の障害物を検出し、検出した障害物に接触しないようにドアを制御（例えば、ドアの開度を制御）する技術が知られている。
特開２０１８－００９３８６号公報 特開２００５－０７６４０８号公報
例えば、単眼カメラを用いてドアの制御を行う装置においては、単眼カメラが移動しない状態においては、障害物までの正確な距離を把握することができないため、障害物に衝突する直前でドアが停止するような制御を行うことはできなかった。
また、超音波センサだけで複雑な形状の障害物を検出しようとしてもドアに最初に接触する虞がある部分を検出することができなかったり、検出誤差が大きくなることでドアが障害物と衝突してしまったりする虞があった。
本発明は、上記に鑑みてなされたものであり、障害物に衝突する直前でドアを停止させたり、様々な状況において障害物への衝突を回避することが可能な障害物検出装置、方法及びプログラムを提供することにある。
実施形態の障害物検出装置は、超音波により所定の検出範囲内の障害物までの距離を検出する車両のドアに配置された超音波センサの出力に基づいて、前記障害物までの距離及び前記障害物の形状のうち、少なくとも前記距離を検出する超音波センサ信号処理部と、
前記車両のドアの開時の軌跡範囲及び前記超音波センサの検出範囲を含む領域を撮像する前記車両のカメラの出力に基づいて、前記障害物までの距離及び前記障害物の形状を検出するカメラ画像処理部と、前記超音波センサ信号処理部の検出結果及び前記カメラ画像処理部の検出結果に基づいて、前記ドアの開動作制御を行うコントローラと、を備える。
上記構成によれば、障害物に衝突する直前でドアを停止させたり、様々な状況において障害物への衝突を回避したりすることができる。
また、前記超音波センサ信号処理部は、一つの前記ドアに対し、複数配置された前記超音波センサの出力に基づいて前記障害物までの距離及び前記障害物の形状を検出するようにしてもよい。
この構成によれば、より検出精度及び信頼性の向上が図れる。
また、前記コントローラは、前記超音波センサ信号処理部及び前記カメラ画像処理部の検出結果において、前記障害物までの距離が同一とみなせ、かつ、前記障害物の形状も同種であると判断した場合に前記ドアの開制御を許可するようにしてもよい。
上記構成によれば、より確実に開制御を行える。
また、前記コントローラは、前記超音波センサ信号処理部及び前記カメラ画像処理部の検出結果において、前記障害物までの距離が同一とみなせる場合に、前記障害物の手前まで前記ドアの開制御を許可するようにしてもよい。
上記構成によれば、より計測精度の高い超音波センサの検出結果に基づいてドア開制御を行える。
また、前記コントローラは、前記車両の外部において、前記ドアの開動作を行わせる信号が入力され、前記カメラ画像処理部の検出結果に基づいて前記軌跡範囲の内部に人が検出された場合に、前記人が前記軌跡範囲から前記人が移動した場合に、前記ドアの開制御を許可するようにしてもよい。
上記構成によれば、車両に乗り込もうとしている人が障害物として扱われて、ドアの開制御が正常に行えなくなるのを抑制できる。
前記超音波センサは、前記ドアに一つ設けられており、前記超音波センサ信号処理部は、前記ドアの開動作時に得られる複数の前記障害物までの距離に基づいて、前記障害物までの距離を検出するようにしてもよい。
上記構成によれば、装置構成を簡略化しつつ、障害物に衝突する直前でドアを停止させたり、様々な状況において障害物への衝突を回避したりすることができる。
前記カメラ画像処理部は、前記カメラの撮像領域の明るさに基づいて、前記カメラの出力した撮像画像の補正を行い、前記コントローラは、補正後の前記撮像画像に基づいて、前記撮像画像に含まれる前記障害物の存在確率を取得し、取得した前記存在確率に基づいて物体認識を行うようにしてもよい。
上記構成によれば、太陽等の外光の影響を抑制して、障害物を高精度で把握し、ひいては、障害物までの距離も高精度で把握することができ、ドア開制御を行える。
また前記コントローラは、前記カメラの撮像場所に基づいて、前記障害物の存在確率を取得し、取得した前記存在確率と測距センサの測距結果に基づいて、前記物体認識を行うようにしてもよい。
上記構成によれば、撮像場所に基づいて太陽等の外光の位置を特定し、外光の影響を抑制して、障害物を高精度で把握し、ひいては、障害物までの距離も高精度で把握することができ、ドア開制御を行える。
また、前記カメラ画像処理部は、前記車両の向き及び対象物の陰の影響を除去すべく、前記補正として、前記撮像画像の明るさ補正を行うので、画像の白飛びあるいは黒つぶれなどによる影響を抑制して、障害物までの距離を高精度で把握して、ドア開制御を行える。
実施形態の方法は、超音波により所定の検出範囲内の障害物までの距離を検出する車両のドアに配置された超音波センサからの出力及び前記車両のドアの開時の軌跡範囲及び前記超音波センサの検出範囲を含む領域を撮像する前記車両のカメラの出力が入力される障害物検出装置で実行される方法であって、前記超音波センサからの出力に基づいて、前記障害物までの距離及び前記障害物の形状のうち、少なくとも前記距離を検出する第１過程と、前記カメラの出力に基づいて、前記障害物までの距離及び前記障害物の形状を検出する第２過程と、前記第１過程及び前記第２過程の検出結果に基づいて、前記ドアの開動作制御を行う第３過程と、を備える。
上記構成によれば、障害物に衝突する直前でドアを停止させたり、様々な状況において障害物への衝突を回避したりすることができる。
実施形態のプログラムは、所定の検出範囲内の障害物までの距離を検出する車両のドアに配置された超音波センサからの出力及び前記車両のドアの開時の軌跡範囲及び前記超音波センサの検出範囲を含む領域を撮像する前記車両のカメラの出力が入力される障害物検出装置をコンピュータにより制御するためのプログラムであって、前記コンピュータを、前記超音波センサからの出力に基づいて、前記障害物までの距離及び前記障害物の形状のうち、少なくとも前記距離を検出する第１手段と、前記カメラの出力に基づいて、前記障害物までの距離及び前記障害物の形状を検出する第２手段と、前記第１手段及び前記第２手段の検出結果に基づいて、前記ドアの開動作制御を行う第３手段と、して機能させる。
上記構成によれば、障害物に衝突する直前でドアを停止させたり、様々な状況において障害物への衝突を回避したりすることができる。
図１は、第１実施形態にかかる障害物検出装置の概要構成ブロック図である。 図２は、第１実施形態にかかる障害物検出装置車両の平面図である。 図３は、第１実施形態にかかる障害物検出装置車両の右側面図である。 図４は、車両の後方から見た場合のカメラの検出範囲と超音波センサの検出範囲を説明する図である。 図５は、車両の上方から見た場合のカメラの検出範囲と超音波センサの検出範囲を説明する図である。 図６は、第１超音波センサの送信時の説明図である。 図７は、第２超音波センサの送信時の説明図である。 図８は、障害物の位置検出の説明図である。 図９は、障害物がポール（柱）状であるポール系の障害物の場合の説明図である。 図１０は、障害物が壁状である壁系の障害物の場合の説明図である。 図１１は、衝突可能性のある障害物が検出されない場合の説明図である。 図１２は、衝突可能性のある障害物が検出された場合の説明図である。 図１３は、ドア軌跡エリア内に検出した障害物が複数含まれている場合のドア制御の説明図である。 図１４は、複数の障害物を検出した場合のドア制御の説明図である。 図１５は、第１実施形態の動作フローチャートである。 図１６は、障害物がポール（ポール系）である場合の説明図である。 図１７は、障害物がガードレール（複雑な形状の障害物）である場合の説明図である。 図１８は、ドアの外部に乗車しようとする人が立っている場合の説明図である。 図１９は、第２実施形態にかかる障害物検出装置車両の右側面図である。 図２０は、超音波センサの検出状態の説明図である。 図２１は、検出距離比較の説明図である。 図２２は、ドア開時の超音波センサによるポール系の障害物位置検出の説明図である。 図２３は、ドア開時の超音波センサによる壁系の障害物位置検出の説明図である。 図２４は、第１実施形態にかかる障害物検出装置の概要構成ブロック図である。 図２５は、第３実施形態の原理説明図である。 図２６は、第３実施形態の処理フローチャートである。 図２７は、距離再計算処理の処理フローチャートである。 図２８は、画像認識の処理フローチャートである。 図２９は、第３実施形態の変形例の説明図である。
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも１つを得ることが可能である。
［１］第１実施形態
図１は、第１実施形態にかかる障害物検出装置の概要構成ブロック図である。
障害物検出装置１０は、複数のカメラ１１－１～１１－ｎと、複数の超音波センサ群１２－１～１２－ｎと、コントローラ１３と、ドア開スイッチ（車内）１４Ａと、ドア開スイッチ（車外）１４Ｂと、ドア駆動部１５と、を備えている。
複数のカメラ１１－１～１１－ｎは、それぞれ対応するドアを撮像可能な位置に配置されている。さらにカメラ１１－１～１１－ｎの撮像範囲は、対応するドアの閉状態からフル開状態までの撮像が可能な範囲とされている。
上記構成において、コントローラ１３は、いわゆるマイクロコンピュータとして構成されており、予め記憶した制御プログラムに基づいて障害物検出装置１０を制御することとなる。
各超音波センサ群１２－１～１２－ｎは、それぞれ車両の前後方向に配置された第１超音波センサＳＮ１及び第２超音波センサＳＮ２を備えている。
コントローラ１３は、障害物検出装置１０全体を制御している。コントローラ１３は、カメラ画像処理部２１と、超音波センサ信号処理部２２と、総合制御部２３と、ドア制御部２４を備えている。
上記構成において、カメラ画像処理部２１は、複数のカメラ１１－１～１１－ｎの出力したカメラ画像を処理して、処理結果を総合制御部２３に出力する。この場合において、カメラ画像処理部２１は、障害物の有無判定、形状推定（物体検出）及び許容ドア開度を算出する。
超音波センサ信号処理部２２は、複数の超音波センサ群１２－１～１２－ｎをそれぞれ構成している第１超音波センサＳＮ１及び第２超音波センサＳＮ２の出力信号を処理して総合制御部２３に出力する。この場合において、超音波センサ信号処理部２２は、障害物の有無判定、形状推定及び許容ドア開度を算出する。
総合制御部２３は、コントローラ１３全体を制御している。そして、ドア開スイッチ（車内）１４Ａあるいはドア開スイッチ（車外）１４Ｂが操作された場合に、カメラ画像処理部２１及び超音波センサ信号処理部２２の出力に基づいて、ドア制御部２４を介してドアの駆動制御を行う。
ドア制御部２４は、総合制御部２３の制御下でドア駆動部１５を制御してドアの駆動制御（ドア開度の制御等）を行う。
ドア開スイッチ（車内）１４Ａは、車室内に配置されて乗員がドアを開ける場合に操作を行う。
ドア開スイッチ（車外）１４Ｂは、車外に配置されており、ドアを開けて乗員が乗り込もうとする際等に操作を行う。
ドア開スイッチ（車内）１４Ａ及びドア開スイッチ（車外）１４Ｂは、メカニカルスイッチ、静電スイッチ、リモートコントローラスイッチとして構成されている。またカメラや電波センサによりユーザ（乗員）の位置や行動を検出してそれをトリガとして動作するようにソフトウェア的に構成することも可能である。
ドア駆動部１５は、ドア制御部２４の制御下でドアの解錠／施錠制御および開閉制御を行う。
図２は、第１実施形態にかかる障害物検出装置車両の平面図である。
図３は、第１実施形態にかかる障害物検出装置車両の右側面図である。
図２においては、理解の容易のため、４台のカメラ１１－１～１１－４及びこれらのカメラ１１－１～１１－４のそれぞれに対応する超音波センサ群１２－１～１２－４を配置した場合を例として説明を行う。
また、図２においては、上方向が車両Ｖの前方向であり、下方向が車両Ｖの後ろ方向であり、右方向が車両Ｖの右方向であり、左方向が車両Ｖの左方向である。図３においては、右方向が車両Ｖの前方向であり、左方向が車両Ｖの後ろ方向である。
図２あるいは図３に示すように、車両Ｖの右サイドミラーに右前ドアを撮像するカメラ１１－１が配置されている。車両Ｖの左サイドミラーには左前ドアを撮像するカメラ１１－２が配置されている。また車両Ｖの右中央ピラーの上部には、右後ドアを撮像するカメラ１１－３が配置されている。車両Ｖの左中央ピラーの上部には左後ドアを撮像するカメラ１１－４が配置されている。
車両Ｖの右前ドアの例えば下部のガーニッシュには、超音波センサ群１２－１が配置されている。車両Ｖの左前ドアの例えば下部のガーニッシュには、超音波センサ群１２－２が配置されている。車両Ｖの右後ドアの例えば下部のガーニッシュには、超音波センサ群１２－３が配置されている。車両Ｖの左後ドアの例えば下部のガーニッシュには、超音波センサ群１２－４が配置されている。
図４は、車両の後方から見た場合のカメラの検出範囲と超音波センサの検出範囲を説明する図である。
図５は、車両の上方から見た場合のカメラの検出範囲と超音波センサの検出範囲を説明する図である。
図４及び図５においては、理解の容易のため、カメラ１１－１及び超音波センサ群１２－１を構成している第１超音波センサＳＮ１及び第２超音波センサＳＮ２のみを示している。
図４及び図５に示すように、カメラ１１－１の検出範囲ＡＲＣは、超音波センサ群１２－１を構成している第１超音波センサＳＮ１及び第２超音波センサＳＮ２の検出範囲ＡＳＮを包含するように構成されている。
ここで、超音波センサの検出方法について説明する。
超音波センサ群１２－１を構成している第１超音波センサＳＮ１及び第２超音波センサＳＮ２は、それぞれ送信及び受信を交互に行うようにされている。
図６は、第１超音波センサの送信時の説明図である。
第１超音波センサＳＮ１が超音波を送信した場合には、障害物ＯＢＪにより超音波が反射されて、第１超音波センサＳＮ１は、超音波Ｔ１１を受信し、第２超音波センサＳＮ２Ｔ１２を受信する。
このとき、第１超音波センサＳＮ１の送信タイミングと、第１超音波センサＳＮ１の超音波Ｔ１１の受信タイミングと、の差が第１超音波センサＳＮ１と障害物ＯＢＪとの距離（の２倍）に相当する。
また、第１超音波センサＳＮ１の送信タイミングと、第２超音波センサＳＮ２の超音波Ｔ１２の受信タイミングと、の差が第１超音波センサＳＮ１と障害物ＯＢＪを経由した第２超音波センサＳＮ２との距離に相当する。
図７は、第２超音波センサの送信時の説明図である。
第２超音波センサＳＮ２が超音波を送信した場合には、障害物ＯＢＪにより超音波が反射されて、第１超音波センサＳＮ１は、超音波Ｔ２１を受信し、第２超音波センサＳＮ２Ｔ２２を受信する。
このとき、第２超音波センサＳＮ２の送信タイミングと、第１超音波センサＳＮ１の超音波Ｔ２１の受信タイミングと、の差が第２超音波センサＳＮ２と障害物ＯＢＪを経由した第１超音波センサＳＮ１との距離に相当する。
また、第２超音波センサＳＮ２の送信タイミングと、第１超音波センサＳＮ１の超音波Ｔ２１の受信タイミングと、の差が第２超音波センサＳＮ２と障害物ＯＢＪとの距離（の２倍）に相当する。
図８は、障害物の位置検出の説明図である。
図６及び図７の検出結果から、図８における距離a及び距離ｂは算出することが可能である。また第１超音波センサＳＮ１と第２超音波センサＳＮ２との間の距離ｃは、予めわかっているので、図８に示すように距離ｘ及び距離ｚを３辺測量の原理により算出することができる。
次に超音波センサによる障害物の形状推定について説明する。
図９は、障害物がポール（柱）状であるポール系の障害物の場合の説明図である。
図９に示すように、第１超音波センサＳＮ１の送信時に算出した障害物の座標Ｐ１と、第２超音波センサＳＮ２の送信時に算出した障害物の座標Ｐ２と、が近い場合には、超音波センサ信号処理部２２は、ポール系の障害物であると判断する。
図１０は、障害物が壁状である壁系の障害物の場合の説明図である。
図１０に示すように、第１超音波センサＳＮ１の送信時に算出した障害物の座標Ｐ１と、第２超音波センサＳＮ２の送信時に算出した障害物の座標Ｐ２と、が離れている場合には、超音波センサ信号処理部２２は、壁系の障害物であると判断する。
次に障害物がポール系である場合のドア開示にドアが衝突可能性のある障害物の検出方法について説明する。
以下の説明においては、ポール系の障害物として二つの障害物ＯＢＪ１及び障害物ＯＢＪ２が検出された場合を例とする。
図１１は、衝突可能性のある障害物が検出されない場合の説明図である。
超音波センサ信号処理部２２は、二つの障害物ＯＢＪ１及び障害物ＯＢＪ２が検出された場合に、図１１に示すように、車両Ｖのドア開時のドア軌跡エリアＡＤＥ内に二つの障害物ＯＢＪ１及び障害物ＯＢＪ２のいずれも含まれていないと判断した場合には、障害物なしと判断する。
図１２は、衝突可能性のある障害物が検出された場合の説明図である。
超音波センサ信号処理部２２は、二つの障害物ＯＢＪ１及び障害物ＯＢＪ２が検出された場合に、図１１に示すように、車両Ｖのドア開時のドア軌跡エリアＡＤＥ内に二つの障害物ＯＢＪ１及び障害物ＯＢＪ２のうち、少なくともいずれか（図１２の例では、障害物ＯＢＪ２）が含まれていると判断した場合には、障害物ありと判断する。
次に超音波センサによる障害物検出時のドア制御について説明する。
図１３は、ドア軌跡エリア内に検出した障害物が複数含まれている場合のドア制御の説明図である。
超音波センサ信号処理部２２は、ドア軌跡エリア内に検出した障害物が複数含まれている場合には、ドアを全閉状態から開けていった場合に最初に衝突する可能性がある障害物（図１３の場合には障害物ＯＢＪ１）に対して衝突しない最大のドア開度を許容ドア開度ＡＮＧ＿ＡＬとして算出する。
これにより総合制御部２３は、ドア制御部２４を介してドア駆動部１５を制御し、図１３に示す許容ドア開度ＡＮＧ＿ＡＬまでドアを開くこととなる。
図１４は、複数の障害物を検出した場合のドア制御の説明図である。
図１４の例は、複数の障害物を検出したが、ドア軌跡エリア内に含まれない障害物も含まれている場合のものである。
このような場合には、超音波センサ信号処理部２２は、検出した障害物を判別用直線Ｖ＿ＯＢＪで結び、ドアを全閉状態から開けていった場合にこの判別用直線Ｖ＿ＯＢＪに対して衝突しない最大のドア開度を許容ドア開度ＡＮＧ＿ＡＬとして算出する。
これにより総合制御部２３は、ドア制御部２４を介してドア駆動部１５を制御し、図１５に示す許容ドア開度ＡＮＧ＿ＡＬまでドアを開くこととなる。
次にカメラ画像処理部２１における処理の概要について説明する。
カメラ画像処理部２１においては、カメラ１１－１～１１－ｎにより撮像した撮像画像に基づいて画像認識処理等により物体検出を行い、障害物の種類（ポール系、壁系、人等）及び障害物の位置（撮像画像中で最も車両Ｖに近い点の位置）を検出する。
この場合において、障害物の検出処理は、障害物そのものを物体検出する方法の他、障害物と、地面と、の配置関係に基づいて障害物を検出するようにしてもよい。
つづいて、カメラ画像処理部２１は、障害物の種類と位置からドア軌跡内の障害物の有無を判断する。
そしてドア軌跡内に障害物ありと判断した場合には、ドアを全閉状態から開けていった場合に当該障害物に衝突しない最大のドア開度を許容ドア開度として算出する。
次に第１実施形態の動作を説明する。
図１５は、第１実施形態の動作フローチャートである。
まず、総合制御部２３は、ドア開スイッチのオン状態を検出すると（ステップＳ１１）、ドア開スイッチ（車内）１４Ａがオン状態であるか否かを判断する（ステップＳ１２）。
ステップＳ１２の判断において、ドア開スイッチ（車内）１４Ａがオン状態である場合には（ステップＳ１２；Ｙｅｓ）、総合制御部２３は、カメラ画像処理部２１の出力結果に基づいて、ドア軌跡内に障害物があるか否かを判断する（ステップＳ１３）。
ステップＳ１３の判断において、ドア軌跡内に障害物がある場合には（ステップＳ１３；Ｙｅｓ）、総合制御部２３は、カメラ画像処理部２１の出力結果に対応する形状判定結果が、超音波センサ（図中、ソナーと記載）ＳＮ１，ＳＮ２において、精度良く検出できる形状（ポール系あるいは壁系の形状）であるか否かを判断する（ステップＳ１４）。
ステップＳ１４の判断において、超音波センサＳＮ１，ＳＮ２において、精度良く検出できる形状ではない場合には（ステップＳ１４；Ｎｏ）、総合制御部２３は、処理をステップＳ２０に移行する。
ステップＳ１４の判断において、超音波センサＳＮ１，ＳＮ２において、精度良く検出できる形状である場合には（ステップＳ１４；Ｙｅｓ）、総合制御部２３は、超音波センサ信号処理部２２の出力結果に対応する障害物までの検出距離と、カメラ画像処理部２１の出力結果に対応する障害物までの検出距離と、がほぼ等しい値（同一とみなせる値）であるか否かを判断する（ステップＳ１５）。
ステップＳ１５の判断において、検出距離がほぼ等しい状態ではない場合には（ステップＳ１５；Ｎｏ）、総合制御部２３は、処理をステップＳ２０に移行する。
ステップＳ１５の判断において、検出距離がほぼ等しい状態である場合には（ステップＳ１５；Ｙｅｓ）、総合制御部２３は、開作動許可をドア制御部２４に通知し、ドア制御部２４を介してドア駆動部１５を制御して超音波センサ信号処理部２２により検出した許容ドア開度内でドアを制御して処理を終了する（ステップＳ１６）。
ここで、カメラ画像処理部２１の検出結果、超音波センサ信号処理部２２の検出結果及び総合制御部２３の判定結果の関係について説明する。
図１６は、障害物がポール（ポール系）である場合の説明図である。
図１６（Ａ）に示すように、障害物がポール（ポール系）ＰＬである場合には、カメラ画像処理部２１の検出結果は、障害物あり、障害物の形状はポール系とされる。
また、超音波センサ信号処理部２２の検出結果も同様に障害物あり、障害物の形状はポール系とされる。
この結果、総合制御部２３の判定結果は車両Ｖのドアの開作動を許可し、超音波センサの許容ドア開度内でドアを制御することとなる。
これにより、図１６（Ｂ）に示すように、ドアが障害物に衝突する直前までのドアの開作動が可能となる。
図１７は、障害物がガードレール（複雑な形状の障害物）である場合の説明図である。
図１７に示すように、障害物がガードレールＧＲである場合には、カメラ画像処理部２１の検出結果は、障害物あり、障害物の形状はガードレールとされる。
これに対し、超音波センサ信号処理部２２の検出結果は、第１超音波センサＳＮ１及び第２超音波センサＳＮ２が水平に配置されているので、ガードレールＧＲの設置状況によっては、障害物なしと判断されたり、ガードレールＧＲの形状によっては、検出誤差が大きくなったりする。また障害物ありと検出できた場合には、障害物の形状は壁系とされる。
これらの結果、総合制御部２３は、超音波センサ信号処理部２２の検出結果は信頼できないと判断され、ドアの開作動を制限し、例えば、車両のサイドミラーの幅の範囲内（ポップアップ位置）でドアの開度を制限する開作動制限状態でドアを制御することとなる。
これにより、図１６（Ｂ）に示すように、ドアが障害物に折衝する直前までのドアの開作動が可能となる。
図１８は、ドアの外部に乗車しようとする人が立っている場合の説明図である。
ステップＳ１２の判断において、ドア開スイッチ（車内）１４Ａがオフ状態である場合には、ドア開スイッチ（車外）１４Ｂがオン状態であるので、総合制御部２３は、ユーザの立ち位置がドア開時の軌跡範囲外であるか否かを判断する（ステップＳ１８）。
図１８に示すように、人ＨＭが車外においてドアを開ける場合には、カメラ画像処理部２１の検出結果は、障害物あり、障害物は人であるとされる。
また、超音波センサ信号処理部２２の検出結果は、障害物あり、障害物の形状は、ポール系あるいは壁系とされる。
これらの結果、総合制御部２３の判定結果は、当該人ＨＭがドア開時の軌跡範囲外に移動したことを検出した後に、再びカメラ画像処理部２１及び超音波センサ信号処理部２２の検出結果に基づいてドアの開作動制御を行う。
すなわち、ステップＳ１８の判断において、ユーザである人ＨＭの立ち位置がドア開時の軌跡範囲外である場合には（ステップＳ１８；Ｙｅｓ）、総合制御部２３は、処理をステップＳ１３に移行し、上述した手順に従い、カメラ画像処理部２１及び超音波センサ信号処理部２２の検出結果に基づいてドアの開作動制御を行うこととなる。
ステップＳ１８の判断において、ユーザである人ＨＭの立ち位置がドア開時の軌跡範囲内である場合には（ステップＳ１８；Ｎｏ）、ドア開スイッチ（車外）１４Ｂがオン状態になってから所定時間が経過したか否かを判断する（ステップＳ１９）。
ステップＳ１９の判断において、未だドア開スイッチ（車外）１４Ｂがオン状態になってから所定時間が経過していない場合には（ステップＳ１９；Ｎｏ）、総合制御部２３は、処理をステップＳ１８に移行して待機状態となる。
ステップＳ１９の判断において、ドア開スイッチ（車外）１４Ｂがオン状態になってから所定時間が経過した場合には（ステップＳ；Ｙｅｓ）、総合制御部２３は、超音波センサ信号処理部２２の検出結果の信頼性が低いとして、ドアの開作動制限を行ってドアの開動作制御を行い処理を終了する（ステップＳ２０）。
またステップＳ１３の判断において、ドア軌跡内に障害物がない場合には（ステップＳ１３；Ｎｏ）、総合制御部２３は、障害物なしとしてドアの開作動が可であるとして、ドア制御部２４を介してドア駆動部１５を制御して、ドア開動作を行って処理を終了する（ステップＳ１７）。
以上の説明のように、本第１実施形態によれば、ドアを開動作させるドア開スイッチ１４Ａ、１４Ｂから開動作をさせる信号が入力されたときにドア開時のドア軌跡内の領域において、カメラ画像処理部２１及び超音波センサ信号処理部２２の検出結果に対応する障害物の有無及び障害物の形状の推定結果が一致した場合にドアの開制御を許可するので、超音波センサＳＮ１、ＳＮ２で検出が困難である形状の障害物であってもドアが障害物に衝突するのを回避することができる。
また、障害物までの距離をカメラ画像処理部２１及び超音波センサ信号処理部２２で検出し、検出結果がほぼ等しい場合（検出結果が同一であると見なせる場合）には、障害物の手前までの開動作を許可するので、超音波センサＳＮ１、ＳＮ２で検出が困難である形状の障害物であってもドアが障害物に衝突するのを回避することができる。
さらに車外に設けられたドア開スイッチ１４Ｂからドアを開動作させる信号が入力された場合には、ドア開時のドア軌跡内において人を検出した場合にドアの開操作を制限し、当該人が所定時間以内にドア軌跡外に移動した場合には、通常通りドアの開制御を許可するので、車両Ｖに乗り込もうとする人が障害物として判断されて、ドアの開作動が無用に制限されるのを防止することができる。
［２］第２実施形態
上記第１実施形態においては、超音波センサ群１２－１～１２－ｎとして、第１超音波センサＳＮ１及び第２超音波センサＳＮ２の二つの超音波センサを用いる構成としていたが、本第２実施形態は、超音波センサ群１２－１～１２－ｎに代えてそれぞれ対応するドアに一つの超音波センサＳＮを設けた場合の実施形態である。
この場合においても、障害物検出装置の構成は、第１実施形態と同様であるので、その説明を適宜援用するものとする。
図１９は、第２実施形態にかかる障害物検出装置車両の右側面図である。
図１９に示すように、ドアの下部には、それぞれ超音波センサＳＮが儲けられている。
図２０は、超音波センサの検出状態の説明図である。
図１９に示したように超音波センサＳＮを一つだけ設けた場合には、図２０に示すように、障害物ＯＢＪまでの距離は算出することができるが、図２０に破線の曲線ＯＶで示すように障害物ＯＢＪが円周上のいずれかに存在するということしか判断することはできない。
すなわち、本第２実施形態の超音波センサ信号処理部２２では、障害物がドア全閉状態でドア開時のドア軌跡範囲内か否かを判断したり、障害物の形状を判別したりすることはできない。
図２１は、検出距離比較の説明図である。
このため、本第２実施形態においては、これらについてカメラ画像処理部２１の検出結果との比較は行わず、図２１に示すように、カメラ画像処理部２１の検出結果と、超音波センサ信号処理部２２の距離検出結果と、を比較する。
図２２は、ドア開時の超音波センサによるポール系の障害物位置検出の説明図である。
図２２に示すように、ドア開時には、車両Ｖは停車しており、ドアの開状態に応じて超音波センサＳＮと障害物ＯＢＪとの距離は、徐々に変化するので、総合制御部２３は、ドアの開状態に応じて障害物ＯＢＪまでの距離をあらわす曲線ＯＶ１及び曲線ＯＶ２との交点に障害物ＯＢＪが位置するものとしてポール系の障害物ＯＢＪの位置を特定して、ドア開制御を行う。
図２３は、ドア開時の超音波センサによる壁系の障害物位置検出の説明図である。
図２３に示すように、ドア開時には、車両Ｖは停車しており、ドアの開状態に応じて超音波センサＳＮと障害物ＯＢＪとの距離は、ほぼ一定のまま推移する。
したがって、総合制御部２３は、ドアの開状態に応じて障害物ＯＢＪまでの距離をあらわす曲線ＯＶ１及び曲線ＯＶ２の接線の延在方向に沿って障害物ＯＢＪが位置するものとして壁系の障害物ＯＢＪの位置を特定して、ドア開制御を行う。
以上の説明のように、本第２実施形態によれば、障害物までの距離をカメラ画像処理部２１及び超音波センサ信号処理部２２で検出し、検出結果がほぼ等しい場合（検出結果が同一であると見なせる場合）には、障害物の手前までの開動作を許可するので、超音波センサＳＮ１、ＳＮ２で検出が困難である形状の障害物であってもドアが障害物に衝突するのを回避することができる。
［３］第３実施形態
図２４は、第１実施形態にかかる障害物検出装置の概要構成ブロック図である。
図２４において、図１の第１実施形態と同様の部分には、同一の符号を付し、その詳細な説明を援用するものとする。
図２４の障害物検出装置１０Ａが、図１の障害物検出装置１０と異なる点は、入力された車両情報及びドア制御部２４が出力したドア開度情報ＩＮＦ５を記憶する記憶部２５を備え、カメラ画像処理部２１において、検出感度及び検出精度を向上するための画像処理を行う点である。
上記構成において、車両情報としては、自車位置情報ＩＮＦ１、マップ情報ＩＮＦ２、時間情報ＩＮＦ３及び環境情報ＩＮＦ４が含まれている。
自車位置情報ＩＮＦ１は、例えば、緯度・経度情報等のＧＰＳ情報であり、自車両の位置を表す情報である。
マップ情報ＩＮＦ２は、山の南斜面等の太陽との位置関係を把握するための地形情報を取得するための情報である。
時間情報ＩＮＦ３は、現在時刻情報を含むものであり、車両の位置情報と連携して太陽との位置関係を把握するための情報である。
環境情報ＩＮＦ４は、例えば、複数のカメラ１１－１～１１－ｎ毎の照度情報を含んでおり、照度センサ等から入力される。
ドア開度情報ＩＮＦ５は、車両の向きに対して、車両のドアに設けられているカメラの向きを補正するために用いられる。
図２５は、第３実施形態の原理説明図である。
ここで、図２５を参照して、本第３実施形態の原理について説明する。
カメラ１１－１～１１－ｎは、明るさの影響を受けやすく、機械学習による物体認識においても、明るさの影響は受けやすいことが課題となっている。例えば、影によって物体との境界線を正しく認識できない等の課題があった。
そこで、本第３実施形態対においては、車両位置や車両進行方向、時間から光源（太陽、街路灯（蛍光灯）等。特に太陽の影響が大きい）と、車両の位置との関係を把握することにより、カメラ１１－１～１１－ｎの明るさを調節することにより、より物体認識をしやすくようにしている。
より具体的には、図２５に示すように、例えば、車両ＣＡＲが太陽ＳＵＮからの太陽光に照射されているとする。
この場合において、車両の太陽側である領域ＡＲ＿ＢＲにおいては、太陽光が照射された状態であるため、当該側に設けられたカメラの入射光量が増加する。
これに対して、太陽ＳＵＮに対して車両ＣＡＲの背後側である領域ＡＲ＿ＳＨにおいては、太陽光の光量が低下した状態であるため、当該側に設けられたカメラの入射光量が減少する。
このため、本第３実施形態においては、カメラ１１－１～１１－ｎの光源（太陽等）に対する位置関係及び周囲環境の明るさ（照度）に基づいて、撮像画像の明るさを調節することにより、いずれのカメラ１１－１～１１－ｎにおいても、より物体認識をしやすくようにしている。
次に第３実施形態の動作を説明する。
図２６は、第３実施形態の処理フローチャートである。
ドア開閉作動スイッチのオン状態を検出すると（ステップＳ３１）、照度が所定の閾値以上、すなわち、太陽光等の照射状態であるか否かを判断する（ステップＳ３２）。
ステップＳ３２の判断において、照度が閾値以上である場合には（ステップＳ３２；Ｙｅｓ）、カメラの撮像画像に基づいてドア開時のドア軌跡内に障害物が有るか否かを判断する（ステップＳ３３）。
ステップＳ３３の判断において、ドア軌跡内に障害物がないと判断された場合には（ステップＳ３３；なし）、超音波センサの出力信号に基づいてドア開時のドア軌跡内に障害物があるか否かを判断する（ステップＳ３４）。
ステップＳ３４の判断において、ドア軌跡内に障害物がないと判断された場合には（ステップＳ３４；なし）、まずドアをポップアップ位置まで開き、その後、ドアを全開として（ステップＳ３５）、処理を終了する。
ステップＳ３４の判断において、ドア軌跡内に障害物があると判断された場合には（ステップＳ３４；あり）、まずドアをポップアップ位置まで開き、複数の撮像画像に基づいて当該対象物までの距離を再計算する（ステップＳ３６）。
より詳細には、ドア閉時のカメラの撮像画像、ドア開後、ドアをポップアップ位置に向けて徐々に開きつつカメラで撮像を行い、得られた一又は複数の撮像画像に基づいて、ステレオカメラの原理で障害物までの距離（カメラ測距距離）を算出する（ステップＳ３６）。
ここで、複数のカメラの撮像画像に基づいて当該対象物までの距離を再計算する処理についてより詳細に説明する。
図２７は、距離再計算処理の処理フローチャートである。
再計算処理においては、カメラ１１－１～１１－ｎの光源に対する位置関係に基づいて、明るさを調節することにより、いずれのカメラ１１－１～１１－ｎにおいても、より物体認識をしやすくようにするために、車両情報である自車位置情報ＩＮＦ１（＝車両位置に相当）、車両位置情報ＩＮＦ１の履歴（＝車両進行方向情報に相当）及び車高情報を取得する（ステップＳ５１）。
続いて、カメラ画像処理部２１は、ステップＳ５１で得られた情報に基づいて、カメラ位置の補正を行う（ステップＳ５２）。
これにより総合制御部２３は、カメラ画像処理部２１により出力された撮像画像及び補正されたカメラ位置に基づいて、対象物である障害物までの測距処理を行う（ステップＳ５３）。
そして、ステップＳ３６において得られた障害物までの距離（カメラ測距距離）から安全性の確保から予め設定した一定値を差し引いた位置を最大ドア開度位置として、障害物の手前までドアを開いてドアを停止させて処理を終了する（ステップＳ３７）。
一方、ステップＳ３３の判断において、ドア軌跡内に障害物があると判断された場合には（ステップＳ３３；あり）、超音波センサの出力信号に基づいてドア開時のドア軌跡内に障害物があるか否かを判断する（ステップＳ３８）。
ステップＳ３８の判断においてドア軌跡内に障害物があると判断された場合には（ステップＳ３８；あり）、カメラの撮像画像に基づいて障害物の形状推定結果が、ポール、壁等の単純な形状を有する単純障害物であるか否かを判断する（ステップＳ３９）。
図２８は、画像認識の処理フローチャートである。
そして、ステップＳ３９の判断においては、さらにカメラ１１－１～１１－ｎの光源に対する位置関係に基づいて、明るさを調節することにより、いずれのカメラ１１－１～１１－ｎにおいても、より物体認識をしやすくようにするために、車両情報である自車位置情報ＩＮＦ１（＝車両位置に相当）、車両位置情報ＩＮＦ１の履歴（＝車両進行方向情報に相当）及び時間情報ＩＮＦ３（＝光源である太陽位置情報及び昼間／夜間の情報に相当）を取得する（ステップＳ６１）。
続いて、カメラ画像処理部２１は、ステップＳ６１で得られた情報に基づいて、車両の向き、障害物等の対象物の陰の影響を除去する画像修正（画像補正）を行う（ステップＳ６２）。
総合制御部２３は、車両位置とマップ情報から予め設定した物体の存在確率を取得する（ステップＳ６３）。
そして、総合制御部２３は、ステップＳ６２で得られた光源からの光を考慮した画像で画像認識を行い、ステップＳ６３で取得した物体の存在確率を組み合わせ、物体認識を行う（ステップＳ６４）。
また過去に車両を止めた位置であった場合には過去の物体認識結果も使用してもよい。
ステップＳ６１～ステップＳ６４の処理によれば、時間情報、車両進行情報を活用して太陽などの光源の影響を取り去り、物体を正しく認識しやすくすることができる。
また、車両位置情報あるいはマップ情報を活用し、車両の現在位置（車両が今どこにいるか）によって、物体の存在確率テーブルを参照することにより、物体認識における誤認識を回避することができる。
ステップＳ３９の判断において、カメラの撮像画像に基づく障害物の形状推定結果が単純障害物である場合には（ステップＳ３９；単純障害物）、超音波センサによる測距結果は信頼性があるので、超音波センサの出力信号に基づいて障害物までの距離を測定しながらドア開制御を行い、処理を終了する（ステップＳ４０）。
ステップＳ３９の判断において、カメラの撮像画像に基づく障害物の形状推定結果が単純障害物ではない場合には（ステップＳ３９；単純障害物以外）、超音波センサによる測距結果は信頼性が低いので、ドアをポップアップ位置まで開き、再びカメラにより対象物である当該対象物までの距離をカメラの撮像に基づいて対象物である障害物までの距離を再計算する（ステップＳ４１）。
この場合においても、ステップＳ３６の場合と同様に、図２７に示したように、車両情報である自車位置情報ＩＮＦ１（＝車両位置に相当）、車両位置情報ＩＮＦ１の履歴（＝車両進行方向情報に相当）及び昼間／夜間の情報に相当）及び車高情報を取得し（ステップＳ５１）、カメラ位置の補正を行う（ステップＳ５２）。これらの結果、総合制御部２３は、カメラ画像処理部２１により出力された撮像画像及び補正されたカメラ位置に基づいて、対象物である障害物までの測距処理を行う（ステップＳ５３）。
そして、ステップＳ４１において得られた障害物までの距離（カメラ測距距離）から安全性の確保から予め設定した一定値を差し引いた位置を最大ドア開度位置として、障害物の手前までドアを開いてドアを停止させて処理を終了する（ステップＳ４２）。
一方、ステップＳ３８の判断において、ドア軌跡内に障害物がないと判断された場合には（ステップＳ３８；なし）、カメラの撮像画像に基づいて障害物の形状推定結果が、ポール、壁等の単純な形状を有する単純障害物であるか否かを判断する（ステップＳ４３）。
この場合においても、図２８に示した上記ステップＳ６１～ステップＳ６４の処理を行うようにしてもよい。
ステップＳ４３の判断において、カメラの撮像画像に基づく障害物の形状推定結果が単純障害物ではない場合には（ステップＳ３９；単純障害物以外）、処理を後述するステップＳ４６に移行する。
ステップＳ４３の判断において、カメラの撮像画像に基づく障害物の形状推定結果が単純障害物である場合には（ステップＳ３９；単純障害物）、ドアをポップアップ位置まで開き、この状態で、超音波センサの検出範囲内に対象物である障害物が入ったか否かを判断する（ステップＳ４４）。
ステップＳ４４の判断において、超音波センサの検出範囲内に対象物である障害物が入った場合には（ステップＳ４４；検知範囲内）、超音波センサによる測距結果は信頼性があるので、超音波センサの出力信号に基づいて障害物までの距離を測定しながらドア開制御を行い、処理を終了する（ステップＳ４５）。
ステップＳ４４の判断において、超音波センサの検出範囲内に対象物である障害物が入っていない場合には（ステップＳ４４；検知範囲外）、まずドアをポップアップ位置まで開き、複数のカメラの撮像画像に基づいて当該対象物までの距離を再計算する（ステップＳ４６）。
ステップＳ４６においては、超音波センサによる測距結果は信頼性が低いので、ドアをポップアップ位置まで開き、再びカメラにより対象物である当該対象物までの距離をカメラの撮像に基づいて対象物である障害物までの距離を再計算している。
ここで、複数のカメラの撮像画像に基づいて当該対象物までの距離を再計算する処理についてより詳細に説明する。
この場合にステップS４６おいても、ステップＳ３６の場合と同様に、図２７に示したように、車両情報である自車位置情報ＩＮＦ１（＝車両位置に相当）、車両位置情報ＩＮＦ１の履歴（＝車両進行方向情報に相当）及び昼間／夜間の情報に相当）及び車高情報を取得し（ステップＳ５１）、カメラ位置の補正を行う（ステップＳ５２）。
またステップＳ５２における補正はステップＳ３３でドア軌跡内判定を行う際の補正にも使用してもよい。
これらの結果、総合制御部２３は、カメラ画像処理部２１により出力された撮像画像及び補正されたカメラ位置に基づいて、対象物である障害物までの測距処理を行う（ステップＳ５３）。
この場合においても、図２８に示した上記ステップＳ６１～ステップＳ６４の処理を行うようにしてもよい。
そして、ステップＳ５３を経て、ステップＳ４６で算出した障害物までの距離（カメラ測距距離）から、安全性確保のため予め設定した一定値を差し引いた位置を最大ドア開度位置とし、障害物の手前までドアを開いた後にドアを停止させて処理を終了する（ステップＳ４７）。
一方、ステップＳ３２の判断において、照度が閾値未満である場合には（ステップＳ３２；Ｎｏ）、総合制御部２３は、画像修正（例えば、明るさ補正等）により、物体認識／障害物判別が可能か否かを可能であるか否かを判断する（ステップＳ４８）。
ステップＳ４８の判断において、画像修正（例えば、明るさ補正等）により、物体認識／障害物判別が可能である場合には（ステップＳ４８；可能）、処理をステップＳ３３に移行し、上述したのと同様の手順でドア開制御を行う。
ステップＳ４８の判断において、画像修正を行っても物体認識／障害物判別が不可能である場合（画面が暗すぎていわゆる黒つぶれ状態となっている場合等）には、障害物、あるいは、障害物までの距離が計算できないので、ドア開を不可として処理を終了する（ステップＳ４９）。
以上の説明のように、本第３実施形態によれば、カメラ１１－１～１１－ｎの光源（太陽等）に対する位置関係及び周囲環境の明るさ（照度）に基づいて、撮像画像の明るさを調節し、さらに物体（障害物等の対象物）の存在確率を以前の画像認識結果などに基づいて把握して、物体までの距離を測定するので、より高精度で障害物までの距離を把握して、ドア開制御をより確実に行える。
図２９は、第３実施形態の変形例の説明図である。
以上の説明においては、ドア開時のドア軌跡内に障害物が有るか否かを判断する際には（ステップＳ３３）、カメラの撮像画像に基づいて行っていたが、車輛状態（車両の傾き）や道路状態によって、カメラの見え方が変わり、ドア軌跡範囲が変わる虞があった。
そこで、図２９に示すように、車両情報（車両の傾き）と車両位置情報（車両が坂にいる等）を取得し（ステップＳ７１）、ドア軌跡範囲を補正する（ステップＳ７２）。
そして、補正したドア軌跡範囲に基づいて、ドア軌跡内外判定を行う（ステップＳ７３）。
この結果、ドア軌跡内外判定をより正確に行うことができる。
［４］実施形態の変形例
上述の実施形態では、障害物検出装置１０は、例えば１つのコントローラ（ＥＣＵ）１３により構成されることとしたが、これに限られない。障害物検出装置１０は複数のＥＣＵにより構成されていてもよい。例えば、カメラ画像処理部２１及び超音波センサ信号処理部２２の機能を一つのＥＣＵが担い、総合制御部２３及びドア制御部２４の機能を他のＥＣＵが担うようにしてもよい。
上述の第１実施形態では、超音波センサ群１２－１～１２－ｎは、それぞれ車両の前後方向に配置された第１超音波センサＳＮ１及び第２超音波センサＳＮ２を備えていたが、これに限られない。例えば、一つのドアに対し３つ以上の超音波センサが設けられてもよい。超音波センサの数を増やすことで、より広範囲の物体をより高精度に検出することが可能となる。
また、以上の説明においては、測距センサとして、超音波センサを用いる場合について説明したが、例えば、超音波センサ以外にも、電波センサや赤外線センサなどの測距センサも適用可能である。
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
１０ 障害物検出装置
１１－１～１１－ｎ カメラ
１２－１～１２－ｎ 超音波センサ群
１３ コントローラ
１４Ａ ドア開スイッチ
１４Ｂ ドア開スイッチ
１５ ドア駆動部
２１ カメラ画像処理部
２２ 超音波センサ信号処理部
２３ 総合制御部
２４ ドア制御部
２５ 記憶部
ＡＤＥ ドア軌跡エリア
ＡＮＧ 許容ドア開度
ＡＲＣ 検出範囲
ＡＳＮ 検出範囲
ＧＲ ガードレール
ＨＭ 人
ＩＮＦ１ 自車位置情報
ＩＮＦ２ マップ情報
ＩＮＦ３ 時間情報
ＩＮＦ４ 環境情報
ＩＮＦ５ ドア開度情報
ＯＢＪ 障害物
ＯＶ 曲線
ＳＮ１ 第１超音波センサ
ＳＮ２ 第２超音波センサ
ＳＮ 超音波センサ
Ｖ 車両

Claims (11)

  1. 超音波により所定の検出範囲内の障害物までの距離を検出する車両のドアに配置された超音波センサの出力に基づいて、前記障害物までの距離及び前記障害物の形状のうち、少なくとも前記距離を検出する超音波センサ信号処理部と、
    前記車両のドアの開時の軌跡範囲及び前記超音波センサの検出範囲を含む領域を撮像する前記車両のカメラの出力に基づいて、前記障害物までの距離及び前記障害物の形状を検出するカメラ画像処理部と、
    前記超音波センサ信号処理部の検出結果及び前記カメラ画像処理部の検出結果に基づいて、前記ドアの開動作制御を行うコントローラと、
    を備えた障害物検出装置。
  2. 前記超音波センサ信号処理部は、一つの前記ドアに対し、複数配置された前記超音波センサの出力に基づいて前記障害物までの距離及び前記障害物の形状を検出する、
    請求項１記載の障害物検出装置。
  3. 前記コントローラは、前記超音波センサ信号処理部及び前記カメラ画像処理部の検出結果において、前記障害物までの距離が同一とみなせ、かつ、前記障害物の形状も同種であると判断した場合に前記ドアの開制御を許可する、
    請求項２記載の障害物検出装置。
  4. 前記コントローラは、前記超音波センサ信号処理部及び前記カメラ画像処理部の検出結果において、前記障害物までの距離が同一とみなせる場合に、前記障害物の手前まで前記ドアの開制御を許可する、
    請求項１又は請求項２記載の障害物検出装置。
  5. 前記コントローラは、前記車両の外部において、前記ドアの開動作を行わせる信号が入力され、前記カメラ画像処理部の検出結果に基づいて前記軌跡範囲の内部に人が検出された場合に、前記人が前記軌跡範囲から前記人が移動した場合に、前記ドアの開制御を許可する、
    請求項１乃至請求項４のいずれか一項に記載の障害物検出装置。
  6. 前記超音波センサは、前記ドアに一つ設けられており、
    前記超音波センサ信号処理部は、前記ドアの開動作時に得られる複数の前記障害物までの距離に基づいて、前記障害物までの距離を検出する、
    請求項１記載の障害物検出装置。
  7. 前記カメラ画像処理部は、前記カメラの撮像領域の明るさに基づいて、前記カメラの出力した撮像画像の補正を行い、
    前記コントローラは、補正後の前記撮像画像に基づいて、前記撮像画像に含まれる前記障害物の存在確率を取得し、取得した前記存在確率に基づいて物体認識を行う、
    請求項１乃至請求項６のいずれか一項に記載の障害物検出装置。
  8. 前記コントローラは、前記カメラの撮像場所に基づいて、前記障害物の存在確率を取得し、取得した前記存在確率と測距センサの測距結果に基づいて、前記物体認識を行う
    請求項７に記載の障害物検出装置。
  9. 前記カメラ画像処理部は、前記車両の向き及び対象物の陰の影響を除去すべく、前記補正として、前記撮像画像の明るさ補正を行う、
    請求項７又は請求項８に記載の障害物検出装置。
  10. 超音波により所定の検出範囲内の障害物までの距離を検出する車両のドアに配置された超音波センサからの出力及び前記車両のドアの開時の軌跡範囲及び前記超音波センサの検出範囲を含む領域を撮像する前記車両のカメラの出力が入力される障害物検出装置で実行される方法であって、
    前記超音波センサからの出力に基づいて、前記障害物までの距離及び前記障害物の形状のうち、少なくとも前記距離を検出する第１過程と、
    前記カメラの出力に基づいて、前記障害物までの距離及び前記障害物の形状を検出する第２過程と、
    前記第１過程及び前記第２過程の検出結果に基づいて、前記ドアの開動作制御を行う第３過程と、
    を備えた方法。
  11. 超音波により所定の検出範囲内の障害物までの距離を検出する車両のドアに配置された超音波センサからの出力及び前記車両のドアの開時の軌跡範囲及び前記超音波センサの検出範囲を含む領域を撮像する前記車両のカメラの出力が入力される障害物検出装置をコンピュータにより制御するためのプログラムであって、
    前記コンピュータを、
    前記超音波センサからの出力に基づいて、前記障害物までの距離及び前記障害物の形状のうち、少なくとも前記距離を検出する第１手段と、
    前記カメラの出力に基づいて、前記障害物までの距離及び前記障害物の形状を検出する第２手段と、
    前記第１手段及び前記第２手段の検出結果に基づいて、前記ドアの開動作制御を行う第３手段と、
    を備えたプログラム。
JP2021021323A 2021-02-12 2021-02-12 障害物検出装置、方法及びプログラム Pending JP2022123787A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021021323A JP2022123787A (ja) 2021-02-12 2021-02-12 障害物検出装置、方法及びプログラム
CN202210070703.6A CN114924277A (zh) 2021-02-12 2022-01-21 障碍物检测装置以及方法
US17/583,448 US20220259914A1 (en) 2021-02-12 2022-01-25 Obstacle detection device, and method
DE102022103099.7A DE102022103099A1 (de) 2021-02-12 2022-02-10 Hinderniserfassungsvorrichtung, -verfahren und -programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021021323A JP2022123787A (ja) 2021-02-12 2021-02-12 障害物検出装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2022123787A true JP2022123787A (ja) 2022-08-24

Family

ID=82610684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021021323A Pending JP2022123787A (ja) 2021-02-12 2021-02-12 障害物検出装置、方法及びプログラム

Country Status (4)

Country Link
US (1) US20220259914A1 (ja)
JP (1) JP2022123787A (ja)
CN (1) CN114924277A (ja)
DE (1) DE102022103099A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200333429A1 (en) * 2017-12-29 2020-10-22 Ubicquia Iq Llc Sonic pole position triangulation in a lighting system

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005076408A (ja) 2003-09-03 2005-03-24 Denso Corp ドア開度制限装置
JP6644985B2 (ja) 2016-07-14 2020-02-12 三井金属アクト株式会社 開閉システム
JP6579144B2 (ja) * 2017-03-28 2019-09-25 株式会社Ｓｏｋｅｎ 障害物検知装置
DE102019121638A1 (de) * 2019-06-04 2020-12-10 Inventus Engineering Gmbh Verfahren zum Steuern von Türbewegungen einer Tür eines Kraftfahrzeugs und Kraftfahrzeugkomponente

Also Published As

Publication number Publication date
DE102022103099A1 (de) 2022-08-18
CN114924277A (zh) 2022-08-19
US20220259914A1 (en) 2022-08-18

Similar Documents

Publication Publication Date Title
JP4639293B2 (ja) 自動ドアセンサ
EP2045132B1 (en) Driving support device, driving support method, and computer program
US8442755B2 (en) Systems and methods for preventing motor vehicle side doors from coming into contact with obstacles
US9352690B2 (en) Apparatus and method for detecting obstacle adaptively to vehicle speed
CN100472322C (zh) 前方摄影装置
US6791461B2 (en) Object detection sensor
US11008783B2 (en) Vehicle periphery monitoring apparatus
JP6651031B2 (ja) 車両ドア衝突防止装置および車両ドア衝突防止方法
US20070069872A1 (en) Vehicle driving assist system
US10974735B2 (en) Parking assistance device
JP4753765B2 (ja) 障害物認識方法
CN110249105B (zh) 自动门传感器、自动门系统以及自动门系统的控制方法
JP4265931B2 (ja) 先行車両検出装置
WO2020157108A1 (en) Method and system for limiting the movement of a door of a vehicle
JP2010162975A (ja) 車両制御システム
US20220259914A1 (en) Obstacle detection device, and method
US9827906B2 (en) Image processing apparatus
JP2006240454A (ja) 車両の物体認識装置及び物体認識処理方法
CN116419072A (zh) 车辆摄像头动态
US20220170310A1 (en) Obstacle detection device, method, and program
JP2000207695A (ja) 車外監視装置
KR101028284B1 (ko) 차량 충돌 방지 방법
KR20170135288A (ko) 비전기반의 융합형 물체 감지 장치 및 방법
CZ2019603A3 (cs) Způsob detekce překážek nad pátými dveřmi automobilu
KR102500704B1 (ko) 차량의 자율주행제어장치 및 자율주행제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231206