JP2021154969A - 障害物検知装置、障害物検知方法、および、プログラム - Google Patents

障害物検知装置、障害物検知方法、および、プログラム Download PDF

Info

Publication number
JP2021154969A
JP2021154969A JP2020059472A JP2020059472A JP2021154969A JP 2021154969 A JP2021154969 A JP 2021154969A JP 2020059472 A JP2020059472 A JP 2020059472A JP 2020059472 A JP2020059472 A JP 2020059472A JP 2021154969 A JP2021154969 A JP 2021154969A
Authority
JP
Japan
Prior art keywords
image data
unit
state
door
photographing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020059472A
Other languages
English (en)
Inventor
淳史 堀
Atsushi Hori
淳史 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Corp filed Critical Aisin Corp
Priority to JP2020059472A priority Critical patent/JP2021154969A/ja
Priority to US17/189,930 priority patent/US20210303878A1/en
Publication of JP2021154969A publication Critical patent/JP2021154969A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42—Detection using safety edges
    • E05F15/43—Detection using safety edges responsive to disruption of energy beams, e.g. light or sound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42—Detection using safety edges
    • E05F15/43—Detection using safety edges responsive to disruption of energy beams, e.g. light or sound
    • E05F2015/434—Detection using safety edges responsive to disruption of energy beams, e.g. light or sound with cameras or optical sensors
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/40—Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42—Detection using safety edges
    • E05F2015/483—Detection using safety edges for detection during opening
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/10—Electronic control
    • E05Y2400/52—Safety arrangements associated with the wing motor
    • E05Y2400/53—Wing impact prevention or reduction
    • E05Y2400/54—Obstruction or resistance detection
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/81—Feedback to user, e.g. tactile
    • E05Y2400/83—Travel information display
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2800/00—Details, accessories and auxiliary operations not otherwise provided for
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Type of wing
    • E05Y2900/531—Doors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両の周囲に存在する障害物の三次元位置を高精度に算出する。【解決手段】障害物検知装置は、車両のドアにおける可動部の動作を制御する動作制御部と、可動部に設置された撮影部から、車両の外側のドアの付近の撮影画像データとして、少なくとも、可動部が第１の状態のときの第１の撮影画像データと、可動部が第１の状態から動いて第２の状態となっているときの第２の撮影画像データと、を取得する第１の取得部と、可動部の第１の状態から第２の状態までの移動量情報を取得する第２の取得部と、移動量情報に基づいて、可動部が第１の状態のときの撮影部の位置と可動部が第２の状態のときの撮影部の位置を含む撮影部位置情報を算出する撮影部位置算出部と、第１の撮影画像データと第２の撮影画像データと撮影部位置情報とに基づいて、第１の撮影画像データと第２の撮影画像データに写っている障害物の三次元位置を算出する障害物位置算出部とを備える。【選択図】図３

Description

本発明の実施形態は、障害物検知装置、障害物検知方法、および、プログラムに関する。
近年、乗用車等の車両に関する各種機能の研究開発が進められている。そのような機能としては、例えば、車両のドアを自動で開閉するドア開閉機能や、ドア開閉機能でドアを開閉する際にドアが障害物に衝突しないようにするドア衝突回避機能などがある。また、ドア衝突回避機能を実現するためには、ドアの開閉動作範囲内に存在する障害物を検知する障害物検知機能を高精度に実現する必要がある。
障害物検知機能は、例えば、電波センサ、ソナー（超音波装置）、ＬｉＤＡＲ（Light Detection and Ranging）、静電容量型近接センサなどの検知結果や、車載カメラによる車両の外側のドアの付近の撮影画像データに基づいて実現できる。特に、車両には他の用途でカメラを設置する場合が多いので、車載カメラによる撮影画像データに基づいて障害物を検知することができれば、低コストを実現できる。
特開２００９−１１４７８３号公報
Raul Mur-Artal, J. M. M. Montiel, and Juan D. Tardos, "ORB-SLAM: A Versatile and Accurate Monocular SLAM System", [online], IEEE TRANSACTIONS ON ROBOTICS, VOL. 31, NO. 5, OCTOBER 2015 1147, [令和２年３月２５日検索], インターネット<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7219438#search=%27ORBSLAM%3A+A+Versatile+and+Accurate+Monocular%27> Richard A. Newcombe, Steven J. Lovegrove and Andrew J. Davison, "DTAM: Dense Tracking and Mapping in Real-Time", [online], [令和２年３月２５日検索], インターネット<URL: https://www.doc.ic.ac.uk/~ajd/Publications/newcombe_etal_iccv2011.pdf#search=%27DTAM%3ADense+Tracking+and+Mapping+in+RealTime+Richard%27> Jakob Engel and Thomas Schops and Daniel Cremers, "LSD-SLAM: Large-Scale Direct Monocular SLAM", [online], [令和２年３月２５日検索], インターネット<URL: http://search.yahoo.co.jp/r/FOR=sEyckuxV3ijU1h3e90vqbkcvITwgoBVQKuRGoH8yCUYcHr_gPfj2bL0sSchwZAtOul2nh6UL9y79jhdSr_FdDolfyQZ6RHNLCyvDCGj.EYRcfN..d9kcBqsb8In5O9ynLFDxvdsYGFniX9xRMLhA4TLjAyOkpqEOO3Zc2qkWSau4bz14A5259ir2L6tnJC6yQS9uDf7CjccDqStMZtscqkyoW7zhHPt9ECMZDABlNneuQ5_jt2yEOqEooQ--/_ylt=A2Ri4yKhAXteNyoAoZGDTwx.;_ylu=X3oDMTBtNHJhZXRnBHBvcwMxBHNlYwNzcgRzbGsDdGl0bGU-/SIG=14k2d3t9d/EXP=1585220449/**https%3A//vision.in.tum.de/_media/spezial/bib/engel14eccv.pdf%23search=%27LSDSLAM%253A%2BLargeScale%2BDirect%2BMonocular%2BSLAM%27> Henri Rebecq et al., "EMVS: Event-Based Multi-View Stereo-3D Reconstruction with an Event Camera in Real-Time", [online], [令和２年３月２５日検索], インターネット<URL: http://rpg.ifi.uzh.ch/docs/IJCV17_Rebecq.pdf#search=%27EMVS%3A+EventBased+MultiView+Stereo%E2%80%943D+Reconstruction+with+an+Event+Camera+in+RealTime+PDF%27>
しかしながら、従来技術では、車載カメラによる撮影画像データに基づいて障害物を検知する場合、障害物の三次元情報が得られないため、障害物までの距離や障害物の高さなどがわからず、精度の点で改善の余地があった。
そこで、本発明の実施形態は、上述の事情に鑑みてなされたものであり、車両の周囲に存在する障害物の三次元位置を高精度に算出することができる障害物検知装置、障害物検知方法、および、プログラムを提供することを課題とする。
上記課題を解決するため、実施形態の障害物検知装置は、車両のドアにおける可動部の動作を制御する動作制御部と、前記可動部に設置された撮影部から、前記車両の外側の前記ドアの付近の撮影画像データとして、少なくとも、前記可動部が第１の状態のときの第１の撮影画像データと、前記可動部が前記第１の状態から動いて第２の状態となっているときの第２の撮影画像データと、を取得する第１の取得部と、前記可動部の前記第１の状態から前記第２の状態までの移動量情報を取得する第２の取得部と、前記移動量情報に基づいて、前記可動部が前記第１の状態のときの前記撮影部の位置と前記可動部が前記第２の状態のときの前記撮影部の位置を含む撮影部位置情報を算出する撮影部位置算出部と、前記第１の撮影画像データと前記第２の撮影画像データと前記撮影部位置情報とに基づいて、前記第１の撮影画像データと前記第２の撮影画像データに写っている障害物の三次元位置を算出する障害物位置算出部と、を備える。このような構成によれば、車両のドアにおける可動部に設置された撮影部から得られた視点の異なる２つの撮影画像データに基づいて、車両の周囲に存在する障害物の三次元位置を高精度に算出することができる。
また、障害物検知装置において、前記可動部は、前記ドアに設置されたドアミラーであって、回転軸に沿って回転動作をし、前記第２の取得部は、前記ドアミラーの前記第１の状態から前記第２の状態までの移動量情報として前記ドアミラーの回転角度情報を取得し、前記撮影部位置算出部は、前記回転角度情報に基づいて、前記ドアミラーが前記第１の状態のときの前記撮影部の位置と前記ドアミラーが前記第２の状態のときの前記撮影部の位置を含む撮影部位置情報を算出するようにしてもよい。このような構成によれば、ドア自体が動かなくても、ドアミラーを回転動作させることで、ドアミラーに設置された撮影部から得られた視点の異なる２つの撮影画像データに基づいて、車両の周囲に存在する障害物の三次元位置を高精度に算出することができる。
また、障害物検知装置において、前記可動部は、前記ドア自体であって、回転軸に沿って回転動作をし、前記第２の取得部は、前記ドアの前記第１の状態から前記第２の状態までの移動量情報として前記ドアの回転角度情報を取得し、前記撮影部位置算出部は、前記回転角度情報に基づいて、前記ドアが前記第１の状態のときの前記撮影部の位置と前記ドアが前記第２の状態のときの前記撮影部の位置を含む撮影部位置情報を算出するようにしてもよい。このような構成によれば、ドア自体を回転動作させることで、ドアに設置された撮影部から得られた視点の異なる２つの撮影画像データに基づいて、車両の周囲に存在する障害物の三次元位置を高精度に算出することができる。
また、障害物検知装置において、前記第１の取得部は、前記撮影部から、前記車両の外側の前記ドアの付近の撮影画像データとして、少なくとも、第３の撮影画像データと、前記車両が移動したことによって前記第３の撮影画像データとは異なる第４の撮影画像データと、を取得し、前記第２の取得部は、前記第３の撮影画像データの撮影時から前記第４の撮影画像データの撮影時までの前記車両の移動量を示す第２の移動量情報を取得し、前記撮影部位置算出部は、前記第２の移動量情報に基づいて、前記第３の撮影画像データの撮影時の前記撮影部の位置と前記第４の撮影画像データの撮影時の前記撮影部の位置を含む撮影部位置情報を算出し、前記障害物位置算出部は、前記第３の撮影画像データと前記第４の撮影画像データと前記撮影部位置情報とに基づいて、前記第３の撮影画像データと前記第４の撮影画像データに写っている障害物の三次元位置を算出するようにしてもよい。このような構成によれば、あらかじめ、車両の移動中に、撮影部から得られた視点の異なる２つの撮影画像データに基づいて、撮影画像データに写っている障害物の三次元位置を高精度に算出して保存することができ、その後の障害物検知処理に活用することができる。
また、障害物検知装置において、前記撮影部は、前記撮影画像データとして、撮影対象の画素ごとの輝度変化の情報を含むイベントデータを出力するイベントカメラであってもよい。このような構成によれば、撮影部としてイベントカメラを使用することで、高速撮影によって、車両の周囲に存在する障害物の三次元位置をより高精度に算出することができる。
図１は、第１実施形態の車両の車室の一部が透視された状態を示す斜視図である。 図２は、第１実施形態の車両の平面図（俯瞰図）である。 図３は、第１実施形態の障害物検知システムの構成のブロック図である。 図４は、第１実施形態の車両におけるＣＰＵの機能構成のブロック図である。 図５は、第１実施形態の車両においてドアミラーに撮影部が設置されている様子を模式的に示す図である。 図６は、第１実施形態における車両のドアと縁石の位置関係を模式的に示す図である。 図７は、第１実施形態の車両のＣＰＵにおける処理を示すフローチャートである。 図８は、第２実施形態の車両のドアにおける撮影部の設置位置を模式的に示す図である。 図９は、第２実施形態の障害物検知システムの構成のブロック図である。 図１０は、第２実施形態の車両のＣＰＵにおける処理を示すフローチャートである。 図１１は、第３実施形態の車両において移動中に視点の異なる２つの撮影画像データを取得する様子を模式的に示す図である。 図１２は、第３実施形態の車両のＣＰＵにおける処理を示すフローチャートである。
以下、本発明の例示的な実施形態（第１実施形態〜第４実施形態）が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうちの少なくとも一つを得ることが可能である。
（第１実施形態）
まず、図１、図２を参照して、車両の構成について説明する。図１は、第１実施形態の車両１の車室の一部が透視された状態を示す斜視図である。図２は、第１実施形態の車両１の平面図（俯瞰図）である。
本実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、車両１は、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。
また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としてのドライバの座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７等が設けられている。
操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。
加速操作部５は、例えば、ドライバの足下に位置されたアクセルペダルである。
制動操作部６は、例えば、ドライバの足下に位置されたブレーキペダルである。
変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。
なお、操舵部４、加速操作部５、制動操作部６、変速操作部７等は、これらには限定されない。
また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（liquid crystal display）や、ＯＥＬＤ（organic electroluminescent display）等である。表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。
乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。音声出力装置９は、例えば、スピーカである。
これらの表示装置８、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。
モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置９を設けることができるし、モニタ装置１１の音声出力装置９と他の音声出力装置から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用されうる。また、車室２ａ内には、表示装置８とは別の表示装置１２(図３参照)が設けられている。
以下、図３も併せて参照する。図３は、第１実施形態の障害物検知システム１００の構成のブロック図である。図３に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。操舵システム１３は、ＥＣＵ１４（electronic control unit）等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（steer by wire）システム等として構成される。
操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。また、トルクセンサ１３ｂは、例えば、ドライバが操舵部４に与えるトルクを検出する。
また、図２に例示されるように、車体２には、複数の撮影部１５として、例えば四つの撮影部１５ａ〜１５ｄが設けられている。撮影部１５は、例えば、ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）等の撮像素子を内蔵するデジタルカメラである。撮影部１５は、所定のフレームレートで動画データを出力することができる。撮影部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲を撮影することができる。また、撮影部１５の光軸は斜め下方に向けて設定されている。よって、撮影部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周辺の外部の環境を逐次撮影し、撮像画像データとして出力する。
撮影部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮影部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮影部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮影部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。
ＥＣＵ１４は、複数の撮影部１５（本実施形態の場合、撮影部１５ａ〜撮影部１５ｄ）で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両１を上方から見た仮想的な俯瞰画像を生成したりすることができる。なお、俯瞰画像は、平面画像とも称される。
また、図１及び図２に例示されるように、車体２には、複数の測距部１６、１７として、例えば四つの測距部１６ａ〜１６ｄと、八つの測距部１７ａ〜１７ｈとが設けられている。測距部１６、１７は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。ＥＣＵ１４は、測距部１６、１７の検出結果により、車両１の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定することができる。すなわち、測距部１６、１７は、物体を検出する検出部の一例である。
この場合において、測距部１７は、例えば、比較的近距離の物体の検出に用いられ、測距部１６は、例えば、測距部１７よりも遠い比較的長距離の物体の検出に用いられる。また、測距部１７は、例えば、車両１の前方および後方の物体の検出に用いられ、測距部１６は、車両１の側方の物体の検出に用いられる。
また、図３に例示されるように、障害物検知システム１００では、ＥＣＵ１４や、モニタ装置１１、操舵システム１３、測距部１６、１７等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、ドアミラー駆動部３１、回転角度センサ３２、ドア駆動部３３等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller Area Network）として構成されている。
ドアミラー駆動部３１は、ドアミラー２ｇを、所定の回転軸を中心に回転移動させる（図５参照）。回転角度センサ３２は、ドアミラー２ｇの回転角度を検出し、回転角度情報を出力する（図５参照）。回転角度センサ３２は、例えば、撮影部１５とほぼ同じ位置に設置されたジャイロセンサである。ドア駆動部３３は、ドア５１（ドア５１ＦＲ、５１ＲＲ、５１ＦＬ、５１ＲＬ）（図２）を、所定の回転軸を中心に回転移動させる。
上記構成により、ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８、ドアミラー駆動部３１、ドア駆動部３３等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、測距部１６、測距部１７、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、回転角度センサ３２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central Processing Unit）や、ＲＯＭ１４ｂ（Read Only Memory）、ＲＡＭ１４ｃ（Random Access Memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Solid State Drive、フラッシュメモリ）、ＥＣＵ１４に対する指示入力操作を行う操作部１４ｇ等を有している。
上記構成において、ＣＰＵ１４ａは、例えば、表示装置８、１２で表示される画像に関連した画像処理や、車両１の自動制御、自動制御の解除、障害物検知等の各種の演算処理および制御を実行することができる。
ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。
ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。
また、表示制御部１４ｄは、ＥＣＵ１４における演算処理のうち、主として、撮影部１５で得られた画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。
また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。
また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積することができる。
また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital Signal Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard Disk Drive）が設けられてもよいし、ＳＳＤ１４ｆやＨＤＤは、ＥＣＵ１４とは別に設けられてもよい。
ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti-lock Brake System）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ：Electronic Stability Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake By Wire）等として構成される。
ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３ひいては車両１に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差等からブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、トラクション制御、車両の安定化制御、横滑り防止制御等の各種制御を実行することができる。
また、ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子等を用いて構成される。ＥＣＵ１４は、ドライバによる操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、加速操作部５可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、変速操作部７の可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子等を用いて構成できる。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量等を演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果を、ブレーキシステム１８を介して取得する。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
次に、図４を参照して、第１実施形態の車両１におけるＣＰＵ１４ａの機能構成について説明する。図４は、第１実施形態の車両１におけるＣＰＵ１４ａの機能構成のブロック図である。ＣＰＵ１４ａは、機能モジュールとして、取得部１４１と、ドアミラー制御部１４２と、ドア制御部１４３と、カメラ位置算出部１４４と、障害物位置検出部１４５と、スペース検出部１４６と、を備える。なお、各機能モジュールは、ＣＰＵ１４ａがＲＯＭ１４ｂ等の記憶装置に記憶されたプログラムを読み出し、それを実行することで実現される。また、以下において、ＣＰＵ１４ａが行う処理のうち、各部１４１〜１４６以外が行う処理について説明する場合は、動作主体を「ＣＰＵ１４ａ」と表記する。
ここで、図５を参照して、車両１においてドアミラー２ｇに撮影部１５が設置されている様子について説明する。図５は、第１実施形態の車両においてドアミラー２ｇに撮影部１５が設置されている様子を模式的に示す図である。撮影部１５は、ドアミラー２ｇにおいて、鉛直方向に延びる回転軸と同じ位置にあるドアミラー駆動部３１から離れた位置に設置されている。これにより、ドアミラー２ｇを回転動作させたときに、視差が大きい複数の撮影画像データを取得できる（詳細は後述）。
次に、図６は、第１実施形態における車両１のドア５１と縁石４１の位置関係を模式的に示す図である。撮影部１５によって、図６（ａ）に示すような、ドア５１と縁石４１が写っている画像が得られたとする。ドア５１と縁石４１の位置関係としては、図６（ｂ）（図６（ａ）の方向６１から見た図）に示すようにドア５１の底面の高さが縁石４１よりも高い場合と、図６（ｃ）（図６（ａ）の方向６１から見た図）に示すようにドア５１の底面の高さが縁石４１よりも低い場合がある。
しかし、図６（ａ）の画像から、通常の処理では、縁石４１の高さなどの詳細な三次元情報を得ることはできない。したがって、従来技術では、安全サイドに立って、実際にはドア５１の底面の高さが縁石４１よりも高い場合（図６（ｂ））でも、縁石４１の手前でドア５１の開放の動作を停止させることになり、ユーザにとって煩わしさが生じる。したがって、ユーザの利便性を考えた場合、障害物（縁石４１）の三次元位置も踏まえてドア５１を開閉させることが望ましい。以下、障害物の三次元位置の高精度な算出について詳述する。
図４に戻って、取得部１４１（第１の取得部。第２の取得部）は、各構成から各種データを取得する。例えば、取得部１４１は、撮影部１５から撮影画像を取得する。具体的には、取得部１４１は、ドアミラー２ｇに設置された撮影部１５から、車両の周囲（車両の外側のドアの付近）の撮影画像データとして、少なくとも、ドアミラー２ｇが第１の状態（例えば図５（ｂ）（図５（ａ）の方向Ｄから見た図）の実線の状態）のときの第１の撮影画像データと、ドアミラー２ｇが第１の状態から動いて第２の状態（例えば図５（ｂ）の破線の状態）となっているときの第２の撮影画像データと、を取得する。
また、取得部１４１は、回転角度センサ３２から、ドアミラー２ｇの第１の状態から第２の状態までの移動量情報（例えば回転角度情報）を取得する。例えば、回転角度情報は、鉛直方向を回転軸とした回転角度のみである。
ドアミラー制御部１４２は、ドアミラー駆動部３１を制御することで、ドアミラー２ｇを回転動作させる。
ここで、撮影部１５（カメラ）の位置と姿勢（レンズの方向）について説明する。ドア５１における撮影部１５の位置Ｔは、位置Ｔ（ｔｘ、ｔｙ、ｔｚ）と表現できる。また、撮影部１５の姿勢Ｒは、ｘ軸、ｙ軸、ｚ軸の回転角度を使った回転行列で表現でき、Ｒ（Φ、ψ、θ）のパラメータで表現できる。なお、ｚ軸が鉛直方向の所定の空間座標において、ｔｘはｘ座標の値、ｔｙはｙ座標の値、ｔｚはｚ座標の値である。また、Φはｘ軸を回転軸とする回転角度の値、ψはｙ軸を回転軸とする回転角度の値、θはｚ軸を回転軸とする回転角度の値である。
また、撮影部１５の位置（軌跡）は、ドアミラー２ｇの回転角度θのみで表現できる。なお、ドアミラー２ｇの回転軸はｚ軸方向で、ドアミラー２ｇが動いても撮影部１５のｚ座標は変わらないので、以下では、撮影部１５の位置のｘ座標とｙ座標について説明する。
撮影部１５の初期位置をＴ０（ｔｘ０、ｔｙ０）とすると、撮影部１５の位置は、以下の式（１）によって算出できる。
Figure 2021154969
特に、回転軸から撮影部１５までの長さをＬとし、撮影部１５の初期位置をＴ０（０、Ｌ）とすると、撮影部１５の位置は、Ｔ（−Ｌsinθ、Ｌcosθ）となる。
また、撮影部１５の姿勢についても、撮影部１５の位置と同様の計算により算出できる。
なお、従来のｖＳＬＡＭの技術での自己（カメラ）位置推定では、三次元座標のｘ、ｙ、ｚ、各回転軸における角度であるΨ、φ、θの６個のパラメータで、カメラ位置と姿勢を表現する。ここで、ｖＳＬＡＭとは、カメラを移動させることにより、複数視点の画像を撮影し、自己位置推定（カメラの位置と姿勢の推定）とマッピング（被写体の奥行き推定）を逐次行うことにより、カメラ自身の位置と周囲の三次元位置を推定する手法である。このｖＳＬＡＭに比べて、本実施形態では、ドアミラー２ｇの回転角度θだけでカメラ（撮影部１５）の位置と姿勢を表現できて、処理が軽く済む。
ドア制御部１４３は、車両１のドア５１の開閉動作を制御する。なお、ドア制御部１４３は、車両１のドア５１を自動で開閉するドア開閉機能を実現するときに使用される。
カメラ位置算出部１４４（撮影部位置算出部）は、ドアミラー２ｇの回転角度情報に基づいて、ドアミラー２ｇが第１の状態のときの撮影部１５の位置とドアミラー２ｇが第２の状態のときの撮影部１５の位置を含む撮影部位置情報を算出する。なお、回転角度センサ３２がジャイロセンサで、回転角度情報が角速度の情報である場合、角速度を時間積分することで回転角度に変換できる。また、ドアミラー２ｇの回転角度情報は、回転角度センサ３２としての、回転軸のヒンジに搭載されたポテンションセンサや磁気センサによって直接計測された回転角度の情報であってもよい。
障害物位置検出部１４５は、第１の撮影画像データと第２の撮影画像データと撮影部位置情報とに基づいて、第１の撮影画像データと第２の撮影画像データに写っている障害物の三次元位置を算出する。障害物位置検出部１４５は、例えば、モーションステレオ法を用いる。モーションステレオ法では、複数視点の画像を基に三角測量の原理によって被写体の三次元位置を計算する。
そして、被写体の三次元の奥行きを精度よく求めるためには、視差、つまりフレーム間の画像に写る点のペアの画像上でのずれ量（ずれるピクセル数）が大きくなるように撮影部１５の搭載位置を決めるのが望ましい。視差を大きくするためには、撮影部１５を大きく移動させる必要があるので、回転軸から撮影部１５がより離れていることが好ましい。
モーションステレオ法の１つであるｖＳＬＡＭには、自己位置推定とマッピングの枠組みとして、Featureベースの手法とDirectベースの手法がある。本実施形態では、一例として、Featureベースの手法を採用する。
Featureベースの手法は、画像から特徴点を算出して、幾何誤差を利用して、自己位置推定とマッピングを実現する。具体的には、あるフレームとその前のフレームの特徴点を算出して、それらのフレーム間の特徴点の対応点を検索し、その幾何誤差が最小となるカメラ姿勢、位置、特徴点の三次元位置を推定する。
ここで、特徴点としては、例えば、スケール不変の特徴変換であるＳＩＦＴ(Scale-Invariant Feature Transform)や、ＳＵＲＦ(Speeded-Up Robust Features)などの特徴点を採用することができる。
また、対応点の検索は、例えば、エピポーラ拘束式を用いて行うことができる。
また、カメラに搭載しているレンズパラメータにより、カメラ内部行列を求める。通常、カメラの出荷時にカメラのレンズパラメータはキャリブレーションされて測定されているので、あらかじめ保存された値を使用する。このカメラ内部行列は、対応点の検索等に用いられる。
そして、対応点の検索で対応点ペアが複数求まることから、各対応点ペアごとに未知数ｘ、ｙ、ｚにおける方程式を立て、その方程式を解析的に解くことで、障害物の三次元位置ｘ、ｙ、ｚを求めることができる。
したがって、使用する撮影画像データは、現在（最新）の撮影画像データと、過去の１つ以上の撮影画像データが必要である。例えば、使用する撮影画像データは、現在（最新）の撮影画像データと、１フレーム前の撮影画像データであればよいが、それらに加えて、２フレーム前の撮影画像データなども使ってもよい。
スペース検出部１４６は、障害物位置検出部１４５による障害物の三次元位置の検出結果やドア５１の底面の高さなどの情報に基づいて、ドア５１が開閉可能なスペースを検出する。
次に、図７を参照して、第１実施形態の車両１のＣＰＵ１４ａにおける処理について説明する。図７は、第１実施形態の車両１のＣＰＵ１４ａにおける処理を示すフローチャートである。
まず、ステップＳ１において、ドアミラー制御部１４２は、ドアミラー駆動部３１を制御することで、ドアミラー２ｇを回転動作（駆動）させる。
次に、ステップＳ２において、取得部１４１は、回転角度センサ３２から、ドアミラー２ｇの第１の状態から第２の状態までの回転角度情報を取得する。
次に、ステップＳ３において、取得部１４１は、ドアミラー２ｇに設置された撮影部１５から、車両の外側のドアの付近の撮影画像データとして、ドアミラー２ｇが第１の状態（例えば図５（ｂ）の実線の状態）のときの第１の撮影画像データと、ドアミラー２ｇが第１の状態から動いて第２の状態（例えば図５（ｂ）の破線の状態）となっているときの第２の撮影画像データと、を取得する。
次に、ステップＳ４において、カメラ位置算出部１４４は、回転角度情報に基づいて、ドアミラー２ｇが第１の状態のときの撮影部１５の位置とドアミラー２ｇが第２の状態のときの撮影部１５の位置を含む撮影部位置情報（カメラ位置）を算出する。
次に、ステップＳ５において、障害物位置検出部１４５は、第１の撮影画像データと第２の撮影画像データと撮影部位置情報とに基づいて、第１の撮影画像データと第２の撮影画像データに写っている障害物の三次元位置を算出する。
次に、ステップＳ６において、スペース検出部１４６は、ステップＳ５での検出結果などの情報に基づいて、ドア５１が開閉可能なスペースを検出する。その後、ＣＰＵ１４ａは、ステップＳ６での検出結果等に基づいて、ドア開閉制御や検出結果の表示制御などを行う。
このように、第１実施形態の車両１によれば、ドアミラー２ｇに設置された撮影部１５から得られた視点の異なる２つの撮影画像データに基づいて、車両の周囲に存在する障害物の三次元位置を高精度に算出することができる。したがって、ドア５１自体が動かなくてもよいので、より早いタイミングで、障害物の三次元位置を高精度に算出することができる。
また、他の用途ですでに設置されている車載カメラによる撮影画像データに基づいて障害物を検知することができるので、低コストを実現できる。
また、ドアミラー２ｇには、標準的に開閉（折り畳み）機能が搭載されているので、新たにドアミラー２ｇの回転動作のための駆動部を設ける必要がなく、低コストを実現できる。
一方、例えば、従来技術で、自車両のドアと駐車場の白線の間の距離を基にドアの開閉可能角度を算出する技術があるが、白線が必要で、かつ、障害物として車両のみで、様々なシーンに対応できない。第１実施形態の車両１によれば、白線が無かったり、車両以外の障害物であったりしても、障害物の三次元位置を高精度に算出することができる。
（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様の事項については、説明を適宜省略する。第２実施形態では、撮影部１５を、ドア５１におけるドアミラー２ｇ以外の部分に設置する。つまり、第２実施形態では、可動部は、ドア自体であって、回転軸に沿って回転動作をする。
図８は、第２実施形態の車両１のドアにおける撮影部１５の設置位置を模式的に示す図である。図８（ａ）では、フロントドアにおける撮影部１５の設置位置として、取っ手部分の位置７１と、上部の位置７２を示している。また、図８（ｂ）では、バックドアにおける撮影部１５の設置位置として、取っ手部分の位置７３を示している。第１実施形態の場合と同様、ドアの回転軸からなるべく離れた位置に撮影部１５を設置することで、視差が大きい複数の撮影画像データを取得できる。
図９は、第２実施形態の障害物検知システム１００の構成のブロック図である。図３と比較して、ドアミラー駆動部３１と回転角度センサ３２が無くなり、回転角度センサ３４が追加されている。回転角度センサ３４は、ドア５１の回転角度を検出し、回転角度情報を出力する。回転角度センサ３２は、例えば、撮影部１５とほぼ同じ位置に設置されたジャイロセンサである。ドア駆動部３３は、ドア５１を、所定の回転軸を中心に回転移動させる。
また、取得部１４１（図４）は、ドアの第１の状態から第２の状態までの移動量情報としてドアの回転角度情報を取得する。また、カメラ位置算出部１４４は、回転角度情報に基づいて、ドアが第１の状態のときの撮影部１５の位置とドアが第２の状態のときの撮影部１５の位置を含む撮影部位置情報を算出する。
図１０は、第２実施形態の車両１のＣＰＵ１４ａにおける処理を示すフローチャートである。まず、ステップＳ１１において、ドア制御部１４３は、ドア駆動部３３を制御することで、ドアを回転動作（駆動）させる。
次に、ステップＳ１２において、取得部１４１は、回転角度センサ３４から、ドアの第１の状態から第２の状態までの回転角度情報を取得する。
次に、ステップＳ１３において、取得部１４１は、ドアに設置された撮影部１５から、車両の外側のドアの付近の撮影画像データとして、ドアが第１の状態のときの第１の撮影画像データと、ドアが第１の状態から動いて第２の状態となっているときの第２の撮影画像データと、を取得する。
次に、ステップＳ１４において、カメラ位置算出部１４４は、回転角度情報に基づいて、ドアが第１の状態のときの撮影部１５の位置とドアが第２の状態のときの撮影部１５の位置を含む撮影部位置情報（カメラ位置）を算出する。
次に、ステップＳ１５において、障害物位置検出部１４５は、第１の撮影画像データと第２の撮影画像データと撮影部位置情報とに基づいて、第１の撮影画像データと第２の撮影画像データに写っている障害物の三次元位置を算出する。
次に、ステップＳ１６において、スペース検出部１４６は、ステップＳ１５での検出結果などの情報に基づいて、ドア５１が開閉可能なスペースを検出する。その後、ＣＰＵ１４ａは、ステップＳ１６での検出結果等に基づいて、ドア開閉制御や検出結果の表示制御などを行う。
このように、第２実施形態の車両１によれば、ドア自体を回転動作させることで、ドアに設置された撮影部１５から得られた視点の異なる２つの撮影画像データに基づいて、車両の外側のドア５１の付近に存在する障害物の三次元位置を高精度に算出することができる。
（第３実施形態）
次に、第３実施形態について説明する。第１実施形態、第２実施形態の少なくともいずれかと同様の事項については、説明を適宜省略する。第３実施形態では、走行時や駐車時の車両１の移動によるカメラ移動によって生じた画像を基に、モーションステレオ法の技術により、ドア開閉動作範囲の障害物の三次元位置をあらかじめ保存する。その情報と、その後に撮影された画像を基に、障害物の三次元位置を算出する。
なお、車両１の移動中に撮影部１５で撮影する場合は、ドアミラー２ｇやドア５１を回転させて撮影部１５を撮影する場合と異なり、撮影部１５の移動範囲に制約がない。よって、走行中の撮影部１５の位置は、例えば、ＧＰＳ（Global Positioning System）情報、車輪速センサ２２の検出結果、舵角センサ１９の検出結果、ＩＭＵ（Inertial Measurement Unit）センサ（慣性計測装置）の検出結果等の複数の情報を統合して求めるのがよい。
また、公知のｖＳＬＭ技術での自己位置推定では、三次元座標のｘ、ｙ、ｚ、各回転軸における角度であるΨ、φ、θの６個のパラメータで、カメラ位置と姿勢を表現する。この手法を利用してもよい。
取得部１４１（図４）は、撮影部１５から、車両１の外側のドア５１の付近の撮影画像データとして、少なくとも、第３の撮影画像データと、車両が移動したことによって第３の撮影画像データとは異なる第４の撮影画像データと、を取得する。ここで、図１１は、第３実施形態の車両において移動中に視点の異なる２つの撮影画像データを取得する様子を模式的に示す図である。例えば、第３の撮影画像データを撮影するとときの撮影領域が領域Ｒ１で、第４の撮影画像データを撮影するとときの撮影領域が領域Ｒ２である。
また、取得部１４１は、第３の撮影画像データの撮影時から第４の撮影画像データの撮影時までの車両の移動量を示す第２の移動量情報を取得する。
また、カメラ位置算出部１４４は、第２の移動量情報に基づいて、第３の撮影画像データの撮影時の撮影部１５の位置と第４の撮影画像データの撮影時の撮影部１５の位置を含む撮影部位置情報を算出する。
そして、障害物位置検出部１４５は、第３の撮影画像データと第４の撮影画像データと撮影部位置情報とに基づいて、第３の撮影画像データと第４の撮影画像データに写っている障害物の三次元位置を算出する。
次に、図１２は、第３実施形態の車両１のＣＰＵ１４ａにおける処理を示すフローチャートである。まず、ステップＳ２１において、取得部１４１は、第３の撮影画像データの撮影時から第４の撮影画像データの撮影時までの車両の移動量を示す第２の移動量情報を取得する。
次に、ステップＳ２２において、取得部１４１は、撮影部１５から、車両１の外側のドア５１の付近の撮影画像データとして、第３の撮影画像データと、車両が移動したことによって第３の撮影画像データとは異なる第４の撮影画像データと、を取得する。
次に、ステップＳ２３において、カメラ位置算出部１４４は、第２の移動量情報に基づいて、第３の撮影画像データの撮影時の撮影部１５の位置と第４の撮影画像データの撮影時の撮影部１５の位置を含む撮影部位置情報（カメラ位置）を算出する。
次に、障害物位置検出部１４５は、ステップＳ２４において、第３の撮影画像データと第４の撮影画像データと撮影部位置情報とに基づいて、第３の撮影画像データと第４の撮影画像データに写っている障害物の三次元位置を算出し、ステップＳ２５において、算出結果と日時を保存する。
そして、この算出結果（障害物の三次元位置）を、その後の処理で適宜利用できる。例えば、もし、乗車時・降車時のタイミングが障害物の三次元位置の算出日時から大きく離れている場合は、障害物の三次元位置が大きく変わっている可能性があるので、算出結果を使用しない。また、例えば、通常、降車時は、駐車直前の障害物の三次元位置を算出したタイミングと近い可能性が高いので、算出結果を使用する。
このように、第３実施形態の車両１によれば、あらかじめ、車両１の移動中に、撮影部１５から得られた視点の異なる２つの撮影画像データに基づいて、撮影画像データに写っている障害物の三次元位置を高精度に算出して保存することができ、その後の障害物検知処理（第１実施形態での処理や第２実施形態での処理）に活用することができる。
（第４実施形態）
次に、第４実施形態について説明する。第１実施形態〜第３実施形態の少なくともいずれかと同様の事項については、説明を適宜省略する。第４実施形態では、撮影部１５として、イベントカメラを使う。イベントカメラは、撮影画像データとして、撮影対象の画素ごとの輝度変化の情報を含むイベントデータを出力する。
第１実施形態〜第３実施形態との主な相違点は、以下の処理１〜４である。
（処理１）イベントごとの光線計算
各イベントの画素ｘ、ｙと、その発生時刻ｔと、発生時刻ｔにおけるカメラ位置Ｐと、カメラ内部行列（レンズパラメータ）を使って、そのイベントの入射光線式を求める。
（処理２）ドア開閉動作範囲を微小立方体で分割
ドア開閉動作範囲を微小立方体で分割し、ボクセルを作成する。
（処理３）微小立方体を通る光線数カウント
各イベントで計算された光線を基に、微小立方体を通った光線数をカウントする。光線数が多い微小立方体の位置に障害物があると判定することができる。
（処理４）光線数が多い空間を抽出
光線数が所定の閾値以上の微小立方体の座標を抽出する。抽出された微小立方体の座標が障害物の三次元マップとなる。
このように、第４実施形態の車両１によれば、撮影部１５としてイベントカメラを使用することで、高速撮影によって、車両の周囲に存在する障害物の三次元位置をより高精度に算出することができる。例えば、イベントカメラは、１００万fps(frames per second)という高速撮影が可能であるので、撮影部１５を設置したドアミラー２ｇやドア５１のドアの開閉速度が速くても高精度に障害物の三次元位置を算出できる。
また、イベントカメラは、輝度変化のあった画素の情報しか送らないので、低消費電力も実現できる。
なお、本実施形態のＣＰＵ１４ａで実行される障害物検知プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、この障害物検知プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、この障害物検知プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
上述の本発明の実施形態は、発明の範囲を限定するものではなく、発明の範囲に含まれる例に過ぎない。本発明のある実施形態は、上述の実施形態に対して、例えば、具体的な用途、構造、形状、作用、及び効果の少なくとも一部について、発明の要旨を逸脱しない範囲において変更、省略、及び追加がされたものであっても良い。
１…車両、１４…ＥＣＵ、１４１…取得部、１４２…ドアミラー制御部、１４３…ドア制御部、１４４…カメラ位置算出部、１４５…障害物位置検出部、１４６…スペース検出部、１５、１５ａ〜１５ｄ…撮影部、１００…障害物検知システム

Claims (7)

  1. 車両のドアにおける可動部の動作を制御する動作制御部と、
    前記可動部に設置された撮影部から、前記車両の外側の前記ドアの付近の撮影画像データとして、少なくとも、前記可動部が第１の状態のときの第１の撮影画像データと、前記可動部が前記第１の状態から動いて第２の状態となっているときの第２の撮影画像データと、を取得する第１の取得部と、
    前記可動部の前記第１の状態から前記第２の状態までの移動量情報を取得する第２の取得部と、
    前記移動量情報に基づいて、前記可動部が前記第１の状態のときの前記撮影部の位置と前記可動部が前記第２の状態のときの前記撮影部の位置を含む撮影部位置情報を算出する撮影部位置算出部と、
    前記第１の撮影画像データと前記第２の撮影画像データと前記撮影部位置情報とに基づいて、前記第１の撮影画像データと前記第２の撮影画像データに写っている障害物の三次元位置を算出する障害物位置算出部と、
    を備える障害物検知装置。
  2. 前記可動部は、前記ドアに設置されたドアミラーであって、回転軸に沿って回転動作をし、
    前記第２の取得部は、前記ドアミラーの前記第１の状態から前記第２の状態までの移動量情報として前記ドアミラーの回転角度情報を取得し、
    前記撮影部位置算出部は、前記回転角度情報に基づいて、前記ドアミラーが前記第１の状態のときの前記撮影部の位置と前記ドアミラーが前記第２の状態のときの前記撮影部の位置を含む撮影部位置情報を算出する、請求項１に記載の障害物検知装置。
  3. 前記可動部は、前記ドア自体であって、回転軸に沿って回転動作をし、
    前記第２の取得部は、前記ドアの前記第１の状態から前記第２の状態までの移動量情報として前記ドアの回転角度情報を取得し、
    前記撮影部位置算出部は、前記回転角度情報に基づいて、前記ドアが前記第１の状態のときの前記撮影部の位置と前記ドアが前記第２の状態のときの前記撮影部の位置を含む撮影部位置情報を算出する、請求項１に記載の障害物検知装置。
  4. 前記第１の取得部は、前記撮影部から、前記車両の外側の前記ドアの付近の撮影画像データとして、少なくとも、第３の撮影画像データと、前記車両が移動したことによって前記第３の撮影画像データとは異なる第４の撮影画像データと、を取得し、
    前記第２の取得部は、前記第３の撮影画像データの撮影時から前記第４の撮影画像データの撮影時までの前記車両の移動量を示す第２の移動量情報を取得し、
    前記撮影部位置算出部は、前記第２の移動量情報に基づいて、前記第３の撮影画像データの撮影時の前記撮影部の位置と前記第４の撮影画像データの撮影時の前記撮影部の位置を含む撮影部位置情報を算出し、
    前記障害物位置算出部は、前記第３の撮影画像データと前記第４の撮影画像データと前記撮影部位置情報とに基づいて、前記第３の撮影画像データと前記第４の撮影画像データに写っている障害物の三次元位置を算出する、請求項１に記載の障害物検知装置。
  5. 前記撮影部は、前記撮影画像データとして、撮影対象の画素ごとの輝度変化の情報を含むイベントデータを出力するイベントカメラである、
    請求項１から請求項４のいずれか一項に記載の障害物検知装置。
  6. 車両のドアにおける可動部の動作を制御する動作制御ステップと、
    前記可動部に設置された撮影部から、前記車両の外側の前記ドアの付近の撮影画像データとして、少なくとも、前記可動部が第１の状態のときの第１の撮影画像データと、前記可動部が前記第１の状態から動いて第２の状態となっているときの第２の撮影画像データと、を取得する第１の取得ステップと、
    前記可動部の前記第１の状態から前記第２の状態までの移動量情報を取得する第２の取得ステップと、
    前記移動量情報に基づいて、前記可動部が前記第１の状態のときの前記撮影部の位置と前記可動部が前記第２の状態のときの前記撮影部の位置を含む撮影部位置情報を算出する撮影部位置算出ステップと、
    前記第１の撮影画像データと前記第２の撮影画像データと前記撮影部位置情報とに基づいて、前記第１の撮影画像データと前記第２の撮影画像データに写っている障害物の三次元位置を算出する障害物位置算出ステップと、
    を含む障害物検知方法。
  7. コンピュータに、
    車両のドアにおける可動部の動作を制御する動作制御ステップと、
    前記可動部に設置された撮影部から、前記車両の外側の前記ドアの付近の撮影画像データとして、少なくとも、前記可動部が第１の状態のときの第１の撮影画像データと、前記可動部が前記第１の状態から動いて第２の状態となっているときの第２の撮影画像データと、を取得する第１の取得ステップと、
    前記可動部の前記第１の状態から前記第２の状態までの移動量情報を取得する第２の取得ステップと、
    前記移動量情報に基づいて、前記可動部が前記第１の状態のときの前記撮影部の位置と前記可動部が前記第２の状態のときの前記撮影部の位置を含む撮影部位置情報を算出する撮影部位置算出ステップと、
    前記第１の撮影画像データと前記第２の撮影画像データと前記撮影部位置情報とに基づいて、前記第１の撮影画像データと前記第２の撮影画像データに写っている障害物の三次元位置を算出する障害物位置算出ステップと、
    を実行させるためのプログラム。
JP2020059472A 2020-03-30 2020-03-30 障害物検知装置、障害物検知方法、および、プログラム Pending JP2021154969A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020059472A JP2021154969A (ja) 2020-03-30 2020-03-30 障害物検知装置、障害物検知方法、および、プログラム
US17/189,930 US20210303878A1 (en) 2020-03-30 2021-03-02 Obstacle detection apparatus, obstacle detection method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020059472A JP2021154969A (ja) 2020-03-30 2020-03-30 障害物検知装置、障害物検知方法、および、プログラム

Publications (1)

Publication Number Publication Date
JP2021154969A true JP2021154969A (ja) 2021-10-07

Family

ID=77854663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020059472A Pending JP2021154969A (ja) 2020-03-30 2020-03-30 障害物検知装置、障害物検知方法、および、プログラム

Country Status (2)

Country Link
US (1) US20210303878A1 (ja)
JP (1) JP2021154969A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6869934B2 (ja) * 2018-11-01 2021-05-12 三井金属アクト株式会社 ドア自動開閉システム
US11328424B1 (en) * 2019-08-08 2022-05-10 The Chamberlain Group Llc Systems and methods for monitoring a movable barrier
CN114856352B (zh) * 2022-04-24 2023-10-20 华人运通(江苏)技术有限公司 一种车门避障控制方法、装置和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090000196A1 (en) * 2007-06-27 2009-01-01 Gmglobal Technology Operations, Inc. Systems and methods for preventing motor vehicle doors from coming into contact with obstacles
US9068390B2 (en) * 2013-01-21 2015-06-30 Magna Electronics Inc. Vehicle hatch control system
US10127439B2 (en) * 2015-01-15 2018-11-13 Samsung Electronics Co., Ltd. Object recognition method and apparatus
US10829978B2 (en) * 2015-12-01 2020-11-10 Faraday & Future Inc. System and method for operating vehicle door
US20170185763A1 (en) * 2015-12-29 2017-06-29 Faraday&Future Inc. Camera-based detection of objects proximate to a vehicle
JP6760867B2 (ja) * 2017-02-20 2020-09-23 株式会社アルファ 車両用周辺監視装置
US11124113B2 (en) * 2017-04-18 2021-09-21 Magna Electronics Inc. Vehicle hatch clearance determining system
JP6907933B2 (ja) * 2017-12-28 2021-07-21 トヨタ自動車株式会社 情報システム、情報処理方法およびプログラム
EP3644279A1 (en) * 2018-10-25 2020-04-29 Continental Automotive GmbH Static camera calibration using motion of vehicle portion
US11091949B2 (en) * 2019-02-13 2021-08-17 Ford Global Technologies, Llc Liftgate opening height control

Also Published As

Publication number Publication date
US20210303878A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
US9216765B2 (en) Parking assist apparatus, parking assist method and program thereof
US20210303878A1 (en) Obstacle detection apparatus, obstacle detection method, and program
EP3291545B1 (en) Display control device
JP2016084094A (ja) 駐車支援装置
CN107074242A (zh) 车辆位置检测装置
JP2021054267A (ja) 駐車支援装置
JP6852534B2 (ja) 障害物検知報知装置、方法及びプログラム
JP4192680B2 (ja) 移動体周辺監視装置
WO2020116352A1 (ja) 路面検出装置および路面検出プログラム
JP7091624B2 (ja) 画像処理装置
JP6554866B2 (ja) 画像表示制御装置
JP4154980B2 (ja) 移動体周辺監視装置
JP2022023870A (ja) 表示制御装置
US11301701B2 (en) Specific area detection device
US10977506B2 (en) Apparatus for determining visual confirmation target
JP7427907B2 (ja) 駐車支援装置
JP2021056717A (ja) 物体検知装置
JP4207519B2 (ja) 移動体周辺監視装置
JP7358933B2 (ja) カメラキャリブレーション装置
JP4310987B2 (ja) 移動体周辺監視装置
JP7380058B2 (ja) 駐車支援装置
JP7383973B2 (ja) 駐車支援装置
JP7380073B2 (ja) 駐車支援装置
JP7423970B2 (ja) 画像処理装置
JP2019022110A (ja) 表示制御装置