JP2023117203A - 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム - Google Patents

移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム Download PDF

Info

Publication number
JP2023117203A
JP2023117203A JP2022019789A JP2022019789A JP2023117203A JP 2023117203 A JP2023117203 A JP 2023117203A JP 2022019789 A JP2022019789 A JP 2022019789A JP 2022019789 A JP2022019789 A JP 2022019789A JP 2023117203 A JP2023117203 A JP 2023117203A
Authority
JP
Japan
Prior art keywords
eye view
bird
view image
dimensional object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022019789A
Other languages
English (en)
Other versions
JP7450654B2 (ja
Inventor
英樹 松永
Hideki Matsunaga
裕司 安井
Yuji Yasui
隆志 松本
Takashi Matsumoto
岳洋 藤元
Takehiro Fujimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2022019789A priority Critical patent/JP7450654B2/ja
Priority to CN202310091495.2A priority patent/CN116580375A/zh
Priority to US18/106,589 priority patent/US20230252675A1/en
Publication of JP2023117203A publication Critical patent/JP2023117203A/ja
Application granted granted Critical
Publication of JP7450654B2 publication Critical patent/JP7450654B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/60—Traversable objects, e.g. speed bumps or curbs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知すること。【解決手段】移動体に搭載されたカメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、前記対象鳥瞰図画像を、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出する立体物検出部と、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、前記走行可能空間を通るように前記移動体を走行させる走行制御部と、を備える、移動体制御装置。【選択図】図１

Description

本発明は、移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラムに関する。
従来、移動体に搭載されたセンサを用いて、当該移動体の周辺に存在する障害物を検出する技術が知られている。例えば、特許文献１には、移動体に搭載された複数の測距センサにより取得された情報に基づいて、当該移動体の周辺に存在する障害物を検出する技術が開示されている。
特開２０２１－１６２９２６号公報
特許文献１に記載の技術は、超音波センサやＬＩＤＡＲなどの複数の測距センサを用いて、移動体の周辺に存在する障害物を検出するものである。しかしながら、複数の測距センサを用いた構成を採用する場合、センシングのためのハードウェア構成が複雑になるため、システムのコストが増加する傾向にある。一方、システムのコストを抑えるために、カメラのみを用いた単純なハードウェア構成を採用することも考えられるが、その場合、様々なシーンに対応するロバスト性を確保するために、センシングのための膨大な学習データが必要とされる。
本発明は、このような事情を考慮してなされたものであり、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる、移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラムを提供することを目的の一つとする。
この発明に係る移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る移動体制御装置は、移動体に搭載されたカメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、前記対象鳥瞰図画像を、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出する立体物検出部と、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、前記走行可能空間を通るように前記移動体を走行させる走行制御部と、を備えるものである。
（２）：上記（１）の態様において、前記学習済みモデルは、鳥瞰図画像が入力されると、前記鳥瞰図画像における立体物を前記移動体が横断して走行可能か否かを更に出力するように学習されたものである。
（３）：上記（１）又は（２）の態様において、前記学習済みモデルは、鳥瞰図画像の下端中央を中心とした放射線状の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた第１教師データに基づいて学習されたものである。
（４）：上記（３）の態様において、前記学習済みモデルは、前記第１教師データに加えて、鳥瞰図画像における路面の色とは異なる単色の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた第２教師データにさらに基づいて学習されたものである。
（５）：上記（３）又は（４）の態様において、前記学習済みモデルは、前記第１教師データに加えて、鳥瞰図画像における路面標示に対して、前記路面標示は非立体物であることを示すアノテーションを対応付けた第３教師データにさらに基づいて学習されたものである。
（６）：上記（１）から（５）のいずれかの態様において、前記カメラによって前記移動体の周辺状況を撮像した画像に基づいて、前記画像に含まれる物体を認識し、認識された前記物体の位置が反映された参照マップを生成する参照マップ生成部を更に備え、前記空間検知部は、検出された前記対象鳥瞰図画像における立体物と、生成された前記参照マップとをマッチングすることによって、前記走行可能空間を検知するものである。
（７）：上記（１）から（６）のいずれかの態様において、前記カメラは、前記移動体の下方に設置された第１カメラと、前記移動体の上方に設置された第２カメラと、を含み、前記立体物検出部は、前記第１カメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた第１対象鳥瞰図画像に基づいて、前記立体物を検出し、前記第２カメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた第２対象鳥瞰図画像に基づいて、前記第２対象鳥瞰図画像における物体を位置情報と合わせて検出し、検出された前記立体物と、検出された前記位置情報を有する前記物体をマッチングすることによって、前記立体物の位置を検出するものである。
（８）：上記（１）から（７）のいずれかの態様において、前記立体物検出部は、前記カメラによって前記移動体の周辺状況を撮像した画像が鳥瞰図座標系に変換される前に、前記画像に映される中空物体を検出して、前記中空物体に識別情報を付与し、前記空間検知部は、前記識別情報にさらに基づいて、前記走行可能空間を検知する。
（９）：上記（１）から（８）のいずれかの態様において、前記立体物検出部は、時系列に得られた複数の前記対象鳥瞰図画像における同一領域の、路面を基準とする変位量が閾値以上である場合に、前記同一領域を立体物として検出するものである。
（１０）：この発明の一態様に係る移動体制御方法は、コンピュータが、移動体に搭載されたカメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、前記対象鳥瞰図画像を、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出し、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、前記走行可能空間を通るように前記移動体を走行させるものである。
（１１）：この発明の一態様に係るプログラムは、コンピュータに、移動体に搭載されたカメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得させ、前記対象鳥瞰図画像を、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出させ、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知させ、前記走行可能空間を通るように前記移動体を走行させるものである。
（１２）：この発明の一態様に係る学習装置は、鳥瞰図画像の下端中央を中心とした放射線状の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習するものである。
（１３）：この発明の一態様に係る学習方法は、コンピュータが、鳥瞰図画像の下端中央を中心とした放射線状の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習するものである。
（１４）：この発明の一態様に係るプログラムは、コンピュータに、鳥瞰図画像の下端中央を中心とした放射線状の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習させるものである。
（１）～（１４）の態様によれば、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる。
（２）～（５）又は（１２）～（１４）の態様によれば、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる。
（６）の態様によれば、移動体の走行可能空間をより確実に検知することができる。
（７）の態様によれば、立体物の存在とその位置をより確実に検知することができる。
（８）又は（９）の態様によれば、車両の走行を妨げる立体物をより確実に検知することができる。
本発明の実施形態に係る移動体制御装置１００を備える車両Ｍの構成の一例を示す図である。 カメラ１０によって撮像された画像に基づいて、参照マップ生成部１１０が生成した参照マップの一例を示す図である。 鳥瞰図画像取得部１２０によって取得される鳥瞰図画像の一例を示す図である。 空間検知部１４０によって検知された、参照マップ上の走行可能空間ＦＳ２の一例を示す図である。 移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。 学習済みモデル１６２を生成するために用いる、鳥瞰図画像における教師データの一例を示す図である。 鳥瞰図画像における自車両Ｍの近接領域と遠方領域との差異を説明するための図である。 鳥瞰図画像における中空物体を検出する方法を説明するための図である。 鳥瞰図画像における時系列の立体物の変位量に基づいて立体物を検出する方法を説明するための図である。 移動体制御装置１００によって実行される処理の流れの別の例を示すフローチャートである。 本発明の変形例に係る移動体制御装置１００を備える自車両Ｍの構成の一例を示す図である。 カメラ１０Ａおよびカメラ１０Ｂによって撮像された画像に基づいて、鳥瞰図画像取得部１２０によって取得される鳥瞰図画像の一例を示す図である。 変形例に係る移動体制御装置１００によって実行される処理の流れの別の例を示すフローチャートである。
以下、図面を参照し、本発明の移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラムの実施形態について説明する。移動体制御装置は、移動体の移動動作を制御する装置である。移動体とは、三輪または四輪等の車両、二輪車、マイクロモビ等を含み、路面を移動可能なあらゆる移動体を含んでよい。以下の説明では、移動体は四輪車両であるものとし、運転支援装置が搭載された車両を自車両Ｍと称する。
［概要］
図１は、本発明の実施形態に係る移動体制御装置１００を備える車両Ｍの構成の一例を示す図である。図１に示す通り、自車両Ｍは、カメラ１０と、移動体制御装置１００とを備える。カメラ１０と移動体制御装置１００とは、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、更に、別の構成が追加されてもよい。
カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。本実施形態において、カメラ１０は、例えば、自車両Ｍのフロントバンパーに設置されるが、カメラ１０は自車両Ｍの前方を撮像可能な任意の箇所に設置されればよい。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。
移動体制御装置１００は、例えば、参照マップ生成部１１０と、鳥瞰図画像取得部１２０と、立体物検出部１３０と、空間検知部１４０と、走行制御部１５０と、記憶部１６０と、を備える。記憶部１６０は、例えば、学習済みモデル１６２を記憶する。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。記憶部１６０は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＤカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、レジスタ等によって実現される。
参照マップ生成部１１０は、カメラ１０によって自車両Ｍの周辺状況を撮像した画像に対して、周知の手法（二値化処理、輪郭抽出処理、画像強調処理、特徴量抽出処理、パターンマッチング処理、或いは他の学習済みモデルを利用した処理等）による画像認識処理を施して、当該画像に含まれる物体を認識する。ここで、物体とは、例えば、他車両（例えば、自車両Ｍから所定距離以内に存在する周辺車両）である。また、物体には、歩行者などの交通参加者、自転車、道路構造物等が含まれてもよい。道路構造物には、例えば、道路標識や交通信号機、縁石、中央分離帯、ガードレール、フェンス、壁、踏切等が含まれる。また、物体には、自車両Ｍの走行の障害となる障害物が含まれてもよい。さらに、参照マップ生成部１１０は、画像に含まれる全ての物体ではなく、画像に含まれる道路区画線を最初に認識し、認識された道路区画線の内側に存在する物体のみを認識してもよい。
次に、参照マップ生成部１１０は、カメラ座標系に基づく画像を俯瞰座標系に座標変換し、認識された物体の位置が反映された参照マップを生成する。ここで、参照マップとは、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。
図２は、カメラ１０によって撮像された画像に基づいて、参照マップ生成部１１０が生成した参照マップの一例を示す図である。図２の上部は、カメラ１０によって撮像された画像を表し、図２の下部は、当該画像に基づいて参照マップ生成部１１０が生成した参照マップを表す。図２の上部に示す通り、参照マップ生成部１１０は、カメラ１０によって撮像された画像に画像認識処理を施すことによって、当該画像に含まれる物体、ここでは、前方の車両を認識する。次に、参照マップ生成部１１０は、図２の下部に示す通り、認識された前方の車両の位置が反映された参照マップを生成する。
鳥瞰図画像取得部１２０は、カメラ１０によって撮像された画像を鳥瞰図座標系に変換することによって鳥瞰図画像を取得する。図３は、鳥瞰図画像取得部１２０によって取得される鳥瞰図画像の一例を示す図である。図３の上部は、カメラ１０によって撮像された画像を表し、図３の下部は、当該画像に基づいて鳥瞰図画像取得部１２０が取得した鳥瞰図画像を表す。図３の鳥瞰図画像において、符号Ｏは、カメラ１０の自車両Ｍにおける設置位置を表す。図３の上部に示される画像と、図３の下部に示される鳥瞰図画像とを比較すると分かる通り、図３の上部の画像に含まれる立体物は、図３の下部の鳥瞰図画像において、位置Ｏを中心とした放射線状の模様ＡＲを有するように変換されている。
立体物検出部１３０は、鳥瞰図画像取得部１２０によって取得された鳥瞰図画像を、鳥瞰図画像が入力されると当該鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデル１６２に入力することで、鳥瞰図画像における立体物を検出する。学習済みモデル１６２の詳細な生成方法については後述する。
空間検知部１４０は、立体物検出部１３０によって検出された立体物を鳥瞰図画像から除外することによって、鳥瞰図画像における自車両Ｍが走行可能な空間（走行可能空間）を検知する。図３の鳥瞰図画像において、符号ＦＳ１は、自車両Ｍの走行可能空間を表す。空間検知部１４０は、次に、鳥瞰図画像における自車両Ｍの走行可能空間ＦＳ１を俯瞰座標系に座標変換し、参照マップとマッチングすることによって、参照マップ上の走行可能空間ＦＳ２を検知する。
図４は、空間検知部１４０によって検知された、参照マップ上の走行可能空間ＦＳ２の一例を示す図である。図４において、網目状の領域は、参照マップ上の走行可能空間ＦＳ２を表す。走行制御部１５０は、自車両Ｍが走行可能空間ＦＳ２を通るように目標軌道ＴＴを生成し、自車両Ｍを目標軌道ＴＴに沿って走行させる。目標軌道ＴＴは、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。なお、本実施形態では、一例として、本発明が自動運転に適用させる場合について説明しているが、本発明はそのような構成に限定されず、立体物が存在しない走行可能空間ＦＳ２を自車両Ｍのナビゲーション装置に表示させたり、走行可能空間ＦＳ２を走行するようにステアリングホイールの操舵をアシストするなどの運転支援に適用されてもよい。
図５は、移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。まず、移動体制御装置１００は、カメラ１０によって自車両Ｍの周辺状況を撮像した画像を取得する（ステップＳ１００）。次に、参照マップ生成部１１０は、取得された画像に対して画像認識処理を施して、当該画像に含まれる物体を認識する（ステップＳ１０２）。次に、参照マップ生成部１１０は、取得されたカメラ座標系に基づく画像を俯瞰座標系に座標変換し、認識された物体の位置が反映された参照マップを生成する（ステップＳ１０４）。
ステップＳ１０２およびステップＳ１０４の処理と平行して、鳥瞰図画像取得部１２０は、カメラ１０によって撮像された画像を鳥瞰図座標系に変換することによって鳥瞰図画像を取得する（ステップＳ１０６）。次に、立体物検出部１３０は、鳥瞰図画像取得部１２０によって取得された鳥瞰図画像を学習済みモデル１６２に入力することによって、鳥瞰図画像における立体物を検出する（ステップＳ１０８）。次に、空間検知部１４０は、立体物検出部１３０によって検出された立体物を鳥瞰図画像から除外することによって、鳥瞰図画像における自車両Ｍの走行可能空間ＦＳ１を検知する（ステップＳ１１０）。
次に、空間検知部１４０は、走行可能空間ＦＳ１を俯瞰座標系に座標変換し、参照マップとマッチングすることによって、参照マップ上の走行可能空間ＦＳ２を検知する（ステップＳ１１２）。次に、走行制御部１５０は、自車両Ｍが走行可能空間ＦＳ２を通るように目標軌道ＴＴを生成し、自車両Ｍを目標軌道ＴＴに沿って走行させる（ステップＳ１１４）。これにより、本フローチャートの処理が終了する。
［学習済みモデル１６２の生成］
次に、図６を参照して、学習済みモデル１６２の具体的な生成方法について説明する。図６は、学習済みモデル１６２を生成するために用いる、鳥瞰図画像における教師データの一例を示す図である。図６の上部は、カメラ１０によって撮像された画像を表し、図６の下部は、当該画像に基づいて鳥瞰図画像取得部１２０が取得した鳥瞰図画像を表す。
図６の下部の鳥瞰図画像において、符号Ａ１は、図６の上部の画像の縁石Ｏ１に対応する領域を表す。領域Ａ１は、鳥瞰図画像の下端中央Ｏを中心とした放射線状の模様を有する領域である。このように、鳥瞰図画像の下端中央Ｏを中心とした放射線状の模様を有する領域に対しては、当該領域が立体物であることを示すアノテーションを対応付けて教師データとする。これは、一般的に、カメラ画像を鳥瞰図画像に変換する際には、カメラ画像における立体物は、鳥瞰図画像への引き延ばしに伴う画素の補完によって、ノイズとして放射線状の模様を有することになるからである。
さらに、図６の下部の鳥瞰図画像において、符号Ａ２は、図６の上部の画像のパイロンＯ２に対応する領域を表す。領域Ａ２は、鳥瞰図画像における路面の色とは異なる単色の模様を有する領域である。このように、鳥瞰図画像における路面の色とは異なる単色の模様を有する領域に対しては、当該領域が立体物であることを示すアノテーションを対応付けて教師データとする。これは、一般的に、カメラ画像を鳥瞰図画像に変換する際には、カメラ画像における単色の模様を有する綺麗な立体物は、鳥瞰図画像への引き延ばしに伴う画素の補完を受けた場合であっても、放射線状の模様を有さない場合があるからである。
さらに、図６の下部の鳥瞰図画像において、符号Ａ３は、図６の上部の画像の路面標示Ｏ３に対応する領域を表す。領域Ａ３は、鳥瞰図画像における路面標示に相当する領域である。このように、鳥瞰図画像における路面標示に相当する領域に対しては、当該領域が非立体物であることを示すアノテーションを対応付けて教師データとする。これは、一般的に、路面標示に相当する領域は単色を有する場合が多いため、鳥瞰図画像に変換されることで、当該領域は立体物として判定される可能性があるからである。
移動体制御装置１００は、以上のように構成された教師データを、例えば、ＤＮＮ（deep neural network）などの手法を用いて学習することによって、鳥瞰図画像が入力されると当該鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデル１６２を生成する。移動体制御装置１００は、立体物を自車両Ｍが横断して走行可能か否かを示すアノテーションがさらに対応付けられた教師データを学習することによって学習済みモデル１６２を生成してもよい。立体物の有無および位置に加えて、当該立体物を横断して走行可能か否かを示す情報を学習済みモデル１６２が出力することにより、走行制御部１５０による目標軌道ＴＴの生成により好適に活用することができる。
図７は、鳥瞰図画像における自車両Ｍの近接領域と遠方領域との差異を説明するための図である。一般的に、カメラ画像は、カメラ１０からの距離に応じて、距離当たりの画素数が変化、すなわち、カメラ１０から遠方の領域になるほど画素数が減少する一方、鳥瞰図画像は、距離当たりの画素数が一定である。そのため、図７に示す通り、カメラ１０を搭載する自車両Ｍからの距離が大きくなればなるほど、画素の補完に伴って、鳥瞰図画像における立体物の検出は困難となる。
学習済みモデル１６２は、自車両Ｍの近接領域と遠方領域のそれぞれの領域のアノテーション付き教師データをＤＮＮによって学習することによって生成されるものであるため、上記のような影響は既に考慮しているものである。しかし、移動体制御装置１００は、さらに、鳥瞰図画像の領域に対して、距離に応じた信頼度を設定してもよい。その場合、移動体制御装置１００は、設定された信頼度が閾値未満である領域については、学習済みモデル１６２によって出力された立体物に関する情報を用いることなく、カメラ１０によって撮像された元の画像に対して、周知の手法（二値化処理、輪郭抽出処理、画像強調処理、特徴量抽出処理、パターンマッチング処理、或いは他の学習済みモデルを利用した処理等）による画像認識処理を施すことによって立体物の有無を判定してもよい。
［中空物体の検出］
図８は、鳥瞰図画像における中空物体を検出する方法を説明するための図である。図６の鳥瞰図画像に示される通り、例えば、２つのパイロンを接続するバーのような中空物体は、画像上の面積が小さいことに起因して、学習済みモデル１６２によって検出されないことがあり得る。その結果、空間検知部１４０は、２つのパイロンの間の領域を走行可能領域として検知して、走行制御部１５０は、当該走行可能領域を自車両Ｍが走行するように目標軌道ＴＴを生成することがあり得る。
上記の問題に対応するために、立体物検出部１３０は、カメラ１０によって撮像された画像が鳥瞰図画像に変換される前に、当該画像に映される中空物体を周知の手法（二値化処理、輪郭抽出処理、画像強調処理、特徴量抽出処理、パターンマッチング処理、或いは他の学習済みモデルを利用した処理等）によって検出し、検出された中空物体にバウンディングボックスＢＢを当てはめる。鳥瞰図画像取得部１２０は、バウンディングボックスＢＢが付された中空物体を含むカメラ画像を鳥瞰図画像に変換し、図８の下部に示される鳥瞰図画像を得る。空間検知部１４０は、立体物検出部１３０によって検出された立体物およびバウンディングボックスＢＢを鳥瞰図画像から除外することによって、鳥瞰図画像における自車両Ｍの走行可能空間ＦＳ１を検知する。これにより、学習済みモデル１６２による検知と合わせて、さらに正確に走行可能空間を検知することができる。バウンディングボックスＢＢは、「識別情報」の一例である。
［時系列の変位量に基づく立体物の検出］
図９は、鳥瞰図画像における時系列の立体物の変位量に基づいて立体物を検出する方法を説明するための図である。図９において、符号Ａ４（ｔ１）は、時点ｔ１におけるパイロンを表し、符号Ａ４（ｔ２）は、時点ｔ２におけるパイロンを表す。図９に示す通り、例えば、自車両Ｍが走行する路面の形状に起因して、鳥瞰図画像における立体物の領域には、時系列上、ブレが発生することがあり得る。一方、このようなブレは、路面に近ければ近いほど小さくなる傾向がある。そのため、立体物検出部１３０は、時系列に得られた複数の鳥瞰図画像において検知された同一領域の、路面を基準とする変位量が閾値以上である場合に、当該同一領域を立体物として検出する。これにより、学習済みモデル１６２による検知と合わせて、さらに正確に走行可能空間を検知することができる。
図１０は、移動体制御装置１００によって実行される処理の流れの別の例を示すフローチャートである。図５のフローチャートにおけるステップＳ１００、ステップＳ１０２、ステップＳ１０４、ステップＳ１１２、およびステップＳ１１４の処理は、図１０のフローチャートでも同様に実行されるため、説明を省略する。
ステップＳ１００の処理の実行後、立体物検出部１３０は、カメラ画像から中空物体を検出し、検出された中空物体にバウンディングボックスＢＢを当てはめる（ステップＳ１０５）。次に、鳥瞰図画像取得部１２０は、バウンディングボックスＢＢが付されたカメラ画像を鳥瞰図座標系に変換することによって鳥瞰図画像を取得する（ステップＳ１０６）。このとき得られる鳥瞰図画像の中空物体には、同様にバウンディングボックスＢＢが付され、立体物として既に検出されている。
次に、立体物検出部１３０は、鳥瞰図画像取得部１２０によって取得された鳥瞰図画像を学習済みモデル１６２に入力することによって、立体物を検出する（ステップＳ１０８）。次に、立体物検出部１３０は、前回の鳥瞰図画像を基準とした各領域の変位量を測定し、測定された変位量が閾値以上である領域を立体物として検出する（ステップＳ１０９）。次に、空間検知部１４０は、立体物検出部１３０によって検出された立体物を鳥瞰図画像から除外することによって、鳥瞰図画像における自車両Ｍの走行可能空間ＦＳ１を検知する（ステップＳ１１２）。その後、処理はステップＳ１１２に進む。なお、ステップＳ１０８の処理とステップＳ１０９の処理の順序は逆であってもよいし、並列して実行されてもよく、どちらかを省略してもよい。
以上のフローチャートの処理により、立体物検出部１３０は、中空物体にバウンディングボックスＢＢを当てはめることによって立体物として検出し、鳥瞰図画像を学習済みモデル１６２に入力することによって当該鳥瞰図画像に含まれる立体物を検出し、さらに、前回の鳥瞰図画像を基準とした変位量が閾値以上である領域を立体物として検出する。これにより、学習済みモデル１６２のみを用いて立体物を検出する図５のフローチャートに比して、より確実に立体物を検出することができる。
以上の通り説明した本実施形態によれば、移動体制御装置１００は、カメラ１０によって撮像された画像を鳥瞰図画像に変換し、変換された鳥瞰図画像を、放射線状の模様を有する領域を立体物として認識するように学習された学習済みモデル１６２に入力することによって、立体物を認識する。これにより、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる。
［変形例］
図１に示した自車両Ｍは、その構成として、１台のカメラ１０を備えるものである。特に、上述した実施形態では、カメラ１０は自車両Ｍのフロントバンパー、すなわち、自車両Ｍの低位置に設置されるものとした。しかし、一般的に、低位置に設置されたカメラ１０によって撮像された画像から変換された鳥瞰図画像は、高位置に設置されたカメラ１０によって撮像された画像から変換された鳥瞰図画像に比して、ノイズが強くなる傾向がある。このノイズの強さは、放射線状の模様として現れるため、学習済みモデル１６２を用いた立体物の検出に好適であるが、他方で、立体物の位置の特定はより困難となる。本変形例は、そのような問題に対応するためのものである。
図１１は、本発明の変形例に係る移動体制御装置１００を備える自車両Ｍの構成の一例を示す図である。図１１に示す通り、自車両Ｍは、カメラ１０Ａと、カメラ１０Ｂと、移動体制御装置１００とを備える。カメラ１０Ａおよびカメラ１０Ｂのハードウェア構成は、上述した実施形態のカメラ１０と同様である。カメラ１０Ａは、「第１カメラ」の一例であり、カメラ１０Ｂは、「第２カメラ」の一例である。
カメラ１０Ａは、例えば、上述したカメラ１０と同様に、自車両Ｍのフロントバンパーに設置される。カメラ１０Ｂは、カメラ１０Ａよりも高い位置に設置されるものであり、例えば、自車両Ｍの車室内に車内カメラとして設置されるものである。
図１２は、カメラ１０Ａおよびカメラ１０Ｂによって撮像された画像に基づいて、鳥瞰図画像取得部１２０によって取得される鳥瞰図画像の一例を示す図である。図１２の左部は、カメラ１０Ａによって撮像された画像および当該画像から変換された鳥瞰図画像を表し、図１２の右部は、カメラ１０Ｂによって撮像された画像および当該画像から変換された鳥瞰図画像を表す。図１２の左部の鳥瞰図画像と、図１２の右部の鳥瞰図画像とを比較すると分かる通り、低位置に設置されたカメラ１０Ａに対応する鳥瞰図画像は、高位置に設置されたカメラ１０Ｂに対応する鳥瞰図画像に比して、ノイズが強く（すなわち、放射線状の模様が強く現れ）、立体物の位置の特定がより困難となっている。
上記の事情を背景にして、立体物検出部１３０は、カメラ１０Ａに対応する鳥瞰図画像を学習済みモデル１６２に入力することによって立体物を検出するとともに、カメラ１０Ｂに対応する鳥瞰図画像において位置情報が特定された物体（立体物とは限らない）を周知の手法（二値化処理、輪郭抽出処理、画像強調処理、特徴量抽出処理、パターンマッチング処理、或いは他の学習済みモデルを利用した処理等）によって検出する。次に、立体物検出部１３０は、検出された立体物と、検出された物体とをマッチングすることによって、検出された立体物の位置を特定する。これにより、学習済みモデル１６２による検知と合わせて、さらに正確に走行可能空間を検知することができる。
図１３は、変形例に係る移動体制御装置１００によって実行される処理の流れの別の例を示すフローチャートである。まず、移動体制御装置１００は、カメラ１０Ａによって自車両Ｍの周辺状況を撮像した画像と、カメラ１０Ｂによって撮像された自車両Ｍの周辺状況を表す画像とを取得する（ステップＳ２００）。次に、参照マップ生成部１１０は、カメラ１０Ｂによって撮像された画像に対して画像認識処理を施して、当該画像に含まれる物体を認識する（ステップＳ２０２）。次に、参照マップ生成部１１０は、取得されたカメラ座標系に基づく画像を俯瞰座標系に座標変換し、認識された物体の位置が反映された参照マップを生成する（ステップＳ２０４）。カメラ１０Ｂは、カメラ１０Ａよりも高い位置に設置され、より広域の物体を認識できることから、参照マップの生成のためにはカメラ１０Ｂの使用がより好適となる。
ステップＳ２０２およびステップＳ２０４の処理と平行して、鳥瞰図画像取得部１２０は、カメラ１０Ａによって撮像された画像と、カメラ１０Ｂによって撮像された画像とを鳥瞰図座標系に変換することによって２つの鳥瞰図画像を取得する（ステップＳ２０６）。次に、立体物検出部１３０は、カメラ１０Ａに対応する鳥瞰図画像を学習済みモデル１６２に入力することによって、立体物を検出する（ステップＳ２０８）。次に、立体物検出部１３０は、カメラ１０Ｂに対応する鳥瞰図画像に基づいて、位置情報が特定された物体を検出する（ステップＳ２１０）。なお、ステップＳ２０８の処理とステップＳ２１０の処理の順序は逆であってもよいし、並列して実行されてもよい。
次に、立体物検出部１３０は、検出された立体物と、位置情報が特定された物体とをマッチングすることによって、立体物の位置を特定する（ステップＳ２１２）。次に、空間検知部１４０は、立体物検出部１３０によって検出された立体物を鳥瞰図画像から除外することによって、鳥瞰図画像における自車両Ｍの走行可能空間ＦＳ１を検知する（ステップＳ２１４）。
次に、空間検知部１４０は、走行可能空間ＦＳ１を俯瞰座標系に座標変換し、参照マップとマッチングすることによって、参照マップ上の走行可能空間ＦＳ２を検知する（ステップＳ２１６）。次に、走行制御部１５０は、自車両Ｍが走行可能空間ＦＳ２を通るように目標軌道ＴＴを生成し、自車両Ｍを目標軌道ＴＴに沿って走行させる（ステップＳ２１６）。これにより、本フローチャートの処理が終了する。
以上の通り説明した本変形例によれば、移動体制御装置１００は、カメラ１０Ａによって撮像された画像を変換した鳥瞰図画像に基づいて立体物を検出するとともに、カメラ１０Ｂによって撮像された画像を変換した鳥瞰図画像を参照することによって当該立体物の位置を特定する。これにより、移動体の周辺に存在する立体物の位置をより正確に特定し、移動体の走行可能空間をより正確に検知することができる。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
移動体に搭載されたカメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、
前記対象鳥瞰図画像を、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出し、
検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、
前記走行可能空間を通るように前記移動体を走行させる、
ように構成されている、移動体制御装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１０，１０Ａ，１０Ｂ カメラ
１００ 移動体制御装置
１１０ 参照マップ生成部
１２０ 鳥瞰図画像取得部
１３０ 立体物検出部
１４０ 空間検知部
１５０ 走行制御部
１６０ 記憶部
１６２ 学習済みモデル

Claims (14)

  1. 移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、
    前記対象鳥瞰図画像を、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出する立体物検出部と、
    検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、
    前記走行可能空間を通るように前記移動体を走行させる走行制御部と、
    を備える、移動体制御装置。
  2. 前記学習済みモデルは、鳥瞰図画像が入力されると、前記鳥瞰図画像における立体物を前記移動体が横断して走行可能か否かを更に出力するように学習されたものである、
    請求項１に記載の移動体制御装置。
  3. 前記学習済みモデルは、鳥瞰図画像の下端中央を中心とした放射線状の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた第１教師データに基づいて学習されたものである、
    請求項１又は２に記載の移動体制御装置。
  4. 前記学習済みモデルは、前記第１教師データに加えて、鳥瞰図画像における路面の色とは異なる単色の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた第２教師データにさらに基づいて学習されたものである、
    請求項３に記載の移動体制御装置。
  5. 前記学習済みモデルは、前記第１教師データに加えて、鳥瞰図画像における路面標示に対して、前記路面標示は非立体物であることを示すアノテーションを対応付けた第３教師データにさらに基づいて学習されたものである、
    請求項３又は４に記載の移動体制御装置。
  6. 前記カメラによって前記移動体の周辺状況を撮像した画像に基づいて、前記画像に含まれる物体を認識し、認識された前記物体の位置が反映された参照マップを生成する参照マップ生成部を更に備え、
    前記空間検知部は、検出された前記対象鳥瞰図画像における立体物と、生成された前記参照マップとをマッチングすることによって、前記走行可能空間を検知する、
    請求項１から５のいずれか１項に記載の移動体制御装置。
  7. 前記カメラは、前記移動体の下方に設置された第１カメラと、前記移動体の上方に設置された第２カメラと、を含み、
    前記立体物検出部は、前記第１カメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた第１対象鳥瞰図画像に基づいて、前記立体物を検出し、前記第２カメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた第２対象鳥瞰図画像に基づいて、前記第２対象鳥瞰図画像における物体を位置情報と合わせて検出し、検出された前記立体物と、検出された前記位置情報を有する前記物体をマッチングすることによって、前記立体物の位置を検出する、
    請求項１から６のいずれか１項に記載の移動体制御装置。
  8. 前記立体物検出部は、前記カメラによって前記移動体の周辺状況を撮像した画像が鳥瞰図座標系に変換される前に、前記画像に映される中空物体を検出して、前記中空物体に識別情報を付与し、
    前記空間検知部は、前記識別情報にさらに基づいて、前記走行可能空間を検知する、
    請求項１から７のいずれか１項に記載の移動体制御装置。
  9. 前記立体物検出部は、時系列に得られた複数の前記対象鳥瞰図画像における同一領域の、路面を基準とする変位量が閾値以上である場合に、前記同一領域を立体物として検出する、
    請求項１から８のいずれか１項に記載の移動体制御装置。
  10. コンピュータが、
    移動体に搭載されたカメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、
    前記対象鳥瞰図画像を、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出し、
    検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、
    前記走行可能空間を通るように前記移動体を走行させる、
    移動体制御方法。
  11. コンピュータに、
    移動体に搭載されたカメラによって前記移動体の周辺状況を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得させ、
    前記対象鳥瞰図画像を、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習された学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出させ、
    検出された前記立体物に基づいて、前記移動体の走行可能空間を検知させ、
    前記走行可能空間を通るように前記移動体を走行させる、
    プログラム。
  12. 鳥瞰図画像の下端中央を中心とした放射線状の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習する、
    学習装置。
  13. コンピュータが、
    鳥瞰図画像の下端中央を中心とした放射線状の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習する、
    学習方法。
  14. コンピュータに、
    鳥瞰図画像の下端中央を中心とした放射線状の模様を有する領域に対して、前記領域が立体物であることを示すアノテーションを対応付けた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を少なくとも出力するように学習させる、
    プログラム。
JP2022019789A 2022-02-10 2022-02-10 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム Active JP7450654B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022019789A JP7450654B2 (ja) 2022-02-10 2022-02-10 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム
CN202310091495.2A CN116580375A (zh) 2022-02-10 2023-02-06 移动体控制装置及方法、学习装置及方法、以及存储介质
US18/106,589 US20230252675A1 (en) 2022-02-10 2023-02-07 Mobile object control device, mobile object control method, learning device, learning method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022019789A JP7450654B2 (ja) 2022-02-10 2022-02-10 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2023117203A true JP2023117203A (ja) 2023-08-23
JP7450654B2 JP7450654B2 (ja) 2024-03-15

Family

ID=87521235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022019789A Active JP7450654B2 (ja) 2022-02-10 2022-02-10 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230252675A1 (ja)
JP (1) JP7450654B2 (ja)
CN (1) CN116580375A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018146997A1 (ja) 2017-02-07 2019-11-14 日本電気株式会社 立体物検出装置
JP7091686B2 (ja) 2018-02-08 2022-06-28 株式会社リコー 立体物認識装置、撮像装置および車両
JP6766844B2 (ja) 2018-06-01 2020-10-14 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
US11543534B2 (en) 2019-11-22 2023-01-03 Samsung Electronics Co., Ltd. System and method for three-dimensional object detection
JP7122721B2 (ja) 2020-06-02 2022-08-22 株式会社Zmp 物体検出システム、物体検出方法及び物体検出プログラム
KR20230026130A (ko) 2021-08-17 2023-02-24 충북대학교 산학협력단 자율 주행을 위한 단일 계층 3차원 다중 객체 검출 장치 및 방법
JP7418481B2 (ja) 2022-02-08 2024-01-19 本田技研工業株式会社 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム
JP2023152109A (ja) 2022-04-01 2023-10-16 トヨタ自動車株式会社 地物検出装置、地物検出方法及び地物検出用コンピュータプログラム

Also Published As

Publication number Publication date
CN116580375A (zh) 2023-08-11
US20230252675A1 (en) 2023-08-10
JP7450654B2 (ja) 2024-03-15

Similar Documents

Publication Publication Date Title
CN106335509B (zh) 车辆的驾驶辅助装置
EP3059720B1 (en) Vehicle-departure assistance device
US10402670B2 (en) Parallel scene primitive detection using a surround camera system
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
CN111442776A (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
JP2006208223A (ja) 車両位置認識装置及び車両位置認識方法
Kim et al. Robust detection of non-motorized road users using deep learning on optical and LIDAR data
JP2015057690A (ja) 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
JP2009037622A (ja) 画像を評価するための方法および装置
JP6601506B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
JP4937844B2 (ja) 歩行者検出装置
CN112389419B (zh) 识别停车位的方法和停车辅助系统
JP2019053625A (ja) 移動物体検出装置および移動物体検出方法
JP2005322166A (ja) 走行レーン認識装置
JP2006318060A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP2009245042A (ja) 交通流計測装置及びプログラム
JP2017159884A (ja) 運転制御装置、運転制御方法及び運転制御プログラム
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
JP4775034B2 (ja) 画像認識システムおよび画像認識方法
Arora et al. Automatic vehicle detection system in Day and Night Mode: challenges, applications and panoramic review
JP6683245B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、物体認識装置及び機器制御システム
JP2010092353A (ja) 画像処理装置及び画像処理方法
US20230252804A1 (en) Learning method, learning device, mobile object control device, mobile object control method, and storage medium
US20230169797A1 (en) Traffic hand signal detection system and method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240305

R150 Certificate of patent or registration of utility model

Ref document number: 7450654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150