JP2023115574A - 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム - Google Patents

学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム Download PDF

Info

Publication number
JP2023115574A
JP2023115574A JP2022017870A JP2022017870A JP2023115574A JP 2023115574 A JP2023115574 A JP 2023115574A JP 2022017870 A JP2022017870 A JP 2022017870A JP 2022017870 A JP2022017870 A JP 2022017870A JP 2023115574 A JP2023115574 A JP 2023115574A
Authority
JP
Japan
Prior art keywords
bird
eye view
image
view image
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022017870A
Other languages
English (en)
Other versions
JP7418481B2 (ja
Inventor
裕司 安井
Yuji Yasui
英樹 松永
Hideki Matsunaga
隆志 松本
Takashi Matsumoto
岳洋 藤元
Takehiro Fujimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2022017870A priority Critical patent/JP7418481B2/ja
Priority to CN202310100325.6A priority patent/CN116580376A/zh
Priority to US18/106,587 priority patent/US20230252804A1/en
Publication of JP2023115574A publication Critical patent/JP2023115574A/ja
Application granted granted Critical
Publication of JP7418481B2 publication Critical patent/JP7418481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

Figure 2023115574000001
【課題】センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知すること。
【解決手段】鳥瞰図画像における延伸領域に対して、前記延伸領域が立体物であることを示すアノテーションを対応付けるステップと、鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成するステップと、を備える、学習方法。
【選択図】図１

Description

本発明は、学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラムに関する。
従来、移動体に搭載されたセンサを用いて、当該移動体の周辺に存在する障害物を検出する技術が知られている。例えば、特許文献１には、移動体に搭載された複数の測距センサにより取得された情報に基づいて、当該移動体の周辺に存在する障害物を検出する技術が開示されている。
特開２０２１－１６２９２６号公報
特許文献１に記載の技術は、超音波センサやＬＩＤＡＲなどの複数の測距センサを用いて、移動体の周辺に存在する障害物を検出するものである。しかしながら、複数の測距センサを用いた構成を採用する場合、センシングのためのハードウェア構成が複雑になるため、システムのコストが増加する傾向にある。一方、システムのコストを抑えるために、カメラのみを用いた単純なハードウェア構成を採用することも考えられるが、その場合、様々なシーンに対応するロバスト性を確保するために、センシングのための膨大な学習データが必要とされる。
本発明は、このような事情を考慮してなされたものであり、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる、学習方法、学習装置、移動体制御装置、移動体制御方法およびプログラムを提供することを目的の一つとする。
この発明に係る学習方法、学習装置、移動体制御装置、移動体制御方法およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る学習方法は、鳥瞰図画像における延伸領域に対して、前記延伸領域が立体物であることを示すアノテーションを対応付けるステップと、鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成するステップと、を備えるものである。
（２）：この発明の一態様に係る学習装置は、鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付ける受付部と、鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成する学習部と、を備えるものである。
（３）：この発明の一態様に係るプログラムは、コンピュータに、鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付けさせ、鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成させるものである。
（４）：この発明の一態様に係る移動体制御装置は、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、前記対象鳥瞰図画像を、（１）から（３）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出する立体物検出部と、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、前記走行可能空間を通るように前記移動体を走行させる走行制御部と、を備えるものである。
（５）：この発明の一態様に係る移動体制御方法は、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、前記対象鳥瞰図画像を、（１）から（３）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出し、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、前記走行可能空間を通るように前記移動体を走行させるものである。
（６）：この発明の一態様に係るプログラムは、コンピュータに、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得させ、前記対象鳥瞰図画像を、（１）から（３）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出させ、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知させ、前記走行可能空間を通るように前記移動体を走行させるものである。
（７）：この発明の一態様に係る学習方法は、鳥瞰図画像における延伸領域に対して、前記延伸領域が立体物であることを示すアノテーションを対応付けるステップと、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成するステップと、を備えるものである。
（８）：この発明の一態様に係る学習装置は、鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付ける受付部と、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成する学習部と、を備えるものである。
（９）：この発明の一態様に係るプログラムは、コンピュータに、鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付けさせ、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成させるものである。
（１０）：この発明の一態様に係る移動体制御装置は、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、前記対象画像および前記対象鳥瞰図画像を、（７）から（９）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出する立体物検出部と、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、前記走行可能空間を通るように前記移動体を走行させる走行制御部と、を備えるものである。
（１１）：この発明の一態様に係る移動体制御方法は、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、前記対象画像および前記対象鳥瞰図画像を、（７）から（９）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出し、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、前記走行可能空間を通るように前記移動体を走行させるものである。
（１２）：この発明の一態様に係るプログラムは、移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得させ、前記対象画像および前記対象鳥瞰図画像を、（７）から（９）のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出させ、検出された前記立体物に基づいて、前記移動体の走行可能空間を検知させ、前記走行可能空間を通るように前記移動体を走行させるものである。
（１）～（１２）によれば、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる。
本発明の実施形態に係る移動体制御装置１００を備える自車両Ｍの構成の一例を示す図である。 鳥瞰図画像取得部１１０によって取得される鳥瞰図画像の一例を示す図である。 立体物検出部１２０による立体物の検出結果の一例を示す図である。 空間検知部１３０によって検知された走行可能空間ＦＳの一例を示す図である。 移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。 学習装置２００の構成の一例を示す図である。 学習部２４０によって実行される機械学習の詳細を説明するための図である。 本変形例に係る学習部２４０によって実行される機械学習の詳細を説明するための図である。 本変形例に係る立体物検出部１２０による立体物の検出結果の一例を示す図である。 本変形例に係る移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。
以下、図面を参照し、本発明の学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラムの実施形態について説明する。移動体制御装置は、移動体の移動動作を制御する装置である。移動体とは、三輪または四輪等の車両、二輪車、マイクロモビ等を含み、路面を移動可能なあらゆる移動体を含んでよい。以下の説明では、移動体は四輪車両であるものとし、運転支援装置が搭載された車両を自車両Ｍと称する。
［移動体制御装置］
図１は、本発明の実施形態に係る移動体制御装置１００を備える自車両Ｍの構成の一例を示す図である。図１に示す通り、自車両Ｍは、カメラ１０と、移動体制御装置１００とを備える。カメラ１０と移動体制御装置１００とは、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、更に、別の構成が追加されてもよい。
カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。図１において、カメラ１０は、自車両Ｍのフロントバンパーに設置されているが、カメラ１０は、例えば、自車両Ｍの車室内など、一般的に、自車両Ｍの前方を撮像可能な任意の箇所に設置されればよい。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。
移動体制御装置１００は、例えば、鳥瞰図画像取得部１１０と、立体物検出部１２０と、空間検知部１３０と、走行制御部１４０と、記憶部１５０と、を備える。記憶部１５０は、例えば、学習済みモデル１５２を記憶する。鳥瞰図画像取得部１１０と、立体物検出部１２０と、空間検知部１３０と、走行制御部１４０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。記憶部１５０は、例えば、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＳＤカード、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、レジスタ等によって実現される。
鳥瞰図画像取得部１１０は、カメラ１０によって自車両Ｍの周辺状況を撮像した画像を鳥瞰図座標系に変換することによって鳥瞰図画像を取得する。図２は、鳥瞰図画像取得部１１０によって取得される鳥瞰図画像の一例を示す図である。図２の左部は、カメラ１０によって撮像された画像を表し、図２の中央部は、カメラ１０によって撮像された画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像を表す。図２に示される通り、２Ｄ画像において写される立体物は、路面などとは異なり、鳥瞰図画像に変換されることによって、上下又は左右方向に延伸された延伸領域として写されている。後述するように、学習済みモデル１５２の作成者は、図２の右部に示される通り、学習装置２００を用いて、事前に、鳥瞰図画像に写される延伸領域に対して、当該延伸領域が立体物であることを示すアノテーションを対応付けることによって、学習装置２００による学習のための教師データ２５２を作成する。
立体物検出部１２０は、変換された鳥瞰図画像を、鳥瞰図画像が入力されると当該鳥瞰図画像における立体物を出力するように学習された学習済みモデル１５２に入力することで、変換された鳥瞰図画像における立体物を検出する。図３は、立体物検出部１２０による立体物の検出結果の一例を示す図である。図３に示す通り、立体物検出部１２０が、変換された鳥瞰図画像を学習済みモデル１５２に入力すると、学習済みモデル１５２は、鳥瞰図画像に含まれる立体物を識別可能な形式で当該鳥瞰図画像を出力する（すなわち、立体物を出力する）。立体物検出部１２０は、学習済みモデル１５２によって出力された鳥瞰図画像を参照することで、当該鳥瞰図画像に映された立体物を検出することができる。
空間検知部１３０は、学習済みモデル１５２によって出力された鳥瞰図画像に逆鳥瞰図変換を施し、立体物が識別可能な形式で表示された２Ｄ画像を得る。空間検知部１３０は、得られた２Ｄ画像から、識別された立体物を除外することによって、２Ｄ画像において自車両Ｍが走行可能な空間（以下、走行可能空間ＦＳ）を検知する。
図４は、空間検知部１３０によって検知された走行可能空間ＦＳの一例を示す図である。図４では、一例として、走行可能空間ＦＳを直方体領域として示している。走行制御部１４０は、自車両Ｍが走行可能空間ＦＳを通るように目標軌道ＴＴを生成し、自車両Ｍを目標軌道ＴＴに沿って走行させる。目標軌道ＴＴは、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。なお、本実施形態では、一例として、本発明が自動運転に適用させる場合について説明しているが、本発明はそのような構成に限定されず、立体物が存在しない走行可能空間ＦＳを自車両Ｍのナビゲーション装置に表示させたり、走行可能空間ＦＳを走行するようにステアリングホイールの操舵をアシストするなどの運転支援に適用されてもよい。
次に、図５を参照して、移動体制御装置１００によって実行される処理の流れについて説明する。図５は、移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。まず、移動体制御装置１００は、カメラ１０によって自車両Ｍの周辺状況を撮像したカメラ画像を取得する（ステップＳ１００）。次に、鳥瞰図画像取得部１１０は、取得されたカメラ画像を鳥瞰図座標系に変換することによって鳥瞰図画像を取得する（ステップＳ１０２）。
次に、立体物検出部１２０は、取得された鳥瞰図画像を、学習済みモデル１５２に入力することで、当該鳥瞰図画像における立体物を検出する（ステップＳ１０４）。次に、空間検知部１３０は、立体物が検出された鳥瞰図画像に逆鳥瞰図変換を施し、立体物が識別可能な形式で表示された２Ｄ画像を得る（ステップＳ１０６）。
次に、空間検知部１３０は、得られた２Ｄ画像から、識別された立体物を除外することによって、２Ｄ画像における走行可能空間ＦＳを検知する（ステップＳ１０８）。次に、空間検知部１３０は、自車両Ｍが走行可能空間ＦＳを通るように目標軌道ＴＴを生成し、自車両Ｍを目標軌道ＴＴに沿って走行させる（ステップＳ１１０）。これにより、本フローチャートの処理が終了する。
［学習装置］
次に、図６を参照して、本実施形態の学習済みモデル１５２を生成する学習装置２００について説明する。図６は、学習装置２００の構成の一例を示す図である。図６に示す通り、学習装置２００は、例えば、通信部２１０と、取得部２２０と、受付部２３０と、学習部２４０と、記憶部２５０と、を備える。記憶部２５０は、例えば、教師データ２５２を記憶する。取得部２２０と、受付部２３０と、学習部２４０は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。記憶部２５０は、は、例えば、ＲＯＭ、フラッシュメモリ、ＳＤカード、ＲＡＭ、ＨＤＤ、レジスタ等によって実現される。
通信部２１０は、ネットワークＮＷを介して自車両Ｍの移動体制御装置１００と通信するインターフェースである。通信部２１０は、例えば、ＮＩＣや、無線通信用のアンテナなどを備える。
取得部２２０は、例えば、通信部２１０を介して、車両から鳥瞰図画像を取得する。その場合、画像の提供元の車両は専ら画像を収集するためだけの車両であってもよい。また、学習装置２００は、必ずしもＮＷを介して車両と通信する必要は無く、車両で集められたデータが可搬型記憶媒体に格納され、人の手で運ばれてきて学習に用いられてもよい。さらに、代替的に、取得部２２０は、車両からカメラ画像を取得し、学習装置２００が取得したカメラ画像を鳥瞰図画像に変換してもよい。
受付部２３０は、鳥瞰図画像における延伸領域に対する、当該延伸領域が立体物であることを示すアノテーションの対応付けを受け付け、鳥瞰図画像における延伸領域とアノテーションとが対応付けられた教師データ２５２として記憶部２５０に記憶する。換言すると、教師データ２５２とは、鳥瞰図画像に対して、当該鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられたデータセットを意味する。具体的には、例えば、受付部２３０は、鳥瞰図画像上で立体物にアノテーションを付与するためのインターフェース画面を学習済みモデル１５２の作成者に提供し、当該作成者からの操作を受け付けることによって、鳥瞰図画像とアノテーション付き鳥瞰図画像との組み合わせを教師データ２５２として受け付けてもよい。また、例えば、受付部２３０は、学習済みモデル１５２の作成者によって作成されたアノテーション付き鳥瞰図画像を、当該アノテーション付き鳥瞰図画像の元データである鳥瞰図画像と合わせて、当該作成者の端末装置から受信してもよい。
学習部２４０は、教師データ２５２に基づいて、鳥瞰図画像が入力されると当該鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって、学習済みモデル１５２を生成する。学習部２４０は、作成された学習済みモデル１５２を移動体制御装置１００にネットワークＮＷを介して送信し、移動体制御装置１００は、受信した学習済みモデル１５２を記憶部１５０に記憶する。
図７は、学習部２４０によって実行される機械学習の詳細を説明するための図である。図７に示す通り、学習部２４０は、ＣＮＮ（convolutional neural network）などのＤＮＮ（deep neural network）に対して鳥瞰図画像を入力した結果として出力された出力画像と、当該鳥瞰図画像に対応するアノテーション付き鳥瞰図画像との間の差分を表す誤差関数の値が小さくなるように、ＤＮＮのパラメータを更新する。学習部２４０がＤＮＮのパラメータを更新する手法としては、例えば、誤差逆伝播法（back propagation）、最急降下法（steepest descent）、確率的勾配降下法（stochastic gradient descent）などの任意の手法を利用することができる。誤差関数は、例えば、二乗和誤差や交差エントロピーなどの任意の関数である。学習部２４０は、パラメータの更新処理を教師データ２５２に格納されたデータセットの数だけ実行することによって、ＤＮＮのパラメータを確定し、学習済みモデル１５２を得る。
以上の通り説明した実施形態によれば、学習装置２００は、鳥瞰図画像が入力されると、当該鳥瞰図画像における立体物を出力するように学習された学習済みモデル１５２を生成し、移動体制御装置１００は、カメラ１０によって撮像された画像を鳥瞰図画像に変換し、変換された鳥瞰図画像を、生成された学習済みモデル１５２に入力することによって、立体物を認識する。これにより、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる。
［変形例］
上述した実施形態では、学習装置２００は、鳥瞰図画像が入力されると当該鳥瞰図画像における立体物を出力するように学習された学習済みモデル１５２を生成し、移動体制御装置１００は、生成された学習済みモデル１５２を用いて、自車両Ｍの前方に存在する立体物を検出している。しかし、本発明は、そのような構成に限定されない。本変形例においては、学習装置２００は、画像、および当該画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると当該画像における立体物を出力するように学習された学習済みモデル１５２を生成し、移動体制御装置１００は、生成された学習済みモデル１５２を用いて、自車両Ｍの前方に存在する立体物を検出する。移動体制御装置１００および学習装置２００の構成は、上述した実施形態と同様であるため、説明を省略する。
図８は、本変形例に係る学習部２４０によって実行される機械学習の詳細を説明するための図である。図８に示す通り、学習部２４０は、ＣＮＮ（convolutional neural network）などのＤＮＮ（deep neural network）に対して、画像、および当該画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像を入力した結果として出力された出力画像と、当該鳥瞰図画像に対応するアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像との間の差分を表す誤差関数の値が小さくなるように、ＤＮＮのパラメータを更新する。ＤＮＮのパラメータの更新手法および誤差関数の種類は、上述した実施形態と同様である。学習部２４０は、パラメータの更新処理を教師データ２５２に格納されたデータセットの数だけ実行することによって、ＤＮＮのパラメータを確定し、学習済みモデル１５２を得る。
図９は、本変形例に係る立体物検出部１２０による立体物の検出結果の一例を示す図である。図９に示す通り、立体物検出部１２０が、カメラ１０によって撮像された画像と、当該画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像とを学習済みモデル１５２に入力すると、学習済みモデル１５２は、立体物を識別可能な形式で２Ｄ画像を出力する（すなわち、立体物を出力する）。立体物検出部１２０は、学習済みモデル１５２によって出力された２Ｄ画像を参照することで、当該画像に映された立体物を検出する。
次に、図１０を参照して、本変形例に係る移動体制御装置１００によって実行される処理の流れについて説明する。図１０は、本変形例に係る移動体制御装置１００によって実行される処理の流れの一例を示すフローチャートである。まず、移動体制御装置１００は、カメラ１０によって自車両Ｍの周辺状況を撮像したカメラ画像を取得する（ステップＳ２００）。次に、鳥瞰図画像取得部１１０は、取得されたカメラ画像を鳥瞰図座標系に変換することによって鳥瞰図画像を取得する（ステップＳ２０２）。
次に、立体物検出部１２０は、取得されたカメラ画像および鳥瞰図画像を、学習済みモデル１５２に入力することで、２Ｄ画像における立体物を検出する（ステップＳ２０４）。次に、空間検知部１３０は、得られた２Ｄ画像から、識別された立体物を除外することによって、２Ｄ画像における走行可能空間ＦＳを検知する（ステップＳ２０６）。次に、空間検知部１３０は、自車両Ｍが走行可能空間ＦＳを通るように目標軌道ＴＴを生成し、自車両Ｍを目標軌道ＴＴに沿って走行させる（ステップＳ２０８）。これにより、本フローチャートの処理が終了する。
以上の通り説明した本変形例によれば、学習装置２００は、２Ｄ画像、および当該２Ｄ画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると、当該２Ｄ画像における立体物を出力するように学習された学習済みモデル１５２を生成し、移動体制御装置１００は、カメラ１０によって撮像されたカメラ画像と、当該カメラ画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像を、生成された学習済みモデル１５２に入力することによって、カメラ画像における立体物を認識する。これにより、センシングのためのハードウェア構成を複雑化することなく、より少ない学習データに基づいて、移動体の走行可能空間を検知することができる。
さらに、上述した実施形態においては、移動体制御装置１００は、学習済みモデル１５２によって出力された鳥瞰図画像に対して逆鳥瞰図変換を施している。しかし、本変形例では、移動体制御装置１００は、カメラ１０によって撮像されたカメラ画像と、当該カメラ画像に対応する鳥瞰図画像を学習済みモデル１５２に入力することによって、逆鳥瞰図変換を実行することなく、カメラ画像における立体物検出の結果を取得することができる。これにより、上述した実施形態に比して、移動体制御装置１００の処理負荷を軽減することができる。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付け、
鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって、学習済みモデルを生成する、
学習装置。
さらに、上記説明した実施形態は、以下のように表現することもできる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付け、
画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成する、
学習装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１００ 移動体制御装置
１１０ 鳥瞰図画像取得部
１２０ 立体物検出部
１３０ 空間検知部
１４０ 走行制御部
１５０、２５０ 記憶部
１５２ 学習済みモデル
２００ 学習装置
２１０ 通信部
２２０ 取得部
２３０ 受付部
２４０ 学習部
２５２ 教師データ

Claims (12)

  1. 鳥瞰図画像における延伸領域に対して、前記延伸領域が立体物であることを示すアノテーションを対応付けるステップと、
    鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成するステップと、を備える、
    学習方法。
  2. 鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付ける受付部と、
    鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成する学習部と、を備える、
    学習装置。
  3. コンピュータに、
    鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付けさせ、
    鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像が対応付けられた教師データに基づいて、鳥瞰図画像が入力されると前記鳥瞰図画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成させる、
    プログラム。
  4. 移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、
    前記対象鳥瞰図画像を、請求項１から３のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出する立体物検出部と、
    検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、
    前記走行可能空間を通るように前記移動体を走行させる走行制御部と、
    を備える、移動体制御装置。
  5. コンピュータが、
    移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、
    前記対象鳥瞰図画像を、請求項１から３のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出し、
    検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、
    前記走行可能空間を通るように前記移動体を走行させる、
    移動体制御方法。
  6. コンピュータに、
    移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得させ、
    前記対象鳥瞰図画像を、請求項１から３のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象鳥瞰図画像における立体物を検出させ、
    検出された前記立体物に基づいて、前記移動体の走行可能空間を検知させ、
    前記走行可能空間を通るように前記移動体を走行させる、
    プログラム。
  7. 鳥瞰図画像における延伸領域に対して、前記延伸領域が立体物であることを示すアノテーションを対応付けるステップと、
    画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成するステップと、を備える、
    学習方法。
  8. 鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付ける受付部と、
    画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成する学習部と、を備える、
    学習装置。
  9. コンピュータに、
    鳥瞰図画像における延伸領域に対する、前記延伸領域が立体物であることを示すアノテーションの対応付けを受け付けさせ、
    画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像に対して、前記鳥瞰図画像における立体物にアノテーションが付与されたアノテーション付き鳥瞰図画像を逆鳥瞰図変換することによって得られた画像が対応付けられた教師データに基づいて、画像および前記画像を鳥瞰図座標系に変換することによって得られた鳥瞰図画像が入力されると前記画像における立体物を出力するように機械学習モデルのパラメータを学習することによって学習済みモデルを生成させる、
    プログラム。
  10. 移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得する取得部と、
    前記対象画像および前記対象鳥瞰図画像を、請求項７から９のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出する立体物検出部と、
    検出された前記立体物に基づいて、前記移動体の走行可能空間を検知する空間検知部と、
    前記走行可能空間を通るように前記移動体を走行させる走行制御部と、
    を備える、移動体制御装置。
  11. コンピュータが、
    移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得し、
    前記対象画像および前記対象鳥瞰図画像を、請求項７から９のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出し、
    検出された前記立体物に基づいて、前記移動体の走行可能空間を検知し、
    前記走行可能空間を通るように前記移動体を走行させる、
    移動体制御方法。
  12. コンピュータに、
    移動体に搭載されたカメラによって前記移動体の周辺を撮像した画像を鳥瞰図座標系に変換することによって得られた対象鳥瞰図画像を取得させ、
    前記対象画像および前記対象鳥瞰図画像を、請求項７から９のいずれか１項に記載の前記学習済みモデルに入力することで、前記対象画像における立体物を検出させ、
    検出された前記立体物に基づいて、前記移動体の走行可能空間を検知させ、
    前記走行可能空間を通るように前記移動体を走行させる、
    プログラム。
JP2022017870A 2022-02-08 2022-02-08 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム Active JP7418481B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022017870A JP7418481B2 (ja) 2022-02-08 2022-02-08 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム
CN202310100325.6A CN116580376A (zh) 2022-02-08 2023-02-06 学习方法、学习装置、移动体控制及其方法、存储介质
US18/106,587 US20230252804A1 (en) 2022-02-08 2023-02-07 Learning method, learning device, mobile object control device, mobile object control method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022017870A JP7418481B2 (ja) 2022-02-08 2022-02-08 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2023115574A true JP2023115574A (ja) 2023-08-21
JP7418481B2 JP7418481B2 (ja) 2024-01-19

Family

ID=87521321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022017870A Active JP7418481B2 (ja) 2022-02-08 2022-02-08 学習方法、学習装置、移動体制御装置、移動体制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20230252804A1 (ja)
JP (1) JP7418481B2 (ja)
CN (1) CN116580376A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7450654B2 (ja) 2022-02-10 2024-03-15 本田技研工業株式会社 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219063A (ja) 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
MY166665A (en) 2011-02-21 2018-07-18 Nissan Motor Periodic stationary object detection system and periodic stationary object detection method
BR112014001837B1 (pt) 2011-08-02 2021-04-20 Nissan Motor Co., Ltd. dispositivos e métodos de detecção de corpo em movimento
JP7219597B2 (ja) 2018-11-22 2023-02-08 日立Astemo株式会社 車両制御装置
JP7072591B2 (ja) 2020-01-27 2022-05-20 三菱電機株式会社 車両用衝突防止装置および車両用衝突防止方法
JP7404173B2 (ja) 2020-07-07 2023-12-25 日立Astemo株式会社 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7450654B2 (ja) 2022-02-10 2024-03-15 本田技研工業株式会社 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム

Also Published As

Publication number Publication date
US20230252804A1 (en) 2023-08-10
CN116580376A (zh) 2023-08-11
JP7418481B2 (ja) 2024-01-19

Similar Documents

Publication Publication Date Title
KR101896715B1 (ko) 주변차량 위치 추적 장치 및 방법
US10896542B2 (en) Moving body image generation recording display device and program product
WO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
JP2011034273A (ja) 運転支援システム、運転支援装置、運転支援方法、及び運転支援プログラム
JP6601506B2 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両
US20230252804A1 (en) Learning method, learning device, mobile object control device, mobile object control method, and storage medium
JP7077726B2 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
US20210064872A1 (en) Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
JP6241172B2 (ja) 自車位置推定装置及び自車位置推定方法
JP6992099B2 (ja) 情報処理装置、車両、車両の制御方法、プログラム、情報処理サーバ、情報処理方法
US11704827B2 (en) Electronic apparatus and method for assisting with driving of vehicle
JP2023060081A (ja) 処理装置
JP4742695B2 (ja) 視線認識装置、及び視線認識方法
JP2005216200A (ja) 他車検出装置及び他車検出方法
JP4220354B2 (ja) 他車位置表示装置及び他車情報提示方法
JP7429246B2 (ja) 対象を識別する方法とシステム
CN111797659A (zh) 辅助驾驶方法、装置、存储介质及电子设备
JP2023117203A (ja) 移動体制御装置、移動体制御方法、学習装置、学習方法、およびプログラム
JP5466342B1 (ja) 道路環境認識装置
WO2013146737A1 (ja) 運転行動診断装置、運転行動診断方法、及びそのプログラム
JP2011179920A (ja) 表示制御装置、表示制御方法、プログラム、および記録媒体
JP2002269570A (ja) 周辺認識装置
JP2023059982A (ja) 出力装置、出力方法及びプログラム
KR20230097790A (ko) 다중 센서 모듈과 인공 지능 알고리즘 및 통신 모듈을 이용한 이동 장치의 관제 장치
CN116524453A (zh) 运动物体检测装置、方法及系统、以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240109

R150 Certificate of patent or registration of utility model

Ref document number: 7418481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150