JP2020021326A - 情報処理方法、情報処理装置およびプログラム - Google Patents

情報処理方法、情報処理装置およびプログラム Download PDF

Info

Publication number
JP2020021326A
JP2020021326A JP2018145357A JP2018145357A JP2020021326A JP 2020021326 A JP2020021326 A JP 2020021326A JP 2018145357 A JP2018145357 A JP 2018145357A JP 2018145357 A JP2018145357 A JP 2018145357A JP 2020021326 A JP2020021326 A JP 2020021326A
Authority
JP
Japan
Prior art keywords
object detection
detection result
sensor
information processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018145357A
Other languages
English (en)
Other versions
JP7082545B2 (ja
Inventor
拓也 山口
Takuya Yamaguchi
拓也 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2018145357A priority Critical patent/JP7082545B2/ja
Priority to US16/515,385 priority patent/US11915099B2/en
Priority to CN201910670379.XA priority patent/CN110795984A/zh
Priority to EP19188504.5A priority patent/EP3605390A1/en
Publication of JP2020021326A publication Critical patent/JP2020021326A/ja
Application granted granted Critical
Publication of JP7082545B2 publication Critical patent/JP7082545B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】精度が低いセンサによる検出結果を用いても所望の物体を検出するための学習用データを得ることができる情報処理方法、情報処理装置およびプログラムを提供する。
【解決手段】情報処理方法は、第１センサのセンシングデータを入力とする物体検出モデルを用いた第１物体検出結果および第２センサを用いた第２物体検出結果を取得し、第１センサおよび第２センサのセンシング空間における領域について、第１物体検出結果と第２物体検出結果との一致度を判定し、判定することで得られた一致度に応じて、センシングデータを物体検出モデルの学習用データとして選択する。
【選択図】図９

Description

本開示は、学習用データとするセンシングデータを選択する情報処理方法、情報処理装置およびプログラムに関する。
特許文献１には、複数の種類のセンサのうち、あるセンサの検出結果を教師データとして別のセンサの出力から物体の認識を実行するための機械学習の教師あり学習データを自動的に収集するデータベース構築システムが開示されている。
特開２０１７−１０２８３８号公報
しかしながら、特許文献１の技術では、教師データとなるセンサの検出結果の精度又は正確性（以下、単に精度とも称する。）が悪い場合には当該センサの検出結果が学習データとして採用されないため、精度が低いセンサを用いて学習データを得ることが難しい。
そこで本開示では、精度が低いセンサによる検出結果を用いても所望の物体を検出するための学習用データを得ることができる情報処理方法、情報処理装置およびプログラムを提供することを目的とする。
本開示に係る情報処理方法は、第１センサのセンシングデータを入力とする物体検出モデルを用いた第１物体検出結果および第２センサを用いた第２物体検出結果を取得し、前記第１センサおよび前記第２センサのセンシング空間における特定の領域について、前記第１物体検出結果と前記第２物体検出結果との一致度を判定し、判定することで得られた前記一致度に応じて、前記センシングデータを前記物体検出モデルの学習用データとして選択する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示に係る情報処理方法、情報処理装置およびプログラムは、精度が低いセンサによる検出結果を用いても所望の物体を検出するための学習用データを得ることができる。
図１は、実施の形態１に係る情報処理システムの外観図を示す図である。 図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 図３は、実施の形態１に係る車両のハードウェア構成の一例を示すブロック図である。 図４は、実施の形態１に係る情報処理システムの機能構成の一例を示すブロック図である。 図５Ａは、第１物体検出結果の一例を示す図である。 図５Ｂは、第２物体検出結果の一例を示す図である。 図５Ｃは、第２物体検出結果の他の一例を示す図である。 図６は、カメラの撮像範囲とＬＩＤＡＲの検知範囲とが重複する領域を示す図である。 図７は、判定部による道路が存在する領域を判定する処理の具体例について説明するための概略図である。 図８は、道路が存在する領域を画像データが示す画像上に投影した概略図である。 図９は、判定部による歩道が存在する領域を判定する処理の具体例について説明するための概略図である。 図１０は、歩道が存在する領域を画像データが示す画像上に投影した概略図である。 図１１Ａは、第１物体検出結果と第２物体検出結果との一致度を判定する処理について説明するための図である。 図１１Ｂは、第１物体検出結果と第２物体検出結果との一致度を判定する処理について説明するための図である。 図１２は、情報処理システムにおける動作の一例を示すシーケンス図である。 図１３は、実施の形態２に係る車両の機能構成の一例を示す図である。 図１４は、実施の形態２に係る車両の動作の一例を示すフローチャートである。
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、データベース構築システムに関し、以下の問題が生じることを見出した。
近年、自動運転、監視カメラ、ロボットなどの分野において、カメラによって撮像された画像に対する、ディープラーニングなどの機械学習を用いた物体検出が活用されている。このような物体検出には、機械学習に用いる教師データが大量に必要となる。このため、さまざまなカメラで撮像された大量の画像が収集され、収集された画像に対して、人が正解を付与することで教師データを生成している。
しかしながら、人が画像に対して正解を付与することにはコストがかかるため、単純に得られた全ての大量の画像から教師データを生成することは好ましくない。また、コストを考慮することなく、大量の画像の全てに対して正解を付与した教師データが得られたとしても、得られた大量の教師データについて機械学習を実行する必要があるため、機械学習にかかる処理負荷が大きくなり、また、処理時間も長くなる。よって、効率よく機械学習を行うためには、大量の画像の中から機械学習に有効な画像を選択することが必要である。
ここで、機械学習には利用される大量の画像は、互いに異なるさまざまな状況で撮像された複数の画像により構成されること、つまり、多様性のある複数の画像により構成されることが必要である。言い換えると、互いに似た状況で撮像された複数の画像を用いるよりも、互いに異なる状況で撮像された複数の画像を用いる方が、効率のよい機械学習を実現するために効果的である。
上述したように、特許文献１のデータベース構築システムでは、第一のセンサの出力データに基づく信頼度の高い物体の認識データを教師データと、第二のセンサにより得られた出力データである入力データとを対応付けることで教師あり学習データを収集している。
しかしながら、第一のセンサの出力データに基づく物体の認識データの信頼度が高くない場合には、誤った教師データを生成するおそれがある。例えば、物体の認識データの信頼度は、第一のセンサの品質に依存するため、第一のセンサには一定以上の品質が要求されることとなる。つまり、従来技術では、精度が低いセンサによる検出結果を用いると、効率のよい機械学習を実現するための学習用データを得ることが難しい。従来技術では、認識データの信頼度が高くない場合は、当該認識データを教師データとして採用しないことも開示されている。しかし、これでは、精度が低いセンサが用いられたときに学習用データを得ることができなくなるおそれがある。
このような問題を解決するために、本開示の一態様に係る情報処理方法は、第１センサのセンシングデータを入力とする物体検出モデルを用いた第１物体検出結果および第２センサを用いた第２物体検出結果を取得し、前記第１センサおよび前記第２センサのセンシング空間における特定の領域について、前記第１物体検出結果と前記第２物体検出結果との一致度を判定し、判定することで得られた前記一致度に応じて、前記センシングデータを前記物体検出モデルの学習用データとして選択する。
このように、第１物体検出結果と第２物体検出結果との一致度から学習用データを選択することにより、学習用データの有効性は第１センサおよび第２センサそれぞれの精度、特に第２センサの精度の影響を受けにくくなる。他方で、当該一致度のみを用いた判定では、センサの特性の違い等により検出対象（言い換えると学習対象）外の物体が要因で学習用データが選択されるおそれがある。これに対し、本態様によれば、第１センサおよび第２センサのセンシング空間における特定の領域について、第１物体検出結果と第２物体検出結果との一致度を判定するため、例えば物体検出の検出対象が存在する確率の高い領域における、第１物体検出結果と第２物体検出結果との一致度を判定することができる。これにより、検出対象外の物体が要因で学習用データが選択されることを抑制することができる。したがって、精度が低いセンサによる検出結果を用いても、所望の物体を検出するための学習用データを得ることができる。
また、さらに、前記一致度に応じて、前記第２物体検出結果を前記物体検出モデルの学習のための正解データとして選択してもよい。
このため、情報処理方法では、第１物体検出結果および第２物体検出結果の一致度が所定値以上である場合に、画像データに対して第２物体検出結果を正解データとして自動的に付与することができる。
また、前記特定の領域は、さらに、前記物体検出モデルにおける検出対象の物体に応じた領域であってもよい。
このため、一致度の判定の対象とする第１物体検出結果と第２物体検出結果とを、物体検出モデルにおける検出対象の物体に応じた領域に含まれる第１物体検出結果および第２物体検出結果により確実に絞り込むことができる。これにより、検出対象外の物体が要因で学習用データが選択されることをより確実に抑制することができる。
また、前記検出対象の物体は、車両であり、前記検出対象の物体に応じた領域は、前記センシング空間において道路に対応する領域であってもよい。
このため、一致度の判定の対象とする第１物体検出結果と第２物体検出結果とを、検出対象である車両に応じた領域、つまり、道路が存在する領域に含まれる第１物体検出結果および第２物体検出結果に絞り込むことができる。これにより、車両以外の物体が要因で学習用データが選択されることをより確実に抑制することができる。
また、前記検出対象の物体は、人であり、前記検出対象の物体に応じた領域は、前記センシング空間において歩道に対応する領域であってもよい。
このため、一致度の判定の対象とする第１物体検出結果と第２物体検出結果とを、検出対象である人に応じた領域、つまり、歩道が存在する領域に含まれる第１物体検出結果および第２物体検出結果に絞り込むことができる。これにより、人以外の物体が要因で学習用データが選択されることをより確実に抑制することができる。
また、前記第１センサおよび前記第２センサは移動体に保持され、前記情報処理方法は、さらに、地図情報と前記移動体の位置を示す位置情報とを取得し、前記地図情報と前記位置情報とから道路又は歩道と判定される領域を前記特定の領域に決定してもよい。
これによれば、地図情報と移動体の位置を示す位置情報とから道路又は歩道と判定される領域を特定するため、検出対象としての車両または人が含まれる可能性が高い領域をより確実に特定することができる。
また、前記第１センサおよび前記第２センサは移動体に保持され、前記情報処理方法は、さらに、画像を取得し、取得した前記画像への画像認識を用いて道路又は歩道と判定される領域を前記特定の領域に決定してもよい。
これによれば、画像に対する画像認識を実行することで、道路又は歩道と判定される領域を特定するため、検出対象としての車両または人が含まれる可能性が高い領域を実際の状況に即して特定することができる。
また、前記学習用データとしての選択では、前記第１物体検出結果と前記第２物体検出結果とが一致しない又は前記一致度が低い場合、前記センシングデータを前記物体検出モデルの学習用データとして選択してもよい。
これによれば、物体検出モデルが学習できていない可能性が高いセンシングデータを学習用データとして選択することができる。
なお、これらの全般的または具体的な態様は、システム、装置、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、装置、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、本発明の一態様に係る情報処理方法、情報処理装置およびプログラムについて、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
以下、図１〜図９を用いて、実施の形態１を説明する。
［１−１．構成］
図１は、実施の形態１に係る情報処理システムの外観図を示す図である。
具体的には、図１において、情報処理装置１００、車両２００、通信ネットワーク３００および移動通信システムの基地局３１０が示されている。例えば、情報処理システム１は、これらの構成要素のうち、情報処理装置１００および車両２００を備える。なお、図１では、車両２００は、１台が示されているが、２台以上でもよく、１台以上であれば何台でもよい。
情報処理装置１００は、車両２００が備えるカメラ２０５により撮像された複数の画像を取得し、取得した複数の画像の中から機械学習のための学習用データを選択する装置である。情報処理装置１００は、例えば、サーバである。
車両２００は、カメラ２０５およびＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）２０６を備え、カメラ２０５およびＬＩＤＡＲ２０６により得られた画像データを用いて得られる物体検出または物体認識の結果を用いて、自動運転または運転支援を行う車両２００である。なお、車両２００は、カメラ２０５およびＬＩＤＡＲ２０６を備えていればよく、必ずしも自動運転または運転支援を行う機能を有していなくてもよい。また、車両２００は、移動体の一例であり、車両２００以外の移動体であってもよい。
通信ネットワーク３００は、インターネットなどの汎用のネットワークであってもよいし、専用のネットワークであってもよい。基地局３１０は、例えば、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、または、ＬＴＥ（登録商標）などのような移動通信システムで利用される基地局である。
次に、情報処理装置１００のハードウェア構成の具体例について図２を用いて説明する。
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
図２に示すように、情報処理装置１００は、ハードウェア構成として、プロセッサ１０１と、メインメモリ１０２と、ストレージ１０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０４とを備える。
プロセッサ１０１は、ストレージ１０３等に記憶された制御プログラムを実行するプロセッサである。
メインメモリ１０２は、プロセッサ１０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
ストレージ１０３は、制御プログラム、または、画像データ、点群データなどの各種データを保持する不揮発性の記憶領域である。
通信ＩＦ１０４は、通信ネットワークを介して車両２００と通信する通信インタフェースである。通信ＩＦ１０４は、例えば、有線ＬＡＮインタフェースである。なお、通信ＩＦ１０４は、無線ＬＡＮインタフェースであってもよい。また、通信ＩＦ１０４は、ＬＡＮインタフェースに限らずに、通信ネットワークとの通信接続を確立できる通信インタフェースであれば、どのような通信インタフェースであってもよい。
次に、車両２００のハードウェア構成の具体例について図３を用いて説明する。
図３は、実施の形態１に係る車両のハードウェア構成の一例を示すブロック図である。
図３に示すように、車両２００は、ハードウェア構成として、プロセッサ２０１と、メインメモリ２０２と、ストレージ２０３と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０４と、カメラ２０５と、ＬＩＤＡＲ２０６と、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）２０７と、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）２０８とを備える。
プロセッサ２０１は、ストレージ２０３等に記憶された制御プログラムを実行するプロセッサである。プロセッサ２０１は、車両２００の自動運転または運転支援を行うためのＥＣＵに用いられるプロセッサを含んでいてもよい。
メインメモリ２０２は、プロセッサ２０１が制御プログラムを実行するときに使用するワークエリアとして用いられる揮発性の記憶領域である。
ストレージ２０３は、制御プログラム、または、画像データ、点群データなどの各種データを保持する不揮発性の記憶領域である。
通信ＩＦ２０４は、通信ネットワーク３００を介して情報処理装置１００と通信する通信インタフェースである。つまり、通信ＩＦ２０４は、通信ネットワーク３００に通信接続できる通信インタフェースであればよい。具体的には、通信ＩＦ２０４は、移動通信システムの基地局３１０との通信接続により、通信ネットワーク３００と通信接続する通信インタフェースである。通信ＩＦ２０４は、例えば、第３世代移動通信システム（３Ｇ）、第４世代移動通信システム（４Ｇ）、または、ＬＴＥ（登録商標）などのような移動通信システムで利用される通信規格に適合した無線通信インタフェースであってもよい。また、通信ＩＦ２０４は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）インタフェースであってもよく、図示しないルータ（例えば、モバイル無線ＬＡＮルータ）との通信接続により、通信ネットワーク３００と通信接続する通信インタフェースであってもよい。
カメラ２０５は、車両２００に保持され、レンズなどの光学系およびイメージセンサを有する光学センサであり、第１センサの一例である。
ＬＩＤＡＲ２０６は、車両２００に保持され、車両２００の水平方向において３６０度全方位、および、垂直方向において所定の角度（例えば３０度）の角度範囲の検出範囲にある物体との距離を検出するレーザセンサである。ＬＩＤＡＲ２０６は、距離センサであり、第２センサの一例である。ＬＩＤＡＲ２０６は、周囲にレーザを発し、周囲の物体に反射されたレーザを検知することで、ＬＩＤＡＲ２０６から物体までの距離を計測する。ＬＩＤＡＲ２０６は、例えば、センチメートルオーダーで当該距離を計測する。このように、ＬＩＤＡＲ２０６は、車両２００の周囲の地形表面の複数の点それぞれの３次元座標を検出する。つまり、ＬＩＤＡＲ２０６は、周囲の地形表面の複数の３次元座標を検出することで、車両２００の周囲の物体を含む地形の３次元形状を検出する。このように、ＬＩＤＡＲ２０６では、複数の点の３次元座標で構成される点群データであって、車両２００の周囲の物体を含む地形の３次元形状を示す点群データが得られる。なお、第２センサは、ＬＩＤＡＲに限らずに、ミリ波レーダ、超音波センサ、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ステレオカメラなどのような距離センサであってもよい。
ＩＭＵ２０７は、加速度センサおよびジャイロセンサを含むセンサ機器である。加速度センサは、車両２００の異なる３方向のそれぞれにかかる加速度を検出するセンサである。ジャイロセンサは、車両２００の異なる３方向を軸とした３軸周りそれぞれの回転における角速度を検出するセンサである。
ＧＮＳＳ２０８は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星を含む人工衛星から当該ＧＮＳＳ２０８の位置を示す情報を受信する。つまり、ＧＮＳＳ２０８は、車両２００の現在位置を検出する。
次に、情報処理システム１の機能構成について図４を用いて説明する。
図４は、実施の形態１に係る情報処理システムの機能構成の一例を示すブロック図である。なお、図４では、図１における通信ネットワーク３００および基地局３１０を省略している。
まず、車両２００の機能構成について説明する。
車両２００は、機能構成として、検出部２１０と、記憶部２２０と、送信部２３０とを備える。
検出部２１０は、車両２００の第１センサとしてのカメラ２０５によりセンシングされたセンシングデータである画像データと、車両２００の第２センサとしてのＬＩＤＡＲ２０６によりセンシングされたセンシングデータである点群データと、を検出する。
検出部２１０は、複数の異なるタイミングでカメラ２０５により撮像された複数の画像データを検出する。例えば、複数の画像データは、カメラ２０５が撮像することにより得られた動画像または複数の静止画像を示すデータである。検出部２１０は、複数の異なるタイミングでＬＩＤＡＲ２０６により検出された複数の点群データを検出する。ＬＩＤＡＲ２０６により得られる点群データは、複数の点のそれぞれを示す３次元座標に時刻が対応付けられていてもよいし、ＬＩＤＡＲ２０６のレーザが１周または複数周するなど所定の単位で得られる点群毎に時刻が対応付けられてもよいし、複数の区切られた時間単位で取得された点群毎に時刻が対応付けられてもよい。
検出部２１０は、複数の画像データを、複数の画像データを構成する複数のフレーム、または、複数の静止画像のそれぞれと、当該フレームまたは当該静止画像を撮像した時刻である撮像タイミングとを対応付けて記憶部２２０に記憶させる。また、検出部２１０は、複数の点群データのそれぞれと、当該点群データを検出した時刻である検出タイミングとを対応付けて記憶部２２０に記憶させる。複数の画像データと、複数の点群データとの、検出タイミングに応じた対応付けでは、一方のデータが得られたタイミングに最も近いタイミングで得られた他方のデータとを対応付けてもよいし、所定の時間間隔において検出された複数の画像データと、複数の点群データとを対応付けてもよい。
検出部２１０は、例えば、カメラ２０５およびＬＩＤＡＲ２０６などにより実現される。
記憶部２２０は、検出部２１０により検出された複数の画像データを、複数の画像データのそれぞれの撮像タイミングと共に記憶する。また、記憶部２２０は、検出部２１０により検出された複数の点群データを、複数の点群データのそれぞれの検出タイミングと共に記憶する。記憶部２２０は、例えば、ストレージ２０３により実現される。
送信部２３０は、記憶部２２０に記憶された複数の画像データおよび複数の点群データを情報処理装置１００に送信する。送信部２３０は、例えば、１日毎、１週間毎などのように、定期的に検出部２１０により検出された複数の画像データおよび複数の点群データを情報処理装置１００に送信してもよい。また、送信部２３０は、例えば、車両２００がドライバーの自宅などの当該車両２００の保管場所に駐車されているときに、駐車までの間の走行により得られた複数の画像データおよび複数の点群データを、情報処理装置に送信してもよい。また、送信部２３０は、このときに、まだ情報処理装置１００に送信していない複数の画像データおよび複数の点群データがあれば、当該複数の画像データおよび当該複数の点群データを、情報処理装置１００に送信してもよい。
送信部２３０は、例えば、プロセッサ２０１、メインメモリ２０２、ストレージ２０３、通信ＩＦ２０４などにより実現される。
次に、情報処理装置１００の機能構成について説明する。
情報処理装置１００は、機能構成として、取得部１１０と、記憶部１２０と、判定部１３０と、選択部１５０とを備える。
取得部１１０は、複数の画像データおよび複数の点群データを車両２００から取得する。取得部１１０は、複数の画像データに対して、記憶部１２０に記憶されている物体検出モデルを用いた検出処理を行うことで第１物体検出結果を取得する。また、取得部１１０は、複数の点群データのそれぞれに対して所定の処理を実行することにより得られた結果を、第２センサを用いた第２物体検出結果として取得する。取得部１１０は、例えば、所定の処理を実行することで、複数の点群データから地面を検出した点群を除いた後の点群を１以上の物体毎に分離した点群データを、第２物体検出結果として取得する。なお、第２物体検出結果は、１以上の物体毎に分離した点群データが占める３次元上の領域、または、１以上の物体毎に分離した点群データを画像データが示す画像に投影したときの２次元上の領域により構成されてもよい。また、第２物体検出結果は、点群データに所定の処理を実行することにより得られた結果に限らずに、点群データそのものであってもよい。
ここで、取得部１１０による第１物体検出結果および第２物体検出結果を取得する処理の具体例について図５Ａ〜図５Ｃを用いて説明する。
図５Ａ〜図５Ｃは、第１物体検出結果および第２物体検出結果の一例を示す図である。図５Ａは、画像データが示す画像４００における第１物体検出結果の一例を示す図である。図５Ｂは、画像データが示す画像４００における第２物体検出結果の一例を示す図である。図５Ｃは、画像データが示す画像４００における第２物体検出結果の他の一例を示す図である。図５Ｂおよび図５Ｃでは、第２物体検出結果は、説明の便宜上、第２物体検出結果である点群データを画像４００上に投影した図で示しているが、実際には、画像４００上に投影されていない点群データである。また、図５Ｂは、精度の高いセンサを用いて検出された結果の一例を示し、図５Ｃは、図５Ｂで示される第２物体検出結果が得られたセンサよりも精度の低いセンサを用いて検出された結果の一例を示す。なお、図５Ｂの第２物体検出結果が得られたセンサと、図５Ｃの第２物体検出結果が得られたセンサとは、いずれかが第２センサとして車両２００に配置されていればよい。図５Ｂおよび図５Ｃを示しているのは、精度の高いセンサによる第２物体検出結果を用いた場合と、精度の低いセンサによる第２物体検出結果を用いた場合とを比較するためである。
図５Ａに示すように、取得部１１０は、画像４００に対して物体検出モデルを用いた検出処理を行うことで画像４００上の物体を検出し、画像４００上における物体が位置する領域を示す枠などの情報を、複数の第１物体検出結果４１１〜４１４として取得する。また、図５Ｂに示すように、取得部１１０は、精度の高いセンサにより取得された点群データに対して所定の処理を実行することで、複数の第２物体検出結果４２１〜４２６を取得する。また、図５Ｃに示すように、取得部１１０は、精度の低いセンサにより取得された点群データに対して所定の処理を実行することで、複数の第２物体検出結果４３１〜４３９を取得する。
なお、取得部１１０は、例えば、プロセッサ１０１、メインメモリ１０２、ストレージ１０３、通信ＩＦ１０４などにより実現される。
記憶部１２０は、物体を検出する検出処理に用いられる物体検出モデルを記憶している。物体検出モデルは、検出処理に用いられるだけでなく、物体がどんな物体であるかを認識する認識処理に用いられる物体認識モデルであってもよい。記憶部１２０は、例えば、ストレージ１０３などにより実現される。
判定部１３０は、カメラ２０５およびＬＩＤＡＲ２０６のセンシング空間における領域について、第１物体検出結果と第２物体検出結果との一致度を判定する判定処理を行う。まず、判定部１３０は、例えば、図６に示すように、上記センシング空間において、カメラ２０５が撮像可能な撮像範囲Ｒ１と、ＬＩＤＡＲ２０６が検知可能な検知範囲Ｒ２とが重複する領域Ｒ３を、判定処理に用いる特定の領域として特定する。
なお、図６は、カメラの撮像範囲とＬＩＤＡＲの検知範囲とが重複する領域を示す図である。
また、判定部１３０は、重複する領域のうち、記憶部１２０に記憶されている物体検出モデルにおける検出対象の物体に応じた領域を、判定処理に用いる特定の領域として特定してもよい。判定処理に用いる特定の領域は、例えば、車両２００から取得した画像データが示す画像における２次元状の領域である。
検出対象の物体は、例えば、車両である。つまり、検出対象の物体は、車両２００の周囲の車両である。この場合、検出対象の物体に応じた領域は、センシング空間において道路が存在する領域である。
図７は、判定部による道路が存在する領域を判定する処理の具体例について説明するための概略図である。図７は、道路が交差点である場合の一例であり、上方から車両および道路を見た場合の図である。
図７に示すように、検出対象の物体に応じた領域を、道路が存在する領域とする場合、判定部１３０は、車両２００が存在する位置から車両２００の前方に一定の領域５０１を道路が存在する領域であると判定してもよい。なお、ここで、車両２００の前方とは、例えば、車両２００の走行方向における前方である。
また、この場合、判定部１３０は、地図情報と車両２００の位置を示す位置情報とを取得し、取得した地図情報で示される道路の位置と位置情報で示される車両２００の位置とから道路が存在する領域５０２を判定してもよい。なお、情報処理装置１００の記憶部１２０は、地図情報を記憶しており、取得部１１０は、記憶部１２０から地図情報を取得し、車両２００から車両２００のＧＮＳＳ２０８により検出された車両２００の位置を示す位置情報を取得する。また、取得部１１０は、外部の情報処理装置から地図情報を取得してもよい。
なお、図７では、道路が交差点である場合の例を示しているため、地図情報と位置情報とで特定される、道路が存在する領域５０２の形状はクロス状の形状であるが、道路が交差点でない場合には前後方向に延びる直線状の形状である。
図８は、道路が存在する領域を画像データが示す画像上に投影した概略図である。
判定部１３０は、図８に示すように、道路が存在する領域として特定した、前方に一定の領域５０１を、画像データが示す画像４００上に投影することで、画像４００上において道路が存在する領域４４０を特定してもよい。
また、判定部１３０は、取得部１１０により取得された画像データへの画像認識を用いて道路が存在する領域を判定してもよい。これにより、判定部１３０は、図８に示すような、画像４００上における、道路が存在する領域４４０を特定してもよい。
判定部１３０は、上記の３つの方法のうちの２以上を組み合わせることにより、道路が存在する領域を判定してもよい。
検出対象の物体は、例えば、人である。この場合、検出対象の物体に応じた領域は、センシング空間において歩道が存在する領域である。
図９は、判定部による歩道が存在する領域を判定する処理の具体例について説明するための概略図である。図９は、道路が交差点である場合の一例であり、上方から車両および歩道を見た場合の図である。
図９に示すように、検出対象の物体に応じた領域を、歩道が存在する領域とする場合、判定部１３０は、車両２００が存在する位置から車両２００の両側方から前方に向かって延びる２本の一定の領域５１１を歩道が存在する領域であると判定してもよい。なお、ここで、車両２００の側方とは、例えば、車両２００の走行方向における左右の両側方である。また、この場合、判定部１３０は、地図情報と車両２００の位置を示す位置情報とを取得し、取得した地図情報で示される歩道の位置と位置情報で示される車両２００の位置とから歩道が存在する領域５１２を判定してもよい。なお、情報処理装置１００の記憶部１２０は、地図情報を記憶しており、取得部１１０は、記憶部１２０から地図情報を取得し、車両２００から車両２００のＧＮＳＳ２０８により検出された車両２００の位置を示す位置情報を取得する。また、取得部１１０は、外部の情報処理装置から地図情報を取得してもよい。
なお、図９では、道路が交差点である場合の例を示しているため、地図情報と位置情報とで特定される、歩道が存在する領域５１２の形状は４つのＬ字状の形状であるが、道路が交差点でない場合には２本の一定の領域５１１と同様に前後方向に延びる直線状の形状である。
図１０は、歩道が存在する領域を画像データが示す画像上に投影した概略図である。なお、図１０における画像データが示す画像６００は、図５Ａ〜図５Ｃにおける画像データが示す画像４００とは異なる画像である。
判定部１３０は、図１０に示すように、特定した、歩道が存在する２本の一定の領域５１１を、画像データが示す画像６００上に投影することで、画像６００上において歩道が存在する領域６０１を特定してもよい。
また、判定部１３０は、取得部１１０により取得された画像データへの画像認識を用いて歩道が存在する領域を判定してもよい。これにより、判定部１３０は、図１０に示すような、画像６００上における、歩道が存在する領域６０１を特定してもよい。
判定部１３０は、上記の３つの方法のうち２以上を組み合わせることにより、歩道が存在する領域を判定してもよい。
なお、検出対象の物体に応じた領域は、センシング空間において道路が存在する領域である、または、歩道が存在する領域であるとしたが、センシング空間において道路または歩道が存在する領域であってもよい。
判定部１３０は、判定処理に用いる特定の領域を特定した後で、特定した領域における、第１物体検出結果と第２物体検出結果との一致度を判定する。具体的には、判定部１３０は、取得した複数の画像データのそれぞれについて、当該画像データが示す画像のうちの特定した領域において、当該画像データが撮像されたタイミングにおいて検出された点群データを当該画像上の対応する２次元座標に投影する。そして、判定部１３０は、点群データを画像上に投影した複数の２次元座標である第２物体検出結果と、画像に対して検出処理を行うことで得られた画像上における物体が検出された領域である第１物体検出結果とを比較し、第１物体検出結果に第２物体検出結果が重なっている重なり度合い（つまり、重なり率）を一致度として判定する。
図１１Ａおよび図１１Ｂは、第１物体検出結果と第２物体検出結果との一致度を判定する処理について説明するための図である。図１１Ａは、図５Ａで示す第１物体検出結果と、図５Ｂで示す第２物体検出結果とを画像４００の領域４０１で重畳させた図である。図１１Ｂは、図５Ａで示す第１物体検出結果と、図５Ｃで示す第２物体検出結果とを画像４００の領域４０１で重畳させた図である。なお、画像４００の領域４０１とは、画像４００全体が占める領域である。
図１１Ａに示すように、画像４００上の領域４４０において、複数の第１物体検出結果４１１〜４１４と、複数の第２物体検出結果４２１〜４２４とは、互いに重なっていることが分かる。判定部１３０は、例えば、第２物体検出結果が、第１物体検出結果に対する所定の割合（例えば５割など）より大きく重なっている場合に、両者が重なっていると判定する。一方で、画像４００上の領域４４０には、複数の第１物体検出結果と重なっていない複数の第２物体検出結果４２５、４２６があることも分かる。このため、図１１Ａの場合、第１物体検出結果では検出されていない物体が、第２物体検出結果には２つ含まれることが分かる。
また、図１１Ｂに示すように、画像４００上の領域４４０において、複数の第１物体検出結果４１１〜４１４と、複数の第２物体検出結果４３１〜４３３とは、互いに重なっていることが分かる。一方で、画像４００上の領域４４０には、複数の第１物体検出結果と重なっていない複数の第２物体検出結果４３４〜４３６があることもわかる。なお、第２物体検出結果４３４は、領域４４０と重なっている領域が、当該第２物体検出結果４３４に占める割合が所定の割合より少ないため、領域４４０と重なっていない他の第２物体検出結果４３７〜４３９と同様に除外されもよい。これにより、図１１Ｂの場合も、第１物体検出結果では検出されていない物体が、第２物体検出結果には２つ含まれることが分かる。
判定部１３０は、例えば、全ての第１物体検出結果の数に対する、第２物体検出結果と重なっている第１物体検出結果の数の割合を一致度として判定してもよいし、第１物体検出結果に重なっている、第２物体検出結果を構成する点群の数を一致度として判定してもよいし、第１物体検出結果に重なっている、第２物体検出結果を構成する点群の数を、当該第１物体検出結果を構成する画素の数で除して得られた値を一致度として判定してもよい。全ての第１物体検出結果の数に対する、第２物体検出結果と重なっている第１物体検出結果の数の割合を一致度とする場合、図１１Ａの例と、図１１Ｂの例とでは、一致度は互いに同じになる。
このように、検出対象の物体が存在する確率が高い領域４４０に絞り込んで、第１物体検出結果および第２物体検出結果の一致度を判定するため、物体検出に関係しない第２物体検出結果４３４、４３７〜４３９を一致度の判定対象から除外することができる。よって、センサの精度の高い低いにかかわらず、ほぼ同様の一致度を得ることができる。
判定部１３０は、例えば、プロセッサ１０１、メインメモリ１０２、ストレージ１０３などにより実現される。
選択部１４０は、判定部１３０による判定により得られた一致度に応じて、画像データを物体検出モデルの学習用データとして選択する。選択部１４０は、具体的には、第１物体検出結果と第２物体検出結果とが一致しない場合、または、判定部１３０で判定された一致度が低い場合、センシングデータとしての画像データを物体検出モデルの学習用データとして選択する。選択部１４０は、例えば、判定することで得られた一致度が所定値未満の画像データを物体検出モデルの学習用データとして選択し、当該一致度が所定値以上の画像データを学習用データとして選択しなくてもよい。これにより、選択部１４０は、第１物体検出結果と第２物体検出結果とが一致していない度合いが大きい画像データを学習用データとして選択するため、第１物体検出結果および第２物体検出結果の少なくともいずれかに検出結果に誤りがある場合の画像データを学習用データとして選択することができる。よって、効率のよい機械学習を実行するための画像データを選択することができる。
また、選択部１４０は、一致度に応じて、第２物体検出結果を物体検出モデルの学習のための正解データとして選択してもよい。つまり、選択部１４０は、判定することで得られた一致度が所定値以上の点群データによる第２物体検出結果を正解データとして選択し、選択した第２物体検出結果を画像データに付与してもよい。これにより、情報処理装置１００は、第１物体検出結果および第２物体検出結果の一致度が所定値以上である場合に、画像データに対して第２物体検出結果を正解データとして自動的に付与することができる。
選択部１４０は、例えば、プロセッサ１０１、メインメモリ１０２、ストレージ１０３などにより実現される。
［１−２．動作］
次に、実施の形態１に係る情報処理システム１の動作について説明する。
図１２は、情報処理システムにおける動作の一例を示すシーケンス図である。
まず、車両２００では、検出部２１０は、車両２００のカメラ２０５によりセンシングされたセンシングデータである画像データと、車両２００のＬＩＤＡＲ２０６によりセンシングされたセンシングデータである点群データと、を検出する（Ｓ１１）。検出部２１０により検出された画像データおよび点群データは、記憶部２２０に記憶される。
次に、車両２００の送信部２３０は、記憶部２２０に記憶されている画像データおよび点群データを、通信ネットワーク３００を介して情報処理装置１００に送信する（Ｓ１２）。
情報処理装置１００では、取得部１１０が車両２００により送信された画像データおよび点群データを取得する（Ｓ２１）。
次に、情報処理装置１００の取得部１１０は、画像データに対して記憶部１２０に記憶されている物体検出モデルを用いた検出処理を実行することで第１物体検出結果を取得し、点群データに対して所定の処理を実行することで第２物体検出結果を取得する（Ｓ２２）。
そして、情報処理装置１００の判定部１３０は、カメラ２０５およびＬＩＤＡＲ２０６のセンシング空間における領域について、第１物体検出結果と第２物体検出結果との一致度を判定する（Ｓ２３）。
その後、情報処理装置１００の選択部１４０は、判定部１３０により判定された一致度に応じて、画像データを物体検出モデルの学習用データとして選択する（Ｓ２４）。
なお、ステップＳ１１、Ｓ１２、Ｓ２１〜Ｓ２４の各処理部による処理の詳細は、図４〜図１１Ｂを用いた車両２００の機能構成、および、情報処理装置１００の機能構成の説明において説明しているため、省略する。
［１−３．効果など］
本実施の形態に係る情報処理方法は、カメラ２０５の画像データを入力とする物体検出モデルを用いた第１物体検出結果、および、ＬＩＤＡＲ２０６を用いた第２物体検出結果を取得し、カメラ２０５およびＬＩＤＡＲ２０６のセンシング空間における特定の領域について、第１物体検出結果と第２物体検出結果との一致度を判定し、判定することで得られた一致度に応じて、画像データを物体検出モデルの学習用データとして選択する。
これによれば、カメラ２０５およびＬＩＤＡＲ２０６のセンシング空間における領域Ｒ３について、第１物体検出結果と第２物体検出結果との一致度を判定するため、物体検出の検出対象が存在する確率の高い領域における、第１物体検出結果と第２物体検出結果との一致度を判定することができる。これにより、検出対象外の物体が要因で学習用データが選択されることを抑制することができる。したがって、精度が低い第２センサによる検出結果を用いても、所望の物体を検出するための学習用データを容易に得ることができる。
また、本実施の形態に係る情報処理方法において、特定の領域は、さらに、物体検出モデルにおける検出対象の物体に応じた領域であってもよい。このため、一致度の判定の対象とする第１物体検出結果と第２物体検出結果とを、物体検出モデルにおける検出対象の物体に応じた領域に含まれる第１物体検出結果および第２物体検出結果により確実に絞り込むことができる。これにより、検出対象外の物体が要因で学習用データが選択されることをより確実に抑制することができる。
また、本実施の形態に係る情報処理方法において、検出対象の物体は、車両であり、検出対象の物体に応じた領域は、センシング空間において道路に対応する領域であってもよい。このため、一致度の判定の対象とする第１物体検出結果と第２物体検出結果とを、検出対象である車両に応じた領域、つまり、道路が存在する領域に含まれる第１物体検出結果および第２物体検出結果に絞り込むことができる。これにより、車両以外の物体が要因で学習用データが選択されることをより確実に抑制することができる。
また、本実施の形態に係る情報処理方法において、検出対象の物体は、人であり、検出対象の物体に応じた領域は、センシング空間において歩道に対応する領域であってもよい。このため、一致度の判定の対象とする第１物体検出結果と第２物体検出結果とを、検出対象である人に応じた領域、つまり、歩道が存在する領域に含まれる第１物体検出結果および第２物体検出結果に絞り込むことができる。これにより、人以外の物体が要因で学習用データが選択されることをより確実に抑制することができる。
また、本実施の形態に係る情報処理方法において、カメラ２０５およびＬＩＤＡＲ２０６は車両２００に保持され、当該情報処理方法は、さらに、地図情報と車両２００の位置を示す位置情報とを取得し、地図情報と位置情報とから道路又は歩道と判定される領域を判定処理に用いる特定の領域に決定してもよい。これによれば、地図情報と車両２００の位置を示す位置情報とから道路又は歩道と判定される領域を特定するため、検出対象としての車両または人が含まれる可能性が高い領域をより確実に特定することができる。
また、本実施の形態に係る情報処理方法において、カメラ２０５およびＬＩＤＡＲ２０６は車両２００に保持され、当該情報処理方法は、さらに、画像データを取得し、取得した画像データが示す画像への画像認識を用いて道路又は歩道と判定される領域を判定処理に用いる特定の領域に決定してもよい。これによれば、画像に対する画像認識を実行することで、道路又は歩道と判定される領域を特定するため、検出対象としての車両または人が含まれる可能性が高い領域を実際の状況に即して特定することができる。
また、本実施の形態に係る情報処理方法において、学習用データの選択では、第１物体検出結果と第２物体検出結果とが一致しない又は一致度が低い場合、センシングデータとしての画像データを物体検出モデルの学習用データとして選択する。これによれば、物体検出モデルが学習できていない可能性が高いセンシングデータを学習用データとして選択することができる。
（実施の形態２）
次に、図１３および図１４を用いて実施の形態２を説明する。
実施の形態１に係る情報処理装置１００は、車両２００の外部のサーバであるとしたが、これに限らずに、車両２００Ａに搭載されていてもよい。
図１３は、実施の形態２に係る車両の機能構成の一例を示す図である。
図１３に示すように、車両２００Ａは、検出部２１０と、情報処理装置１００とを備える。検出部２１０は、実施の形態１と同様であるため説明を省略する。情報処理装置１００Ａは、検出部２１０から画像データおよび点群データを直接取得する点が実施の形態１に係る情報処理装置１００と異なり、情報処理装置１００Ａのその他の構成は、情報処理装置１００と同様であるため説明を省略する。
図１４は、実施の形態２に係る車両の動作の一例を示すフローチャートである。
実施の形態２に係る車両２００Ａの動作は、実施の形態１に係る情報処理システム１の動作におけるステップＳ１２が省略されたものと同様であるので詳細な説明を省略する。
本実施の形態に係る情報処理装置１００Ａは、車両２００Ａにおいて、撮像された複数の画像データから学習用データとする画像データを選択するため、例えば、選択した画像データのみを外部のサーバなどの情報処理装置に送信することができる。このため、車両２００Ａから外部のサーバへの通信量を削減することができ、通信負荷を低減することができる。
［３．変形例］
上記実施の形態１または２に係る情報処理装置１００、１００Ａでは、第１センサとしてカメラ２０５を用いているが、これに限らずに、第２センサとして採用される距離センサと異なる距離センサによる検出データを用いてもよい。また、情報処理装置１００、１００Ａは、センシングデータとして画像データおよびＬＩＤＡＲの検出データの両方を採用してもよい。また、センシングデータとしては、他の光学センサによる検出データが採用されてもよい。なお、第１センサに距離センサによる検出データが用いられる場合、取得部１１０は、車両２００に備えられるカメラであって、第１センサではないカメラによって撮像された画像データを取得し、判定部１３０が、画像データが示す画像に対して判定処理に用いる特定の領域を特定するための画像認識を実行してもよい。
また、第２物体検出結果は、点群データに対して所定の処理を実行することで得られた結果としたが、これに限らずに、点群データから物体を検出するための物体検出モデルを用いて、点群データに対して検出処理を実行することで得られた結果であってもよい。また、第２センサがＬＩＤＡＲではなく、他の距離センサである場合には、他の距離センサにより得られたデータから物体を検出するための物体検出モデルを用いて、他の距離センサにより得られたデータに対して検出処理を実行することで得られた結果であってもよい。
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報処理方法および情報処理装置などを実現するソフトウェアは、次のようなプログラムである。
すなわち、このプログラムは、コンピュータに、第１センサのセンシングデータを入力とする物体検出モデルを用いた第１物体検出結果および第２センサを用いた第２物体検出結果を取得し、前記第１センサおよび前記第２センサのセンシング空間における特定の領域について、前記第１物体検出結果と前記第２物体検出結果との一致度を判定し、判定することで得られた前記一致度に応じて、前記センシングデータを前記物体検出モデルの学習用データとして選択する情報処理方法を実行させる。
以上、本発明の一つまたは複数の態様に係る情報処理方法、情報処理装置およびプログラムについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、精度が低いセンサによる検出結果を用いても所望の物体を検出するための学習用データを得ることができる情報処理方法、情報処理装置およびプログラムなどとして有用である。
１ 情報処理システム
１００、１００Ａ 情報処理装置
１０１、２０１ プロセッサ
１０２、２０２ メインメモリ
１０３、２０３ ストレージ
１０４、２０４ 通信ＩＦ
１１０ 取得部
１２０ 記憶部
１３０ 判定部
１４０ 選択部
２００、２００Ａ 車両
２０５ カメラ
２０６ ＬＩＤＡＲ
２０７ ＩＭＵ
２０８ ＧＮＳＳ
２１０ 検出部
２２０ 記憶部
２３０ 送信部
３００ 通信ネットワーク
３１０ 基地局
４００ 画像
４０１ 画像の領域
４１１〜４１４ 第１物体検出結果
４２１〜４２６、４３１〜４３９ 第２物体検出結果
４４０、５０２ 道路が存在する領域
５０１、５１１ 一定の領域
５１２、６０１ 歩道が存在する領域
Ｒ１ 撮像範囲
Ｒ２ 検知範囲
Ｒ３ 重複する領域

Claims (10)

  1. 第１センサのセンシングデータを入力とする物体検出モデルを用いた第１物体検出結果および第２センサを用いた第２物体検出結果を取得し、
    前記第１センサおよび前記第２センサのセンシング空間における特定の領域について、前記第１物体検出結果と前記第２物体検出結果との一致度を判定し、
    判定することで得られた前記一致度に応じて、前記センシングデータを前記物体検出モデルの学習用データとして選択する
    情報処理方法。
  2. さらに、
    前記一致度に応じて、前記第２物体検出結果を前記物体検出モデルの学習のための正解データとして選択する
    請求項１に記載の情報処理方法。
  3. 前記特定の領域は、さらに、前記物体検出モデルにおける検出対象の物体に応じた領域である
    請求項１または２に記載の情報処理方法。
  4. 前記検出対象の物体は、車両であり、
    前記検出対象の物体に応じた領域は、前記センシング空間において道路に対応する領域である
    請求項３に記載の情報処理方法。
  5. 前記検出対象の物体は、人であり、
    前記検出対象の物体に応じた領域は、前記センシング空間において歩道に対応する領域である
    請求項３または４に記載の情報処理方法。
  6. 前記第１センサおよび前記第２センサは移動体に保持され、
    前記情報処理方法は、さらに、
    地図情報と前記移動体の位置を示す位置情報とを取得し、
    前記地図情報と前記位置情報とから道路又は歩道と判定される領域を前記特定の領域に決定する
    請求項１から５のいずれか１項に記載の情報処理方法。
  7. 前記第１センサおよび前記第２センサは移動体に保持され、
    前記情報処理方法は、さらに、
    画像を取得し、
    取得した前記画像への画像認識を用いて道路又は歩道と判定される領域を前記特定の領域に決定する
    請求項１から６のいずれか１項に記載の情報処理方法。
  8. 前記学習用データとしての選択では、前記第１物体検出結果と前記第２物体検出結果とが一致しない又は前記一致度が低い場合、前記センシングデータを前記物体検出モデルの学習用データとして選択する
    請求項１から７のいずれか１項に記載の情報処理方法。
  9. 第１センサのセンシングデータを入力とする物体検出モデルを用いた第１物体検出結果および第２センサを用いた第２物体検出結果を取得する取得部と、
    前記第１センサおよび前記第２センサのセンシング空間における特定の領域について、前記第１物体検出結果と前記第２物体検出結果との一致度を判定する判定部と、
    判定することで得られた前記一致度に応じて、前記センシングデータを前記物体検出モデルの学習用データとして選択する選択部と、を備える
    情報処理装置。
  10. 第１センサのセンシングデータを入力とする物体検出モデルを用いた第１物体検出結果および第２センサを用いた第２物体検出結果を取得し、
    前記第１センサおよび前記第２センサのセンシング空間における特定の領域について、前記第１物体検出結果と前記第２物体検出結果との一致度を判定し、
    判定することで得られた前記一致度に応じて、前記センシングデータを前記物体検出モデルの学習用データとして選択する、
    情報処理方法をコンピュータに実行させるためのプログラム。
JP2018145357A 2018-08-01 2018-08-01 情報処理方法、情報処理装置およびプログラム Active JP7082545B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018145357A JP7082545B2 (ja) 2018-08-01 2018-08-01 情報処理方法、情報処理装置およびプログラム
US16/515,385 US11915099B2 (en) 2018-08-01 2019-07-18 Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data
CN201910670379.XA CN110795984A (zh) 2018-08-01 2019-07-24 信息处理方法、信息处理装置及程序记录介质
EP19188504.5A EP3605390A1 (en) 2018-08-01 2019-07-26 Information processing method, information processing apparatus, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018145357A JP7082545B2 (ja) 2018-08-01 2018-08-01 情報処理方法、情報処理装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2020021326A true JP2020021326A (ja) 2020-02-06
JP7082545B2 JP7082545B2 (ja) 2022-06-08

Family

ID=67439020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018145357A Active JP7082545B2 (ja) 2018-08-01 2018-08-01 情報処理方法、情報処理装置およびプログラム

Country Status (4)

Country Link
US (1) US11915099B2 (ja)
EP (1) EP3605390A1 (ja)
JP (1) JP7082545B2 (ja)
CN (1) CN110795984A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021165910A (ja) * 2020-04-06 2021-10-14 トヨタ自動車株式会社 データ送信装置およびデータ送信方法
JP6960643B1 (ja) * 2020-09-24 2021-11-05 株式会社センシンロボティクス 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
WO2022097426A1 (ja) * 2020-11-04 2022-05-12 株式会社日立製作所 状態判定装置、状態判定システム及び状態判定方法
JP2023066126A (ja) * 2021-10-28 2023-05-15 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10846561B1 (en) 2020-04-01 2020-11-24 Scandit Ag Recognition and selection of discrete patterns within a scene or image
US11216628B2 (en) 2020-04-01 2022-01-04 Scandit Ag High-speed scanning of optical patterns using a digital camera
US11514665B2 (en) 2020-04-01 2022-11-29 Scandit Ag Mapping optical-code images to an overview image
US11295163B1 (en) 2020-04-01 2022-04-05 Scandit Ag Recognition of optical patterns in images acquired by a robotic device
US11244147B2 (en) 2020-05-15 2022-02-08 Scandit Ag Optical data exchange while preserving social distancing
US11403477B1 (en) 2020-05-15 2022-08-02 Scandit Ag Image exposure performance improvements for recognition of optical patterns
US11290643B1 (en) * 2020-06-26 2022-03-29 Scandit Ag Efficient digital camera image acquisition and analysis
US11922271B1 (en) 2020-05-15 2024-03-05 Scandit Ag Virtual screen standby mode for mobile device camera
US11417001B1 (en) 2020-07-27 2022-08-16 Scandit Ag Detecting discrete optical patterns using depth estimation
US11495036B1 (en) 2021-01-29 2022-11-08 Scandit Ag Segmenting images for optical character recognition
US11880738B1 (en) 2021-08-17 2024-01-23 Scandit Ag Visual odometry for optical pattern scanning in a real scene
US11557136B1 (en) 2022-02-23 2023-01-17 Scandit Ag Identity document verification based on barcode structure

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006182086A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd 車両検知装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
JP2012123642A (ja) * 2010-12-08 2012-06-28 Toyota Central R&D Labs Inc 画像識別装置及びプログラム
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6682833B2 (ja) 2015-12-04 2020-04-15 トヨタ自動車株式会社 物体認識アルゴリズムの機械学習のためのデータベース構築システム
JP2018045482A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム
US10386792B2 (en) 2016-10-19 2019-08-20 Ants Technology (Hk) Limited Sensory systems for autonomous devices
DE102017215552A1 (de) 2017-09-05 2019-03-07 Robert Bosch Gmbh Plausibilisierung der Objekterkennung für Fahrassistenzsysteme
JP6664371B2 (ja) * 2017-12-13 2020-03-13 本田技研工業株式会社 物体認識装置、物体認識方法及び車両
AU2019202088A1 (en) * 2018-03-26 2019-10-10 Cohda Wireless Pty Ltd Systems and methods for automatically training neural networks
JP7231996B2 (ja) * 2018-08-02 2023-03-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理方法および情報処理システム
US20210150278A1 (en) * 2019-11-14 2021-05-20 Zoox, Inc. Depth data model training
US11592570B2 (en) * 2020-02-25 2023-02-28 Baidu Usa Llc Automated labeling system for autonomous driving vehicle lidar data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006182086A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd 車両検知装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
JP2012123642A (ja) * 2010-12-08 2012-06-28 Toyota Central R&D Labs Inc 画像識別装置及びプログラム
JP2015143979A (ja) * 2013-12-27 2015-08-06 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021165910A (ja) * 2020-04-06 2021-10-14 トヨタ自動車株式会社 データ送信装置およびデータ送信方法
JP6960643B1 (ja) * 2020-09-24 2021-11-05 株式会社センシンロボティクス 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
JP2022052780A (ja) * 2020-09-24 2022-04-05 株式会社センシンロボティクス 点検システム及び管理サーバ、プログラム、ヒビ割れ情報提供方法
WO2022097426A1 (ja) * 2020-11-04 2022-05-12 株式会社日立製作所 状態判定装置、状態判定システム及び状態判定方法
JP2023066126A (ja) * 2021-10-28 2023-05-15 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法
JP7403108B2 (ja) 2021-10-28 2023-12-22 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法

Also Published As

Publication number Publication date
EP3605390A1 (en) 2020-02-05
JP7082545B2 (ja) 2022-06-08
CN110795984A (zh) 2020-02-14
US20200042803A1 (en) 2020-02-06
US11915099B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
JP6931096B2 (ja) オンボードセンサの外部パラメータを較正する方法及び装置、並びに関連する車両
CN107145578B (zh) 地图构建方法、装置、设备和系统
US10437252B1 (en) High-precision multi-layer visual and semantic map for autonomous driving
US10794710B1 (en) High-precision multi-layer visual and semantic map by autonomous units
US11860640B2 (en) Signal processing device and signal processing method, program, and mobile body
US11427218B2 (en) Control apparatus, control method, program, and moving body
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
US11204610B2 (en) Information processing apparatus, vehicle, and information processing method using correlation between attributes
JP2018180772A (ja) 物体検出装置
CN110889808A (zh) 一种定位的方法、装置、设备及存储介质
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
JP2008065087A (ja) 静止物地図生成装置
CN111353453B (zh) 用于车辆的障碍物检测方法和装置
JP2012208525A (ja) 静止物地図生成装置
JP7343054B2 (ja) 位置推定方法、位置推定装置、および位置推定プログラム
US20200082556A1 (en) Image processing apparatus, image processing program, and driving assistance system
JP2018077162A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US11474193B2 (en) Camera calibration for localization
US11460855B1 (en) Systems and methods for sensor calibration
JP2017167974A (ja) 推定装置、方法及びプログラム
US20210080264A1 (en) Estimation device, estimation method, and computer program product
US20190279384A1 (en) Image processing apparatus, image processing method, and driving support system
JP7294323B2 (ja) 動体管理装置、動体管理システム、動体管理方法、及びコンピュータプログラム
KR20160020620A (ko) 무인 단말기 제어 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220527

R150 Certificate of patent or registration of utility model

Ref document number: 7082545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150