JP2023108723A - 情報処理装置、情報処理方法、及び、情報処理システム - Google Patents

情報処理装置、情報処理方法、及び、情報処理システム Download PDF

Info

Publication number
JP2023108723A
JP2023108723A JP2022009919A JP2022009919A JP2023108723A JP 2023108723 A JP2023108723 A JP 2023108723A JP 2022009919 A JP2022009919 A JP 2022009919A JP 2022009919 A JP2022009919 A JP 2022009919A JP 2023108723 A JP2023108723 A JP 2023108723A
Authority
JP
Japan
Prior art keywords
road surface
vehicle
surface distance
depth information
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022009919A
Other languages
English (en)
Inventor
諒 大口
Ryo Oguchi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2022009919A priority Critical patent/JP2023108723A/ja
Priority to PCT/JP2023/000520 priority patent/WO2023145442A1/ja
Publication of JP2023108723A publication Critical patent/JP2023108723A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】単眼のカメラを用いて生成するデプス情報の精度を向上させる。【解決手段】情報処理装置は、路面を撮影できるように車両に設けられている単眼のカメラにより撮影された撮影画像に基づいて、デプス情報を生成するデプス情報生成部と、前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行する路面距離推定部と、前記路面距離の推定結果に基づいて、前記デプス情報を補正するデプス情報補正部とを備える。本技術は、例えば、車両に適用できる。【選択図】図２

Description

本技術は、情報処理装置、情報処理方法、及び、情報処理システムに関し、特に、単眼のカメラを用いて生成するデプス情報の精度を向上させるようにした情報処理装置、情報処理方法、及び、情報処理システムに関する。
従来、学習モデルを用いて、単眼のカメラにより生成された画像データの特徴点の３次元座標を推定する技術が提案されている。具体的には、ステレオカメラを用いて生成した深度情報付き特徴点マップを教師データに用いて、当該ステレオカメラの一方のカメラにより生成される画像データの特徴点の３次元座標を推定する学習モデルが学習される。そして、当該学習モデルを用いて、単眼カメラにより生成された画像データの特徴点の３次元座標が推定され、学習に用いられたカメラと単眼カメラとの撮像特性の差異に基づいて、３次元座標が補正される（例えば、特許文献１参照）。
特開２０２１－１１７１３０号公報
しかしながら、特許文献１に記載された、単眼のカメラを用いて生成したデプス情報は、デプス情報の絶対距離の精度が低下することが想定される。
本技術は、このような状況に鑑みてなされたものであり、単眼のカメラを用いて生成するデプス情報に対して、路面距離の推定値を用いて補正することで絶対距離の精度を向上させるようにするものである。
本技術の第１の側面の情報処理装置は、路面を撮影できるように車両に設けられている単眼のカメラにより撮影された撮影画像に基づいて、デプス情報を生成するデプス情報生成部と、前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行する路面距離推定部と、前記路面距離の推定結果に基づいて、前記デプス情報を補正するデプス情報補正部とを備える。
本技術の第１の側面の情報処理方法は、路面を撮影できるように車両に設けられている単眼のカメラにより撮影された撮影画像に基づいて、デプス情報を生成し、前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行し、前記路面距離の推定結果に基づいて、前記デプス情報を補正する。
本技術の第２の側面の情報処理システムは、路面を撮影できるように車両に設けられている単眼のカメラと、前記カメラにより撮影された撮影画像に基づいて、デプス情報を生成するデプス情報生成部と、前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行する路面距離推定部と、前記路面距離の推定結果に基づいて、前記デプス情報を補正するデプス情報補正部とを備える。
本技術の第１の側面においては、路面を撮影できるように車両に設けられている単眼のカメラにより撮影された撮影画像に基づいて、デプス情報が生成され、前記撮影画像内の前記路面までの距離である路面距離の推定処理が実行され、前記路面距離の推定結果に基づいて、前記デプス情報が補正される。
本技術の第２の側面においては、路面を撮影できるように車両に設けられている単眼のカメラにより撮影された撮影画像に基づいて、デプス情報が生成され、前記撮影画像内の前記路面までの距離である路面距離の推定処理が実行され、前記路面距離の推定結果に基づいて、前記デプス情報が補正される。
本技術を適用した車両の外観の構成例を示す図である。 本技術を適用した車両の機能の一部の第１の構成例を示すブロック図である。 障害物検知処理を説明するためのフローチャートである。 区画線を用いたデプスマップ生成処理の詳細を説明するためのフローチャートである。 撮影画像の例を示す図である。 デプスマップの例を示す図である。 区画線を用いないデプスマップ生成処理の詳細を説明するためのフローチャートである。 本技術を適用した車両の機能の一部の第２の構成例を示すブロック図である。 車両制御処理を説明するためのフローチャートである。 広域範囲及び狭域範囲の例を示す図である。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
４．その他
＜＜１．第１の実施の形態＞＞
まず、図１乃至図７を参照して、本技術の第１の実施の形態について説明する。
＜車両１の構成例＞
図１は、本技術を適用した車両１を左斜め前から見た場合の外観の構成例を示している。
車両１は、自動運転又は遠隔操作により、無人で移動することが可能な移動体である。
なお、車両１の移動時に、人が乗っていてもよい。また、車両１は、運転者による運転が可能であってもよい。
車両１としては、例えば、電動カートなどのモータで動く電気自動車が挙げられる。なお、本実施形態に係る車両１は電気自動車に限らない。
車両１の前面、左側面、右側面、及び、背面には、それぞれ表示部１１Ｆ、表示部１１Ｌ、表示部１１Ｒ（不図示）、及び、表示部１１Ｂ（不図示）が設けられている。表示部１１Ｆ乃至表示部１１Ｂは、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬパネル等の薄型の表示デバイスにより構成される。
車両１の前面の下方の領域Ａ１には、単眼のカメラ１０１（図２）が設けられている。カメラ１０１は、車両１の前方の路面が画角に含まれるように設置される。これにより、カメラ１０１は、車両１の前方の路面を含む領域を撮影可能である。
なお、車両１にカメラ１０１以外のカメラを設けるようにしてもよい。例えば、車両１の左側方、右側方、及び、後方を撮影できるようにカメラを設けるようにしてもよい。
＜車両１の機能の第１の構成例＞
図２は、車両１の機能の一部を構成する情報処理システムの第１の構成例を示している。
車両１は、カメラ１０１、ＧＮＳＳ（Global Navigation Satellite System）受信機１０２、ＩＭＵ（Inertial Measurement Unit）１０３、記憶部１０４、及び、情報処理部１０５を備える。
カメラ１０１は、車両１の前方を撮影し、得られた撮影画像を示す撮影画像データを情報処理部１０５に供給する。
ＧＮＳＳ受信機１０２は、ＧＮＳＳ衛星からＧＮＳＳ信号を受信し、情報処理部１０５に供給する。
ＩＭＵ１０３は、車両１の加速度及び角速度を検出し、検出結果を示す検出データを情報処理部１０５に供給する。
記憶部１０４は、例えば、地図情報及び路面距離データ等を記憶する。
地図情報は、例えば、各道路の路面の傾斜（例えば、傾斜角及び傾斜方向）に関する情報、又は、各道路の路面の傾斜の検出に必要な情報を含む。
路面距離データは、撮影画像内の各画素と、路面までの距離（以下、路面距離と称する）との対応関係を示し、事前に作成されるデータである。例えば、路面距離データは、車両１が平坦な路面を走行中又は停車中にカメラ１０１により撮影された撮影画像の路面が写っている領域（以下、路面領域と称する）内の各画素の路面距離を示す。各画素の路面距離は、例えば、カメラ座標系の原点と、各画素に対応する路面の位置（各画素に写っている路面の位置）との間の距離により表される。各画素の路面距離は、例えば実測される。
なお、路面距離データにおいて、撮影画像の路面領域外の各画素の路面距離は、例えば、未設定となる。
情報処理部１０５は、デプス情報生成部１１１、路面距離推定部１１２、デプス情報補正部１１３、障害物検知部１１４、及び、車両制御部１１５を備える。
デプス情報生成部１１１は、撮影画像に基づいて、デプス情報を生成する。より具体的には、デプス情報生成部１１１は、デプスマップ生成モデルを用いて、撮影画像からデプスマップを生成する。デプスマップは、撮影画像の各画素に対応するデプス値を２次元画像としてマッピングしたものである。デプス情報生成部１１１は、デプスマップをデプス情報補正部１１３に供給する。
なお、デプスマップ生成モデルは、撮影画像データを入力すると、撮影画像データにより示される撮影画像に対応するデプスマップを出力するモデルである。
デプスマップ生成モデルは、機械学習により事前に学習される。具体的には、撮影画像データを入力データとし、撮影画像データにより示される撮影画像の各画素のデプス値を示すデプスマップを正解データとする学習データを用いて、デプスマップ生成モデルの機械学習が実行される。
なお、正解データの生成方法は特に限定されない。例えば、ステレオカメラやデプスセンサを用いて正解データが生成される。
路面距離推定部１１２は、車両１の前方の路面距離の推定処理を実行する。路面距離推定部１１２は、区画線検出部１２１、路面距離算出部１２２、自己位置推定部１２３、傾斜検出部１２４、姿勢検出部１２５、相対位置算出部１２６、及び、路面距離データ補正部１２７を備える。
区画線検出部１２１は、撮影画像に基づいて、車両１の前方の路面の区画線を検出する。区画線は、例えば、車道の中央の車道中央線、車線の境界を示す車線境界線、車道の外側の縁線を示す車道外側線等を含む。区画線検出部１２１は、区画線の検出結果を示す情報を路面距離算出部１２２及び傾斜検出部１２４に供給する。
路面距離算出部１２２は、車両１の前方の区画線の検出結果に基づいて、車両１の前方の路面距離を算出することにより、車両１の前方の路面距離を推定する。路面距離算出部１２２は、路面距離の算出結果を示す情報をデプス情報補正部１１３に供給する。
自己位置推定部１２３は、ＧＮＳＳ信号に基づいて、車両１の自己位置を推定する。自己位置推定部１２３は、車両１の自己位置の推定結果を示す情報を傾斜検出部１２４に供給する。
自己位置推定部１２３は、ＧＮＳＳ信号に基づく手法に限定されず、他の手法により車両１の自己位置を推定してもよい。例えば、自己位置推定部１２３は、車両１のスタート地点からのタイヤの回転数を測定し、スタート地点からの運行距離を算出することで、自己位置を特定してもよい。また、例えば、車両１の底面などの所定の位置に、路面に埋設されたマグネットマーカからの磁気を検出する磁気センサが設けられてもよい。そして、自己位置推定部１２３は、路面に埋設されたマグネットマーカから位置情報を取得することにより、車両１の自己位置を推定してもよい。
傾斜検出部１２４は、車両１の自己位置、及び、記憶部１０４に記憶されている地図情報に基づいて、車両１の周囲の路面の傾斜を検出する。傾斜検出部１２４は、車両１の周囲の路面の傾斜の検出結果を示す情報を相対位置算出部１２６に供給する。
姿勢検出部１２５は、車両１の加速度及び角速度に基づいて、車両１の車体の姿勢を検出する。姿勢検出部１２５は、車体の姿勢の検出結果を示す情報を相対位置算出部１２６に供給する。
相対位置算出部１２６は、車両１の周囲の路面の傾斜、及び、車体の姿勢に基づいて、車両１と前方の路面との相対位置を算出する。相対位置算出部１２６は、車両１と前方の路面との相対位置の算出結果を示す情報を路面距離データ補正部１２７に供給する。
路面距離データ補正部１２７は、車両１と前方の路面との相対位置に基づいて、記憶部１０４に記憶されている路面距離データを補正することにより、車両１の前方の路面距離を推定する。路面距離データ補正部１２７は、補正後の路面距離データをデプス情報補正部１１３に供給する。
デプス情報補正部１１３は、路面距離算出部１２２により算出された路面距離、又は、補正後の路面距離データに基づいて、デプスマップ内のデプス情報を補正する。デプス情報補正部１１３は、補正後のデプス情報を障害物検知部１１４に供給する。
障害物検知部１１４は、補正後のデプス情報に基づいて、車両１の前方の障害物の検知処理を実行する。障害物検知部１１４は、障害物の検知結果を示す情報を車両制御部１１５に供給する。
車両制御部１１５は、車両１の前方の障害物の検知結果に基づいて、車両１の動作を制御する。
＜障害物検知処理＞
次に、図３のフローチャートを参照して、車両１により実行される障害物検知処理について説明する。この処理は、例えば、車両１の電源がオンされたとき開始され、オフされたとき終了する。
まず、ステップＳ１乃至ステップＳ３の処理が、並行して実行される。
具体的には、ステップＳ１において、カメラ１０１は、車両１の前方を撮影する。カメラ１０１は、撮影の結果得られた撮影画像データをデプス情報生成部１１１及び区画線検出部１２１に供給する。
ステップＳ２において、車両１は、車体の姿勢を検出する。具体的には、ＩＭＵ１０３は、車両１の加速度及び角速度を検出し、検出結果を示す検出データを姿勢検出部１２５に供給する。姿勢検出部１２５は、車両１の加速度及び角速度に基づいて、車体の姿勢を検出する。姿勢検出部１２５は、車体の姿勢の検出結果を示す情報を相対位置算出部１２６に供給する。
ステップＳ３において、車両１は、現在位置を推定する。具体的には、ＧＮＳＳ受信機１０２は、ＧＮＳＳ衛星からＧＮＳＳ信号を受信し、自己位置推定部１２３に供給する。自己位置推定部１２３は、ＧＮＳＳ信号に基づいて、車両１の自己位置を推定し、車両１の自己位置の推定結果を傾斜検出部１２４に供給する。
ステップＳ１乃至ステップＳ３の処理の後、処理はステップＳ４に進む。
ステップＳ４において、区画線検出部１２１は、区画線検出処理を実行する。具体的には、区画線検出部１２１は、撮影画像内において、車両１の前方の路面の区画線の検出処理を実行する。なお、区画線検出処理の手法は、特に限定されない。
ステップＳ５において、区画線検出部１２１は、ステップＳ４の処理の結果に基づいて、区画線を検出したか否かを判定する。区画線を検出したと判定された場合、処理はステップＳ６に進む。
ステップＳ６において、情報処理部１０５は、区画線を用いたデプスマップ生成処理を実行し、その後、処理はステップＳ８に進む。
ここで、図４のフローチャートを参照して、区画線を用いたデプスマップ生成処理の詳細について説明する。
まず、ステップＳ２１及びステップＳ２２の処理が、並行して実行される。
具体的には、ステップＳ２１において、デプス情報生成部１１１は、デプスマップ生成モデルを用いて、デプスマップを生成する。具体的には、デプス情報生成部１１１は、撮影画像データをデプスマップ生成モデルに入力し、デプスマップ生成モデルにより撮影画像データに基づいて生成されるデプスマップを取得する。
図５は、デプスマップ生成モデルに入力される撮影画像データにより示される撮影画像の例を模式的に示している。
図６は、図５の撮影画像に対してデプスマップ生成モデルにより生成されるデプスマップをモノクロの画像化したデプス画像の例を示している。このデプス画像では、デプス値が小さくなるほど画素が白くなり（明るくなり）、デプス値が大きくなるほど画素が黒くなる（暗くなる）。ただし、このデプス画像では、元のデプスマップからデプス値の階調が下げられているため、画像が少し粗くなっている。
デプス情報生成部１１１は、生成したデプスマップをデプス情報補正部１１３に供給する。
なお、デプスマップの各画素のデプス値は、各画素に対応する位置までの距離にほぼ比例する。一方、デプスマップの各画素のデプス値は、各画素に対応する位置までの距離と誤差が生じる場合がある。従って、デプスマップに基づいて、車両１の前方の物体の位置関係をほぼ正確に把握することが可能であるが、車両１の前方の物体の正確な位置を把握できない場合がある。
一方、ステップＳ２２において、車両１は、区画線に基づいて、路面距離を推定する。具体的には、区画線検出部１２１は、区画線の検出結果を示す情報を路面距離算出部１２２に供給する。
路面距離算出部１２２は、区画線に基づいて、路面距離を推定する。
なお、路面距離の推定手法は特に限定されない。例えば、路面距離算出部１２２は、既存の推定手法を用いてもよいし、新規の推定手法を用いてもよい。
例えば、路面距離算出部１２２は、区画線に基づいて道路の消失点を検出し、消失点に基づいて路面距離を推定する。
例えば、路面距離算出部１２２は、区画線の形状及び特徴点を検出し、区画線の形状及び特徴点に基づいて路面距離を推定する。
なお、路面距離算出部１２２は、必ずしも路面全体の路面距離を推定する必要はなく、撮影画像の所定の数以上の画素の路面距離を推定すればよい。
ステップＳ２１及びステップＳ２２の処理の後、処理はステップＳ２３に進む。
ステップＳ２３において、デプス情報補正部１１３は、路面距離に基づいて、デプスマップ内のデプス情報を補正する。すなわち、デプス情報補正部１１３は、デプスマップの各画素のデプス値と、撮影画像において路面距離が推定された画素の路面距離との対応関係に基づいて、デプスマップ内のデプス情報を補正する。
具体的には、デプス情報補正部１１３は、撮影画像において路面距離が推定された画素の路面距離と、対応するデプスマップの画素のデプス値とに基づいて、デプスマップのデプス値と実際の距離との対応関係を検出する。例えば、デプスマップのデプス値は実際の距離にほぼ比例するため、デプス情報補正部１１３は、デプス値を実際の距離に変換する一次の変換式を生成する。
デプス情報補正部１１３は、生成した変換式に基づいて、デプスマップの各画素のデプス値を実際の距離に更新することにより、デプスマップ内のデプス情報を補正する。デプス情報補正部１１３は、補正したデプス情報を障害物検知部１１４に供給する。
その後、区画線を用いたデプスマップ生成処理は終了する。
図３に戻り、一方、ステップＳ５において、区画線を検出していないと判定された場合、処理はステップＳ７に進む。
ステップＳ７において、情報処理部１０５は、区画線を用いないデプスマップ生成処理を実行し、処理はステップＳ８に進む。
ここで、図７のフローチャートを参照して、区画線を用いないデプスマップ生成処理の詳細について説明する。
まず、ステップＳ４１の処理と、ステップＳ４２乃至ステップＳ４４の処理とが並行して実行される。
具体的には、ステップＳ４１において、図４のステップＳ２１の処理と同様に、デプスマップ生成モデルを用いて、デプスマップが生成される。
その後、処理はステップＳ４５に進む。
一方、ステップＳ４２において、車両１は、地図情報及び自己位置に基づいて、路面の傾斜を検出する。具体的には、区画線検出部１２１は、車両１の前方の路面において区画線が検出されなかったことを傾斜検出部１２４に通知する。
傾斜検出部１２４は、車両１の周囲の地図情報を記憶部１０４から読み出す。傾斜検出部１２４は、地図情報及び車両１の自己位置に基づいて、車両１の周囲の路面の傾斜を検出する。具体的には、例えば、傾斜検出部１２４は、ワールド座標系における車両１の前方の路面の傾斜方向及び傾斜角を検出する。傾斜検出部１２４は、ワールド座標系における車両１の前方の路面の傾斜方向及び傾斜角を示す情報を相対位置算出部１２６に供給する。
ステップＳ４３において、相対位置算出部１２６は、車体の姿勢及び路面の傾斜の検出結果に基づいて、車両１と路面との相対位置関係を検出する。具体的には、例えば、相対位置算出部１２６は、車体の姿勢に基づいて、ワールド座標系における車両１の前方の路面の傾斜方向及び傾斜角を、カメラ１０１のカメラ座標系における車両１の前方の路面の傾斜方向及び傾斜角に変換する。相対位置算出部１２６は、カメラ座標系における車両１の前方の路面の傾斜方向及び傾斜角を示す情報を路面距離データ補正部１２７に供給する。
ステップＳ４４において、路面距離データ補正部１２７は、車両１と路面との相対位置関係に基づいて、路面距離データを補正する。具体的には、路面距離データ補正部１２７は、カメラ座標系における車両１の周囲の路面の傾斜方向及び傾斜角に基づいて、車両１の前方の路面距離を算出する。路面距離データ補正部１２７は、算出した車両１の前方の路面距離に基づいて、路面距離データを補正する。路面距離データ補正部１２７は、補正した路面距離データをデプス情報補正部１１３に供給する。
その後、処理はステップＳ４５に進む。
ステップＳ４５において、デプス情報補正部１１３は、補正後の路面距離データを用いて、デプスマップ内のデプス情報を補正する。すなわち、デプス情報補正部１１３は、デプスマップの各画素のデプス値と、補正後の路面距離データの各画素の路面距離との対応関係に基づいて、デプスマップ内のデプス情報を補正する。
具体的には、デプス情報補正部１１３は、デプスマップの路面領域内の各画素のデプス値と、補正後の路面距離データにおいて対応する各画素の路面距離とに基づいて、デプスマップのデプス値と実際の距離との対応関係を検出する。例えば、デプスマップのデプス値は実際の距離に比例するため、デプス情報補正部１１３は、デプス値を実際の距離に変換する一次の変換式を生成する。
デプス情報補正部１１３は、生成した変換式に基づいて、デプスマップのデプス値を実際の距離に更新することにより、デプスマップ内のデプス情報を補正する。デプス情報補正部１１３は、補正したデプス情報を障害物検知部１１４に供給する。
その後、区画線を用いないデプスマップ生成処理は終了する。
図３に戻り、ステップＳ８において、障害物検知部１１４は、デプス情報に基づいて、障害物検知処理を実行する。障害物検知部１１４は、障害物の検知結果を示す情報を車両制御部１１５に供給する。
なお、障害物検知処理の手法は特に限定されない。また、例えば、障害物検知部１１４は、デプスマップに加えて、撮影画像を用いて障害物検知処理を実行するようにしてもよい。
その後、障害物検知処理は終了する。
以上のようにして、単眼のカメラ１０１を用いて撮影した撮影画像に基づいて生成されるデプス情報の精度を向上させることができる。例えば、路面に接していない物体に対するデプス情報の精度を向上させることができる。
また、高精度なデプス情報を用いることにより、障害物の検知精度が向上する。
＜＜２．第２の実施の形態＞＞
次に、図８乃至図１０を参照して、本技術の第２の実施の形態について説明する。
＜車両１の機能の第２の構成例＞
図８は、車両１の機能の一部を構成する情報処理システムの第２の構成例を示している。なお、図中、図２と対応する部分には同じ符号を付してあり、その説明は適宜省略する。
図８の車両１は、図２の車両１と比較して、ＬｉＤＡＲ２０１が追加され、情報処理部１０５の代わりに情報処理部２０２が設けられている点が異なる。情報処理部２０２は、情報処理部１０５と比較して、障害物検知部１１４の代わりに障害物検知部２１１が設けられている点が異なる。
ＬｉＤＡＲ２０１は、レーザ光を用いて車両１の前方をスキャンし、車両１の前方の物体の分布を示す３次元の点群データを生成し、障害物検知部２１１に供給する。
障害物検知部２１１は、デプスマップ又は点群データを用いて障害物検知処理を実行する。障害物検知部２１１は、障害物の検知結果を示す情報を車両制御部１１５に供給する。
＜車両制御処理＞
次に、図９のフローチャートを参照して、図８の車両１により実行される車両制御処理について説明する。この処理は、例えば、車両１の電源がオンされたとき開始され、オフされたとき終了する。
ステップＳ１０１において、図３を参照して上述した障害物検知処理が実行される。すなわち、単眼のカメラ１０１により撮影された撮影画像を用いた障害物検知処理が実行される。
ステップＳ１０２において、障害物検知部２１１は、ステップＳ１０１の処理の結果に基づいて、特定の広域範囲内に障害物が存在するか否かを判定する。
図１０は、車両１の周囲の広域範囲Ａ１１及び狭域範囲Ａ１２の例を示している。
広域範囲Ａ１１は、例えば、カメラ１０１を含む車両１の周囲を撮影するカメラにより障害物を検知することが可能な範囲に設定される。
狭域範囲Ａ１２は、広域範囲Ａ１１より狭く、例えば、ＬｉＤＡＲ２０１を含む車両１の周囲をスキャンするＬｉＤＡＲにより障害物を検知することが可能な範囲に設定される。
特定の広域範囲内に障害物が存在しないと判定された場合、処理はステップＳ１０１に戻る。その後、ステップＳ１０２において、特定の広域範囲内に障害物が存在すると判定されるまで、ステップＳ１０１及びステップＳ１０２の処理が繰り返し実行される。
一方、ステップＳ１０２において、特定の広域範囲内に障害物が存在すると判定された場合、処理はステップＳ１０３に進む。
ステップＳ１０３において、車両制御部１１５は、小さい減速度での減速制御を実行する。具体的には、障害物検知部２１１は、障害物の検知結果を示す情報を車両制御部１１５に供給する。
車両制御部１１５は、障害物との衝突及び接触を避けるように、例えば、減速度Ｄ１以下の減速度で車両１を減速させる。
ステップＳ１０４において、車両１は、ＬｉＤＡＲ２０１を用いた障害物検知処理を実行する。
具体的には、ＬｉＤＡＲ２０１は、車両１の前方においてレーザ光をスキャンし、３次元の点群データを生成する。ＬｉＤＡＲ２０１は、生成した点群データを障害物検知部２１１に供給する。
障害物検知部２１１は、点群データに基づいて、車両１の前方の障害物の検知処理を実行する。なお、点群データを用いた障害物の検知方法は、特に限定されない。
ステップＳ１０５において、障害物検知部２１１は、ステップＳ１０４の処理の結果に基づいて、特定の狭域範囲内に障害物が存在するか否かを判定する。特定の狭域範囲内に障害物が存在しないと判定された場合、処理はステップＳ１０１に戻る。
その後、ステップＳ１０５において、特定の狭域範囲内に障害物が存在すると判定されるまで、ステップＳ１０１乃至ステップＳ１０５の処理が繰り返し実行される。
一方、ステップＳ１０５において、特定の狭域範囲内に障害物が存在すると判定された場合、処理はステップＳ１０６に進む。
ステップＳ１０６において、車両制御部１１５は、大きい減速度での減速制御を実行する。具体的には、障害物検知部２１１は、障害物の検知結果を示す情報を車両制御部１１５に供給する。
車両制御部１１５は、障害物との衝突及び接触を避けるように、例えば、減速度Ｄ１より大きい減速度Ｄ２以下の減速度で車両１１を減速させる。すなわち、ステップＳ１０３の処理と比較して、障害物が車両１の近くに存在するため、より大きな減速度で減速制御が実行される。
その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
以上のようにして、カメラ１０１とＬｉＤＡＲ２０１を用いて、障害物の検知精度を向上させ、車両１を安全に走行させることができる。
＜＜３．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
本技術は、車両１の前方に限定されず、車両１の周囲のデプスマップを生成する場合にも適用することができる。
本技術は、単眼のカメラにより撮影された撮影画像に基づいて、デプスマップ以外のデプス情報を生成する場合にも適用できる。例えば、本技術は、撮影画像内の特徴点のデプス値を示すデプス情報を生成する場合にも適用できる。
自己位置推定部１２３による車両１の自己位置推定手法は、上述した手法に限定されない。例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の手法を採用することが可能である。
＜＜４．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記憶部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
路面を撮影できるように車両に設けられている単眼のカメラにより撮影された撮影画像に基づいて、デプス情報を生成するデプス情報生成部と、
前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行する路面距離推定部と、
前記路面距離の推定結果に基づいて、前記デプス情報を補正するデプス情報補正部と
を備える情報処理装置。
（２）
前記路面距離推定部は、前記路面距離の推定処理において、事前に作成されている前記撮影画像の各画素と前記路面距離との対応関係を示す路面距離データを、前記車両と前記路面との相対位置に基づいて補正し、
前記デプス情報補正部は、補正後の前記路面距離データに基づいて、前記デプス情報を補正する
前記（１）に記載の情報処理装置。
（３）
前記路面距離推定部は、前記車両の車体の傾き及び前記車両の周囲の前記路面の傾斜を検出し、前記車体の傾き及び前記路面の傾斜の検出結果に基づいて、前記車両と前記路面との相対位置を算出する
前記（２）に記載の情報処理装置。
（４）
前記路面距離推定部は、前記車両の現在位置及前記車両の周囲の地図情報に基づいて、前記路面の傾斜を検出する
前記（３）に記載の情報処理装置。
（５）
前記デプス情報は、前記撮影画像の各画素に対応するデプス値を２次元画像としてマッピングしたデプスマップ内の情報であり、
前記デプス情報補正部は、補正後の前記路面距離データの各画素の前記路面距離に基づいて、前記デプスマップのデプス値を補正する
前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記路面距離推定部は、前記撮影画像内に前記路面の区画線が存在しない場合、前記路面距離データを、前記カメラと前記路面との相対位置に基づいて補正し、前記撮影画像内に前記路面の区画線が存在する場合、前記路面の区画線に基づいて、前記路面距離を推定する
前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記路面距離推定部は、機械学習により学習されたモデルを用いて、前記撮影画像に基づいて、前記デプス情報を生成する
前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
補正後の前記デプス情報に基づいて、障害物を検知する障害物検知部を
さらに備える前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記デプス情報は、前記撮影画像の画素毎のデプス値である
前記（１）に記載の情報処理装置。
（１０）
路面を撮影できるように車両に設けられている単眼のカメラにより撮影された撮影画像に基づいて、デプス情報を生成し、
前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行し、
前記路面距離の推定結果に基づいて、前記デプス情報を補正する
情報処理方法。
（１１）
路面を撮影できるように車両に設けられている単眼のカメラと、
前記カメラにより撮影された撮影画像に基づいて、デプス情報を生成するデプス情報生成部と、
前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行する路面距離推定部と、
前記路面距離の推定結果に基づいて、前記デプス情報を補正するデプス情報補正部と
を備える情報処理システム。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１ 車両， １０１ カメラ， １０３ ＩＭＵ， １０５ 情報処理部， １１１ デプス情報生成部， １１２ 路面距離推定部， １１３ デプス情報補正部， １１４ 障害物検知部， １１５ 車両制御部， １２１ 区画線検出部， １２２ 路面距離算出部， １２３ 自己位置推定部， １２４ 傾斜検出部， １２５ 姿勢検出部， １２６ 相対位置算出部， １２７ 路面距離データ補正部， ２０１ ＬｉＤＡＲ， ２０２ 情報処理部， ２１１ 障害物検知部

Claims (11)

  1. 路面を撮影できるように車両に設けられている単眼のカメラにより撮影された撮影画像に基づいて、デプス情報を生成するデプス情報生成部と、
    前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行する路面距離推定部と、
    前記路面距離の推定結果に基づいて、前記デプス情報を補正するデプス情報補正部と
    を備える情報処理装置。
  2. 前記路面距離推定部は、前記路面距離の推定処理において、事前に作成されている前記撮影画像の各画素と前記路面距離との対応関係を示す路面距離データを、前記車両と前記路面との相対位置に基づいて補正し、
    前記デプス情報補正部は、補正後の前記路面距離データに基づいて、前記デプス情報を補正する
    請求項１に記載の情報処理装置。
  3. 前記路面距離推定部は、前記車両の車体の傾き及び前記車両の周囲の前記路面の傾斜を検出し、前記車体の傾き及び前記路面の傾斜の検出結果に基づいて、前記車両と前記路面との相対位置を算出する
    請求項２に記載の情報処理装置。
  4. 前記路面距離推定部は、前記車両の現在位置及前記車両の周囲の地図情報に基づいて、前記路面の傾斜を検出する
    請求項３に記載の情報処理装置。
  5. 前記デプス情報は、前記撮影画像の各画素に対応するデプス値を２次元画像としてマッピングしたデプスマップ内の情報であり、
    前記デプス情報補正部は、補正後の前記路面距離データの各画素の前記路面距離に基づいて、前記デプスマップのデプス値を補正する
    請求項２に記載の情報処理装置。
  6. 記撮影画像内に前記路面の区画線が存在しない場合、前記路面距離推定部は、前前記カメラと前記路面との相対位置に基づいて、前記路面距離データを補正し、前記デプス情報補正部は、補正後の前記路面距離データに基づいて、前記デプス情報を補正し、
    前記撮影画像内に前記路面の区画線が存在する場合、前記路面距離推定部は、前記路面の区画線に基づいて、前記路面距離を推定し、前記デプス情報補正部は、前記路面距離の推定結果に基づいて、前記デプス情報を補正する
    請求項２に記載の情報処理装置。
  7. 前記路面距離推定部は、機械学習により学習されたモデルを用いて、前記撮影画像に基づいて、前記デプス情報を生成する
    請求項１に記載の情報処理装置。
  8. 補正後の前記デプス情報に基づいて、障害物を検知する障害物検知部を
    さらに備える請求項１に記載の情報処理装置。
  9. 前記デプス情報は、前記撮影画像の画素毎のデプス値である
    請求項１に記載の情報処理装置。
  10. 路面を撮影できるように車両に設けられている単眼のカメラにより撮影された撮影画像に基づいて、デプス情報を生成し、
    前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行し、
    前記路面距離の推定結果に基づいて、前記デプス情報を補正する
    情報処理方法。
  11. 路面を撮影できるように車両に設けられている単眼のカメラと、
    前記カメラにより撮影された撮影画像に基づいて、デプス情報を生成するデプス情報生成部と、
    前記撮影画像内の前記路面までの距離である路面距離の推定処理を実行する路面距離推定部と、
    前記路面距離の推定結果に基づいて、前記デプス情報を補正するデプス情報補正部と
    を備える情報処理システム。
JP2022009919A 2022-01-26 2022-01-26 情報処理装置、情報処理方法、及び、情報処理システム Pending JP2023108723A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022009919A JP2023108723A (ja) 2022-01-26 2022-01-26 情報処理装置、情報処理方法、及び、情報処理システム
PCT/JP2023/000520 WO2023145442A1 (ja) 2022-01-26 2023-01-12 情報処理装置、情報処理方法、及び、情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022009919A JP2023108723A (ja) 2022-01-26 2022-01-26 情報処理装置、情報処理方法、及び、情報処理システム

Publications (1)

Publication Number Publication Date
JP2023108723A true JP2023108723A (ja) 2023-08-07

Family

ID=87471236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022009919A Pending JP2023108723A (ja) 2022-01-26 2022-01-26 情報処理装置、情報処理方法、及び、情報処理システム

Country Status (2)

Country Link
JP (1) JP2023108723A (ja)
WO (1) WO2023145442A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019027983A (ja) * 2017-08-02 2019-02-21 株式会社日立製作所 自己位置推定装置を備えた移動体
JP6961125B2 (ja) * 2019-04-11 2021-11-05 三菱電機株式会社 車両姿勢測定装置および車両姿勢測定方法
JP7304016B2 (ja) * 2019-07-29 2023-07-06 株式会社ソーシャル・キャピタル・デザイン 画像処理システム

Also Published As

Publication number Publication date
WO2023145442A1 (ja) 2023-08-03

Similar Documents

Publication Publication Date Title
JP5109691B2 (ja) 解析装置
US10616555B2 (en) Method and device for ascertaining an image of the surroundings of a vehicle
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
US20170017839A1 (en) Object detection apparatus, object detection method, and mobile robot
EP2757527B1 (en) System and method for distorted camera image correction
CN110795984A (zh) 信息处理方法、信息处理装置及程序记录介质
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
US10731994B2 (en) Information processing device and information processing method
JP6552448B2 (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US10733464B2 (en) Method, system and device of obtaining 3D-information of objects
CN113240813B (zh) 三维点云信息确定方法及装置
JP2019191133A (ja) 位置推定装置
KR20190076815A (ko) 전자 장치의 이동체 포즈 추정 방법
US20220044032A1 (en) Dynamic adjustment of augmented reality image
CN113516711A (zh) 相机位姿估计技术
JP2004120661A (ja) 移動体周辺監視装置
US11619495B2 (en) Position estimating apparatus and position estimating method
EP3795952A1 (en) Estimation device, estimation method, and computer program product
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
Shan et al. Probabilistic egocentric motion correction of lidar point cloud and projection to camera images for moving platforms
WO2023145442A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
US10249056B2 (en) Vehicle position estimation system