JP2021052293A - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP2021052293A
JP2021052293A JP2019173588A JP2019173588A JP2021052293A JP 2021052293 A JP2021052293 A JP 2021052293A JP 2019173588 A JP2019173588 A JP 2019173588A JP 2019173588 A JP2019173588 A JP 2019173588A JP 2021052293 A JP2021052293 A JP 2021052293A
Authority
JP
Japan
Prior art keywords
information processing
depth
probability distribution
probability
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019173588A
Other languages
English (en)
Inventor
航平 漆戸
Kohei URUSHIDO
航平 漆戸
琢人 元山
Takuto Motoyama
琢人 元山
政彦 豊吉
Masahiko Toyoshi
政彦 豊吉
駿 李
Shun Ri
駿 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019173588A priority Critical patent/JP2021052293A/ja
Priority to US17/753,793 priority patent/US20220351400A1/en
Priority to CN202080065342.5A priority patent/CN114531898A/zh
Priority to PCT/JP2020/027951 priority patent/WO2021059695A1/ja
Publication of JP2021052293A publication Critical patent/JP2021052293A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

【課題】物体を高精度に検出することができる情報処理装置、情報処理方法および情報処理プログラムを提案する。【解決手段】情報処理装置は、各々の基線長の方向が交差するように配置された複数のステレオカメラと、複数のステレオカメラによって撮像された撮像画像から、撮像画像に含まれる物体のデプスを推定するデプス推定部と、デプス推定部で推定したデプスと、複数のステレオカメラの基線長の方向に対する物体の縁線の方向の角度に応じて決定されるデプスの信頼度とに基づいて、物体を検出する物体検出部と、を備える。【選択図】図６

Description

本開示は、情報処理装置、情報処理方法および情報処理プログラムに関する。
ドローン等の無人移動体にステレオカメラを取り付け、当該ステレオカメラで撮像した画像から物体を検出する技術が知られている。
例えば特許文献１には、ステレオカメラを含む測距システムを複数備え、各測距システムで求めた複数の測距値のうちの最も小さな値を最終的な測距値とする測距システムが開示されている。また、特許文献２には、複数のステレオカメラを備え、車両のワイパーの動きに応じて、使用するステレオカメラを切り替えるシステムが開示されている。
特開２０１８−１４６４５７号公報 特開２０１８−３２９８６号公報
ステレオカメラを用いた物体の検出では、例えば左右のカメラから見える物体の視差に基づいて、カメラと物体との距離を測定するが、測定対象の物体がステレオカメラの基線長の方向に延びている場合、距離の測定が難しいという問題がある。
そこで、本開示では、物体を高精度に検出することができる情報処理装置、情報処理方法および情報処理プログラムを提案する。
本開示によれば、各々の基線長の方向が交差するように配置された複数のステレオカメラと、前記複数のステレオカメラによって撮像された撮像画像から、前記撮像画像に含まれる物体のデプスを推定するデプス推定部と、前記デプス推定部で推定したデプスと、前記複数のステレオカメラの基線長の方向に対する前記物体の縁線の方向の角度に応じて決定される前記デプスの信頼度とに基づいて、前記物体を検出する物体検出部と、を備える情報処理装置が提供される。
一般的なステレオカメラシステムの構成を説明するための図である。 ステレオカメラによるデプス推定において、基線長の方向と物体の延伸方向とが異なる場合の一例を示す図である。 ステレオカメラによるデプス推定において、基線長の方向と物体の延伸方向とが同じである場合の一例を示す図である。 デプスが適切に推定できない場合の一例を示す図である。 デプスが適切に推定できない場合の一例を示す図である。 本開示の第１の実施形態に係る情報処理装置の構成を示すブロック図である。 本開示の第１の実施形態に係る情報処理装置が備えるステレオカメラシステムの構成の一例を示す図である。 本開示の第１の実施形態に係る情報処理装置が備えるステレオカメラシステムの構成の一例を示す図である。 本開示の第１の実施形態に係る情報処理装置による情報処理の概要を説明するための図である。 本開示の第１の実施形態に係る情報処理装置が行う情報処理において、ＲＧＢ画像からエッジ画像を生成する様子を示す図である。 本開示の第１の実施形態に係る情報処理装置が行う情報処理において、Occupancy Grid Mapの一例を示す図である。 本開示の第１の実施形態に係る情報処理装置が行う情報処理において、エッジ画像の一例を示す図である。 本開示の第１の実施形態に係る情報処理装置が備えるステレオカメラシステムにおいて、第一のステレオカメラを示す図である。 本開示の第１の実施形態に係る情報処理装置が行う情報処理において、第一のステレオカメラに対応する、エッジ方向に基づくマップ投票確率（確率分布）の一例を示す図である。 本開示の第１の実施形態に係る情報処理装置が備えるステレオカメラシステムにおいて、第二のステレオカメラを示す図である。 本開示の第１の実施形態に係る情報処理装置が行う情報処理において、第二のステレオカメラに対応する、エッジ方向に基づくマップ投票確率（確率分布）の一例を示す図である。 本開示の第１の実施形態に係る情報処理装置が行う情報処理の一例を示すフローチャートである。 本開示の第２の実施形態に係る情報処理装置の構成を示すブロック図である。 本開示の第２の実施形態に係る情報処理装置が行う情報処理において、ステレオカメラシステムの位置および姿勢が変化した様子を示す図である。 本開示の第２の実施形態に係る情報処理装置が行う情報処理において、ステレオカメラシステムの位置および姿勢が変化した場合のエッジ方向に基づくマップ投票確率（確率分布）の変形の一例を示す図である。 本開示の第２の実施形態に係る情報処理装置が行う情報処理において、ステレオカメラシステムの位置および姿勢が変化した場合のエッジ方向に基づくマップ投票確率（確率分布）の変形の一例を示す図である。 本開示の第２の実施形態に係る情報処理装置が行う情報処理の一例を示すフローチャートである。 本開示の第２の実施形態に係る情報処理装置が行う情報処理の変形例において、ステレオカメラシステムの位置および姿勢が変化した場合のエッジ方向に基づくマップ投票確率（確率分布）の変形の一例を示す図である。 本開示の第２の実施形態に係る情報処理装置が行う情報処理の変形例の一例を示すフローチャートである。 本開示の実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成例を示す説明図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
なお、説明は以下の順序で行うものとする。
＜＜１．概要＞＞
＜＜２．第１の実施形態＞＞
＜２−１．構成＞
＜２−２．処理の概要＞
＜２−３．処理の流れ＞
＜＜３．第２の実施形態＞＞
＜＜４．第２の実施形態の変形例＞＞
＜＜５．ハードウェア構成例＞＞
＜＜６．効果＞＞
＜＜１．概要＞＞
まず、本開示の実施形態に係る情報処理装置が行う情報処理の概要について、図１〜図５を参照しながら説明する。図１は、例えばドローン等の無人移動体に取り付けられる一般的なステレオカメラシステム１１０の構成を示している。このステレオカメラシステム１１０は、二つの撮像部（カメラ）１１０ａ，１１０ｂを備える二眼カメラシステムである。ステレオカメラシステム１１０は、支持部材１２０を介して、例えば無人移動体の下部に取り付けられている。
このようなステレオカメラシステム１１０を用いた物体の検出では、左右の撮像部１１０ａ，１１０ｂから見える物体の視差に基づいて、例えば三角測量等の手法を利用して物体までの距離（以下、「デプス」という）を推定する。このデプス推定において、例えば図２に示すように、撮像部１１０ａの中心と撮像部１１０ｂの中心との間の距離を示す基線長の方向と、測定対象の物体の延伸方向とが平行ではなく、交差しているような関係である場合、右側カメラの映像に写る物体と左側カメラの映像に写る物体との対応関係の把握が容易であるため、デプスを適切に推定することができる。
一方、例えば図３に示すように、基線長の方向と、測定対象の物体の延伸方向とが平行または平行に近い場合、右側カメラの映像に写る物体と左側カメラの映像に写る物体との対応関係の把握が困難であるため、デプスを適切に推定することができない。そのため、例えばステレオカメラシステム１１０を、基線長の方向と水平方向とが一致するように（図１参照）無人移動体に取り付けて運用した場合、図４のＡ部に示したような電線を認識することができなかったり、あるいは図５のＢ部に示すようなビルの天井部分が飛び出ているように認識される、といった不具合が生じる。
そこで、本開示に係る情報処理装置では、例えばＶ字型に配置した三眼カメラシステムを用いて、二つのステレオカメラによりデプスを推定した後、撮像画像に対してエッジ処理を行い、物体のエッジを検出する。そして、撮像画像に含まれる物体のエッジの方向（以下、「エッジ方向」という）に応じたデプスの信頼度に基づいて、Occupancy Grid Map（占有格子地図）のマップ投票確率を算出し、当該Occupancy Grid Mapに半径することにより、物体を検出する。
＜＜２．第１の実施形態＞＞
＜２−１．構成＞
次に、第一の実施形態に係る情報処理装置１の構成について、図６〜図８を参照しながら説明する。情報処理装置１は、例えばドローン等の無人移動体に搭載され、三眼カメラシステムで撮像した画像から物体を検出する装置である。なお、本実施形態では、情報処理装置１が無人移動体に搭載される例について説明するが、その他にも、工場や自宅等で用いられる自律移動型ロボット、車両、携帯端末等に情報処理装置１を搭載してもよい。情報処理装置１は、図６に示すように、三つの撮像部（カメラ）１０ａ，１０ｂ，１０ｃと、制御部２０と、記憶部３０と、を備えている。
撮像部１０ａ，１０ｂ，１０ｃは、例えばレンズおよび絞り等の光学系と、イメージセンサとを有し、被写体を撮像する処理を行う。撮像部１０ａ，１０ｂ，１０ｃは、各々が撮像した画像（以下、「撮像画像」という）を、制御部２０に出力する。また、撮像部１０ａ，１０ｂ，１０ｃは、第一のステレオカメラ１１ａと第二のステレオカメラ１１ｂとを備えるステレオカメラシステム１０を構成する。
ステレオカメラシステム１０は、例えば図７に示すように、三つの撮像部１０ａ，１０ｂ，１０ｃを備える三眼カメラシステムである。ステレオカメラシステム１０は、支持部材１２を介して、例えば無人移動体の下部に取り付けられている。撮像部１０ａ，１０ｂ，１０ｃは、Ｖ字状に配置されている。すなわち、第一、第二のステレオカメラ１１ａ，１１ｂは、第一のステレオカメラ１１ａの基線長の方向と、第二のステレオカメラ１１ｂの基線長の方向とが直交するように配置されている。
第一のステレオカメラ１１ａを構成する撮像部１０ａおよび撮像部１０ｂは、水平方向に並べて配置されている。すなわち、撮像部１０ａおよび撮像部１０ｂを結ぶ基線長の方向は、水平方向と一致している。また、第二のステレオカメラ１１ｂを構成する撮像部１０ｂおよび撮像部１０ｃは、鉛直方向に並べて配置されている。すなわち、撮像部１０ｂおよび撮像部１０ｃを結ぶ基線長の方向は、鉛直方向と一致している。なお、第一、第二のステレオカメラ１１ａ，１１ｂは、各々の基線長の方向が交差するように配置されていればよく、各々の基線長の方向が直角以外であってもよい。
ここで、第一、第二のステレオカメラ１１ａ，１１ｂの基線長の方向は、水平方向または鉛直方向と一致していなくてもよい。例えば、情報処理装置１では、図７に示したステレオカメラシステム１０に代えて、図８に示したステレオカメラシステム１０Ａを用いてもよい。ステレオカメラシステム１０Ａにおいて、第一のステレオカメラ１１ａを構成する撮像部１０ａおよび撮像部１０ｂは、水平方向または鉛直方向からずらして配置されている。また同様に、第二のステレオカメラ１１ｂを構成する撮像部１０ｂおよび撮像部１０ｃは、水平方向または鉛直方向からずらして配置されている。
制御部２０は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等、種々のプロセッサにより実現することができる。制御部２０は、撮像部１０ａ，１０ｂ，１０ｃから入力された撮像画像に対して、種々の処理を実行する。制御部２０は、デプス推定部２１と、エッジ検出部２２と、物体検出部２３と、を備えている。
デプス推定部２１は、第一、第二のステレオカメラ１１ａ，１１ｂによって撮像された撮像画像から、当該撮像画像に含まれる物体のデプスを推定する。デプス推定部２１は、撮像部１０ａ，１０ｂから見える物体の視差、撮像部１０ｂ，１０ｃから見える物体の視差に基づいて、例えば三角測量等の周知の手法を用いてデプスを推定する。
エッジ検出部２２は、第一、第二のステレオカメラ１１ａ，１１ｂによって撮像された撮像画像から、当該撮像画像に含まれる物体のエッジを検出する。なお、「エッジ」とは、物体の境界を示す連続する線のことを示している。エッジ検出部２２は、撮像部１０ａ，１０ｂ，１０ｃのいずれかによって撮像された単眼画像（ＲＧＢ画像）から物体のエッジを検出し、エッジ画像を生成する（後記する図１０参照）。
物体検出部２３は、デプス推定部２１によって生成されたデプス情報と、エッジ検出部２２によって生成されたエッジ情報とに基づいて、物体を検出する。物体検出部２３は、デプス推定部２１で推定したデプスと、第一、第二のステレオカメラ１１ａ，１１ｂの基線長の方向に対する物体のエッジ方向の角度に応じて決定されるデプスの信頼度とに基づいて、物体を検出する。なお、物体検出部２３における処理の詳細は後記する。
記憶部３０は、種々の情報を保持している。記憶部３０は、例えば制御部２０の各部を実現させるためのプログラムを記憶している。この場合、制御部２０は、記憶部３０に記憶されているプログラムを展開して実行することにより、各部の機能を実現する。記憶部３０は、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、またはハードディスク、ソリッドステートドライブ、光ディスク等の記憶装置により実現することができる。また、記憶部３０は、複数の異なるメモリ等で構成されてもよい。
＜２−２．処理の概要＞
次に、本実施形態に係る情報処理装置１の処理の概要について、図９〜図１６を参照しながら説明する。情報処理装置１では、図９に示すように、画像撮像処理Ｐｒ１、デプス推定処理Ｐｒ２、エッジ検出処理Ｐｒ３、マップ投票確率算出処理Ｐｒ４およびマップ投票処理Ｐｒ５を、この順番で実施する。
（画像撮像処理Ｐｒ１）
画像撮像処理Ｐｒ１において、撮像部１０ａ，１０ｂ，１０ｃは、例えばＲＧＢ画像を撮像し、撮像したＲＧＢ画像をデプス推定部２１およびエッジ検出部２２に出力する。
（デプス推定処理Ｐｒ２）
デプス推定処理Ｐｒ２において、デプス推定部２１は、ＲＧＢ画像に含まれる物体のデプスを推定し、推定したデプス情報を物体検出部２３に出力する。
（エッジ検出処理Ｐｒ３）
エッジ検出処理Ｐｒ３において、エッジ検出部２２は、ＲＧＢ画像に含まれる物体のエッジを検出する。エッジ検出処理Ｐｒ３では、例えば図１０に示すように、ＲＧＢ画像をエッジ画像に変換し、エッジの位置および方向に関する情報を含むエッジ情報を物体検出部２３に出力する。
（マップ投票確率算出処理Ｐｒ４）
マップ投票確率算出処理Ｐｒ４において、物体検出部２３は、Occupancy Grid Mapのマップ投票確率を算出する。ここで、「Occupancy Grid Map」とは、例えば図１１に示すように、ＲＧＢ画像に含まれる空間を格子状に分割し、上方から俯瞰した地図のことを示している。情報処理装置１が搭載された無人移動体では、このOccupancy Grid Mapに基づいて、移動経路上における障害物の有無を把握する。同図において、濃い斜線を付した格子は「物体あり」、空白の格子は「物体なし」、薄い斜線を付した格子は「物体の有無が不明」、ということを示している。
マップ投票確率とは、物体がOccupancy Grid Mapの各格子を占有する確率を示している。図１１に示したOccupancy Grid Mapにおいて、例えばある格子（Ｃｅｌｌ ｉ）における事象の事後確率（ある格子を物体が占有している確率）は、下記式（１）で示すことができる。
Figure 2021052293
また、上記式（１）は、下記式（２）により算出することができる。すなわち、「時刻ｔまでの事象の事後確率」は、「１時刻前までの事象の事後確率」に対して「現時刻の観測に基づくマップ投票確率」を掛け合わせることにより求めることができる。すなわち、１時刻前までOccupancy Grid Mapとして保有している確率に対して、現在の観測に基づく確率を掛け合わせることにより、現在のOccupancy Grid Mapとする。
Figure 2021052293
本実施形態では、上記式（２）における「ｐ（ｍｉ｜ｚｔ，ｘｔ）」を、下記式（３）により求める。すなわち、「観測事象の距離に基づくマップ投票確率（第一の確率分布）」に対して「観測事象のエッジ方向に基づくマップ投票確率（第二の確率分布）」を掛け合わせることにより、「現時刻の観測に基づくマップ投票確率」を求める。すなわち、マップ投票確率を三次元的に求める。
Figure 2021052293
マップ投票確率算出処理Ｐｒ４において、物体検出部２３は、デプス推定部２１で推定したデプスに基づく第一の確率分布と、デプスの信頼度を示す第二の確率分布とを算出する。ここで、第一の確率分布は、上記式（３）における「観測事象の距離に基づくマップ投票確率」のことを示しており、第二の確率分布は、上記式（３）における「観測事象のエッジ方向に基づくマップ投票確率」のことを示している。
「デプスの信頼度」とは、撮像画像において物体のエッジが存在する位置における確率分布であって、基線長の方向に対するエッジ方向が直角に近いほど、高い確率を有する確率分布のことを示している。
例えば、エッジ検出部２２によって、図１２に示すように、水平方向のエッジおよび鉛直方向のエッジを検出した場合を考える。この場合、図１３に示すような「基線長の方向＝水平方向」である第一のステレオカメラ１１ａに対応する第二の確率分布は、図１４に示すように、基線長に対して直角な鉛直方向のエッジに対して最も高い確率が乗るような分布となる。一方、図１５に示すような「基線長の方向＝鉛直方向」である第二のステレオカメラ１１ｂに対応する第二の確率分布は、図１６に示すように、基線長に対して直角な水平方向のエッジに対して最も高い確率が乗るような分布となる。
このように、マップ投票確率算出処理Ｐｒ４では、第一、第二のステレオカメラ１１ａ，１１ｂの撮像画像から推定したデプスがどれくらい信頼できるのかという信頼度を、例えば図１４および図１６に示すような二次元の正規分布として近似する。
マップ投票確率算出処理Ｐｒ４において、物体検出部２３は、第一の確率分布および第二の確率分布に基づいて、Occupancy Grid Mapにおけるマップ投票確率を算出する。すなわち、物体検出部２３は、上記の式（３）に示すように、第一の確率分布（物体までの距離に基づくマップ投票確率）および第二の確率分布（物体のエッジ方向に基づくマップ投票確率）を掛け合わせることにより、マップ投票確率を算出する。
（マップ投票処理Ｐｒ５）
マップ投票処理Ｐｒ５において、物体検出部２３は、算出したマップ投票確率に基づいて各格子に投票を行うことによりOccupancy Grid Mapを作成する。情報処理装置１は、このように作成したOccupancy Grid Mapに基づいて物体を検出する。
＜２−３．処理の流れ＞
次に、本実施形態に係る情報処理装置１の処理の流れについて、図１７を参照しながら説明する。まず、制御部２０は、第一、第二のステレオカメラ１１ａ，１１ｂによって撮像された画像を取得する（ステップＳ１）。続いて、制御部２０のデプス推定部２１は、撮像画像に含まれる物体のデプスを推定する（ステップＳ２）。
続いて、制御部２０は、デプス推定部２１によってデプスを適切に推定できたか否かを判定する（ステップＳ３）。デプスを適切に推定できなかったと判定した場合（ステップＳ３でＮｏ）、制御部２０は本処理を終了する。一方、デプスを適切に推定できたと判定した場合（ステップＳ３でＹｅｓ）、制御部２０のエッジ検出部２２は、撮像画像に含まれる物体のエッジを検出する（ステップＳ４）。
続いて、制御部２０は、エッジ検出部２２によってエッジを適切に検出できたか否かを判定する（ステップＳ５）。エッジを適切に検出できなかったと判定した場合（ステップＳ５でＮｏ）、制御部２０の物体検出部２３は、Occupancy Grid Mapに投票を行い（ステップＳ６）、本処理を終了する。一方、エッジを適切に検出できたと判定した場合（ステップＳ５でＹｅｓ）、物体検出部２３は、上記の式（１）〜式（３）に基づいてマップ投票確率を算出する（ステップＳ７）。
続いて、物体検出部２３は、マップ投票確率の算出結果が複数あるか否かを判定する（ステップＳ８）。なお、「マップ投票確率の算出結果が複数ある」とは、例えば、図１３に示した基線長の方向が水平方向である第一のステレオカメラ１１ａに対応するマップ投票確率と、図１５に示した基線長の方向が鉛直方向である第二のステレオカメラ１１ｂに対応するマップ投票確率と、がそれぞれ算出されているような場合を示している。
ステップＳ８において、マップ投票確率の算出結果が複数ないと判定した場合（ステップＳ８でＮｏ）、物体検出部２３は、算出されたマップ投票確率に基づいてOccupancy Grid Mapに投票を行い（ステップＳ９）、本処理を終了する。
ステップＳ８において、マップ投票確率の算出結果が複数あると判定した場合（ステップＳ８でＹｅｓ）、物体検出部２３は、複数のマップ投票確率を掛け合わせて合算する（ステップＳ１０）。続いて、物体検出部２３は、合算したマップ投票確率に基づいてOccupancy Grid Mapに投票を行い（ステップＳ１１）、本処理を終了する。
＜＜３．第２の実施形態＞＞
次に、第２の実施形態に係る情報処理装置１Ａについて、図１８〜図２２を参照しながら説明する。情報処理装置１Ａは、前記した情報処理装置１の各構成に加えて慣性計側部４０を備えている。また、情報処理装置１Ａの制御部２０Ａは、前記した制御部２０の各構成に加えて位置姿勢推定部２４を備えている。
慣性計側部４０は、例えば３軸加速度センサおよび３軸ジャイロセンサ等を含むＩＭＵ（Inertial Measurement Unit）により構成されており、取得したセンサ情報を制御部２０Ａの位置姿勢推定部２４に出力する。位置姿勢推定部２４は、撮像部１０ａ，１０ｂ，１０ｃによって撮像した撮像画像と、慣性計側部４０から入力されたセンサ情報とに基づいて、情報処理装置１Ａが搭載された無人移動体の位置および姿勢（例えば向き、傾き等）を検出する。なお、無人移動体の位置および姿勢の検出方法は、上記のＩＭＵを用いた方法に限定されない。
本実施形態における物体検出部２３は、前フレームで算出した第二の確率分布（物体のエッジ方向に基づくマップ投票確率）をキーフレームとして登録し、現フレームにおいて、第一、第二のステレオカメラ１１ａ，１１ｂの位置および姿勢が変化した場合、当該第一、第二のステレオカメラ１１ａ，１１ｂの位置および姿勢の変化量に基づいて、キーフレームを変形（例えば移動および回転）させることにより、第二の確率分布を算出する。
図１９に示すように、例えば無人移動体の飛行中にステレオカメラシステム１０の姿勢が変化した場合、その都度第二の確率分布を計算し直すと、情報処理装置１Ａの処理負荷が増加するおそれがある。そこで、情報処理装置１Ａの物体検出部２３は、前フレームで算出した第二の確率分布をキーフレームとして登録しておく。そして、次のフレーム（現フレーム）において、ステレオカメラシステム１０の姿勢が変化した場合、位置姿勢推定部２４によって推定された自機の姿勢の変化量に応じて、図２０に示すように、対応するキーフレーム（第二の確率分布）を回転させることにより、現フレームの第二の確率分布を算出する。続いて、物体検出部２３は、算出した第二の確率分布と、第一の確率分布とを掛け合わせることにより、マップ投票確率を算出する。なお、位置姿勢推定部２４によって推定された自機の位置および姿勢の変化量が、予め定めた閾値以上である場合は、第二の確率分布を再計算し、計算した第二の確率分布をキーフレームとして登録し直す。
以下、自機の位置および姿勢の変化を踏まえた第二の確率分布の変形の一例について、図２１を参照しながら説明する。例えば同図に示すように、第二の確率分布を、エッジ周辺の二次元の正規分布で近似している場合、この正規分布は、ｘ平均、ｙ平均、エッジ水平分散、エッジ垂直分散、傾き、分布全体の大きさ等の値で表すことができる。これらの値を、エッジの角度や自機の位置および姿勢の変化量に応じて変化させる。なお、そのエッジが画像内でどれくらい移動するかは、当該エッジまでの距離と撮像部１０ａ，１０ｂ，１０ｃのパラメータから推定することが可能である。
例えば第一のステレオカメラ１１ａの基線長の方向が水平方向である場合（図１３参照）、図２１に示すように、基線長の方向に対するエッジの角度が小さくなるほど、両分散（エッジ水平分散、エッジ垂直分散）を大きくしていく。また、基線長の方向に対するエッジの角度が小さくなるほど、分布全体の大きさを小さくしていく。
情報処理装置１Ａでは、上記のような処理を行うことにより、第二の確率分布（物体のエッジ方向に基づくマップ投票確率）の計算頻度を減らすことができるため、処理負荷を軽減することができる。
次に、本実施形態に係る情報処理装置１Ａの処理の流れについて、図２２を参照しながら説明する。まず、制御部２０Ａの位置姿勢推定部２４は、自機の位置および姿勢を推定する（ステップＳ１１）。続いて、制御部２０Ａは、位置姿勢推定部２４によって推定された自機の位置および姿勢の変化量が、予め定めた閾値未満であるか否かを判定する（ステップＳ１２）。
ステップＳ１２において、制御部２０Ａの位置姿勢推定部２４によって推定された自機の位置および姿勢の変化量が、予め定めた閾値未満である場合（ステップＳ１２でＹｅｓ）、物体検出部２３は、自機の位置姿勢の変化に起因するマップ投票確率を算出する（ステップＳ１３）。ステップＳ１３において、物体検出部２３は、自機の位置および姿勢の変化量に応じて、予め登録されたキーフレームを変形させることにより、第二の確率分布を算出する。そして、物体検出部２３は、算出した第二の確率分布と、第一の確率分布とを掛け合わせることにより、マップ投票確率を算出する。続いて、物体検出部２３は、Occupancy Grid Mapに投票を行い（ステップＳ１４）、本処理を終了する。
ステップＳ１２において、制御部２０Ａの位置姿勢推定部２４によって推定された自機の位置および姿勢の変化量が、予め定めた閾値以上である場合（ステップＳ１２でＮｏ）、物体検出部２３は、エッジ方向に起因するマップ投票確率を算出する（ステップＳ１５）。ステップＳ１５において、物体検出部２３は、第二の確率分布を再度計算し、算出した第二の確率分布と、第一の確率分布とを掛け合わせることにより、マップ投票確率を算出する。続いて、物体検出部２３は、Occupancy Grid Mapに投票を行い（ステップＳ１６）、第二の確率分布をキーフレームとして登録し直した後（ステップＳ１７）、本処理を終了する。
＜＜４．第２の実施形態の変形例＞＞
次に、第２の実施形態に係る情報処理装置１Ａの変形例について、図２３および図２４を参照しながら説明する。本実施形態に係る情報処理装置１Ａの構成は、前記した図１８と同様であるため、図示は省略する。
本実施形態における物体検出部２３は、キーフレームを変形させることにより算出した第二の確率分布と、現フレームで算出した第二の確率分布とを比較することにより、第二の確率分布をフィルタリングする。すなわち、物体検出部２３は、図２３に示すように、自機の位置姿勢の変化に起因して算出した第二の確率分布と、現在のエッジ方向に起因して算出した第二の確率分布とを比較し、極端に差がある確率分布や違和感のある確率分布を排除することにより、物体検出の安定性を向上させる。
次に、本実施形態に係る情報処理装置１Ａの処理の流れについて、図２４を参照しながら説明する。まず、制御部２０Ａの位置姿勢推定部２４は、自機の位置および姿勢を推定する（ステップＳ２１）。続いて、制御部２０Ａは、位置姿勢推定部２４によって推定された自機の位置および姿勢の変化量が、予め定めた閾値未満であるか否かを判定する（ステップＳ２２）。
ステップＳ２２において、制御部２０Ａの位置姿勢推定部２４によって推定された自機の位置および姿勢の変化量が、予め定めた閾値未満である場合（ステップＳ２２でＹｅｓ）、物体検出部２３は、自機の位置姿勢の変化に起因するマップ投票確率を算出する（ステップＳ２３）。ステップＳ２３において、物体検出部２３は、自機の位置および姿勢の変化量に応じて、予め登録されたキーフレームを変形させることにより、第二の確率分布を算出する。そして、物体検出部２３は、算出した第二の確率分布と、第一の確率分布とを掛け合わせることにより、マップ投票確率を算出する。
続いて、物体検出部２３は、自機の位置姿勢の変化に起因して算出した第二の確率分布と、現在のエッジ方向に起因して算出した第二の確率分布とを比較し（ステップＳ２４）、極端に差がある確率分布をフィルタリングする（ステップＳ２５）。続いて、物体検出部２３は、Occupancy Grid Mapに投票を行い（ステップＳ２６）、本処理を終了する。
ステップＳ２２において、制御部２０Ａの位置姿勢推定部２４によって推定された自機の位置および姿勢の変化量が、予め定めた閾値以上である場合（ステップＳ２２でＮｏ）、物体検出部２３は、エッジ方向に起因するマップ投票確率を算出する（ステップＳ２７）。ステップＳ２７において、物体検出部２３は、第二の確率分布を再度計算し、算出した第二の確率分布と、第一の確率分布とを掛け合わせることにより、マップ投票確率を算出する。続いて、物体検出部２３は、Occupancy Grid Mapに投票を行い（ステップＳ２８）、第二の確率分布をキーフレームとして登録し直した後（ステップＳ２９）、本処理を終了する。
＜＜５．ハードウェア構成例＞＞
上記の実施形態に係る情報処理装置１，１Ａ等の情報機器は、例えば図２５に示すような構成のコンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００および入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、および当該プログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ１０００が実施形態に係る情報処理装置１，１Ａとして機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、制御部１３０等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムや、記憶部３０内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
＜＜６．効果＞＞
情報処理装置１，１Ａは、第一、第二のステレオカメラ１１ａ，１１ｂと、デプス推定部２１と、物体検出部２３と、を備える。第一、第二のステレオカメラ１１ａ，１１ｂは、各々の基線長の方向が交差するように配置されている。また、デプス推定部２１は、第一、第二のステレオカメラ１１ａ，１１ｂによって撮像された撮像画像から、撮像画像に含まれる物体のデプスを推定する。また、物体検出部２３は、デプス推定部２１で推定したデプスと、第一、第二のステレオカメラ１１ａ，１１ｂの基線長の方向に対する物体のエッジ方向の角度に応じて決定されるデプスの信頼度とに基づいて、物体を検出する。
これにより、情報処理装置１，１Ａは、第一、第二のステレオカメラ１１ａ，１１ｂの基線長の方向に対する物体のエッジ方向の角度に応じて決定されるデプスの信頼度を用いることにより、エッジ方向を問わずに物体を高精度に検出することができる。また、情報処理装置１，１Ａを、例えばドローン等の無人移動体に適用することにより、電線等の水平線を適切に認識することができ、かつビルの天井部分が飛び出ているように認識されることを回避することができる。また、情報処理装置１，１Ａによれば、ステレオカメラを利用した既存のデプス推定システムを流用することができるため、物体の検出精度を低コストで向上させることができる。
情報処理装置１，１Ａにおいて、デプスの信頼度は、撮像画像において物体のエッジが存在する位置における確率分布であって、基線長の方向に対するエッジ方向が直角に近いほど、高い確率を有する確率分布である。
これにより、情報処理装置１，１Ａは、第一、第二のステレオカメラ１１ａ，１１ｂの基線長の方向に対する物体のエッジ方向の角度に応じて決定されるデプスの信頼度を確率分布にモデル化することにより、物体を高精度に検出することができる。
情報処理装置１，１Ａにおいて、物体検出部２３は、デプス推定部２１で推定したデプスに基づく第一の確率分布（物体までの距離に基づくマップ投票確率）と、デプスの信頼度を示す第二の確率分布（物体のエッジ方向に基づくマップ投票確率）とを算出し、第一の確率分布および第二の確率分布に基づいて、撮像画像に含まれる空間が格子状に分割された占有格子地図において、物体が各格子を占有する確率を示すマップ投票確率を算出し、マップ投票確率に基づいて各格子に投票を行うことにより占有格子地図を作成する。
これにより、情報処理装置１，１Ａは、占有格子地図を作成することにより、物体の位置や物体までの距離を把握することができる。
情報処理装置１，１Ａにおいて、物体検出部２３は、第一の確率分布および第二の確率分布を掛け合わせることにより、マップ投票確率を算出する。
これにより、情報処理装置１，１Ａは、物体までの距離に基づく確率分布と、物体のエッジ方向に基づく確率分布とを踏まえて、マップ投票確率を三次元的に求めることができる。
情報処理装置１Ａにおいて、物体検出部２３は、前フレームで算出した第二の確率分布（物体のエッジ方向に基づくマップ投票確率）をキーフレームとして登録し、現フレームにおいて、第一、第二のステレオカメラ１１ａ，１１ｂの位置および姿勢が変化した場合、第一、第二のステレオカメラ１１ａ，１１ｂの位置および姿勢の変化量に基づいて、キーフレームを変形させることにより、第二の確率分布を算出する。
これにより、情報処理装置１Ａは、自機（第一、第二のステレオカメラ１１ａ，１１ｂ）の移動や回転に関する情報を用いることにより、計算量を削減することができるため、処理負荷が軽減する。
情報処理装置１Ａにおいて、物体検出部２３は、キーフレームを変形させることにより算出した第二の確率分布（物体のエッジ方向に基づくマップ投票確率）と、現フレームで算出した第二の確率分布とを比較することにより、第二の確率分布をフィルタリングする。
これにより、情報処理装置１Ａは、極端に差がある確率分布や違和感のある確率分布をフィルタリングすることにより、物体検出の安定性を向上させることができる。
情報処理装置１，１Ａにおいて、第一、第二のステレオカメラ１１ａ，１１ｂは、第一のステレオカメラ１１ａと、第二のステレオカメラ１１ｂとを有し、第一、第二のステレオカメラ１１ａ，１１ｂは、第一のステレオカメラ１１ａの基線長の方向と、第二のステレオカメラ１１ｂの基線長の方向とが直交するように配置されている。
これにより、情報処理装置１，１Ａは、第一のステレオカメラ１１ａの基線長の方向と、第二のステレオカメラ１１ｂの基線長の方向とを直交させて配置することにより、エッジ方向を問わずに物体を高精度に検出することができる。
情報処理方法は、各々の基線長の方向が交差するように配置された第一、第二のステレオカメラ１１ａ，１１ｂによって撮像された撮像画像から、撮像画像に含まれる物体のデプスを推定することと、デプスと、第一、第二のステレオカメラ１１ａ，１１ｂの基線長の方向に対する物体のエッジ方向の角度に応じて決定されるデプスの信頼度とに基づいて、物体を検出することと、を含む。
これにより、情報処理方法は、物体のエッジ方向に応じて決定されるデプスの信頼度を用いることにより、エッジ方向を問わずに物体を高精度に検出することができる。また、情報処理方法を、例えばドローン等の無人移動体に適用することにより、電線等の水平線を適切に認識することができ、かつビルの天井部分が飛び出ているように認識されることを回避することができる。また、情報処理方法によれば、ステレオカメラを利用した既存のデプス推定システムを流用することができるため、物体の検出精度を低コストで向上させることができる。
情報処理プログラムは、コンピュータを、デプス推定部２１と、エッジ検出部２２と、物体検出部２３と、して機能させる。デプス推定部２１は、各々の基線長の方向が交差するように配置されている第一、第二のステレオカメラ１１ａ，１１ｂによって撮像された撮像画像から、撮像画像に含まれる物体のデプスを推定する。また、物体検出部２３は、デプス推定部２１で推定したデプスと、第一、第二のステレオカメラ１１ａ，１１ｂの基線長の方向に対する物体のエッジ方向の角度に応じて決定されるデプスの信頼度とに基づいて、物体を検出する。
これにより、情報処理プログラムは、物体のエッジ方向に応じて決定されるデプスの信頼度を用いることにより、エッジ方向を問わずに物体を高精度に検出することができる。また、情報処理プログラムを、例えばドローン等の無人移動体に適用することにより、電線等の水平線を適切に認識することができ、かつビルの天井部分が飛び出ているように認識されることを回避することができる。また、情報処理プログラムによれば、ステレオカメラを利用した既存のデプス推定システムを流用することができるため、物体の検出精度を低コストで向上させることができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、前記した情報処理装置１，１Ａのステレオカメラシステム１０は、三つの撮像部１０ａ，１０ｂ，１０ｃを備える三眼カメラシステムであったが（図７参照）、撮像部の個数は四つ以上であってもよい。また、前記した情報処理装置１，１Ａでは、デプスの信頼度を示す確率分布を二次元の正規分布で表していたが（図１４、図１６参照）、二次元の正規分布以外で表してもよい。
また、前記した情報処理装置１，１Ａでは、エッジ検出部２２によって物体のエッジを検出し、第一、第二のステレオカメラ１１ａ，１１ｂの基線長の方向に対する物体のエッジ方向の角度に応じてデプスの信頼度を決定していたが、エッジ以外の物体の縁線を検出し、前記した基線長の方向に対する物体の縁線の方向の角度に応じてデプスの信頼度を決定してもよい。エッジ以外の物体の縁線としては、例えば物体における色、模様等の境界を示す連続する線等が挙げられる。
また、前記した情報処理装置１では、マップ投票確率の算出結果が複数ある場合に、複数のマップ投票確率を掛け合わせて合算していたが（図１７のステップＳ１０参照）、マップ投票確率を合算せずに、確率の高い方のマップ投票確率に基づいてOccupancy Grid Mapに投票を行ってもよい。
また、前記した情報処理装置１，１Ａは、被写体となる物体のエッジ方向を問わずに信頼できるデプス情報を取得することができるため、Occupancy Grid Mapの作成以外の用途にも幅広く用いることができる。例えば、取得したデータをキーフレームとすることにより、その後撮影されたデータ（１ステレオによるものでも構わない）に不自然なところがないかをチェックしたり、あるいは短時間の衝突判定に用いたりすることもできる。
なお、本技術は以下のような構成も取ることができる。
（１）
各々の基線長の方向が交差するように配置された複数のステレオカメラと、
前記複数のステレオカメラによって撮像された撮像画像から、前記撮像画像に含まれる物体のデプスを推定するデプス推定部と、
前記デプス推定部で推定したデプスと、前記複数のステレオカメラの基線長の方向に対する前記物体の縁線の方向の角度に応じて決定される前記デプスの信頼度とに基づいて、前記物体を検出する物体検出部と、
を備える情報処理装置。
（２）
前記デプスの信頼度は、前記撮像画像において前記物体の縁線が存在する位置における確率分布であって、前記基線長の方向に対する前記縁線の方向が直角に近いほど、高い確率を有する確率分布である、前記（１）に記載の情報処理装置。
（３）
前記物体検出部は、
前記デプス推定部で推定したデプスに基づく第一の確率分布と、前記デプスの信頼度を示す第二の確率分布とを算出し、
前記第一の確率分布および前記第二の確率分布に基づいて、前記撮像画像に含まれる空間が格子状に分割された占有格子地図において、前記物体が各格子を占有する確率を示すマップ投票確率を算出し、
前記マップ投票確率に基づいて各格子に投票を行うことにより前記占有格子地図を作成する、前記（１）または前記（２）に記載の情報処理装置。
（４）
前記物体検出部は、前記第一の確率分布および前記第二の確率分布を掛け合わせることにより、前記マップ投票確率を算出する、前記（３）に記載の情報処理装置。
（５）
前記物体検出部は、
前フレームで算出した第二の確率分布をキーフレームとして登録し、
現フレームにおいて、前記複数のステレオカメラの位置および姿勢が変化した場合、前記複数のステレオカメラの位置および姿勢の変化量に基づいて、前記キーフレームを変形させることにより、第二の確率分布を算出する、前記（１）から前記（４）のいずれか一項に記載の情報処理装置。
（６）
前記物体検出部は、
前記キーフレームを変形させることにより算出した第二の確率分布と、現フレームで算出した第二の確率分布とを比較することにより、第二の確率分布をフィルタリングする、前記（１）から前記（５）のいずれか一項に記載の情報処理装置。
（７）
前記複数のステレオカメラは、第一のステレオカメラと、第二のステレオカメラとを有し、
前記第一のステレオカメラおよび前記第二のステレオカメラは、前記第一のステレオカメラの基線長の方向と、前記第二のステレオカメラの基線長の方向とが直交するように配置されている、前記（１）から前記（６）のいずれか一項に記載の情報処理装置。
（８）
各々の基線長の方向が交差するように配置された複数のステレオカメラによって撮像された撮像画像から、前記撮像画像に含まれる物体のデプスを推定することと、
前記デプスと、前記複数のステレオカメラの基線長の方向に対する前記物体の縁線の方向の角度に応じて決定される前記デプスの信頼度とに基づいて、前記物体を検出することと、
を含む情報処理方法。
（９）
コンピュータを、
各々の基線長の方向が交差するように配置された複数のステレオカメラによって撮像された撮像画像から、前記撮像画像に含まれる物体のデプスを推定するデプス推定部と、
前記デプス推定部で推定したデプスと、前記複数のステレオカメラの基線長の方向に対する前記物体の縁線の方向の角度に応じて決定される前記デプスの信頼度とに基づいて、前記物体を検出する物体検出部と、
して機能させるための情報処理プログラム。
１，１Ａ 情報処理装置
１０，１０Ａ，１１０ ステレオカメラシステム
１０ａ，１０ｂ，１０ｃ，１１０ａ，１１０ｂ 撮像部
１１ａ 第一のステレオカメラ
１１ｂ 第二のステレオカメラ
１２，１２０ 支持部材
２０，２０Ａ 制御部
２１ デプス推定部
２２ エッジ検出部
２３ 物体検出部
２４ 位置姿勢推定部
３０ 記憶部
４０ 慣性計側部

Claims (9)

  1. 各々の基線長の方向が交差するように配置された複数のステレオカメラと、
    前記複数のステレオカメラによって撮像された撮像画像から、前記撮像画像に含まれる物体のデプスを推定するデプス推定部と、
    前記デプス推定部で推定したデプスと、前記複数のステレオカメラの基線長の方向に対する前記物体の縁線の方向の角度に応じて決定される前記デプスの信頼度とに基づいて、前記物体を検出する物体検出部と、
    を備える情報処理装置。
  2. 前記デプスの信頼度は、前記撮像画像において前記物体の縁線が存在する位置における確率分布であって、前記基線長の方向に対する前記縁線の方向が直角に近いほど、高い確率を有する確率分布である、請求項１に記載の情報処理装置。
  3. 前記物体検出部は、
    前記デプス推定部で推定したデプスに基づく第一の確率分布と、前記デプスの信頼度を示す第二の確率分布とを算出し、
    前記第一の確率分布および前記第二の確率分布に基づいて、前記撮像画像に含まれる空間が格子状に分割された占有格子地図において、前記物体が各格子を占有する確率を示すマップ投票確率を算出し、
    前記マップ投票確率に基づいて各格子に投票を行うことにより前記占有格子地図を作成する、請求項２に記載の情報処理装置。
  4. 前記物体検出部は、前記第一の確率分布および前記第二の確率分布を掛け合わせることにより、前記マップ投票確率を算出する、請求項３に記載の情報処理装置。
  5. 前記物体検出部は、
    前フレームで算出した第二の確率分布をキーフレームとして登録し、
    現フレームにおいて、前記複数のステレオカメラの位置および姿勢が変化した場合、前記複数のステレオカメラの位置および姿勢の変化量に基づいて、前記キーフレームを変形させることにより、第二の確率分布を算出する、請求項４に記載の情報処理装置。
  6. 前記物体検出部は、
    前記キーフレームを変形させることにより算出した第二の確率分布と、現フレームで算出した第二の確率分布とを比較することにより、第二の確率分布をフィルタリングする、請求項５に記載の情報処理装置。
  7. 前記複数のステレオカメラは、第一のステレオカメラと、第二のステレオカメラとを有し、
    前記第一のステレオカメラおよび前記第二のステレオカメラは、前記第一のステレオカメラの基線長の方向と、前記第二のステレオカメラの基線長の方向とが直交するように配置されている、請求項１に記載の情報処理装置。
  8. 各々の基線長の方向が交差するように配置された複数のステレオカメラによって撮像された撮像画像から、前記撮像画像に含まれる物体のデプスを推定することと、
    前記デプスと、前記複数のステレオカメラの基線長の方向に対する前記物体の縁線の方向の角度に応じて決定される前記デプスの信頼度とに基づいて、前記物体を検出することと、
    を含む情報処理方法。
  9. コンピュータを、
    各々の基線長の方向が交差するように配置された複数のステレオカメラによって撮像された撮像画像から、前記撮像画像に含まれる物体のデプスを推定するデプス推定部と、
    前記デプス推定部で推定したデプスと、前記複数のステレオカメラの基線長の方向に対する前記物体の縁線の方向の角度に応じて決定される前記デプスの信頼度とに基づいて、前記物体を検出する物体検出部と、
    して機能させるための情報処理プログラム。
JP2019173588A 2019-09-24 2019-09-24 情報処理装置、情報処理方法および情報処理プログラム Pending JP2021052293A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019173588A JP2021052293A (ja) 2019-09-24 2019-09-24 情報処理装置、情報処理方法および情報処理プログラム
US17/753,793 US20220351400A1 (en) 2019-09-24 2020-07-17 Information processing apparatus, information processing method, and information processing program
CN202080065342.5A CN114531898A (zh) 2019-09-24 2020-07-17 信息处理装置、信息处理方法和信息处理程序
PCT/JP2020/027951 WO2021059695A1 (ja) 2019-09-24 2020-07-17 情報処理装置、情報処理方法および情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019173588A JP2021052293A (ja) 2019-09-24 2019-09-24 情報処理装置、情報処理方法および情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2021052293A true JP2021052293A (ja) 2021-04-01

Family

ID=75156407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019173588A Pending JP2021052293A (ja) 2019-09-24 2019-09-24 情報処理装置、情報処理方法および情報処理プログラム

Country Status (4)

Country Link
US (1) US20220351400A1 (ja)
JP (1) JP2021052293A (ja)
CN (1) CN114531898A (ja)
WO (1) WO2021059695A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112022001260T5 (de) * 2021-08-24 2023-12-21 Hitachi Astemo, Ltd. Objektabstandsdetektionsvorrichtung
KR20230057649A (ko) * 2021-10-22 2023-05-02 주식회사 한화 로봇 안전 감시 시스템
CN116804554A (zh) * 2022-03-16 2023-09-26 华为技术有限公司 一种占据栅格地图生成方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5375531B2 (ja) * 2009-11-06 2013-12-25 株式会社リコー 距離画像取得装置及び距離画像取得処理方法
WO2013099169A1 (ja) * 2011-12-27 2013-07-04 パナソニック株式会社 ステレオ撮影装置
JP5881777B2 (ja) * 2014-06-24 2016-03-09 オリンパス株式会社 顕微鏡

Also Published As

Publication number Publication date
WO2021059695A1 (ja) 2021-04-01
CN114531898A (zh) 2022-05-24
US20220351400A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
WO2021059695A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101725060B1 (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR101708659B1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
US10789719B2 (en) Method and apparatus for detection of false alarm obstacle
CN112292711A (zh) 关联lidar数据和图像数据
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
WO2020253260A1 (zh) 时间同步处理方法、电子设备及存储介质
Hamel et al. Homography estimation on the special linear group based on direct point correspondence
US20190301871A1 (en) Direct Sparse Visual-Inertial Odometry Using Dynamic Marginalization
CN113137968B (zh) 基于多传感器融合的重定位方法、重定位装置和电子设备
CN112313536B (zh) 物体状态获取方法、可移动平台及存储介质
CN111989631A (zh) 自身位置推定方法
EP4001844A1 (en) Method and apparatus with localization
JP4502733B2 (ja) 障害物測定方法及び障害物測定装置
WO2021189784A1 (zh) 一种场景重建方法、系统、装置及扫地机器人
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
JP2019007739A (ja) 自己位置推定方法及び自己位置推定装置
CN113011231A (zh) 分类滑窗方法和slam定位方法及其系统和电子设备
US20210402616A1 (en) Information processing apparatus, information processing method, mobile robot, and non-transitory computer-readable storage medium
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
EP4181066A1 (en) Method and apparatus with pose estimation
KR102555269B1 (ko) 전방향 영상센서 및 관성측정센서의 자세추정 융합 방법 및 시스템