JP2019213082A - センサ制御装置、物体探索システム、物体探索方法及びプログラム - Google Patents

センサ制御装置、物体探索システム、物体探索方法及びプログラム Download PDF

Info

Publication number
JP2019213082A
JP2019213082A JP2018108599A JP2018108599A JP2019213082A JP 2019213082 A JP2019213082 A JP 2019213082A JP 2018108599 A JP2018108599 A JP 2018108599A JP 2018108599 A JP2018108599 A JP 2018108599A JP 2019213082 A JP2019213082 A JP 2019213082A
Authority
JP
Japan
Prior art keywords
sensor
target object
image
dimensional environment
arrangement area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018108599A
Other languages
English (en)
Other versions
JP6988704B2 (ja
Inventor
優人 森
Yuto Mori
優人 森
真太郎 吉澤
Shintaro Yoshizawa
真太郎 吉澤
吉川 恵
Megumi Yoshikawa
恵 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018108599A priority Critical patent/JP6988704B2/ja
Priority to US16/395,300 priority patent/US10778902B2/en
Priority to CN201910486105.5A priority patent/CN110568450B/zh
Publication of JP2019213082A publication Critical patent/JP2019213082A/ja
Application granted granted Critical
Publication of JP6988704B2 publication Critical patent/JP6988704B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

【課題】対象物体と他の物体と相対的な位置関係が変化し得る場合であっても、効率よく対象物体を探索することが可能なセンサ制御装置を提供する。【解決手段】情報取得部122は、三次元環境情報格納部114から三次元環境情報を取得する。配置領域検出部126は、三次元環境情報を用いて、対象物体80が配置された配置領域を検出する。算出部130は、配置領域を含む画像における、配置領域の大きさを算出する。視点位置決定部134は、画像データに関する画像を撮影するセンサ12がとり得る複数のセンサ位置の内、配置領域の大きさが、他のセンサ位置の画像データを用いた場合の配置領域の大きさよりも大きくなるようなセンサ位置を、最適視点位置として決定する。センサ位置制御部142は、最適視点位置にセンサ12を移動するように制御を行い、その後、対象物体80の探索を開始するように制御を行う。【選択図】図3

Description

本発明は、センサ制御装置、物体探索システム、物体探索方法及びプログラムに関し、特に、物体の探索を行うセンサを制御するセンサ制御装置、物体探索システム、物体探索方法及びプログラムに関する。
距離センサ等のセンサを動作させて探索の対象となる対象物体を探索する技術がある。このような技術においては、他の物体によって対象物体が遮蔽されることを考慮する必要がある。この技術に関連し、特許文献1は、目標対象物に対して撮像等の所定の機能を発揮できる位置を移動目標位置として設定することにより、目標対象物を撮像しながら移動する自律移動ロボットを開示する。特許文献1にかかる自律移動ロボットは、移動目標位置を設定して自己位置から移動目標位置に至る移動経路を算出する経路探索手段を有する。経路探索手段は、空間情報と機能の障害となるか否かを示した属性情報とから求まる機能の障害となる部分空間の位置と目標対象物位置との位置関係から目標対象物に対して当該機能を発揮可能な位置を求め、当該位置に前記移動目標位置を設定する。
特開2017−016359号公報
センサの動作環境によっては、障害物又は対象物体が移動することにより、障害物と対象物体との相対的な位置関係が変化する可能性がある。このような場合、他の物体(障害物)を考慮してセンサによって対象物体を探索することが可能な位置が設定されていたとしても、その設定された位置では、相対的な位置関係の変化後に障害物によって対象物体を探索することができないおそれがある。特許文献1の技術では、目標対象物と障害物との相対的な位置関係が変化することを想定していない。したがって、設定された位置に自律移動ロボットを移動しても、目標対象物と障害物との相対的な位置関係の変化により、目標対象物を撮像できないおそれがある。よって、特許文献1にかかる技術では、対象物体と他の物体との相対的な位置関係が変化し得る場合であっても、効率よく対象物体を探索することができないおそれがあった。
本発明は、対象物体と他の物体と相対的な位置関係が変化し得る場合であっても、効率よく対象物体を探索することが可能なセンサ制御装置、物体探索システム、物体探索方法及びプログラムを提供するものである。
本発明にかかるセンサ制御装置は、三次元環境において探索対象である対象物体を探索するセンサを制御するセンサ制御装置であって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得する三次元環境情報取得部と、前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出する領域検出部と、前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出する算出部と、前記画像データに関する画像を撮影する前記センサがとり得る複数の(少なくとも2つの異なる)センサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定する位置決定部と、前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように制御を行うセンサ位置制御部とを有する。
また、本発明にかかる物体探索システムは、三次元環境において探索対象である対象物体を探索するセンサと、前記センサを制御するセンサ制御装置とを有し、前記センサ制御装置は、前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得する三次元環境情報取得部と、前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出する領域検出部と、前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出する算出部と、前記画像データに関する画像を撮影する前記センサがとり得る複数の(少なくとも2つの異なる)センサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定する位置決定部と、前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように制御を行うセンサ位置制御部とを有する。
また、本発明にかかる物体探索方法は、三次元環境において探索対象である対象物体を探索する物体探索方法であって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得するステップと、前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出するステップと、前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出するステップと、前記画像データに関する画像を撮影する前記センサがとり得る複数の(少なくとも2つの異なる)センサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定するステップと、前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように前記センサを制御するステップとを有する。
また、本発明にかかるプログラムは、三次元環境において探索対象である対象物体を探索する物体探索方法を実行するプログラムであって、前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得するステップと、前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出するステップと、前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出するステップと、前記画像データに関する画像を撮影する前記センサがとり得る複数の(少なくとも2つの異なる)センサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定するステップと、前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように前記センサを制御するステップとをコンピュータに実行させる。
本発明においては、対象物体が配置された配置領域の大きさがより大きくなるような画像を撮影可能なセンサの位置が、最適位置として決定される。そして、対象物体を次に探索する際に、この最適位置にセンサを移動して対象物体の探索を開始することで、対象物体と非対象物体との相対的な位置関係が変化したとしても、対象物体が認識できる可能性が高くなる。したがって、対象物体と他の物体と相対的な位置関係が変化し得る場合であっても、効率よく対象物体を探索することが可能となる。
また、好ましくは、前記算出部は、前記配置領域を含む画像を示す2つ以上の前記画像データにおける前記配置領域の大きさを算出し、前記位置決定部は、前記2つ以上の画像データのうち、前記配置領域の大きさが最も大きくなるような前記画像データに関する画像を撮影可能な前記センサの位置を、前記最適位置として決定する。
本発明は、上記のように構成されていることによって、効率よく対象物体を探索することが可能な最適位置を、より精度よく決定することが可能となる。
また、好ましくは、前記配置領域を含む画像を抽出する画像抽出部をさらに有し、前記算出部は、前記配置領域を含む画像を示す、前記画像抽出部によって抽出可能な全ての前記画像データにおける前記配置領域の大きさを算出し、前記位置決定部は、前記全ての画像データのうち、前記配置領域の大きさが最も大きくなるような前記画像データに関する画像を撮影可能な前記センサの位置を、前記最適位置として決定する。
本発明は、上記のように構成されていることによって、効率よく対象物体を探索することが可能な最適位置を、さらに精度よく決定することが可能となる。
また、好ましくは、前記位置決定部は、前記配置領域の大きさが予め定められた閾値以上となるような前記画像データに関する画像を撮影可能な前記センサの位置を、前記最適位置として決定する。
本発明は、上記のように構成されていることによって、画像における配置領域の大きさが最適位置を決定する上で許容範囲ある場合に、他の画像について処理を行わないで、処理を終了することができる。したがって、最適位置を早く決定することが可能となる。
また、好ましくは、前記配置領域は、前記対象物体が配置された平面に対応する。
本発明は、上記のように構成されていることによって、位置決定部における計算量を削減することができる。したがって、最適位置を決定するのに要する時間を減少させることが可能となる。
また、好ましくは、前記配置領域は、前記対象物体が配置された空間の領域に対応する。
本発明は、上記のように構成されていることによって、対象物体の高さを考慮した配置領域とすることができる。したがって、効率的に対象物体を探索可能な最適位置をより精度よく決定することが可能となる。
本発明によれば、対象物体と他の物体と相対的な位置関係が変化し得る場合であっても、効率よく対象物体を探索することが可能なセンサ制御装置、物体探索システム、物体探索方法及びプログラムを提供できる。
実施の形態1にかかる物体探索システムを示す図である。 実施の形態1にかかる物体探索システムのハードウェア構成を示すブロック図である。 実施の形態1にかかるセンサ制御装置の構成を示すブロック図である。 実施の形態1にかかる最適視点決定部の構成を示すブロック図である。 実施の形態1にかかるセンサ制御装置によって行われる、物体探索方法を示すフローチャートである。 実施の形態1にかかる最適視点決定部の処理を示すフローチャートである。 実施の形態1にかかる複数の視点を例示する図である。 実施の形態1にかかる算出部及び画像選択部の処理の具体例を示すフローチャートである。 図7に示した例について、配置領域が平面である場合の処理を説明するための図である。 図7に示した例について、配置領域が平面である場合の処理を説明するための図である。 図7に示した例について、配置領域が平面である場合の処理を説明するための図である。 図7に示した例について、配置領域が空間である場合の処理を説明するための図である。 図7に示した例について、配置領域が空間である場合の処理を説明するための図である。 図7に示した例について、配置領域が空間である場合の処理を説明するための図である。 比較例における最適視点位置を決定する処理を説明するための図である。 比較例における最適視点位置を決定する処理を説明するための図である。 比較例における問題点を説明するための図である。 比較例における問題点を説明するための図である。 比較例における問題点を説明するための図である。 実施の形態2にかかる最適視点決定部の構成を示すブロック図である。 実施の形態2にかかる最適視点決定部の処理を示すフローチャートである。
(実施の形態1)
以下、図面を参照して本発明の実施の形態について説明する。なお、実質的に同じ構成要素には、同じ符号が付される。
図1は、実施の形態1にかかる物体探索システム1を示す図である。また、図2は、実施の形態1にかかる物体探索システム1のハードウェア構成を示すブロック図である。物体探索システム1は、物体探索装置10と、センサ制御装置100とを有する。物体探索装置10は、センサ12と、センサ12を駆動する駆動部14とを有する。
センサ制御装置100は、例えばコンピュータである。センサ制御装置100は、物体探索装置10と、有線又は無線の通信リンク2を介して通信可能に接続されている。したがって、センサ制御装置100は、センサ12及び駆動部14と、通信可能に接続されている。
なお、図1では、センサ制御装置100は、物体探索装置10と物理的に別個の装置であるとしたが、物体探索装置10の内部に組み込まれていてもよい。また、後述するセンサ制御装置100の構成要素の1つ以上が、物体探索装置10に組み込まれていてもよい。この場合、物体探索装置10も、コンピュータとしての機能を有する。
物体探索装置10は、三次元環境4を移動する。物体探索装置10は、三次元環境4を自律的に移動可能である。なお、三次元環境4は、直交座標系で表現されてもよいし、極座標系で表現されてもよい。以下の説明では、三次元環境4が(X,Y,Z)の直交座標系で表現された例を示している。
センサ12は、物体までの距離を計測可能な深度センサ、距離センサ、三次元カメラ(ステレオカメラ)等の計測装置である。センサ12は、例えばライダ(LIDAR;Light Detection and Ranging)等である。物体探索装置10(センサ12)は、駆動部14により、以下に説明するように5つの自由度を有する。
駆動部14は、矢印Aで示すように、物体探索装置10(センサ12)を三次元環境4のX軸方向に移動させる。また、駆動部14は、矢印Bで示すように、物体探索装置10(センサ12)を三次元環境4のY軸方向に移動させる。また、駆動部14は、矢印Cで示すように、センサ12を三次元環境4のZ軸方向(鉛直方向)に移動させる。また、駆動部14は、矢印Dで示すように、センサ12を三次元環境4のXY平面に平行に(つまり水平方向に)回転(旋回)させる。また、駆動部14は、矢印Eで示すように、センサ12を三次元環境4の上下方向に回転(揺動)させる。つまり、センサ12は、駆動部14によって、矢印A,B,Cで示すように、三次元環境4における三次元位置座標を変化させるように移動する。また、センサ12は、駆動部14によって、矢印D,Eで示すように、三次元環境4における姿勢(向き)を変化させるように移動する。以下の説明では、センサ12の「移動」とは、三次元位置座標の変化及び姿勢の変化を含む。また、センサ12の「位置」とは、三次元位置座標及び姿勢を含む。
センサ12は、物体探索装置10の周囲を観測し、センサ12(物体探索装置10)から、観測した物体における各点までの距離を計測する。そして、センサ12は、計測された距離を示す距離データを生成する。センサ12は、距離データとして、距離画像(ポイントクラウド)を示す距離画像データを生成する。つまり、距離データは、センサ12(物体探索装置10)に対する周囲の各物体表面の点群を三次元で示す。センサ12は、レーザ光を周囲に走査し、物体に反射した反射光を受光して、送信時間と受信時間との差分から物体までの距離を算出する。そして、物体探索装置10(センサ12)は、三次元環境4におけるセンサ12の三次元位置座標と、レーザ光の照射方向と、物体までの距離とから、レーザ光の反射位置における三次元座標(X,Y,Z)を算出する。
三次元環境4には、物体探索装置10によって探索される対象である対象物体80と、対象物体80とは異なる非対象物体82とが配置されている。なお、非対象物体82が探索の対象となることもある。その場合は、非対象物体82が対象物体となり、対象物体80が非対象物体となる。
また、三次元環境4には、1つ以上の収納物体90が設けられている。収納物体90は、1つ以上の棚板92と、壁面94とを有する。収納物体90は、対象物体80及び非対象物体82を収納する。本実施の形態では、対象物体80及び非対象物体82は、収納物体90の棚板92に配置される。なお、本実施の形態では、対象物体80及び非対象物体82は、収納物体90に移動可能に配置される。つまり、対象物体80及び非対象物体82は、棚板92の定められた位置に常に置かれているわけではない。
図3は、実施の形態1にかかるセンサ制御装置100の構成を示すブロック図である。センサ制御装置100は、主要なハードウェア構成として、CPU(Central Processing Unit)102と、ROM(Read Only Memory)104と、RAM(Random Access Memory)106と、インタフェース部108(IF;Interface)とを有する。CPU102、ROM104、RAM106及びインタフェース部108は、データバスなどを介して相互に接続されている。
CPU102は、制御処理及び演算処理等を行う演算装置としての機能を有する。ROM104は、CPU102によって実行される制御プログラム及び演算プログラム等を記憶するための機能を有する。RAM106は、処理データ等を一時的に記憶するための機能を有する。インタフェース部108は、有線又は無線を介して外部と信号の入出力を行う。また、インタフェース部108は、ユーザによるデータの入力の操作を受け付け、ユーザに対して情報を表示する。
また、センサ制御装置100は、三次元環境情報取得部112、三次元環境情報格納部114、物体情報格納部116、センサ情報格納部118、最適視点決定部120、最適視点位置格納部140、センサ位置制御部142、及び、物体探索処理部150(以下、「各構成要素」と称する)を有する。各構成要素は、例えば、CPU102がROM104に記憶されたプログラムを実行することによって実現可能である。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールするようにしてもよい。なお、各構成要素は、上記のようにソフトウェアによって実現されることに限定されず、何らかの回路素子等のハードウェアによって実現されてもよい。また、上記構成要素の1つ以上は、物理的に別個のハードウェアによってそれぞれ実現されてもよい。各構成要素の具体的な機能については後述する。
図4は、実施の形態1にかかる最適視点決定部120の構成を示すブロック図である。最適視点決定部120は、情報取得部122、対象物体探索部124、配置領域検出部126、画像抽出部128、算出部130、画像選択部132、及び、視点位置決定部134を有する。最適視点決定部120の各構成要素の機能については後述する。
図5は、実施の形態1にかかるセンサ制御装置100によって行われる、物体探索方法を示すフローチャートである。三次元環境情報取得部112は、三次元環境4を示す三次元環境情報(三次元環境地図)を取得する(ステップS102)。三次元環境情報格納部114は、取得された三次元環境情報を格納する(ステップS104)。
三次元環境情報とは、三次元環境4に存在する各物体の各位置(点群)の三次元座標データを示す情報である。三次元環境4が複数ある場合、三次元環境情報格納部114は、複数の三次元環境情報を格納し得る。例えば、家屋、店舗、テナント、フロアといったような環境ごとに、三次元環境情報が生成され、格納され得る。
三次元環境情報では、ある三次元座標(X,Y,Z)で示される点に何らかの物体が存在するか否かといったことが示される。したがって、センサ制御装置100及び物体探索装置10は、三次元環境情報において、連続する三次元座標に何らかの物体が存在することを検出することで、その物体の形状を認識することができる。なお、三次元環境情報によって、ある三次元座標に対応する位置に何らかの物体が存在することを認識可能であればよく、その物体が何であるか(例えば、対象物体80であるか、収納物体90であるか)を認識できなくてもよい。
三次元環境情報は、例えばセンサ12が三次元環境4の全体を走査して各物体の各位置の三次元座標を算出することで取得される。つまり、三次元環境情報は、センサ12を用いて生成され得る。なお、センサ12とは別の距離センサを用いて三次元環境情報が生成されてもよい。この場合、三次元環境情報取得部112は、その距離センサから三次元環境情報を取得してもよい。このようにして、三次元環境情報取得部112は、三次元環境情報格納部114に三次元環境情報を提供することができる。
物体情報格納部116は、物体情報を格納する(ステップS106)。物体情報格納部116は、例えば、ユーザによってインタフェース部108に入力された物体情報を格納する。なお、物体情報は、予めセンサ制御装置100に格納されていてもよい。ここで、「物体情報」とは、物体探索装置10が扱うことができる物体の情報のうち、その物体の探索に必要な情報である。例えば、物体情報は、対象物体80となり得る物体の形状及び寸法を示す情報である。例えば、物体情報は、物体のCAD(computer-aided design)データであってもよい。なお、物体情報には、対応する物体がどこに置かれているかといった位置情報は含まれなくてもよい。
センサ情報格納部118は、センサ情報を格納する(ステップS108)。センサ情報格納部118は、例えば、ユーザによってインタフェース部108に入力されたセンサ情報を格納する。なお、センサ情報は、予めセンサ制御装置100に格納されていてもよい。ここで、「センサ情報」とは、センサ12の計測に関する情報である。例えば、センサ情報は、センサ12の画角、焦点距離、解像度、及び画素数等を示す。つまり、センサ情報は、センサ12の計測可能範囲を示してもよい。これにより、センサ12によって生成される三次元画像データ(距離画像データ)のサイズ及び解像度等が特定され得る。
最適視点決定部120は、対象物体80を探索する際に最適な視点位置を算出する(ステップS120)。具体的には、最適視点決定部120は、三次元環境情報から対象物体80を探索する。そして、最適視点決定部120は、探索された対象物体80を再び探索するときの最初の視点として最適な視点位置(最適視点位置)を算出する。最適視点決定部120のさらに具体的な処理について以下に説明する。
図6は、実施の形態1にかかる最適視点決定部120の処理(S120)を示すフローチャートである。情報取得部122は、最適視点位置の決定のために必要な各種情報を取得する(ステップS122)。具体的には、情報取得部122は、三次元環境情報格納部114から三次元環境情報を取得する。また、情報取得部122は、物体情報格納部116から物体情報を取得する。また、情報取得部122は、センサ情報格納部118から、センサ情報を取得する。
対象物体探索部124は、対象物体80の位置を探索する(ステップS124)。具体的には、対象物体探索部124は、三次元環境情報と、対象物体80を示す物体情報とを用いて、対象物体80の位置を探索する。例えば、対象物体探索部124は、三次元環境情報で示される三次元環境地図に存在する物体の形状を示す情報と、対象物体80の形状を示す物体情報(CADデータ等)との差分を、三次元環境地図に存在する物体ごとに算出する。そして、対象物体探索部124は、三次元環境地図に存在する物体のうち、上記差分が予め定められた閾値よりも小さい物体が、対象物体80であると判定する。そして、対象物体探索部124は、その三次元環境地図に存在する物体の位置に、対象物体80が存在すると判定する。このようにして、対象物体探索部124は、対象物体80が配置された位置を探索する。
配置領域検出部126は、三次元環境情報を用いて、位置が判明した対象物体80について、対象物体80が配置された配置領域を検出する(ステップS126)。ここで、「配置領域」とは、対象物体80が配置された平面又は空間である。例えば、配置領域が平面である場合、配置領域は、対象物体80が置かれた棚板92の面(配置面)として定義される。また、例えば、配置領域が空間である場合、配置領域は、対象物体80が置かれた棚板92の面を底面とし、対象物体80の高さを高さとする仮想的な柱状の空間(配置空間)として定義される。
配置領域の検出方法の具体例について説明する。配置領域検出部126は、物体情報を用いて、三次元環境地図において、探索された対象物体80の底面を認識する。ここで、物体情報には、対象物体80において底面が占める位置等の、底面の情報が含まれているとする。配置領域検出部126は、三次元環境地図において、探索された対象物体80が置かれた面、つまり底面が接触する面(接触面)を特定する。配置領域検出部126は、その接触面と同じカテゴリに属する面を、配置領域である配置面と判定する。
例えば、配置領域検出部126は、接触面と連続する面を、接触面と同じカテゴリに属する面、つまり配置面とする。配置領域検出部126は、接触面を含む平面のエッジ(境界)を検出し、エッジの内側の領域を配置面として検出する。例えば、図1に示した収納物体90では、棚板92に対象物体80が配置されている場合、三次元環境地図において、対象物体80が配置された棚板92の画像の周囲のエッジが検出されることで、配置面が特定される。
さらに、配置領域が空間である場合、配置領域検出部126は、仮想的な三次元空間において、特定された配置面を、対象物体80の高さに相当する距離だけ鉛直上方(Z軸の正方向)に仮想的に移動したときの軌跡として定義される空間を、配置空間として検出する。なお、対象物体80に関する物体情報には、対象物体80の高さを示す情報が含まれているものとする。なお、直方体のように、置かれる向きに応じて異なる高さを有する対象物体80については、配置領域検出部126は、置き方に応じて最も高くなる高さ(又は最も低くなる高さ)に相当する距離だけ、特定された配置面を鉛直上方に仮想的に移動したときの軌跡として定義される空間を、配置空間として検出してもよい。
また、配置面を仮想的に移動したときの軌跡と収納物体90とが干渉する場合、収納物体90に相当する領域については、配置空間から除かれ得る。ここで、配置領域検出部126は、配置領域の検出の際に、非対象物体82については考慮しない。つまり、非対象物体82が対象物体80と同じ配置領域に配置されていたとしても、配置領域の検出の際には、非対象物体82が存在しないものとして処理される。したがって、配置面を仮想的に移動したときの軌跡と非対象物体82とが干渉しても、非対象物体82に相当する領域については、配置空間から除かれない。同様に、配置領域検出部126は、対象物体80についても考慮しない。
画像抽出部128は、三次元環境情報から、S126の処理で検出された配置領域を含む画像を示す、複数の画像データを抽出する(ステップS128)。具体的には、画像抽出部128は、複数の視点から見た、配置領域に対応する位置の点群を含む距離画像を含む画像データを抽出する。なお、以下、用語「画像」は、情報処理における処理対象としての、「画像を示す画像データ」も意味する。
画像抽出部128は、三次元環境地図において、センサ12がとり得る複数のセンサ位置(視点)から配置領域を見たときに得られる距離画像を生成する。例えば、画像抽出部128は、三次元環境地図において、つまり三次元仮想空間において、仮想的に定めた視点から配置領域を見たときに得られる距離画像を生成することで、配置領域を含む距離画像を抽出してもよい。また、画像抽出部128は、三次元環境情報が生成される際に実際にセンサ12等によって複数の視点から撮影された距離画像のうち、配置領域を含むものを抽出してもよい。この場合、画像抽出部128は、三次元環境情報が生成されるときのセンサ12の軌道に沿って、配置領域を含む距離画像を抽出してもよい。この場合、画像抽出部128は、配置領域を含む距離画像を1つ抽出したときに、その距離画像が撮影された時刻の前後に撮影された距離画像を、次に抽出してもよい。あるいは、画像抽出部128は、配置領域を含む距離画像を1つ抽出したときに、その距離画像が撮影された位置の周囲で撮影された距離画像を、次に抽出してもよい。配置領域を含む距離画像が撮影された時刻の前後に撮影された距離画像、又は、配置領域を含む距離画像が撮影された位置の周囲で撮影された距離画像は、配置領域を含む可能性が極めて高いからである。このように処理することで、配置領域を含む距離画像をより容易かつ効率的に抽出可能である。
図7は、実施の形態1にかかる複数の視点を例示する図である。図7には、収納物体90の棚板92Aに、対象物体80及び非対象物体82が配置されている状態が示されている。このとき、棚板92Aの対象物体80が接触した面92aが配置領域(配置面)となる。また、このとき、画像抽出部128は、センサ12がとり得る複数のセンサ位置(視点)としての視点A〜Cから見た、面92aの画像を含む距離画像を抽出するとする。ここで、視点Aは、対象物体80(面92a)を向かって左から見た視点位置である。視点Bは、対象物体80(面92a)を向かって右から見た視点位置である。視点Cは、対象物体80(面92a)を略正面から見た視点位置である。なお、図7で示した例では視点位置は3つであるが、視点の数は2以上の任意の数でよい。ここで、「視点位置(視点)」とは、物体を見る(撮影する)動作を行う主体(例えば人間の目又はセンサ12)の位置及び向きを示す。なお、上述したように、S128の処理は、仮想空間上の処理であり得るので、実際にその視点から物体を見る(撮影する)必要はない。
算出部130は、S128の処理で抽出された各画像における、配置領域の大きさを算出する(ステップS130)。そして、画像選択部132は、配置領域の大きさが最も大きな画像(画像データ)を選択する(ステップS132)。具体的には、算出部130は、抽出された画像それぞれについて、距離画像に占める配置領域の大きさを算出する。画像選択部132は、距離画像に占める配置領域の大きさが最も大きくなるような画像を選択する。つまり、画像選択部132は、配置領域が最も大きく映るような視点に対応する画像を選択する。なお、算出部130及び画像選択部132の処理の具体例については後述する。
視点位置決定部134は、S132の処理で選択された画像を撮影可能な視点位置を、次に対象物体80を探索するときの最初の視点として最適な最適視点位置として決定する(ステップS134)。視点位置決定部134は、最適視点位置を示す最適視点位置情報を出力する(ステップS136)。最適視点決定部120は、探索可能な全ての物体(対象物体80)について最適視点を決定したか否かを判定する(ステップS138)。全ての物体(対象物体80)について最適視点を決定していない場合(S138のNO)、最適視点決定部120は、最適視点を決定していない物体についてS124〜S136の処理を行う。全ての物体(対象物体80)について最適視点を決定した場合(S138のYES)、図6に示したS120の処理を終了する。
最適視点位置格納部140は、最適視点決定部120から出力された最適視点位置情報を格納する(図5のステップS140)。最適視点位置情報は、最適視点位置の、三次元環境における三次元座標及び向き(角度)を示す。ここで、最適視点位置格納部140は、物体(対象物体80)ごとに、対応する最適視点位置情報を格納する。
センサ位置制御部142は、最適視点位置が決定された後で、ある対象物体80を探索するための命令である物体探索指示を受け付ける(ステップS142)。物体探索指示は、例えばユーザがインタフェース部108を操作することによって入力され得る。物体探索指示は、探索対象の対象物体80を示す物体情報を示す。なお、S140の処理とS142の処理との間に、対象物体80又は非対象物体82が移動され得るとする。言い換えると、S140の処理の後、対象物体80と非対象物体82との相対的な位置関係が変化し得る。
センサ位置制御部142は、物体探索指示によって示された対象物体80に対応する最適視点位置にセンサ12を移動するように制御を行う(ステップS144)。具体的には、センサ位置制御部142は、物体探索指示によって示された対象物体80に対応する最適視点位置情報を、最適視点位置格納部140から抽出する。そして、センサ位置制御部142は、抽出された最適視点位置情報に示される視点位置にセンサ12が移動するように、駆動部14を制御する。
センサ位置制御部142は、センサ12が最適視点位置に移動した後、物体探索開始指令を、物体探索処理部150に対して出力する(ステップS146)。物体探索処理部150は、物体探索開始指令を受け付けると、対象物体80の探索処理を開始する(ステップS150)。例えば、物体探索処理部150は、距離画像を生成するようにセンサ12を制御する。センサ12は、現在の視点位置(最適視点位置)で、レーザ光等を走査して、距離画像を生成する。物体探索処理部150は、距離画像における各物体の形状を示す情報と、対象物体80の形状を示す物体情報(CADデータ等)との差分を、それぞれ算出する。そして、物体探索処理部150は、差分が最も小さい物体(又は、差分が予め定められた閾値よりも小さい物体)を対象物体80であると認識する。そして、物体探索処理部150は、対象物体80を探索すると、探索された対象物体80の三次元環境4における位置及び姿勢を示す情報を出力する(ステップS152)。
図8は、実施の形態1にかかる算出部130及び画像選択部132の処理の具体例を示すフローチャートである。算出部130は、S128の処理で抽出された画像のうち、配置領域の全体を含む画像を選択する(ステップS130a)。例えば、視点位置が配置領域に近すぎて配置領域の全体が距離画像に含まれない場合、つまり配置領域の一部が距離画像からはみ出している場合、その距離画像は選択されない。言い換えると、距離画像の外縁と配置領域とが交差しているとき、その距離画像は選択されない。したがって、配置領域がセンサ12の画角に収まっているような距離画像が選択される。つまり、配置領域の一部が距離画像からはみ出していない場合、言い換えると、距離画像の外縁と配置領域とが交差していない場合に、その距離画像は選択される。これにより、配置領域の全体が含まれる程度に配置領域から離れた位置を視点位置とする距離画像が選択される。なお、このことは、後述する他の実施の形態においても同様である。
次に、算出部130は、S130aの処理で選択された画像それぞれについて、画像における総画素数に対する配置領域に対応する画素数の割合を算出する(ステップS130b)。ここで、総画素数は、S122の処理で取得されたセンサ情報に含まれている。また、配置領域に対応する画素数は、距離画像において配置領域を構成する点(画素)の数である。そして、画像選択部132は、配置領域に対応する画素数の割合が最も大きな距離画像を選択する(ステップS130c)。
ここで、算出部130は、対象物体80が存在しないものと仮定して、配置領域の大きさを算出する。さらに、算出部130は、距離画像に非対象物体82が含まれている場合であっても、その非対象物体82が存在しないものと仮定して、配置領域の大きさを算出する。つまり、算出部130は、移動可能な物体である対象物体80及び非対象物体82が存在しないものと仮定して、配置領域の大きさを算出する。したがって、算出部130は、距離画像に含まれる対象物体80の画像及び非対象物体82の画像を除外した場合の、配置領域に対応する画素数を算出する。
例えば、算出部130は、距離画像から対象物体80及び非対象物体82の画像を除去する。配置領域の境界が対象物体80及び非対象物体82の画像と重なっていた場合、対象物体80及び非対象物体82の画像を除去することによって、配置領域の境界の欠落が生じる。算出部130は、元々顕在していた配置領域のエッジを連続的に延長することで、配置領域の境界を補正する。そして、算出部130は、対象物体80及び非対象物体82の画像を除去した箇所のうち配置領域に対応する箇所(配置領域の境界の内側)について画素を割り当てて、配置領域に対応する画素数を算出する。
一方、算出部130は、対象物体80及び非対象物体82(つまり対象物体80となり得る物体)以外の物体である収納物体90を構成する壁面94、及び、配置領域ではない他の棚板92については、それらの画像を距離画像から除外しない。したがって、算出部130は、距離画像において壁面94等によって配置領域が遮られていた場合、その遮蔽された部分の画素数についてはカウントしない。
以下、図7に示した例について行われる処理を、図面を用いて説明する。
図9〜図11は、図7に示した例について、配置領域が平面(配置面)である場合の処理を説明するための図である。図9は、視点Aから見た距離画像ImAを示す。図10は、視点Bから見た距離画像ImBを示す。図11は、視点Cから見た距離画像ImCを示す。
図9に示すように、視点Aから見た距離画像ImAでは、対象物体80の画像である対象物体画像80Iが、非対象物体82の画像である非対象物体画像82I及び壁面94の画像である壁面画像94Iと離れている。したがって、現時点では、距離画像ImAを用いて、対象物体80を認識し易い。また、距離画像ImAでは、対象物体80が配置された棚板92Aの面92aの左側の一部は、壁面94によって遮蔽されている。したがって、距離画像ImAにおいて、対象物体80が配置された棚板92Aの面92aの画像である棚板面画像92Iは、壁面画像94Iと干渉するような態様で、棚板92Aの面92aの一部のみを反映している。この棚板面画像92Iが、配置領域に対応する。
図10に示すように、視点Bから見た距離画像ImBでは、対象物体画像80Iが、非対象物体画像82Iと重なっている。これにより、対象物体画像80Iは、対象物体80の全体を反映していない。したがって、現時点では、距離画像ImBを用いても、対象物体80を認識し辛い。また、距離画像ImBでは、対象物体80が配置された棚板92Aの面92aの右側の一部は、壁面94によって遮蔽されている。したがって、距離画像ImBにおいて、棚板面画像92Iは、壁面画像94Iと干渉するような態様で、棚板92の面92aの一部のみを反映している。この棚板面画像92Iが、配置領域に対応する。
図11に示すように、視点Cから見た距離画像ImCでは、対象物体画像80Iが、非対象物体画像82Iに近接している。したがって、現時点では、距離画像ImAを用いた場合の方が、距離画像ImCを用いた場合よりも、対象物体80を認識し易い。また、距離画像ImCでは、対象物体80が配置された棚板92Aの面92aは、左右の壁面94によって遮蔽されていない。したがって、距離画像ImCにおいて、棚板面画像92Iは、壁面画像94Iと干渉せず、棚板92Aの面92aの全体を反映している。この棚板面画像92Iが、配置領域に対応する。
図9〜図11それぞれについて、算出部130は、対象物体80が配置された配置領域に対応する棚板面画像92I(図9〜図11において太線で囲まれハッチングが施された部分)の大きさを算出する。ここで、上述したように、算出部130は、配置領域の大きさ(距離画像全体に対する配置領域の画素数の割合)を算出する際に、対象物体画像80I及び非対象物体画像82Iが存在しないものとして処理を行う。一方、算出部130は、壁面画像94Iの存在を考慮して配置領域の大きさを算出する。したがって、図9〜図11の太線で示すように、壁面画像94Iによって配置領域に対応する棚板面画像92Iのエッジが形成される。
ここで、上述したように、図9〜図11にそれぞれ示した視点A〜視点Cに関する距離画像のうち、対象物体80を最も認識し易いものは、視点Aに関する距離画像ImA(図9)である。しかしながら、図9〜図11にそれぞれ示した視点A〜視点Cに関する距離画像のうち、距離画像における棚板面画像92Iの大きさが最も大きくなるのは、視点Cに関する距離画像ImC(図11)である。したがって、画像選択部132は、図11に示した距離画像ImCを選択し、視点位置決定部134は、距離画像ImCに対応する視点Cを、最適視点位置として決定する。
図12〜図14は、図7に示した例について、配置領域が空間(配置空間)である場合の処理を説明するための図である。図12は、視点Aから見た距離画像ImAを示す。図13は、視点Bから見た距離画像ImBを示す。図14は、視点Cから見た距離画像ImCを示す。
図12に示す距離画像ImAでは、対象物体80が配置された棚板92Aの面92aの左側の一部は、壁面94によって遮蔽されている。したがって、距離画像ImAにおいて、対象物体80が配置された棚板92Aに関する棚板面画像92Iは、壁面画像94Iと干渉するような態様で、棚板92Aの面92aの一部のみを反映している。そして、配置面である棚板92Aの面92aを対象物体80の高さに相当する距離だけ鉛直上方に仮想的に移動したときの軌跡が、配置空間として定義される。この配置空間を示す画像である配置空間画像96I(図12において太線で示す部分)が、配置領域に対応する。
図13に示す距離画像ImBでは、対象物体80が配置された棚板92Aの面92aの右側の一部は、壁面94によって遮蔽されている。したがって、距離画像ImBにおいて、棚板面画像92Iは、壁面画像94Iと干渉するような態様で、棚板92の面92aの一部のみを反映している。そして、棚板92Aの面92aを対象物体80の高さに相当する距離だけ鉛直上方に仮想的に移動したときの軌跡が、配置空間として定義される。この配置空間を示す画像である配置空間画像96I(図13において太線で示す部分)が、配置領域に対応する。
図14に示す距離画像ImCでは、対象物体80が配置された棚板92Aの面92aは、左右の壁面94によって遮蔽されていない。したがって、距離画像ImCにおいて、棚板面画像92Iは、壁面画像94Iと干渉せず、棚板92Aの面92aの全体を反映している。そして、棚板92Aの面92aを対象物体80の高さに相当する距離だけ鉛直上方に仮想的に移動したときの軌跡が、配置空間として定義される。この配置空間を示す画像である配置空間画像96I(図14において太線で示す部分)が、配置領域に対応する。
図12〜図14それぞれについて、算出部130は、対象物体80が配置された配置領域に対応する配置空間画像96I(図12〜図14においてハッチングが施された部分)の大きさを算出する。ここで、上述したように、算出部130は、配置領域の大きさ(距離画像全体に対する配置空間画像96Iの画素数の割合)を算出する際に、対象物体画像80I及び非対象物体画像82Iが存在しないものとして処理を行う。一方、算出部130は、壁面画像94Iの存在を考慮して配置領域の大きさを算出する。したがって、図12〜図14に示すように、壁面画像94Iによって配置領域に対応する配置空間画像96Iのエッジが形成される。
ここで、上述したように、図12〜図14にそれぞれ示した視点A〜視点Cに関する距離画像のうち、対象物体80を最も認識し易いものは、視点Aに関する距離画像ImA(図12)である。一方、図12〜図14にそれぞれ示した視点A〜視点Cに関する距離画像のうち、距離画像における配置空間画像96Iの大きさが最も大きくなるのは、視点Cに関する距離画像ImC(図14)である。したがって、画像選択部132は、図14に示した距離画像ImCを選択し、視点位置決定部134は、距離画像ImCに対応する視点Cを、最適視点位置として決定する。
(比較例)
次に、比較例について説明する。比較例は、三次元環境情報(三次元環境地図)が生成された時点において対象物体80を認識し易い視点を、最適視点位置として決定する点で、実施の形態1と異なる。
図15及び図16は、比較例における最適視点位置を決定する処理を説明するための図である。図15は、図7に示した例について、三次元環境情報が生成された時点において視点Aから見た距離画像ImAを示す。図16は、図7に示した例について、三次元環境情報が生成された時点において視点Bから見た距離画像ImBを示す。三次元環境情報が生成された時点では、非対象物体82が、対象物体80の右側に配置されている。したがって、三次元環境情報が生成された時点では、図15に示すように視点Aから対象物体80を見た方が、図16に示すように視点Bから対象物体80を見るよりも、対象物体80を認識し易い。したがって、比較例においては、視点Aが、最適視点位置として決定される。
図17〜図19は、比較例における問題点を説明するための図である。図17は、三次元環境情報が生成された後で対象物体80と非対象物体82との相対的な位置関係が変化した状態を示す図である。図17に示すように、三次元環境情報が生成された後で、非対象物体82が、向かって左側に移動したとする。
図18は、図17に示した状態における、視点Aから見た距離画像ImAを示す。図19は、図17に示した状態における、視点Bから見た距離画像ImBを示す。非対象物体82が左側に移動したため、対象物体80の左側に非対象物体82が存在することとなる。したがって、視点Aからでは、対象物体80を認識し辛くなる。つまり、図17に示すように対象物体80と非対象物体82との相対的な位置関係が変化した場合は、図18に示すように視点Aから対象物体80を見るよりも、図19に示すように視点Bから対象物体80を見た方が、対象物体80を認識し易い。このように、三次元環境情報が生成された時点では最適であった視点位置が、再び対象物体80を探索する時点でも最適であるとは限らない。
比較例のように、三次元環境情報が生成された時点で対象物体80を認識し易い視点位置を最適視点位置として決定する方法では、再度、対象物体80を探索する場合に、その決定された最適視点位置では、対象物体80を適切に探索できないおそれがある。このような場合、対象物体80を探索するために、センサ12の視点位置を大きく変更する必要があり得るため、探索に要する時間が増大するおそれがある。したがって、比較例にかかる方法では、効率よく対象物体80を探索できないおそれがある。
これに対し、本実施の形態では、対象物体80が配置された配置領域の大きさがより大きくなるような距離画像を撮影可能なセンサ12の位置が、最適位置として決定される。そして、対象物体80を次に探索する際に、この最適位置にセンサ12を移動して対象物体80の探索を開始することで、対象物体80と非対象物体82との相対的な位置関係が変化したとしても、対象物体80が認識できる可能性が高くなる。すなわち、配置領域の大きさがより大きくなるような視点で撮影すると、非対象物体82の存在によらないで、対象物体80を認識できる可能性が高くなる。さらに、対象物体80が壁面94の近傍に移動したとしても、対象物体80を認識できる可能性は、比較例の場合よりも高くなる。したがって、本実施の形態にかかる方法により、対象物体80と非対象物体82との相対的な位置関係が変化し得る場合であっても、効率よく対象物体80を探索することが可能となる。
なお、図7に示した例では、画像抽出部128は、3つの視点から見た距離画像ImA,ImB,ImCを抽出するとした。しかしながら、画像抽出部128によって抽出される距離画像の数は、2つ以上の任意の数であってもよい。つまり、画像抽出部128は、配置領域を含む任意の複数の距離画像を抽出してもよい。また、画像抽出部128は、配置領域を含む、抽出可能な全ての距離画像を抽出してもよい。このような構成とすることで、画像選択部132は、全ての距離画像のうちで最も大きな配置領域を有する距離画像を選択できる。したがって、効率よく対象物体を探索することが可能な最適視点位置を、さらに精度よく決定することが可能となる。
また、図9〜図11で示すように、配置領域を平面(配置面)とすることで、配置領域を空間領域(配置空間)とする場合と比較して、最適視点決定部120における計算量を削減することができる。したがって、配置領域を平面(配置面)とすることにより、最適視点位置を決定するのに要する時間を減少させることが可能となる。一方、図12〜図14で示すように、配置領域を空間領域(配置空間)とすることで、対象物体80の高さを考慮した配置領域とすることができる。したがって、配置領域を空間領域(配置空間)とすることにより、配置領域を平面(配置面)とする場合と比較して、効率的に対象物体80を探索可能な最適視点位置をより精度よく決定することが可能となる。
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2は、最適視点決定部120による最適視点位置の決定方法が、実施の形態1と異なる。実施の形態2のそれ以外の構成については、実施の形態1と実質的に同様であるので、説明を省略する。
図20は、実施の形態2にかかる最適視点決定部120の構成を示すブロック図である。最適視点決定部120は、情報取得部122、対象物体探索部124、配置領域検出部126、画像抽出部128、算出部130、及び、視点位置決定部234を有する。最適視点決定部120の各構成要素の機能については後述する。ここで、実施の形態1と異なり、実施の形態2にかかる最適視点決定部120は、画像選択部を有さない。さらに、視点位置決定部234の処理は、実施の形態1にかかる視点位置決定部134と異なる。
図21は、実施の形態2にかかる最適視点決定部120の処理(図5のS120)を示すフローチャートである。情報取得部122は、図6のS122の処理と同様に、各種情報を取得する(ステップS222)。対象物体探索部124は、S124の処理と同様に、対象物体80の位置を探索する(ステップS224)。配置領域検出部126は、S126の処理と同様に、三次元環境情報を用いて、位置が判明した対象物体80について、対象物体80が配置された配置領域を検出する(ステップS226)。
画像抽出部128は、三次元環境情報から、S126の処理で検出された配置領域を含む画像を抽出する(ステップS228)。ここで、実施の形態1と異なり、S228では、画像抽出部128が抽出する画像は、任意の1つでよい。算出部130は、S130の処理と同様に、S228の処理で抽出された画像における配置領域の大きさ(例えば総画素数に対する配置領域の画素数の割合)を算出する(ステップS230)。
視点位置決定部234は、S230の処理で算出された配置領域の大きさが、予め定められた閾値Th以上であるか否かを判定する(ステップS232)。閾値Thは、対象物体80を効率的に探索可能な最適視点位置を決定するのに必要な程度の大きさとして、任意に決定され得る。配置領域の大きさが閾値Th以上でない場合(S232のNO)、処理はS228に戻り、画像抽出部128は、配置領域を含む別の画像を抽出する(S228)。そして、S230〜S232の処理が繰り返される。
一方、配置領域の大きさが閾値Th以上である場合(S232のYES)、視点位置決定部234は、その画像を撮影可能な視点位置を、最適視点位置として決定する(ステップS234)。視点位置決定部234は、最適視点位置を示す最適視点位置情報を出力する(ステップS236)。最適視点決定部120は、探索可能な全ての物体について最適視点を決定したか否かを判定する(ステップS238)。全ての物体(対象物体80)について最適視点を決定していない場合(S238のNO)、最適視点決定部120は、最適視点を決定していない物体についてS224〜S236の処理を行う。全ての物体(対象物体80)について最適視点を決定した場合(S238のYES)、図21に示したS120の処理を終了する。
実施の形態2においても、対象物体80が配置された配置領域の大きさがより大きくなるような距離画像を撮影可能なセンサ12の位置が、対象物体80を次に探索する際の最適位置として決定される。したがって、この最適位置にセンサ12を移動して対象物体80の探索を開始することで、対象物体80と非対象物体82との相対的な位置関係が変化したとしても、対象物体80が認識できる可能性が高くなる。したがって、実施の形態2においても、対象物体80と非対象物体82との相対的な位置関係が変化し得る場合であっても、効率よく対象物体80を探索することが可能となる。
さらに、実施の形態2においては、視点位置決定部234は、距離画像における大きさが閾値Th以上である配置領域を含む画像を撮影可能な視点位置を、最適視点位置として決定する。これにより、距離画像における配置領域の大きさが最適視点位置を決定する上で許容範囲ある場合に、他の画像について処理を行わないで、処理を終了することができる。したがって、実施の形態2にかかる方法では、実施の形態1にかかる方法と比較して、最適視点位置を早く決定することが可能となる。
一方、実施の形態2においては、複数の距離画像について処理を行わないので、実施の形態2の方法によって決定された最適視点位置に対応する距離画像よりも、配置領域が大きな距離画像が存在する可能性がある。したがって、実施の形態2の方法は、実施の形態1の方法と比較して、最適視点位置の決定の精度が劣る可能性はある。言い換えると、実施の形態1の方法は、実施の形態2の方法と比較して、より効率的に対象物体80を探索可能な視点位置を決定することが可能となる。
(変形例)
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図5等に示したフローチャートの各ステップの順序は、適宜変更可能である。また、図5等に示したフローチャートの1つ以上のステップは、なくてもよい。また、上述した実施の形態では、最適視点位置情報は、最適視点位置の、三次元環境における三次元座標及び向き(角度)を示すとしたが、このような構成に限られない。最適視点位置情報は、最適視点位置の、三次元環境における三次元座標を示すとしてもよい。
また、上述した実施の形態では、センサ12は距離センサであるとしたが、このような構成に限られない。センサ12は、物体及び配置領域を認識可能であれば、二次元センサであってもよい。しかしながら、距離センサを用いることによって、複雑な画像処理(エッジ検出及びパターンマッチング等)を行うことなく、容易に物体及び配置領域を認識可能である。
また、配置領域は、対象物体80が配置され得ない領域を除いた領域としてもよい。例えば、図7に示した例においては、円柱形状の対象物体80は、棚板92の面92aの角部には配置され得ない。したがって、面92aの4つの角に対応する箇所を、配置領域から除外してもよい。
また、対象物体80及び非対象物体82は、棚板92に配置される必要はない。例えば、対象物体80は、壁面94に設けられたフックに掛けられていてもよい。この場合、「配置領域」とは、壁面94に対応する。対象物体80が棚板92に置かれていないと判定され、対象物体80の背後に壁があることを認識できた場合に、壁面94を「配置領域」と検出してもよい。さらに、対象物体80及び非対象物体82は、収納物体90に配置(収納)される必要はない。対象物体80及び非対象物体82は、三次元環境4の床面に配置されてもよい。この場合、床面の、対象物体80を中心とする予め定められた面積を、配置面としてもよい。
また、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1・・・物体探索システム、4・・・三次元環境、10・・・物体探索装置、12・・・センサ、14・・・駆動部、80・・・対象物体、82・・・非対象物体、90・・・収納物体、92・・・棚板、94・・・壁面、100・・・センサ制御装置、112・・・三次元環境情報取得部、114・・・三次元環境情報格納部、116・・・物体情報格納部、118・・・センサ情報格納部、120・・・最適視点決定部、122・・・情報取得部、124・・・対象物体探索部、126・・・配置領域検出部、128・・・画像抽出部、130・・・算出部、132・・・画像選択部、134・・・視点位置決定部、140・・・最適視点位置格納部、142・・・センサ位置制御部、150・・・物体探索処理部、234・・・視点位置決定部

Claims (9)

  1. 三次元環境において探索対象である対象物体を探索するセンサを制御するセンサ制御装置であって、
    前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得する三次元環境情報取得部と、
    前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出する領域検出部と、
    前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出する算出部と、
    前記画像データに関する画像を撮影する前記センサがとり得る複数のセンサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定する位置決定部と、
    前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように制御を行うセンサ位置制御部と
    を有するセンサ制御装置。
  2. 前記算出部は、前記配置領域を含む画像を示す2つ以上の前記画像データにおける前記配置領域の大きさを算出し、
    前記位置決定部は、前記2つ以上の画像データのうち、前記配置領域の大きさが最も大きくなるような前記画像データに関する画像を撮影可能な前記センサの位置を、前記最適位置として決定する
    請求項1に記載のセンサ制御装置。
  3. 前記配置領域を含む画像を抽出する画像抽出部
    をさらに有し、
    前記算出部は、前記配置領域を含む画像を示す、前記画像抽出部によって抽出可能な全ての前記画像データにおける前記配置領域の大きさを算出し、
    前記位置決定部は、前記全ての画像データのうち、前記配置領域の大きさが最も大きくなるような前記画像データに関する画像を撮影可能な前記センサの位置を、前記最適位置として決定する
    請求項2に記載のセンサ制御装置。
  4. 前記位置決定部は、前記配置領域の大きさが予め定められた閾値以上となるような前記画像データに関する画像を撮影可能な前記センサの位置を、前記最適位置として決定する
    請求項1に記載のセンサ制御装置。
  5. 前記配置領域は、前記対象物体が配置された平面に対応する
    請求項1〜4のいずれか一項に記載のセンサ制御装置。
  6. 前記配置領域は、前記対象物体が配置された空間の領域に対応する
    請求項1〜4のいずれか一項に記載のセンサ制御装置。
  7. 三次元環境において探索対象である対象物体を探索するセンサと、
    前記センサを制御するセンサ制御装置と
    を有し、
    前記センサ制御装置は、
    前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得する三次元環境情報取得部と、
    前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出する領域検出部と、
    前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出する算出部と、
    前記画像データに関する画像を撮影する前記センサがとり得る複数のセンサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定する位置決定部と、
    前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように制御を行うセンサ位置制御部と
    を有する
    物体探索システム。
  8. 三次元環境において探索対象である対象物体を探索する物体探索方法であって、
    前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得するステップと、
    前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出するステップと、
    前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出するステップと、
    前記画像データに関する画像を撮影するセンサがとり得る複数のセンサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定するステップと、
    前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように前記センサを制御するステップと
    を有する物体探索方法。
  9. 三次元環境において探索対象である対象物体を探索する物体探索方法を実行するプログラムであって、
    前記三次元環境に存在する物体の各位置を示す三次元環境情報を取得するステップと、
    前記三次元環境情報を用いて、前記対象物体が配置された配置領域を検出するステップと、
    前記配置領域を含む画像を示す少なくとも1つの画像データにおける前記配置領域の大きさを算出するステップと、
    前記画像データに関する画像を撮影するセンサがとり得る複数のセンサ位置の内、前記配置領域の大きさが、他のセンサ位置の画像データを用いた場合の前記配置領域の大きさよりも大きくなるようなセンサ位置を、最適位置として決定するステップと、
    前記最適位置が決定された後で前記対象物体の探索を行う場合に、前記最適位置に前記センサを移動させてから前記対象物体の探索を開始するように前記センサを制御するステップと
    をコンピュータに実行させるプログラム。
JP2018108599A 2018-06-06 2018-06-06 センサ制御装置、物体探索システム、物体探索方法及びプログラム Active JP6988704B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018108599A JP6988704B2 (ja) 2018-06-06 2018-06-06 センサ制御装置、物体探索システム、物体探索方法及びプログラム
US16/395,300 US10778902B2 (en) 2018-06-06 2019-04-26 Sensor control device, object search system, object search method, and program
CN201910486105.5A CN110568450B (zh) 2018-06-06 2019-06-05 传感器控制装置、物体探索系统、物体探索方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018108599A JP6988704B2 (ja) 2018-06-06 2018-06-06 センサ制御装置、物体探索システム、物体探索方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019213082A true JP2019213082A (ja) 2019-12-12
JP6988704B2 JP6988704B2 (ja) 2022-01-05

Family

ID=68763648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018108599A Active JP6988704B2 (ja) 2018-06-06 2018-06-06 センサ制御装置、物体探索システム、物体探索方法及びプログラム

Country Status (3)

Country Link
US (1) US10778902B2 (ja)
JP (1) JP6988704B2 (ja)
CN (1) CN110568450B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022054497A1 (ja) * 2020-09-08 2022-03-17 パナソニックIpマネジメント株式会社 充填率計測方法、情報処理装置およびプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287764B (zh) * 2019-05-06 2022-01-11 深圳大学 姿势预测方法、装置、计算机设备和存储介质
JP7393184B2 (ja) * 2019-11-07 2023-12-06 東芝テック株式会社 点群データ処理装置
US11023730B1 (en) * 2020-01-02 2021-06-01 International Business Machines Corporation Fine-grained visual recognition in mobile augmented reality
US11341456B2 (en) * 2020-08-25 2022-05-24 Datalogic Usa, Inc. Compact and low-power shelf monitoring system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297675A (ja) * 2003-03-28 2004-10-21 Toshiba Corp 移動撮影機器
JP2014503376A (ja) * 2011-01-28 2014-02-13 インタッチ テクノロジーズ インコーポレーション モバイルテレプレゼンスロボットとのインタフェーシング
JP2014230153A (ja) * 2013-05-23 2014-12-08 キヤノン株式会社 追尾装置及び追尾装置の制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001035052A1 (en) * 1999-11-12 2001-05-17 Armstrong Brian S Robust landmarks for machine vision and methods for detecting same
CA2540084A1 (en) * 2003-10-30 2005-05-12 Nec Corporation Estimation system, estimation method, and estimation program for estimating object state
JP4958233B2 (ja) * 2007-11-13 2012-06-20 学校法人東京電機大学 多眼視画像作成システム及び多眼視画像作成方法
JP5081014B2 (ja) * 2008-02-28 2012-11-21 株式会社トプコン ターゲット及びこれを用いた三次元形状測定装置
JP4497236B2 (ja) * 2008-08-11 2010-07-07 オムロン株式会社 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
JP5127928B2 (ja) * 2008-09-03 2013-01-23 三菱電機株式会社 車両用撮影システム
JP5465128B2 (ja) 2010-08-11 2014-04-09 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法、および点群位置データ処理プログラム
JP2013101045A (ja) 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
JP6357622B2 (ja) 2014-03-28 2018-07-18 石川県 作業支援装置、作業支援システム、作業支援方法およびプログラム
JP2016099257A (ja) 2014-11-21 2016-05-30 キヤノン株式会社 情報処理装置及び情報処理方法
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
JP6510247B2 (ja) * 2015-01-27 2019-05-08 株式会社トプコン 測量データ処理装置、測量データ処理方法およびプログラム
JP6554169B2 (ja) * 2015-06-10 2019-07-31 株式会社日立製作所 物体認識装置及び物体認識システム
CN106325306B (zh) * 2015-06-30 2019-07-16 芋头科技(杭州)有限公司 一种机器人的摄像头总成装置及其拍摄与跟踪方法
JP6599143B2 (ja) 2015-06-30 2019-10-30 セコム株式会社 自律移動ロボット
MX2020007114A (es) * 2018-01-10 2020-12-09 Simbe Robotics Inc Método para detectar y responder a derrames y peligros.

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297675A (ja) * 2003-03-28 2004-10-21 Toshiba Corp 移動撮影機器
JP2014503376A (ja) * 2011-01-28 2014-02-13 インタッチ テクノロジーズ インコーポレーション モバイルテレプレゼンスロボットとのインタフェーシング
JP2014230153A (ja) * 2013-05-23 2014-12-08 キヤノン株式会社 追尾装置及び追尾装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022054497A1 (ja) * 2020-09-08 2022-03-17 パナソニックIpマネジメント株式会社 充填率計測方法、情報処理装置およびプログラム

Also Published As

Publication number Publication date
US10778902B2 (en) 2020-09-15
CN110568450A (zh) 2019-12-13
CN110568450B (zh) 2023-04-07
JP6988704B2 (ja) 2022-01-05
US20190379836A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
JP6988704B2 (ja) センサ制御装置、物体探索システム、物体探索方法及びプログラム
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP5803367B2 (ja) 自己位置推定装置、自己位置推定方法およびプログラム
US10957067B2 (en) Control apparatus, object detection system, object detection method and program
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
KR101973917B1 (ko) 3차원 계측 장치 및 그 계측 지원 처리 방법
US9984291B2 (en) Information processing apparatus, information processing method, and storage medium for measuring a position and an orientation of an object by using a model indicating a shape of the object
KR20160003776A (ko) 자세 추정 방법 및 로봇
CN109213202B (zh) 基于光学伺服的货物摆放方法、装置、设备和存储介质
US9916512B2 (en) Information processing apparatus, processing system, object moving system, and object moving method
KR20150144726A (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US11822340B2 (en) Method and system for obstacle avoidance in robot path planning using depth sensors
EP3051492B1 (en) Method and apparatus for determining disparity
KR102270922B1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
US11283970B2 (en) Image processing method, image processing apparatus, electronic device, and computer readable storage medium
WO2014192061A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20180107916A (ko) 고정된 패턴 마스크를 이용하여 블랙, 화이트를 프로젝션을 수행하는 방법 및 시스템
KR20180107917A (ko) 서로 다른 편광에 대응하는 패턴 및 인버스 패턴을 이용하는 방법 및 장치
KR101813979B1 (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템
JP2019095964A (ja) 表面特性取得装置、表面特性取得システム及びプログラム
Pradeep et al. Ultrasonic sensor based approach for identifying the camera ROI
KR20170053509A (ko) 가정된 캘리브레이션 모델 없이 측정된 데이터를 이용하여 캘리브레이션을 수행하는 방법 및 상기 방법을 수행하는 3차원 스캐너 캘리브레이션 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R151 Written notification of patent or utility model registration

Ref document number: 6988704

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151