JP2021170147A - 走行装置、走行装置の制御方法、走行プログラムおよび記録媒体 - Google Patents
走行装置、走行装置の制御方法、走行プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2021170147A JP2021170147A JP2018119275A JP2018119275A JP2021170147A JP 2021170147 A JP2021170147 A JP 2021170147A JP 2018119275 A JP2018119275 A JP 2018119275A JP 2018119275 A JP2018119275 A JP 2018119275A JP 2021170147 A JP2021170147 A JP 2021170147A
- Authority
- JP
- Japan
- Prior art keywords
- traveling
- region
- unit
- travel
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000003384 imaging method Methods 0.000 claims description 121
- 230000006870 function Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 description 52
- 239000000284 extract Substances 0.000 description 22
- 238000012545 processing Methods 0.000 description 21
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000009434 installation Methods 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 8
- 235000019557 luminance Nutrition 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
【課題】好適な走行経路を走行することが可能な走行装置を提供する。【解決手段】ロボット装置(102)は、走行部(105)と、前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準、ならびに前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準に基づき、前記第2基準よりも前記第1基準を優先して前記走行部の走行経路を決定する走行制御部(106)と、を備えている。【選択図】図1
Description
本発明は走行装置、走行装置の制御方法、走行プログラムおよび記録媒体に関する。
ロボット装置および無人搬送車などの自律移動システム(走行装置)には、移動時にセンサなどによって走行面に存在する障害物および段差などを検知し、走行装置の衝突および落下を防止するように走行装置を走行させる技術がある。
例えば、特許文献1には、前方床面に向けて光ビームを照射する照射手段が設けられた自律走行ロボットが記載されている。また、特許文献1には、自律走行ロボットから、車輪が通過しようとする床面幅より外側の床面に向けて斜めに光ビームを発射し、照射された光ビームの反射光に基づいて得られる床面と本体との距離と、あらかじめ設定された床面と本体との距離とから段差を検出し、検出した段差に沿って自律走行ロボットを走行させる技術が開示されている。
しかしながら、本発明者らの独自の知見によれば、特許文献1に記載の自立走行ロボットは、走行する領域の状態によっては、好適な走行経路を走行できない場合がある。例えば、走行面と一続きになっている水面やガラス面、床面に描かれたマークなど、走行面との距離差がない、または走行面との距離差が小さい領域を避けることができず、ロボット装置が水辺から水面に侵入したり、走行面に落ちている薄い紙などを踏んで走行したりするという問題がある。
本発明は上記課題に鑑みてなされたものであり、好適な走行経路を走行することが可能な走行装置およびその制御方法を提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係る走行装置は、走行部と、前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準、ならびに前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準に基づき、前記第2基準よりも前記第1基準を優先して前記走行部の走行経路を決定する走行制御部と、を備えている。
本発明の一態様に係る走行装置の制御方法は、走行部を備えた走行装置の制御方法であって、前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準と、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準と、に基づき、前記第2基準よりも前記第1基準を優先して決定した走行経路に沿って前記走行部が走行する走行ステップを包含している。
本発明の一態様によれば、好適な走行経路を走行することが可能な走行装置およびその制御方法を提供することができる。
本発明に係る各実施形態について、添付図面を参照することによって以下に詳細に説明する。
<実施形態1>
以下、本発明の一実施形態(実施形態1)に係るロボット装置(走行装置)102およびロボット装置102の制御方法について、図1〜9に基づき以下に説明する。
以下、本発明の一実施形態(実施形態1)に係るロボット装置(走行装置)102およびロボット装置102の制御方法について、図1〜9に基づき以下に説明する。
〔ロボット装置102〕
図1は、本発明の実施形態に係るロボット装置102の構成を示す機能ブロック図である。図1に示すように、ロボット装置102は、ステレオ撮像部(撮像部)103、走行部105、および、走行制御部106を備えている。
図1は、本発明の実施形態に係るロボット装置102の構成を示す機能ブロック図である。図1に示すように、ロボット装置102は、ステレオ撮像部(撮像部)103、走行部105、および、走行制御部106を備えている。
走行制御部106は、画像処理装置101、距離情報算出部104、および、記憶部107を備えており、ステレオ撮像部103が撮像した画像を参照し、走行部105が乗っている第1領域との間に段差を有する第2領域を避ける第1基準と、第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準と、に基づき、第2基準よりも第1基準を優先して走行部105の走行経路を決定する。
これにより、ロボット装置102は、第1基準に基づいて段差を走行することを避けるとともに、第2基準に基づいて段差が無くとも避けるべき領域(段差を生じさせない紙などの物体が置かれている床面や、材質の異なる床面、液体によって濡れている床面など)を避けることができる。
また、第3領域は、走行自体は可能である領域であることから、走行制御部106が、第2基準よりも第1基準を優先することにより、第1領域だけでは走行が困難な場合は第3領域を走行することができる。以上により、ロボット装置102は、好適な走行経路を走行することができる。
ロボット装置102としては、例えば、自律的に移動する自律移動ロボットが挙げられる。より具体的には、自律走行する監視ロボット、掃除ロボット、配送ロボットおよび案内ロボットなどが挙げられる。なお、上述の例ではロボット装置102について説明しているが、本実施形態では、ロボット装置102に限定されず、走行面を走行することができる走行装置であればよい。
なお、本実施形態では、ロボット装置102は、ステレオ撮像部103を用いてステレオ法により距離情報を算出することにより、第1基準における段差を検知しているが、本発明はこれに限定されず、ステレオ法以外の測距技術(例えば、LIDAR法、赤外線TOF法など)により距離情報を算出する構成であってもよい。
また、ロボット装置102は、ステレオ撮像部103が撮像した画像を用いて第2基準における色、模様等を検知しているが、本発明はこれに限定されず、赤外線カメラ等を用いて光の反射率を検知する構成であってもよい。
[ステレオ撮像部103]
ステレオ撮像部103は、第1撮像部(撮像装置)108と第2撮像部(撮像装置)109とから構成される。ステレオ撮像部103は、第1撮像部108によって生成された第1画像(画像)および第2撮像部109によって生成された第2画像(画像)を距離情報算出部104に出力する。
ステレオ撮像部103は、第1撮像部(撮像装置)108と第2撮像部(撮像装置)109とから構成される。ステレオ撮像部103は、第1撮像部108によって生成された第1画像(画像)および第2撮像部109によって生成された第2画像(画像)を距離情報算出部104に出力する。
図2は、ロボット装置102におけるステレオ撮像部103の位置を説明するための図である。一態様において、ステレオ撮像部103はロボット装置102の所定の高さの位置に、第1撮像部108および第2撮像部109の光軸201が、ロボット装置102が乗っている第1領域202と平行になるように設置されている。
(第1撮像部108、第2撮像部109)
第1撮像部108は、被写体を撮像することによって当該被写体を含む第1画像を生成する。第2撮像部109は、第1撮像部108とは視点が異なるように設置されており、被写体を撮像することによって当該被写体を含む第2画像を生成する。第1撮像部108および第2撮像部109としては、CCD(Charge Couple Device)などの撮像レンズおよび撮像素子を備えているものを挙げることができる。
第1撮像部108は、被写体を撮像することによって当該被写体を含む第1画像を生成する。第2撮像部109は、第1撮像部108とは視点が異なるように設置されており、被写体を撮像することによって当該被写体を含む第2画像を生成する。第1撮像部108および第2撮像部109としては、CCD(Charge Couple Device)などの撮像レンズおよび撮像素子を備えているものを挙げることができる。
[距離情報算出部104]
距離情報算出部104は、ステレオ撮像部103から取得した第1画像および第2画像に基づき、ステレオ撮像部103と被写体との間の距離情報を算出する。具体的には、距離情報算出部104は、第1画像および第2画像のうち一方を基準画像301とし、他方を参照画像として視差を算出し、算出した視差と、予め取得した第1撮像部108と第2撮像部109との位置関係情報とから距離情報を算出する。距離情報は、例えば、基準画像301の各画素に対応するように距離を格納した情報であり得る。
距離情報算出部104は、ステレオ撮像部103から取得した第1画像および第2画像に基づき、ステレオ撮像部103と被写体との間の距離情報を算出する。具体的には、距離情報算出部104は、第1画像および第2画像のうち一方を基準画像301とし、他方を参照画像として視差を算出し、算出した視差と、予め取得した第1撮像部108と第2撮像部109との位置関係情報とから距離情報を算出する。距離情報は、例えば、基準画像301の各画素に対応するように距離を格納した情報であり得る。
図3の(a)は、基準画像301の一例を示し、図3の(b)は、基準画像301に対応する距離情報の一例を図示したものである。図3の(b)では、ステレオ撮像部103から各画素に対応する被写体上の位置までの距離を輝度で示しており、距離が短いほど明るい画素で、距離が長いほど暗い画素で表している。
距離情報算出部104は、第1画像と、第1画像に対応する距離情報とを、画像処理装置101に出力する。
[走行部105]
走行部105は、ロボット装置102を走行させるものであり、車輪およびモータなどの駆動源によって構成されている。なお、走行部105はこれに限定されず、ロボット装置102を走行させ、適宜走行方向および走行速度などを調整できれば、ベルトなどをさらに備えていていたりしてもよい。走行部105は、走行制御部106によって、走行方向および走行速度を制御される。
走行部105は、ロボット装置102を走行させるものであり、車輪およびモータなどの駆動源によって構成されている。なお、走行部105はこれに限定されず、ロボット装置102を走行させ、適宜走行方向および走行速度などを調整できれば、ベルトなどをさらに備えていていたりしてもよい。走行部105は、走行制御部106によって、走行方向および走行速度を制御される。
[走行制御部106]
走行制御部106は、ステレオ撮像部103が撮像した第1画像および第2画像を参照し、第2領域を避ける第1基準と、第3領域を避ける第2基準と、に基づき、第2基準よりも第1基準を優先して走行経路を決定する。第1領域は、走行開始時に走行部105が乗っている領域である。第2領域は、壁および窪みなどの障害物のような、第1領域との間に段差を有し、ロボット装置102が走行できない領域のことを指す。第3領域は、第1領域とは色、模様、および、光の反射率の少なくとも一つが異なる領域を指す。第3領域は、ロボット装置102が走行できる領域であるが、水面、ガラス面、床面に描かれたマーク、微小な凹凸などが存在し、なるべくならロボット装置102に走行して欲しくない領域である。
走行制御部106は、ステレオ撮像部103が撮像した第1画像および第2画像を参照し、第2領域を避ける第1基準と、第3領域を避ける第2基準と、に基づき、第2基準よりも第1基準を優先して走行経路を決定する。第1領域は、走行開始時に走行部105が乗っている領域である。第2領域は、壁および窪みなどの障害物のような、第1領域との間に段差を有し、ロボット装置102が走行できない領域のことを指す。第3領域は、第1領域とは色、模様、および、光の反射率の少なくとも一つが異なる領域を指す。第3領域は、ロボット装置102が走行できる領域であるが、水面、ガラス面、床面に描かれたマーク、微小な凹凸などが存在し、なるべくならロボット装置102に走行して欲しくない領域である。
なお、以下では、第2領域ではない領域を、ロボット装置102が走行可能な領域として、走行可能領域と呼び、第2領域でも第3領域でもない領域を、ロボット装置102の走行が推奨される領域として、走行推奨領域と呼ぶ。すなわち、第2領域を避ける第1基準とは、換言すれば、走行可能領域を走行するように走行経路を決定するものであり、第3領域を避ける第2基準とは、換言すれば、走行推奨領域を走行するように走行経路を決定するものである。
走行制御部106が第1基準および第2基準に基づいて、さらに、第2基準よりも第1基準を優先して走行経路を決定することで、走行部105はロボット装置102を好適に走行させることができる。第2基準よりも第1基準を優先して走行経路を決定するとは、第2領域および第3領域の両方を避けて走行することが可能な場合は、両者を避けて走行し、第2領域および第3領域の両方を避けて走行することが不可能な場合、すなわち、第2領域および第3領域のいずれかを走行する必要がある場合には、第3領域を走行するように走行経路を決定することを意味する。以下、ロボット装置102の走行経路の決定について、図4を用いて詳しく説明する。
図4は、実施形態1に係るロボット装置102の走行経路を説明するための図である。図4の(a)および(b)に示すように、灰色の領域を第1領域406、白色の領域を第2領域407、ドットの領域を第3領域408とする。
図4の(a)に示すように、ロボット装置102が地点401から地点402へ移動する際に、走行制御部106が第1基準のみに基づいて走行経路を決定する場合について以下に説明する。この場合、走行制御部106は、地点401から地点402までの経路のうち、最短の経路である経路(走行経路)403を走行経路に決定する。
走行制御部106が、第1基準に加え、第2基準に基づいて走行経路を決定する場合について以下に説明する。この場合、走行制御部106は、地点401から地点402までの経路のうち、第3領域408を避けて走行するように、経路(走行経路)404または405をロボット装置102の走行経路に決定する。
このように、走行制御部106が、第1基準および第2基準に基づいて走行経路を決定することで、紙、水溜り等が存在する第3領域408について、例え第1領域406(走行面)からの段差なく、一続きになっていたとしても、第3領域408を避けて走行することができる(走行推奨領域を走行することができる)。これにより、例えば、ロボット装置102が水辺から水面に侵入したり、走行面に落ちている薄い紙などを踏んで走行したりするという問題を防ぐことができる。
図4の(b)では、ロボット装置102がある地点(出発地点)409から他の地点(目的地点)410に移動するまでの経路中に第2領域407および第3領域408によって遮られた部位が存在する。この場合、走行制御部106は、第3領域408を避ける第2基準よりも第2領域407を避ける第1基準を優先して、第3領域408を走行する経路(走行経路)411を走行経路に決定する。このように、第2領域があるために、走行可能領域であるが走行推奨領域ではない第3領域を走行しなければ目的地へたどり着けない場合は、走行制御部106は、第3領域を走行するように走行経路を決定する。これにより、部屋の出入り口付近に敷かれているマットまたは描かれているマークなど第1領域と異なる特徴量を有する被写体があっても、当該被写体上をロボット装置102が走行するため、部屋の出入り口を通過することができる。
なお、一態様において、ロボット装置102は、図示しない超音波センサ、バンパーセンサなどを更に備え、走行制御部106は、上述のように決定した走行経路をロボット装置102が走行しているときに、当該超音波センサまたはバンパーセンサなどがロボット装置102の周囲に物体が存在することを検知したときに、ロボット装置102の徐行、停止、および走行方向の変更などを行うように走行部105を制御するようになっていてもよい。
[記憶部107]
記憶部107は、ステレオ撮像部103によって撮像された画像、ならびに、画像処理装置101によって生成される特徴量および代表特徴量などを記録媒体に記憶する。また、記憶部107は、記録媒体に記録される上述の画像、特徴量および代表特徴量を読み込み、画像処理装置101に出力する。記憶部107としては、上述の機能を有するものであれば、汎用のものを用いることができる。
記憶部107は、ステレオ撮像部103によって撮像された画像、ならびに、画像処理装置101によって生成される特徴量および代表特徴量などを記録媒体に記憶する。また、記憶部107は、記録媒体に記録される上述の画像、特徴量および代表特徴量を読み込み、画像処理装置101に出力する。記憶部107としては、上述の機能を有するものであれば、汎用のものを用いることができる。
[画像処理装置101]
画像処理装置101は、ステレオ撮像部103が撮像した画像に基づいて第1領域、第2領域、第3領域、走行可能領域および走行推奨領域を設定する。画像処理装置101は、例えばCPU(Central Processing Unit:中央処理装置)またはGPU(Graphic Processing Unit:画像処理用処理装置)などから構成される。
画像処理装置101は、ステレオ撮像部103が撮像した画像に基づいて第1領域、第2領域、第3領域、走行可能領域および走行推奨領域を設定する。画像処理装置101は、例えばCPU(Central Processing Unit:中央処理装置)またはGPU(Graphic Processing Unit:画像処理用処理装置)などから構成される。
また、図1に示すように、画像処理装置101は、走行可能領域設定部110、特徴量抽出部111、代表特徴量抽出部112、および走行推奨領域設定部113を備えている。
(走行可能領域設定部110)
走行可能領域設定部110は、画像に基づき、走行可能領域および第2領域を設定する。具体的には、走行可能領域設定部110は、距離情報算出部104によって算出された距離情報から走行可能領域および第2領域を設定する。
走行可能領域設定部110は、画像に基づき、走行可能領域および第2領域を設定する。具体的には、走行可能領域設定部110は、距離情報算出部104によって算出された距離情報から走行可能領域および第2領域を設定する。
図5は、本発明の実施形態1における走行可能領域の一例を示す図である。図5では、ロボット装置102の走行面(第1領域)と推定される領域は白色の走行可能領域3020として表されており、壁および箱など、走行面との間に段差を有する黒色の領域は第2領域3021として表されている。ここでは、走行面上に落ちている紙などが存在していても、走行面との距離差が小さいため、走行可能領域設定部110は第1領域と区別できず、走行面の第1領域と同じく走行可能領域として設定される。
以下、走行可能領域の設定方法について、図6を用いて詳細に説明する。図6は、本発明の実施形態1における走行可能領域の設定方法を説明するための図である。走行可能領域設定部110は、例えば、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の点を抽出することで走行可能領域を設定できる。なお、図6に示すように、ステレオ撮像部103の設置高さH[m]とは、第1領域(走行面)202からステレオ撮像部103までの長さ、すなわち、ロボット装置102におけるステレオ撮像部103の設置高さとも言うことができる。
ここで、αは距離情報の測距精度などによって生じるずれを許容するための値であり、走行可能領域設定部110は、例えば、0.025[m]などに設定する。距離情報における測距精度によって生じるずれは被写体203とステレオ撮像部103との距離の値が大きいほど大きくなるため、走行可能領域設定部110は、αの値を被写体203とステレオ撮像部103との距離に応じて変動させてもよい。例えば、走行可能領域設定部110は、被写体203とステレオ撮像部103との距離が1m以上2m以内の範囲である場合には、αを0.025[m]に設定し、2m以上3m以内の範囲である場合には、αを0.05[m]に設定してもよい。このように、走行可能領域設定部110が、被写体203とステレオ撮像部103との距離が長くなるにつれαの値が大きくなるように設定することで、測距精度によって生じるずれを適切に許容できるようになる。
また、距離情報d[m]から、ステレオ撮像部103と被写体203とのY軸方向の距離(各画素の高さ)y[m]は式(1)のように算出することができる。
ここで、v[ピクセル]はステレオ撮像部103によって撮像された画像上のY軸方向の位置、h[ピクセル]は当該画像の縦画素数、f[ピクセル]はステレオ撮像部103の焦点距離を表す。式(1)に距離情報d[m]、v[ピクセル]、h[ピクセル]およびf[ピクセル]を代入することで、高さy[m]を算出できる。走行可能領域設定部110は、高さy[m]がH±α[m]となる画素を走行可能領域として設定し、その他の画素を第2領域として設定する。このように、距離情報から算出される高さに基づいて走行可能領域設定部110が走行可能領域および第2領域を設定することで、走行可能領域の高さを、ロボット装置102が乗っている第1領域(走行面)202上から任意のしきい値分である凹凸のある範囲に限定できる。
(特徴量抽出部111)
特徴量抽出部111は、ステレオ撮像部103または記憶部107から、基準画像を取得し、基準画像から特徴量を抽出する。
特徴量抽出部111は、ステレオ撮像部103または記憶部107から、基準画像を取得し、基準画像から特徴量を抽出する。
以下に、特徴量抽出部111が、色相を特徴量として抽出する例について説明する。まず、特徴量抽出部111は、画像のRGB値に基づく色相を特徴量として抽出する。このように、RGB値を直接特徴量とせず、色相を特徴量とすることで、陰影などによる明るさおよび彩度の変化に影響を受けず、色相の変化のみを検出することができる。RGB値のうち、最も大きな値をMAX、最も小さな値をMINとすると、色相hoは式(2)〜(4)として算出できる。なお、式(2)〜(4)は、それぞれMIN=Bとした場合、MIN=Rとした場合、および、MIN=Gとした場合の色相hoを示す式である。
特徴量抽出部111は、算出した色相hoを画像に基づいて抽出した特徴量として、代表特徴量抽出部112および走行推奨領域設定部113に出力する。
(代表特徴量抽出部112)
代表特徴量抽出部112は、ロボット装置102が乗っている第1領域(走行面)上の代表的な特徴量を抽出し、抽出した代表的な特徴量を代表特徴量として設定する。特徴量抽出部111から特徴量として色相の情報が入力された場合、代表特徴量抽出部112は、色相の統計を取ることで、ロボット装置102が乗っている第1領域(走行面)上の代表的な色相を代表特徴量として抽出する。
代表特徴量抽出部112は、ロボット装置102が乗っている第1領域(走行面)上の代表的な特徴量を抽出し、抽出した代表的な特徴量を代表特徴量として設定する。特徴量抽出部111から特徴量として色相の情報が入力された場合、代表特徴量抽出部112は、色相の統計を取ることで、ロボット装置102が乗っている第1領域(走行面)上の代表的な色相を代表特徴量として抽出する。
以下、図7を用いて代表特徴量抽出部112による代表特徴量の抽出方法を説明する。図7は、本発明の実施形態1における代表特徴量の抽出方法を説明するための図である。代表特徴量抽出部112は、図7の(a)に示すように、基準画像301の下部中央付近にあらかじめ設定された領域701を、ロボット装置102が走行する走行面(第1領域)と推定し、当該領域701における色相ヒストグラムを作成する。そして、図7の(b)に示すように、代表特徴量抽出部112は、色相ヒストグラムの頻度が任意のしきい値702以上の色相hrを代表的な色相、すなわち、代表特徴量として抽出する。これにより、あらかじめ設定された領域701内に、ロボット装置102が乗っている第1領域(走行面)以外の被写体、すなわち、走行面に落ちている紙などが含まれている場合でも、領域701内に走行面が大部分を占める場合は、走行面以外の被写体の影響を小さくし、走行面の特徴量のみを代表特徴量として抽出できる。
なお、上述の例では、代表特徴量抽出部112が一つの色相を代表特徴量として抽出しているが、代表特徴量抽出部112は、複数の色相(hr0およびhr1、など)を代表特徴量として抽出してもよい。複数の色相を代表特徴量として抽出することで、例えば、走行面が市松模様など複数の色相から構成されている場合にも、当該走行面に含まれる複数の色相を代表特徴量として抽出できる。
(走行推奨領域設定部113)
走行推奨領域設定部113は、走行可能領域設定部110によって設定された走行可能領域から、特徴量抽出部111によって抽出された特徴量と代表特徴量抽出部112によって抽出された代表特徴量とに基づき、走行推奨領域および第3領域を設定する。
走行推奨領域設定部113は、走行可能領域設定部110によって設定された走行可能領域から、特徴量抽出部111によって抽出された特徴量と代表特徴量抽出部112によって抽出された代表特徴量とに基づき、走行推奨領域および第3領域を設定する。
ここでは、走行推奨領域設定部113は、代表特徴量である色相hrと、走行可能領域内の、特徴量である色相hoが等しい領域を走行推奨領域として設定する。すなわち、ロボット装置102の走行面上の代表特徴量の色相が青色であれば、走行推奨領域設定部113は、走行可能領域内の青色の領域を走行面と色相が同じであるように識別し、走行推奨領域に設定する。また、走行推奨領域設定部113は、走行可能領域内の、例えば、赤色および白色などの青色以外の領域を走行面と異なる種類と識別し、第3領域に設定する。
図8は、本発明の実施形態1における走行推奨領域の一例を示す図である。図8では、白色の領域を走行推奨領域3022、壁および箱など、走行面との間に段差を有する黒色の領域を第2領域3021、走行可能領域のうち、走行推奨領域3022とは色相が異なるドットの領域を第3領域3023として示している。図8では、当該紙の色相は代表特徴量の色相とは異なるため、走行面とは異なる色であるように識別される。そのため、走行面上に落ちている紙は、走行推奨領域3022ではなく第3領域3023として設定され、灰色で表されている。このように、代表特徴量と同じ特徴量を有する画像中の領域を走行推奨領域とすることで、距離情報からでは識別するのが難しいが、走行すべきでない領域(たとえば、走行面上に落ちている紙などの微細な凹凸や、水面、ガラス面などの材質の異なる領域)を好適に識別することができる。
なお、上述の例では、走行推奨領域設定部113が、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとが一致している領域を走行推奨領域として抽出しているが、本実施形態ではこれに限定されない。本実施形態では、走行推奨領域設定部113は、色相hrと色相hoとの差が任意の許容値β度以内の領域を走行推奨領域に設定し、色相hrと色相hoとの差が許容値β度を超える領域を第3領域に設定してもよい。これにより、ノイズによって僅かに色相が変化した場合でも、走行推奨領域設定部113は、好適に走行推奨領域を設定することができる。走行推奨領域設定部113は、任意の許容値βを、例えば±5度などの値を設定することができる。
〔ロボット装置102の制御処理〕
続いて、ロボット装置102の制御処理(走行装置の制御方法)について、図9を用いて説明する。図9は、本発明の実施形態1に係るロボット装置102の制御処理の流れの一例を示すフローチャートである。
続いて、ロボット装置102の制御処理(走行装置の制御方法)について、図9を用いて説明する。図9は、本発明の実施形態1に係るロボット装置102の制御処理の流れの一例を示すフローチャートである。
ステップS901:ステレオ撮像部103は、被写体の画像(基準画像および参照画像)を撮像する(撮像ステップ)。距離情報算出部104は、ステレオ撮像部103が撮像した基準画像および参照画像に基づき、距離情報を算出する。
ステップS902:走行可能領域設定部110は、距離情報算出部104が算出した距離情報に基づき、走行可能領域および第2領域を設定し、走行推奨領域設定部113に出力する。
ステップS903:特徴量抽出部111は、ステレオ撮像部103から、基準画像を取得し、基準画像から特徴量を抽出する。特徴量抽出部111は、抽出した特徴量を代表特徴量抽出部112および走行推奨領域設定部113に出力する。
ステップS904:代表特徴量抽出部112は、特徴量抽出部から取得した特徴量に基づいて代表特徴量を抽出する。代表特徴量抽出部112は、抽出した代表特徴量を走行推奨領域設定部113に出力する。
ステップS905:走行推奨領域設定部113は、走行可能領域内の、代表特徴量と特徴量が同じ領域を走行推奨領域に設定し、代表特徴量と特徴量が異なる領域を第3領域に設定する。
ステップS906:走行制御部106は、第1基準と第2基準とに基づき、第2基準よりも第1基準を優先して走行経路を決定する(走行制御ステップ)。
ステップS907:走行部105はロボット装置102を走行させる(走行ステップ)。
以上のロボット装置102の制御処理を実行することにより、走行面と同じ色相であるように識別された領域を優先して走行経路とすることができる。
〔変形例1〕
上述の例では、特徴量抽出部111および代表特徴量抽出部112は、画像から色相を特徴量および代表特徴量としてそれぞれ抽出しているが、本実施形態において用いる特徴量はこれに限定されない。
上述の例では、特徴量抽出部111および代表特徴量抽出部112は、画像から色相を特徴量および代表特徴量としてそれぞれ抽出しているが、本実施形態において用いる特徴量はこれに限定されない。
例えば、画像から、輝度、テクスチャ分布および光の反射率のうちの少なくとも1つを特徴量および代表特徴量としてそれぞれ抽出し、走行可能領域設定部110および走行推奨領域設定部113は、画像の色相、輝度、テクスチャ分布および光の反射率のうちの少なくとも1つの特徴量および代表特徴量を参照し、第1領域、第2領域および第3領域を識別し、走行可能領域および走行推奨領域を設定してもよい。なお、光の反射率は、任意の光の反射率であってよいが、例えば、赤外光の反射率であり得る。
また、輝度またはテクスチャ分布を特徴量および代表特徴量とした場合、ステレオ撮像部103の第1撮像部108および第2撮像部109はカラーカメラではなくモノクロカメラである場合にも適用できる。また、光の反射率を特徴量および代表特徴量とした場合、ステレオ撮像部103の第1撮像部108および第2撮像部109はカラーカメラではなく赤外線カメラ等の任意の光を検出するための光学センサである場合にも適用できる。
一態様において、第1撮像部108および第2撮像部109が生成する第1画像および第2画像が、RGB値ではなくY値(輝度)によって構成されている場合、特徴量抽出部111は輝度を特徴量として抽出してもよい。また、テクスチャ分布としては、例えば、注目点の周辺近傍(N×N画素)のY値(輝度)の平均を式(5)として表すことができ、Y値の分散を式(6)として表すことができる。さらには、RGB値からY値(輝度)へ式(7)を用いて変換すると、色相、輝度およびテクスチャ分布を組み合わせたものを特徴量として抽出することができる。
また、一態様において、特徴量抽出部111が、色相、輝度、テクスチャ分布および光の反射率を組み合わせたものを特徴量として抽出することで、代表特徴量抽出部112は走行推奨領域をより高精度に設定することができる。例えば、第1領域(走行面)が青色のカーペットであり、走行面上に青色のカーペットとは模様が異なる青色の紙(第3領域)が落ちているとする。
この場合、代表特徴量抽出部112は、特徴量抽出部111が抽出した特徴量のうち、テクスチャ分布に基づいて代表特徴量を抽出することにより、青色のカーペットは分散値が大きく、青色の紙は分散値が小さいことから、走行面上の青色のカーペットと青色の紙とを好適に識別することができる。
また、代表特徴量抽出部112が、特徴量抽出部111が抽出した特徴量のうち、色相または輝度に基づいて代表特徴量を抽出することにより、青色のカーペット上の汚れを好適に識別することができる。したがって、特徴量抽出部111が、特徴量を複数抽出することで、代表特徴量抽出部112は、走行推奨領域をより高精度に設定することができる。
なお、上述の例のように、特徴量抽出部111が特徴量を複数抽出し、複数の特徴量を代表特徴量抽出部112に入力した場合、代表特徴量抽出部112は、特徴量ごとに代表特徴量を抽出してもよい。この場合、走行推奨領域設定部113は、抽出された複数の代表特徴量に基づき、代表特徴量の結果を統合することで走行推奨領域を設定することができる。
代表特徴量の結果の統合方法について、例えば、色相の代表特徴量に基づいて設定された走行推奨領域と、輝度の代表特徴量に基づいて設定された走行推奨領域とがある場合について以下に説明する。
一態様において、走行推奨領域設定部113は、色相の代表特徴量に基づいて設定された走行推奨領域と、輝度の代表特徴量に基づいて設定された走行推奨領域との論理和を取る方法によって走行推奨領域を設定することができる。
すなわち、走行推奨領域設定部113は、色相の代表特徴量に基づいて設定された走行推奨領域と、輝度の代表特徴量に基づいて設定された走行推奨領域とを比較する。そして、走行推奨領域設定部113は、両方の代表特徴量に基づいて走行推奨領域として設定されている領域のみを走行推奨領域に設定してもよい。
〔変形例2〕
上述の例では、走行推奨領域設定部113は、走行可能領域において、走行推奨領域および第3領域の2種類に明確に区分けしているが、これに代えて、走行可能領域の各部位について、走行推奨領域であるか第3領域であるかの指標となる指標値を設定するようにしてもよい。この場合、走行制御部106は、当該指標値を参照して、走行経路を決定する。
上述の例では、走行推奨領域設定部113は、走行可能領域において、走行推奨領域および第3領域の2種類に明確に区分けしているが、これに代えて、走行可能領域の各部位について、走行推奨領域であるか第3領域であるかの指標となる指標値を設定するようにしてもよい。この場合、走行制御部106は、当該指標値を参照して、走行経路を決定する。
例えば、走行推奨領域設定部113は、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとが近い部位ほど指標値を高い値に設定し、色相hrから色相hoがずれている部位ほど指標値を低くする第1モードに基づいて指標値を設定してもよい。
換言すれば、走行推奨領域設定部113は、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとが近いほど走行推奨領域である可能性が高いとみなし、指標値を高い値に設定し、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとがずれているほど第3領域である可能性が高いとみなし、指標値を低い値に設定する。
一例として、走行推奨領域設定部113は、代表特徴量である色相hrと走行可能領域内の特徴量である色相hoとが等しい場合、指標値を10に設定する。また、走行推奨領域設定部113は、色相hrと色相hoとが1度以上2度以下ずれている場合、指標値を9に設定する。以降、色相hrと色相hoとが2度ずれるごとに走行推奨領域設定部113は指標値を1ずつ減らした値に設定し、20度以上ずれている場合、指標値を0に設定する。
この場合、走行制御部106は、指標値が高い部位を優先して走行するようにロボット装置102の走行部105の走行方向を制御する。このように、走行推奨領域設定部113が指標値をさらに設定することで、ロボット装置102は、第3領域である可能性が高い領域を避け、走行推奨領域である可能性が高い領域を優先して走行できる。
また、一態様において、走行推奨領域設定部113は、色相hrから色相hoがずれるほど指標値を高く設定し、所定の度合いよりも大きくずれている場合に指標値を0に設定する第2モードに基づいて指標値を設定してもよい。
一例として、走行推奨領域設定部113は、色相hrと色相hoとが等しい場合、指標値を10に設定し、色相hrと色相hoとが1度以上2度以下ずれている場合、指標値を1に設定する。以降、色相hrと色相hoとが2度ずれるごとに走行推奨領域設定部113は指標値を1ずつ増やした値に設定し、20度以上ずれている場合、指標値を0に設定する。
これは、例えば、走行面(第1領域)の色相hrとのずれが1度以上2度以下程度であり、色相hrと近い色相hoを有する可能性の高いマンホール、側溝蓋および水たまりなどの第3領域の指標値を低く設定することを目的としている。これにより、ロボット装置102は、第3領域を好適に避けて走行することができる。その結果、ロボット装置102は、例えば、マンホール上を走行することによりスリップしたり、側溝蓋上を走行することによりロボット装置102の走行部105(タイヤなど)がはまったりする危険を回避することができる。
また、一態様において、画像処理装置101が操作部1000(不図示)をさらに備えており、当該操作部1000を介してユーザが任意に第1モードと第2モードとのいずれのモードで指標値設定するかを切り替えてもよい。これにより、ユーザは操作部1000を介してロボット装置102の走行が推奨される走行推奨領域および第3領域を設定するための方法を任意に選択することができる。
〔変形例3〕
上述の例では、走行推奨領域設定部113はあらかじめ定められた特徴量に基づいて走行推奨領域および第3領域を設定しているが、本実施形態ではこれに限定されない。本実施形態では、画像処理装置101は変形例2と同様に操作部1000をさらに備えており、当該操作部1000を介してユーザが任意に走行推奨領域および第3領域を設定するための特徴量を選択できるようにしてもよい。例えば、画像処理装置101はユーザインタフェース機能を有する表示部1010(不図示)をさらに備えており、当該表示部1010を介してユーザが任意に走行推奨領域および第3領域を設定するための特徴量を選択できるようにしてもよい。
上述の例では、走行推奨領域設定部113はあらかじめ定められた特徴量に基づいて走行推奨領域および第3領域を設定しているが、本実施形態ではこれに限定されない。本実施形態では、画像処理装置101は変形例2と同様に操作部1000をさらに備えており、当該操作部1000を介してユーザが任意に走行推奨領域および第3領域を設定するための特徴量を選択できるようにしてもよい。例えば、画像処理装置101はユーザインタフェース機能を有する表示部1010(不図示)をさらに備えており、当該表示部1010を介してユーザが任意に走行推奨領域および第3領域を設定するための特徴量を選択できるようにしてもよい。
以下、図10を用いて、表示部1010を介してユーザが走行推奨領域および第3領域を設定するための特徴量の種類を選択するための例について説明する。図10は、走行推奨領域設定方法を変更するための画像1001を示す図である。
例えば、特徴量が色相、輝度、テクスチャ分布、および反射率など複数ある場合、ユーザは、図10に示すように、表示部1010に表示される画像1001の代表特徴量1101のリストのボタンをタッチしてもよい。
このように、ユーザは、当該ボタンをタッチすることで、走行推奨領域設定部113がいずれの特徴量に基づいて走行推奨領域を設定するようかを選択してもよい。例えば図10の場合、代表特徴量1101のリストのボタンとして色相が選択されているため、走行推奨領域設定部113は、色相の代表特徴量に基づいて走行推奨領域を設定する。
また、ユーザは、表示部1010を介して、走行推奨領域設定部113は、重み付けによって走行推奨領域を設定するように指示してもよい。これにより、ロボット装置102の走行状況に応じてユーザが適宜走行推奨領域を設定できるため好適である。
また、走行推奨領域設定部113が、色相hrと色相hoとの差が任意の許容値β度以内の領域を走行推奨領域に設定する場合、図10に示すように、ユーザが、許容値1102のバーを調整することで、任意の値に許容値βを設定できるようにしてもよい。
上述のようにユーザが走行推奨領域の設定方法を選択したとする。この場合、図10に示すように、表示部1010は、ステレオ撮像部103が撮像した入力画像である基準画像301、および、当該設定方法に基づいて設定された走行推奨領域3022の結果を画像1001に表示する。また、表示部1010は、ユーザによる走行推奨領域の設定方法の変更に応じて設定された走行推奨領域3022の結果を画像1001に更新して表示する。
このように走行推奨領域の設定方法を変更した場合、画像1001に表示される走行推奨領域3022の結果が変更される。そのため、走行推奨領域の設定方法を変更した場合に、画像1001に表示される走行推奨領域3022の結果にどのように影響を与えるのかユーザに認識させることができる。
これにより、ユーザはより好適に走行推奨領域および第3領域の選択基準を選択することができる。その結果、走行推奨領域設定部113はより好適に走行推奨領域および第3領域を設定することができるため、走行制御部106は、より好適にロボット装置102を走行させることができる。
〔変形例4〕
上述の例では、ロボット装置102は、距離情報を取得するためにステレオ撮像部103を備えているが、ステレオ撮像部103の代わりに、任意の撮像部(不図示)と距離情報取得部(不図示)とを備えていてもよい。
上述の例では、ロボット装置102は、距離情報を取得するためにステレオ撮像部103を備えているが、ステレオ撮像部103の代わりに、任意の撮像部(不図示)と距離情報取得部(不図示)とを備えていてもよい。
距離情報取得部としては、例えば、LIDAR(Light Detection and Ranging)および赤外線TOF(Time of Flight)センサなどが挙げられる。撮像部から画像を取得し、距離情報取得部から距離情報を取得し、画像処理装置101に入力することで、ロボット装置102は、ステレオ撮像部103を備えている場合と同様の効果を得ることができる。
〔変形例5〕
上述の例では、ロボット装置102は、可視光カメラとしてのステレオ撮像部103を備えているが、可視光カメラの代わりに、赤外線カメラなどの非可視光カメラとしてのステレオ撮像部103を備えていてもよい。
上述の例では、ロボット装置102は、可視光カメラとしてのステレオ撮像部103を備えているが、可視光カメラの代わりに、赤外線カメラなどの非可視光カメラとしてのステレオ撮像部103を備えていてもよい。
非可視光カメラとしてのステレオ撮像部103によって撮像された画像を画像処理装置101に入力することで、特に、反射率を特徴量および代表特徴量として好適に抽出することができる。また、この場合も、可視光カメラとしてのステレオ撮像部103を備えている場合と同様に、走行推奨領域設定部113が走行推奨領域および第3領域を設定することができる。
〔変形例6〕
上述の例では、ロボット装置102が走行する走行面(ロボット装置102が乗っている第1領域)が、カーペットなどの床面である場合について説明している。ただし、ロボット装置102の走行面としては、壁面、天井面および曲面のいずれであってもよい。このように、本実施形態に係るロボット装置102は、壁面、天井面および球状の物体などの曲面を走行するロボット装置102にも適用できる。
上述の例では、ロボット装置102が走行する走行面(ロボット装置102が乗っている第1領域)が、カーペットなどの床面である場合について説明している。ただし、ロボット装置102の走行面としては、壁面、天井面および曲面のいずれであってもよい。このように、本実施形態に係るロボット装置102は、壁面、天井面および球状の物体などの曲面を走行するロボット装置102にも適用できる。
〔変形例7〕
上述の例では、走行可能領域設定部110は、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の箇所を走行可能領域として設定している。また、上述の例では、ステレオ撮像部103の設置高さH[m]が一定の値である場合について説明している。
上述の例では、走行可能領域設定部110は、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の箇所を走行可能領域として設定している。また、上述の例では、ステレオ撮像部103の設置高さH[m]が一定の値である場合について説明している。
これに対し、本実施形態では、走行可能領域設定部110は、ステレオ撮像部103の設置高さH[m]は一定の値でなくてもよい。例えば、ステレオ撮像部103がアームの先端に取り付けられており、アームを伸縮させてアームの高さを動的に変化させることで、ステレオ撮像部103の設置高さH[m]をH1[m]、H2[m]・・・のように複数の値として切り替えてもよい。
この場合、記憶部107は、アームの伸縮量とステレオ撮像部103の高さとの対応関係を記憶しておいてもよい。これにより、アームの高さが変化した際に、走行可能領域設定部110は、記憶部107から変更後のアームの高さに対応した高さH[m]を読み込むことで、高さH±α[m]の箇所を走行可能領域とし、それ以外の個所を第2領域として好適に設定できる。
このように、ステレオ撮像部103の設置高さH[m]が動的に変化する場合であっても、例えば、上述のように、ステレオ撮像部103の設置高さH[m]を切り替えた際の値を記憶部107に記憶しておくことで、好適に走行可能領域および第2領域を設定できる。これにより、走行制御部106は、ステレオ撮像部103の高さに応じて好適に走行経路を決定することができる。その結果、ステレオ撮像部103の高さに応じて好適にロボット装置102を走行させることができる。
〔変形例8〕
上述の例では、ステレオ撮像部103は、第1撮像部108および第2撮像部109の光軸201が、ロボット装置102が乗っている第1領域202と平行になるように設置されているが、第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されていてもよい。以下、図11を用いて光軸201が、第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されている場合における、走行可能領域設定部110による走行可能領域および第2領域の設定方法について説明する。
上述の例では、ステレオ撮像部103は、第1撮像部108および第2撮像部109の光軸201が、ロボット装置102が乗っている第1領域202と平行になるように設置されているが、第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されていてもよい。以下、図11を用いて光軸201が、第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されている場合における、走行可能領域設定部110による走行可能領域および第2領域の設定方法について説明する。
図11は、光軸201が第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置されている場合の走行可能領域設定部110による走行可能領域の設定方法について説明するための図である。図11に示すように第1撮像部108および第2撮像部109の光軸201を、画像における第1領域202の占める割合を増やすために、ロボット装置102が乗っている第1領域202の方向に傾けて設置している。
この場合、図11に示すように、第1領域202と光軸201との間の距離l[m]は一定ではないため、ステレオ撮像部103と被写体との間の距離(距離情報)d[m]に応じて算出する必要がある。ここで、図11に示すように、第1領域202と光軸201との距離l[m]は、傾き角θ[rad]とすると、式(8)のように算出することができる。
走行可能領域設定部110は、距離(距離情報)d[m]ごとに、式(8)として算出された第1領域202と光軸201との間の距離l[m]に基づき、距離l±α[m]の範囲の点を抽出することで走行可能領域を設定し、当該範囲外の点を抽出することで第2領域を設定することができる。
このように、ステレオ撮像部103を第1領域202と平行な方向から第1領域202に向かう方向に傾けて設置することで、ロボット装置102が乗っている第1領域202と平行に設置する場合よりも第1領域202を撮像しやすくすることができる。また、画像における第1領域202の占める割合を増やすことができる。また、この場合も、走行可能領域および第2領域を好適に設定することができる。これにより、走行制御部106は、ステレオ撮像部103の向きに応じて好適に走行経路を決定することができる。その結果、ステレオ撮像部103の向きに応じて好適にロボット装置102を走行させることができる。
〔変形例9〕
上述の例では、走行可能領域設定部110は、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の箇所を走行可能領域として設定している。ただし、走行可能領域設定部110は、距離情報に基づき、ステレオ撮像部103によって撮像された画像中の平面を推定し、当該平面の結果から走行可能領域を設定してもよい。まず、距離情報を上述の式(1)および以下の式(9)を用いて3次元点(x、y、d)に変換する。
上述の例では、走行可能領域設定部110は、図6に示すようにステレオ撮像部103の設置高さがH[m]である場合に、距離情報に基づいて高さH±α[m]の箇所を走行可能領域として設定している。ただし、走行可能領域設定部110は、距離情報に基づき、ステレオ撮像部103によって撮像された画像中の平面を推定し、当該平面の結果から走行可能領域を設定してもよい。まず、距離情報を上述の式(1)および以下の式(9)を用いて3次元点(x、y、d)に変換する。
ここで、u[ピクセル]はステレオ撮像部103によって撮像された画像上のX軸方向の位置、wは画像の横画素数[ピクセル]を表す。まず、走行可能領域設定部110は、距離情報の全画素に対し式(1)および(9)を適用して3次元点群を生成する。次に、走行可能領域設定部110は、生成した3次元点群の主成分を分析し、当該分析によって得られた第三主成分ベクトルを式(10)に示すような法線ベクトルとする。次に、走行可能領域設定部110は、当該法線ベクトルに基づき、式(11)に示すような3次元点群の重心(x0、y0、d0)を通る平面の方程式を算出する。
式(11)に示す平面は、3次元点群における支配的な平面、すなわち、ロボット装置102が乗っている第1領域202の面である。そのため、走行可能領域設定部110は、当該平面と3次元点(x、y、d)との距離を算出し、所定の範囲の距離に収まる3次元点の領域を走行可能領域として設定する。当該平面と3次元点(x、y、d)との距離gは以下の式(12)のように算出することができる。
距離gが0に近いほど、3次元点(x、y、d)は第1領域202の面に近い位置にあることを意味する。すなわち、走行可能領域設定部110は、距離gが±α以内である3次元点を含む範囲を走行可能領域として設定し、当該範囲外を第2領域として設定する。
このように、走行可能領域設定部110は、距離情報に基づき画像中の平面を推定し、推定された平面の結果から走行可能領域および第2領域を設定することで、ステレオ撮像部103の設置高さH[m]の値が変化しても、走行可能領域および第2領域を好適に設定できる。これにより、走行制御部106は、ステレオ撮像部103の高さに応じて走行経路を決定することができる。その結果、ステレオ撮像部103の高さに応じて好適にロボット装置102を走行させることができる。
〔変形例10〕
上述の例では、代表特徴量抽出部112は、図7の(a)に示すように、あらかじめ設定された領域701における色相ヒストグラムを作成している。ただし、本実施形態では、画像処理装置101は操作部1000をさらに備えており、当該操作部1000を介してユーザが任意に代表特徴量を抽出するための領域701を設定してもよい。
上述の例では、代表特徴量抽出部112は、図7の(a)に示すように、あらかじめ設定された領域701における色相ヒストグラムを作成している。ただし、本実施形態では、画像処理装置101は操作部1000をさらに備えており、当該操作部1000を介してユーザが任意に代表特徴量を抽出するための領域701を設定してもよい。
例えば、画像処理装置101はユーザインタフェース機能を有する表示部1010(不図示)をさらに備えており、当該表示部1010を介してユーザが任意に領域701を選択できるようにしてもよい。より具体的には、図10に示すように、表示部1010が基準画像301を表示している場合、ユーザは基準画像301をタッチすることで図7に示すような領域701を基準画像301上で選択してもよい。
一態様において、ユーザが任意に領域701を選択した場合、ロボット装置102は、選択された領域701が適切な位置、大きさで撮像されるように、ステレオ撮像部103の画角、設置高さおよび設置角度などを設定する。これにより、代表特徴量抽出部112は、ユーザが任意に領域701を設定した場合であっても、代表特徴量を好適に設定することができる。
なお、上述の例では、領域701の形は四角形であるが、四角形でなくてもよく、例えば、多角形または丸などであってもよい。また、代表特徴量抽出部112は、走行可能領域のうち、任意の領域から代表特徴量を抽出してもよい。このように、代表特徴量抽出部112が任意の領域から代表特徴量を抽出することで、走行可能領域全域から特徴量の統計量に基づいて代表特徴量を抽出することができる。走行推奨領域設定部113が、このように抽出した代表特徴量に基づいて、走行推奨領域および第3領域を設定することにより、走行制御部106は、より正確に走行面(第1領域)を特定して走行経路を決定することができる。
〔変形例11〕
上述の例では、代表特徴量抽出部112は、入力された画像ごとに代表特徴量を抽出しているが、複数の画像から代表特徴量を抽出してもよい。
上述の例では、代表特徴量抽出部112は、入力された画像ごとに代表特徴量を抽出しているが、複数の画像から代表特徴量を抽出してもよい。
複数の画像から代表特徴量を抽出する方法としては、各々の画像から抽出された代表特徴量を組み合わせる方法、および、各々の画像から抽出された特徴量全てに基づいて代表特徴量を抽出する方法が挙げられる。
複数の画像から代表特徴量を抽出することで、ロボット装置102が停止している間に時間が経過した場合に、代表特徴量抽出部112は、特徴量の統計量に基づいて代表特徴量を抽出できる。また、ロボット装置102の移動に伴い、時間の経過に加えて被写体の撮像範囲が経過した場合も、代表特徴量抽出部112は、特徴量の統計量に基づいて代表特徴量を抽出できる。
ステレオ撮像部103が走行面(第1領域)に近い位置に設置されている場合、1度の撮像では、代表特徴量抽出部112は、狭い範囲の特徴量の統計量に基づいて代表特徴量を抽出しなければならない。これに対し、ステレオ撮像部103が複数の画像を撮像した場合、代表特徴量抽出部112は、広範囲の代表特徴量の統計量に基づいて代表特徴量を抽出することができる。
また、代表特徴量抽出部112は、任意の時間間隔をあけて代表特徴量を抽出してもよい。この場合、例えば、ステレオ撮像部103がハイスピード撮影を行っている状態で、代表特徴量抽出部112は、1秒おき、または5秒おきの画像に基づいて代表特徴量を抽出した代表特徴量を記憶部107に記憶する。また、走行推奨領域設定部113は、記憶部107が記憶している代表特徴量を取得し、走行推奨領域を設定する。
上述のように、代表特徴量抽出部112が任意の時間間隔を空けて代表特徴量を抽出することで、短い時間間隔の間で変化した代表特徴量を抽出することを防ぐことができるため、走行推奨領域設定部113は、好適に代表特徴量を設定することができる。これにより、走行制御部106は、複数の画像を参照し、好適に走行経路を決定することができる。その結果、ロボット装置102をより安定して走行させることができる。
なお、代表特徴量抽出部112は、代表特徴量に対して、時間軸方向に平滑化フィルタまたはメディアンフィルタなどが施してもよく、このようなフィルタを代表特徴量に施すことで代表特徴量の時間の経過による急激な変化を抑えることができる。
〔ソフトウェアによる実現例〕
ロボット装置102の制御ブロック(特に、ステレオ撮像部103、走行部105、走行制御部106、ならびに、画像処理装置101おける走行可能領域設定部110、特徴量抽出部111、代表特徴量抽出部112および走行推奨領域設定部113)は、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
ロボット装置102の制御ブロック(特に、ステレオ撮像部103、走行部105、走行制御部106、ならびに、画像処理装置101おける走行可能領域設定部110、特徴量抽出部111、代表特徴量抽出部112および走行推奨領域設定部113)は、集積回路(ICチップ)などに形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、ロボット装置102は、各機能を実現するソフトウェアである走行プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記走行プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。また、このコンピュータは、OS(Operating System)および周辺機器などのハードウェアも備えている。そして、上記コンピュータにおいて、上記プロセッサが上記走行プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。
上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)およびCD−ROMなどの可搬媒体、テープ、フレキシブルディスクおよび光磁気ディスクなどのディスク、カード、半導体メモリ、プログラマブルな論理回路、ならびに、コンピュータシステムに内蔵されるハードディスクなどを用いることができる。上記コンピュータ読み取り可能な記録媒体としては、インターネットなどのネットワーク、および、電話回線などの通信回線を介して走行プログラムを送信する場合の通信線のように、短時間の間、動的に走行プログラムを保持するもの、ならびに、サーバおよびクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間走行プログラムを保持しているものが挙げられる。
また、ロボット装置102は、上記走行プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記走行プログラムは、該走行プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波など)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記走行プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
また、ロボット装置102の一部、または全部を典型的には集積回路であるLSIとして実現してもよい。この場合、ロボット装置102の制御ブロックを個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はLSIに限らず、専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
また、上述の実施形態において、制御線および情報線は、説明上必要と考えられるものを示しており、製品上、必ずしも全ての制御線および情報線を示しているとは限らず、全ての構成が相互に接続されていてもよい。
〔まとめ〕
本発明の態様1に係る走行装置(ロボット装置102)は、走行部(105)と、前記走行部が乗っている第1領域(202、406)との間に段差を有する第2領域(407、3021)を避ける第1基準、ならびに、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域(408、3023)を避ける第2基準に基づき、前記第2基準よりも前記第1基準を優先して前記走行部の走行経路(経路403、404、405、411)を決定する走行制御部(106)と、を備えている。
本発明の態様1に係る走行装置(ロボット装置102)は、走行部(105)と、前記走行部が乗っている第1領域(202、406)との間に段差を有する第2領域(407、3021)を避ける第1基準、ならびに、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域(408、3023)を避ける第2基準に基づき、前記第2基準よりも前記第1基準を優先して前記走行部の走行経路(経路403、404、405、411)を決定する走行制御部(106)と、を備えている。
上記の構成によれば、好適な走行経路を走行させることができる。
本発明の態様2に係る走行装置は、上記態様1において、撮像装置(ステレオ撮像部103、第1撮像部108、第2撮像部109)をさらに備え、前記走行制御部は、前記撮像装置が撮像した画像を参照して、前記走行部の走行経路を決定するようになっていてもよい。
上記の構成によれば、撮像画像を参照して、第1基準および第2基準について好適に判断し、走行経路を決定することができる。
本発明の態様3に係る走行装置は、上記態様2において、前記走行制御部は、前記撮像装置が撮像した画像に対応する距離情報をさらに参照して、前記走行部の走行経路を決定するものであってもよい。
上記の構成によれば、距離情報を参照して、第1基準について好適に判断し、走行経路を決定することができる。
本発明の態様4に係る走行装置は、上記態様1〜3のいずれか1つにおいて、前記第3領域を設定するためのユーザの選択を受け付ける操作部(1000)をさらに備え、前記走行制御部は、前記選択の結果を参照して設定した第3領域に基づいて、前記走行経路を決定するようになっていてもよい。
上記の構成によれば、ユーザは操作部を介して、第3領域を設定するための選択を入力することができる。これにより、より好適に第3領域を設定し、走行経路を決定することができる。
本発明の態様5に係る走行装置は、上記態様1〜4のいずれか1つにおいて、前記第1領域は、床面、壁面、天井面および曲面のいずれかであってもよい。
上記の構成によれば、壁面、天井面および球状の物体などの曲面を走行する走行装置にも適用できる。
本発明の態様6に係る走行装置は、上記態様2または3において、前記走行制御部は、前記撮像装置の高さに応じて設定した前記第2領域に基づいて、前記走行経路を決定してもよい。
上記の構成によれば、撮像装置の高さに応じて好適に第2領域を設定し、走行経路を決定することができる。
本発明の態様7に係る走行装置は、上記態様6において、前記撮像装置は、前記第1領域と平行な方向から前記第1領域に向かう方向に傾けて設置されており、前記走行制御部は、さらに前記撮像装置の傾き角に応じて設定した前記第2領域に基づいて、前記走行経路を決定してもよい。
上記の構成によれば、撮像装置を傾けて、第1領域を好適に撮像するとともに、撮像装置の高さおよび傾きに応じて好適に第2領域を設定し、走行経路を決定することができる。
本発明の態様8に係る走行装置の制御方法は、走行部を備えた走行装置の制御方法であって、前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準と、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準と、に基づき、前記第2基準よりも前記第1基準を優先して決定した走行経路に沿って前記走行部が走行する走行ステップを包含している。
上記の構成によれば、本発明の一態様に係る走行装置と同様の効果を奏する。
本発明の各態様に係る走行装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記走行装置が備える各部(ソフトウェア要素)として動作させることにより前記走行装置をコンピュータにて実現させる走行装置の走行プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
102 ロボット装置(走行装置)
103 ステレオ撮像部(撮影装置)
105 走行部
106 走行制御部
108 第1撮像部(撮像装置)
109 第2撮像部(撮像装置)
301 撮像画像(画像)
202、406 第1領域
407、3021 第2領域
408、3023 第3領域
403、404、405、411 経路(走行経路)
1000 操作部
3022 走行推奨領域
ho、hr 色相
103 ステレオ撮像部(撮影装置)
105 走行部
106 走行制御部
108 第1撮像部(撮像装置)
109 第2撮像部(撮像装置)
301 撮像画像(画像)
202、406 第1領域
407、3021 第2領域
408、3023 第3領域
403、404、405、411 経路(走行経路)
1000 操作部
3022 走行推奨領域
ho、hr 色相
Claims (10)
- 走行部と、
前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準、ならびに
前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準に基づき、
前記第2基準よりも前記第1基準を優先して前記走行部の走行経路を決定する走行制御部と、を備えていることを特徴とする走行装置。 - 撮像装置をさらに備え、
前記走行制御部は、前記撮像装置が撮像した画像を参照して、前記走行部の走行経路を決定することを特徴とする請求項1に記載の走行装置。 - 前記走行制御部は、前記撮像装置が撮像した画像に対応する距離情報をさらに参照して、前記走行部の走行経路を決定することを特徴とする請求項2に記載の走行装置。
- 第3領域を設定するためのユーザの選択を受け付ける操作部をさらに備え、
前記走行制御部は、前記選択の結果を参照して設定した前記第3領域に基づいて、前記走行経路を決定することを特徴とする請求項1〜3の何れか一項に記載の走行装置。 - 前記第1領域は、床面、壁面、天井面および曲面のいずれかであることを特徴とする請求項1〜4のいずれか1項に記載の走行装置。
- 前記走行制御部は、前記撮像装置の高さに応じて設定した前記第2領域に基づいて、前記走行経路を決定することを特徴とする請求項2または3に記載の走行装置。
- 前記撮像装置は、前記第1領域と平行な方向から前記第1領域に向かう方向に傾けて設置されており、
前記走行制御部は、さらに前記撮像装置の傾き角に応じて設定した前記第2領域に基づいて、前記走行経路を決定することを特徴とする請求項6に記載の走行装置。 - 走行部を備えた走行装置の制御方法であって、
前記走行部が乗っている第1領域との間に段差を有する第2領域を避ける第1基準と、前記第1領域とは色、模様および光の反射率のうちの少なくとも1つが異なる第3領域を避ける第2基準と、に基づき、前記第2基準よりも前記第1基準を優先して決定した走行経路に沿って前記走行部が走行する走行ステップ
を包含していることを特徴とする走行装置の制御方法。 - 請求項1〜7のいずれか1項に記載の走行装置としてコンピュータを機能させるための走行プログラムであって、前記走行制御部として前記コンピュータを機能させるための走行プログラム。
- 請求項9に記載の走行プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018119275A JP2021170147A (ja) | 2018-06-22 | 2018-06-22 | 走行装置、走行装置の制御方法、走行プログラムおよび記録媒体 |
PCT/JP2019/020039 WO2019244542A1 (ja) | 2018-06-22 | 2019-05-21 | 走行装置、走行装置の制御方法、走行プログラムおよび記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018119275A JP2021170147A (ja) | 2018-06-22 | 2018-06-22 | 走行装置、走行装置の制御方法、走行プログラムおよび記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021170147A true JP2021170147A (ja) | 2021-10-28 |
Family
ID=68983560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018119275A Pending JP2021170147A (ja) | 2018-06-22 | 2018-06-22 | 走行装置、走行装置の制御方法、走行プログラムおよび記録媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021170147A (ja) |
WO (1) | WO2019244542A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116993879B (zh) * | 2023-07-03 | 2024-03-12 | 广州极点三维信息科技有限公司 | 一种自动避障布光的方法、电子设备和存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2769972B2 (ja) * | 1994-03-10 | 1998-06-25 | 防衛庁技術研究本部長 | 不整地移動ロボットの自律走行システム |
JP2002323925A (ja) * | 2001-04-26 | 2002-11-08 | Matsushita Electric Ind Co Ltd | 移動作業ロボット |
JP5071945B2 (ja) * | 2010-01-15 | 2012-11-14 | Necアクセステクニカ株式会社 | 移動装置及び方法 |
JP5732921B2 (ja) * | 2011-03-04 | 2015-06-10 | トヨタ自動車株式会社 | 移動体マップ装置、その処理方法及びプログラム |
JP2016189172A (ja) * | 2015-03-30 | 2016-11-04 | 株式会社クボタ | 自動走行情報管理システム |
-
2018
- 2018-06-22 JP JP2018119275A patent/JP2021170147A/ja active Pending
-
2019
- 2019-05-21 WO PCT/JP2019/020039 patent/WO2019244542A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2019244542A1 (ja) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12008778B2 (en) | Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system | |
JP5469899B2 (ja) | 自動追尾方法及び測量装置 | |
CN110852312B (zh) | 悬崖检测方法、移动机器人的控制方法及移动机器人 | |
JP4650079B2 (ja) | 物体検出装置、および方法 | |
US9504369B2 (en) | Cleaning robot and control method thereof | |
JP3780922B2 (ja) | 道路白線認識装置 | |
JP6770393B2 (ja) | トラッキング装置及びプログラム | |
KR102485480B1 (ko) | 가상 주차선 생성에 의한 주차 지원 장치 및 그 방법 | |
JP2015535337A (ja) | 角度スキャン速度の動的調整を伴うレーザスキャナ | |
US9424649B1 (en) | Moving body position estimation device and moving body position estimation method | |
US11009882B2 (en) | Method, system for obstacle detection and a sensor subsystem | |
JP6237874B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
JP6811661B2 (ja) | 移動体撮像装置および移動体 | |
JP2009053818A (ja) | 画像処理装置及びその方法 | |
JP2018173248A (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
JP4539388B2 (ja) | 障害物検出装置 | |
CN110462546A (zh) | 移动体 | |
JP3562250B2 (ja) | 先行車両検出装置 | |
JP2021170147A (ja) | 走行装置、走行装置の制御方法、走行プログラムおよび記録媒体 | |
CN112513931A (zh) | 用于创建单视角合成图像的系统和方法 | |
JP2005025497A (ja) | 標識認識装置 | |
KR20190129551A (ko) | 무인 이동체용 사물 유도 시스템 및 방법 | |
KR20210130478A (ko) | 로봇 청소기 및 그 제어 방법 | |
JP7043787B2 (ja) | 対象物検知システム | |
JPH11205663A (ja) | 車両用撮像装置の露光量制御装置 |