JP2016173655A - 移動体用制御システム及び移動体の制御方法 - Google Patents

Abstract

【課題】進行方向に対する移動体の実移動方向のずれ度合いを推定可能な技術を提供する。【解決手段】実施形態によれば、進行方向決定部１１５は、移動ロボットの進行方向を決定する。画像取得部１０１は、移動ロボットの進行方向を含む画像データを取得する。特徴点抽出部１０３は、当該画像データが示す撮像画像から特徴点を抽出する。ずれ推定用特徴点決定部１０７は、当該特徴点のうち、撮像画像において進行方向を示す基準線の一部を含む所定の範囲内にあるものに基づいて、ずれ推定用特徴点を決定する。ずれ推定用特徴点追跡部１０８は、移動ロボットの移動に伴う、ずれ推定用特徴点の撮像画像における位置の時間変化を追跡する。ずれ推定部１０９は、追跡されているずれ推定用特徴点の撮像画像における位置に基づいて、進行方向に対する実際に移動体が移動している実移動方向のずれ度合いを推定する。【選択図】図２

Description

本発明の実施形態は、移動体を制御する技術に関する。

車輪やクローラ、脚機構等の移動を生じさせる機構（以下、移動機構と記す）を有する移動体には、例えば、自動車や移動ロボットがある。このような移動体は、例えば、制御システムにより移動機構が制御されて、移動機構が接する物理的な面（以下、移動面と記す）上を移動する。このような移動体は、操作者等の遠隔操作を受けて制御システムが進行方向を決定する場合がある。また、制御システムが移動体の周辺の環境を認識して自動的に進行方向を決定する、いわゆる自律移動を行う場合もある。

なお、下記の特許文献１には、自動車の前方をカメラにより撮像し、撮像された画像から走行路面の区画線（いわゆる白線）を検出して走行レーンを設定し、当該走行レーンに沿って走行するよう自動車を制御する運転支援装置が開示されている。

特開２０１４−４４７４４号公報

このような移動体は、制御システムが決定した進行方向に対して、実際に移動する方向（以下、実移動方向と記す）がずれる場合がある。このような「ずれ」が生じる要因には、移動機構の製造上の精度、移動体に設けられたセンサの精度やドリフトがある。また、移動面の傾斜や凹凸等の影響を受けた場合にも、移動体は、制御システムにより決定された進行方向に対して左右のいずれかにずれた方向に移動する。

このような進行方向に対する実移動方向の「ずれ」は、操作者や制御システムには、認識することが困難なものである。なお、ＧＰＳ等の外部からの電波信号を制御システムが受けて、移動体の位置を認識し、上述した「ずれ」を算出する技術も考えられるが、このような技術では、移動ロボットが屋内等の電波の状態が悪い場所に位置している場合、正しく機能させることができないという問題がある。

本発明の実施形態は、上記事情に鑑みてなされたものであって、進行方向に対する移動体の実移動方向のずれ度合いを推定可能な移動体用制御技術を提供することを目的とする。

上述の目的を達成するため、本発明の実施形態の移動体用制御システムは、移動体の進行方向を決定する進行方向決定部と、移動体に設けられており、進行方向を含む画像を撮像可能なカメラと、当該カメラにより撮像された画像データを取得する画像取得部と、当該画像データが示す撮像画像から特徴点を抽出する特徴点抽出部と、当該特徴点のうち、撮像画像において進行方向を示す基準線の一部を含む所定の範囲内にあるものに基づいて、ずれ推定用特徴点を決定するずれ推定用特徴点決定部と、移動体の移動に伴う、ずれ推定用特徴点の撮像画像における位置の時間変化を追跡するずれ推定用特徴点追跡部と、当該ずれ推定用特徴点追跡部により追跡されているずれ推定用特徴点の撮像画像における位置に基づいて、前記進行方向に対する実際に移動体が移動している実移動方向のずれ度合いを推定するずれ推定部と、を備えることを特徴とする。

また、本発明の実施形態の移動体の制御方法は、移動体の進行方向を、進行方向決定部が決定するステップと、移動体の進行方向を含む画像データを、画像取得部が取得するステップと、当該画像データが示す撮像画像から特徴点を、特徴点抽出部が抽出するステップと、当該特徴点のうち、撮像画像において進行方向を示す基準線の一部を含む所定の範囲内にあるものに基づいて、ずれ推定用特徴点を、ずれ推定用特徴点決定部が決定するステップと、移動体の移動に伴う、ずれ推定用特徴点の撮像画像における位置の時間変化を、ずれ推定用特徴点追跡部が追跡するステップと、追跡されているずれ推定用特徴点の撮像画像における位置に基づいて、前記進行方向に対する実際に移動体が移動している実移動方向のずれ度合いを、ずれ推定部が推定するステップと、を含むことを特徴とする。

本発明の実施形態によれば、進行方向に対する移動体の実移動方向のずれ度合いを推定できる。

第１の実施形態の移動体と、その制御システムの概略構成を示す斜視図である。 第１の実施形態の制御システムの構成を模式的に示すブロック図であり、当該制御システムが実行する情報処理の内容を示している。 撮像画像の一例を説明する図である。 撮像画像の一例を説明する図であり、当該撮像画像において抽出された特徴点を説明する図である。 撮像画像の一例を説明する図であり、移動ロボットの進行方向を示す特徴点選定基準線と、当該基準線を含む所定の範囲にある直進ずれ推定用特徴点とを説明する図である。 第２の実施形態の制御システムの構成を模式的に示すブロック図であり、当該制御システムが実行する情報処理の内容を示している。

以下に、本発明の実施形態について図面を参照して説明する。なお、以下に説明する実施形態により、本発明が限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能である。

〔第１の実施形態〕
まず、本実施形態の移動体の一例について、図１を用いて説明する。図１は、本実施形態の移動体と、その制御システムの概略構成を示す斜視図である。

図１に示すように、本実施形態の移動体は、自動的に移動すること可能な移動ロボット１０であり、操作者により遠隔操作されるものである。より具体的には、移動ロボット１０は、移動機構として４つの脚機構１２を備えた、いわゆる脚移動ロボット（legged robot）である。４つの脚機構１２は、移動ロボット１０の本体１１から移動面に向けて延びており、当該移動面に接している。各脚機構１２は、それぞれ、モータ（図示せず）を内蔵しており、当該モータにより駆動可能に構成されている。各脚機構１２は、制御ユニット１８により制御されて、それぞれ独立して動作可能に構成されている。

移動ロボット１０の本体１１には、進行方向を含む周辺の環境を撮像可能なカメラ１４が複数設けられている。本実施形態において、各カメラ１４は、映像を記録可能なビデオカメラとして構成されており、広角レンズを備えている。複数のカメラ１４は、本体１１を中心とする全方位を死角なく撮像することができるように配置されている。また、移動ロボット１０は、内界センサとして本体１１の加速度を検出する加速度センサ１５と、本体１１の角速度を検出するジャイロセンサ１６とを有している。制御ユニット１８は、加速度センサ１５及びジャイロセンサ１６から信号を受けている。また、制御ユニット１８は、複数のカメラ１４から映像データを受けている。

次に、移動ロボット（移動体）を制御するシステム（以下、単に「制御システム」と記す）１について、移動ロボット（移動体）の制御方法と併せて、図１及び図２を用いて説明する。図２は、本実施形態の制御システムの構成を模式的に示すブロック図であり、制御システムが実行する情報処理の内容を示している。

図１及び図２に示すように、本実施形態の制御システム１は、移動ロボット１０を遠隔操作するための制御ユニット２０と、操作者による入力（以下、操作入力と記す）を受け付ける入力装置２２とを有している。本実施形態において、入力装置２２には、操縦桿（いわゆる、ジョイスティック）が用いられている。入力装置２２と制御ユニット２０は、電気的に接続されており、データの送受信が可能に構成されている。なお、制御システム１には、移動ロボット１０に設けられた複数のカメラ１４が含まれている。

加えて、制御システム１は、操作者側にある制御ユニット２０と、移動ロボット１０に設けられた制御ユニット１８との間において、無線によるデータの送受信を行うために通信装置１９，２１を有している。通信装置１９は、移動ロボット１０の本体１１に設けられており、制御ユニット１８と電気的に接続されている。一方、通信装置２１は、制御ユニット２０と電気的に接続されている。

このように移動ロボット１０側の制御ユニット１８と、操作者側の制御ユニット２０は、通信装置１９，２１を介してデータの送受信を行うことが可能となっている。これにより、移動ロボット１０側の制御ユニット１８は、カメラ１４からの映像、すなわちカメラ１４により撮像された時系列的に連続する一連の画像に関するデータを、操作者側の制御ユニット２０に送信することが可能となっている。また、移動ロボット１０側の制御ユニット１８は、操作者側の制御ユニット２０から操作者の操作入力を示すデータを受信することが可能となっている。

具体的には、制御システム１は、画像を画面に表示可能な表示装置２４を有している。表示装置２４には、例えば、コンピュータ・ディスプレイを用いることができる。表示装置２４は、操作者が各種の操作を行うためのＧＵＩ（グラフィカルユーザインターフェース）画像と共に、移動ロボット１０においてカメラ１４により撮像された映像を、画面に表示する。操作者は、入力装置２２を操作し、表示装置２４の画面上に表示された画像等を選択することで、移動ロボット１０の制御ユニット１８に操作入力を示すデータを送信することが可能となっている。制御ユニット１８は、操作者の操作入力を受けて、移動ロボット１０の移動機構（脚機構１２）を制御する。これにより、操作者は、移動ロボット１０を遠隔操作して所望の進行方向に移動させることが可能になっている。

次に、本実施形態の制御システム１において実行される各種の情報処理について、図１〜図５を用いて説明する。図３は、撮像画像の一例を説明する図である。図４は、撮像画像の一例を説明する図であり、当該撮像画像において抽出された特徴点を説明する図である。図５は、撮像画像の一例を説明する図であり、移動ロボットの進行方向を示す特徴点選定基準線と、当該基準線を含む所定の範囲にある直進ずれ推定用特徴点とを説明する図である。

本実施形態の制御システム１において、制御ユニット２０は、図２に示すように、各種の情報処理を行う処理装置１００と、各種の情報（データ）を記憶する記憶装置１３０とを有している。

処理装置１００は、移動ロボット１０のカメラ１４により撮像された映像データから時系列的に連続する一連の画像データを取得する機能（以下、画像取得部と記す）１０１を有している。すなわち、画像取得部１０１は、カメラ１４からの映像データから画像データを時系列的に抽出する。移動ロボット１０のカメラ１４により撮像されて画像取得部１０１により取得された画像データが示す画像（以下、撮像画像と記す）２００には、例えば、図３に示すように、移動ロボット１０の進行方向にある移動面の輪郭を示す画像２０１と構造物の画像２０２が含まれている。

なお、画像取得部１０１により取得される画像データは、１つのカメラ１４が撮像した映像データから取得されるものとは限らない。当該画像データは、移動ロボット１０に設けられた複数のカメラ１４により撮像された映像データを、それぞれ画像データに変換して得られた複数の画像データを合成して、進行方向を含む一つの撮像画像２００を示す画像データを生成するものとしても良い。

（特徴点抽出部）
また、図２に示すように、処理装置１００は、画像取得部１０１により取得された画像データが示す撮像画像２００から特徴点を抽出する機能（以下、特徴点抽出部と記す）１０３を有している。なお、「特徴点」とは、撮像画像２００のうち特徴のある部分であり、単数又は複数の画像で構成されている。特徴点を構成する画素は、隣接する（特徴点を構成しない）画素に比べて、色相や輝度が、大きく異なる画素である。

本実施形態において、特徴点抽出部１０３は、図４に示すように、撮像画像２００のうち構造物の画像２０２の輪郭２０３のうち、曲率が大きい部分を構成する画素を、特徴点２０４として抽出している。なお、撮像画像２００から特徴点を抽出する手法は、従来技術であるため詳細な説明を省略する。特徴点抽出部１０３は、撮像画像２００における特徴点２０４の位置を示すデータを、記憶装置１３０に格納する。

また、図２に示すように、処理装置１００は、特徴点抽出部１０３により抽出された特徴点２０４に対応する構造物と移動ロボット（移動体）１０との間の物理的な距離を算出する機能（以下、特徴点距離算出部と記す）１０４を有している。

本実施形態において、移動ロボット１０に設けられた複数のカメラ１４（図１参照）は、ステレオ視が可能に配置されており、移動ロボット１０から、特徴点抽出部１０３により抽出された特徴点２０４に対応する構造物までの物理的な距離を算出可能に構成されている。なお、当該特徴点に対応する構造物までの物理的な距離を算出する手法は、ステレオ視を用いたものに限定されるものではない。レーザ距離計や距離画像センサ等のセンサを利用して特徴点に対応する構造物までの物理的な距離を算出するものとしても良い。

本実施形態において、特徴点距離算出部１０４は、特徴点抽出部１０３により抽出された全ての特徴点２０４にそれぞれ対応する各構造物と、移動ロボット（移動体）１０との間の物理的な距離を算出する。そして、各特徴点２０４と距離とを対応づけたテーブルを、記憶装置１３０に格納する。

また、図２に示すように、処理装置１００は、入力装置２２が受け付けた操作者の操作入力に基づいて、移動ロボット１０の進行方向を決定する機能（以下、進行方向決定部と記す）１１５を有している。本実施形態において、進行方向決定部１１５は、入力装置２２が受け付けた操作者の操作入力に基づいて、移動ロボット１０の進行方向を決定する。

また、図２に示すように、処理装置１００は、特徴点抽出部１０３により抽出された特徴点２０４のうち、図５に示す撮像画像２００において進行方向を示す基準線（図に一点鎖線２０５で示す）の一部を含む所定の範囲２０６内にあるものに基づいて、ずれ推定用特徴点２０７を決定する機能（以下、ずれ推定用特徴点決定部と記す）１０７を有している。

基準線２０５は、進行方向決定部１１５により決定された進行方向に応じて撮像画像中に描かれる直線であり、撮像画像の上下方向（図に矢印Ｖで示す）に延びている。基準線２０５は、進行方向決定部１１５により決定された進行方向の変化に応じて、撮像画像２００における水平方向（図に矢印Ｈで示す）の位置が変化するものである。進行方向に対する基準線２０５の撮像画像２００における位置は、適合実験やシミュレーション等により予め求められており、図２に示す記憶装置１３０に予め記憶されている。

ずれ推定用特徴点決定部１０７は、記憶装置１３０から進行方向に対応する基準線２０５の撮像画像２００における位置を示すデータを読み取り、進行方向を示す基準線２０５を撮像画像２００に重ね合わせる。ずれ推定用特徴点決定部１０７は、当該基準線２０５のうち一部を含む所定の範囲２０６内にある特徴点２０４に基づいて、ずれ推定用特徴点２０７を決定する。

本実施形態において、ずれ推定用特徴点決定部１０７は、基準線２０５のうち移動面の輪郭を示す画像２０１より上側にある部分を含む所定の範囲２０６内にある複数（４つ）の特徴点２０４の中心の位置（図５に符号２０７で示す）を算出し、当該中心の位置をずれ推定用特徴点２０７に決定する。

なお、ずれ推定用特徴点２０７を決定する手法は、これに限定されるものではない。進行方向を示す基準線の一部を含む所定の範囲２０６内にある特徴点２０４の全てを、ずれ推定用特徴点２０７に決定するものとしても良い。また、当該所定の範囲２０６内にある特徴点２０４のうち最も基準線２０５の近くに位置しているものを、ずれ推定用特徴点２０７に決定するものとしても良い。

また、ずれ推定用特徴点決定部１０７は、記憶装置１３０から特徴点２０４に対応する構造物までの物理的な距離を読み取って、撮像画像２００にある全ての特徴点２０４のうち、対応する構造物が、移動ロボット１０から比較的近距離にあると判定されたものについては、ずれ推定用特徴点の算出には用いない、又はずれ推定用特徴点として選択しないことも好適である。対応する構造物が比較的近距離にある特徴点２０４は、移動ロボット１０の移動や振動の影響を、比較的遠距離にあるものに比べて受け易いためである。

また、図２に示すように、処理装置１００は、移動体の移動に伴う、ずれ推定用特徴点２０７の撮像画像２００における位置の時間変化を追跡する機能（以下、ずれ推定用特徴点追跡部と記す）１０８を有している。

本実施形態において、ずれ推定用特徴点追跡部１０８は、特徴点抽出部１０３により抽出された特徴点２０４の撮像画像２００における位置関係に基づいて、時系列的に隣り合って前後する２つの時点の撮像画像２００の間において各特徴点２０４の対応付けを行う。これにより、複数の特徴点２０４から算出されるずれ推定用特徴点２０７の撮像画像における位置の時間変化を算出して追跡することができる。

なお、ずれ推定用特徴点を追跡する手法、いわゆるトラキング手法は、従来技術であるため、詳細な説明を省略する。ずれ推定用特徴点追跡部１０８が実行するずれ推定用特徴点２０７の位置の時間変化を追跡する方法には、上述した以外のトラッキング手法を用いることもできる。

また、図２に示すように、処理装置１００は、ずれ推定用特徴点追跡部１０８により追跡されているずれ推定用特徴点２０７の撮像画像２００における位置に基づいて、進行方向に対する移動ロボット１０の実移動方向のずれ度合いを推定する機能（以下、ずれ推定部と記す）１０９を有している。

本実施形態において、ずれ推定部１０９は、まず、図５に示すように、撮像画像２００における基準線２０５に対するずれ推定用特徴点２０７のずれ量（図に寸法ｄで示す）を算出する。ずれ量ｄは、撮像画像２００における基準線２０５からずれ推定用特徴点２０７までの水平方向の画素数である。

加えて、本実施形態のずれ推定部１０９は、当該ずれ量ｄと、ずれ推定用特徴点２０７に対応する構造物と移動ロボット１０との間の物理的な距離Ｌに基づいて、進行方向決定部１１５により決定された進行方向と、移動ロボット１０が実際に移動している実移動方向がなしている角度（以下、単に「ずれ角度」と記す）θを推定する。ずれ角度θは、以下の式（１）により算出される。

ここで、Ｋ（Ｌ）は、距離Ｌに応じた係数［ｍ／pixel］であり、カメラ１４に固有の値である。係数Ｋ（Ｌ）は、適合実験やシミュレーション等により予め求められており、距離Ｌに対するＫ（Ｌ）の値は、記憶装置１３０に予め記憶されている。

このように本実施形態のずれ推定部１０９においては、進行方向に対する実移動方向のずれ度合いとして、進行方向に対して実移動方向がなしている角度であるずれ角度θを推定するものとしたが、本発明に係る「ずれ度合い」は、当該ずれ角度θに限定されるものではない。例えば、距離Ｌの正確な値を得ることができない場合には、ずれ推定部１０９は、ずれ度合いとして、上述したずれ量ｄを用いるができ、当該ずれ量ｄが所定の閾値を超えるか否かによって進行方向に対して実移動方向がずれているか否かを判定するものとしても良い。この場合、ずれ推定用特徴点２０７に対応する構造物までの距離Ｌを計測、算出する必要がなくなる。また、距離Ｌを所定の値に設定し、上述した式（１）に代入して、ずれ量ｄに応じたずれ角度θを算出することも好適である。

（ずれ判定部）
また、図２に示すように、処理装置１００は、ずれ推定部１０９により推定されたずれ度合いに基づいて、前記進行方向に対して実移動方向がずれているか否かを判定する機能（以下、ずれ判定部と記す）１１１を有している。本実施形態のずれ判定部１１１は、ずれ度合いとしてのずれ角度θが、所定の閾値を超えた場合に、進行方向決定部１１５により決定された進行方向に対して移動ロボット１０が実際に移動している実移動方向がずれていると判定する。一方、ずれ判定部１１１は、ずれ角度θが所定の閾値以下である場合には、移動ロボット１０が、進行方向に移動しているものと判定する。

（表示制御部）
また、図２に示すように、処理装置１００は、ずれ判定部１１１により進行方向に対して実移動方向がずれている旨を操作者に知らせる通知手段として、上述した表示装置２４と、当該表示装置２４の画面に表示される表示画像を制御する機能（以下、表示制御部と記す）１１３を有している。表示制御部１１３は、ずれ判定部１１１による判定結果、より具体的には、進行方向に対して実移動方向がずれている旨の警告を示す画像を、表示装置２４の画面に表示させる。本実施形態において、当該警告を示す画像は、上述したＧＵＩ画像の一部として表示される。これにより、操作者は、移動ロボット１０の実移動方向が、操作者の操作入力を受けて決定された進行方向に対してずれていることを知ることができる。

以上に説明したように本実施形態の移動ロボット（移動体）１０の制御方法は、図２及び図５に示すように、移動ロボット１０の進行方向を、進行方向決定部１１５が決定するステップと、移動ロボット１０の進行方向を含む画像データを、画像取得部１０１が取得するステップと、当該画像データが示す撮像画像２００から特徴点２０４を、特徴点抽出部１０３が抽出するステップと、当該特徴点２０４のうち、撮像画像において進行方向を示す基準線２０５の一部を含む所定の範囲２０６内にあるものに基づいて、ずれ推定用特徴点２０７を、ずれ推定用特徴点決定部１０７が決定するステップと、移動ロボット１０の移動に伴う、ずれ推定用特徴点２０７の撮像画像２００における位置の時間変化を、ずれ推定用特徴点追跡部１０８が追跡するステップと、追跡されているずれ推定用特徴点２０７の撮像画像２００における位置に基づいて、進行方向に対する実際に移動体が移動している実移動方向のずれ度合いを、ずれ推定部１０９が推定するステップとを含むものとした。このような画像処理を行うことにより、ＧＰＳ等の外部からの信号に依存することなく、進行方向に対する実移動方向のずれ度合いを推定することができる。

なお、本実施形態において、操作者の操作入力を受けて決定された進行方向に対して移動ロボット１０の実移動方向がずれていることを、操作者に知らせる通知手段は、上述した態様に限定されるものではない。通知手段は、進行方向に対して実移動方向がずれていると判定された場合に、その旨を操作者に知らせることができれば良く、例えば、光の明滅、音や振動により、操作者に知らせるものとしても良い。

なお、本実施形態において、制御システム１において実行される情報処理は、その多くが操作者側の制御ユニット２０において行われるものとしたが、本発明の制御システムは、この態様に限定されるものではない。本発明に係る制御システムにおいて実行される情報処理は、例えば、操作者側の制御ユニット２０又は移動ロボット１０側の制御ユニット１８のいずれかで行われれば良い。例えば、本実施形態の処理装置１００及び記憶装置１３０が有する機能を、移動ロボット１０側の制御ユニット１８が有するものとし、制御システム１において実行される情報処理の大部分は、移動ロボット１０側の制御ユニット１８で行われるものとしても良い。

また、本実施形態において、移動ロボット１０は、通信装置１９，２１を介して操作者により遠隔操作されるものとしたが、本発明に係る移動ロボットの制御手法は、この態様に限定されるものではなく、その一例について以下に説明する。

〔第２の実施形態〕
第２の実施形態の制御システムの構成について、図１及び図６を用いて説明する。図６は、第２の実施形態の制御システムの構成を模式的に示すブロック図であり、当該制御システムが実行する情報処理の内容を示している。

図１に示すように、本実施形態の移動ロボット１０Ｃは、周囲の環境を認識理解し且つ操作者等の外部から支援を受けることなく移動する、いわゆる自律移動（autonomous locomotion）が可能な自律移動ロボットであり、第１実施形態において説明した操作者により遠隔操作される移動ロボット１０と略共通の構成となっている。

移動ロボット１０Ｃを制御する制御システム１Ｃは、図６に示すように、移動ロボット１０Ｃに設けられた複数のカメラ１４、加速度センサ１５、ジャイロセンサ１６、通信装置１９に加えて、移動ロボット１０Ｃを制御する制御ユニット１８Ｃを有している。制御ユニット１８Ｃは、処理装置１００Ｃと、記憶装置１３０とを有している。

図６に示すように、処理装置１００Ｃは、上述した第１実施形態の制御ユニット２０と同様に、画像取得部１０１、特徴点抽出部１０３、特徴点距離算出部１０４、ずれ推定用特徴点決定部１０７、ずれ推定用特徴点追跡部１０８、ずれ推定部１０９、ずれ判定部１１１及び進行方向決定部１１５を有している。

処理装置１００Ｃは、当該移動ロボット１０Ｃの移動機構、すなわち図１に示す脚機構１２の動作を生成する機能（以下、動作生成部と記す）１２１を有している。動作生成部１２１は、進行方向決定部１１５により決定された進行方向に移動ロボット１０Ｃが移動するよう、脚機構（移動機構）１２の動作（以下、移動動作と記す）を生成する。

なお、進行方向決定部１１５及び動作生成部１２１は、記憶装置１３０に予め記憶されている地図情報や障害物配置情報に基づいて進行方向を決定し、脚機構１２の動作を生成するものとしても良い。

加えて、処理装置１００Ｃは、ずれ判定部１１１において進行方向に対して実移動方向がずれていると判定された場合に、動作生成部１２１により生成された移動機構の移動動作を修正する機能（以下、動作修正部と記す）１２３を有している。

本実施形態の動作修正部１２３は、進行方向に対して実移動方向がずれている旨の判定結果と共に、ずれ推定部１０９により推定されたずれ度合いとしてのずれ角度θを受けて、動作生成部１２１により生成された移動動作を修正する。具体的には、動作修正部１２３は、ずれ角度θ（ずれ度合い）が減少する方向に移動するよう移動動作を修正する。

さらに、処理装置１００Ｃは、動作修正部１２３により修正された移動動作が行われるよう移動機構（脚機構）１２を制御する機能（以下、移動機構制御部と記す）１２５を有している。移動機構制御部１２５により制御された脚機構１２は、移動ロボット１０Ｃを、ずれ角度θが減少する方向に移動させる。なお、ずれ判定部１１１において進行方向に対して実移動方向がずれていないと判定された場合には、移動機構制御部１２５は、動作生成部１２１により生成された移動動作が行われるよう脚機構１２を制御する。

本実施形態においては、進行方向決定部１１５により決定された進行方向に対して移動ロボット１０Ｃの実移動方向がずれているか否かを判定している。ずれ判定部１１１が、進行方向に対して実移動方向がずれていると判定した場合には、動作修正部１２３に移動動作を修正することで、移動ロボット１０Ｃを、ずれの度合いが減少するよう移動させることができる。

〔他の実施形態〕
上述した各実施形態において、移動ロボット１０，１０Ｃは、移動機構として４つの脚機構１２を有し、４つの脚機構１２を独立して動作可能な脚移動ロボットであるものとしたが、本発明に係る移動体は、この態様に限定されるものではない。移動体は、車輪を移動機構とした車輪移動ロボットや、クローラ（無限軌道履帯）を移動機構としたクローラ移動ロボットであるものとしても良い。

また、本発明に係る移動体は、上述した移動ロボット１０，１０Ｃのようなロボットに限定されるものではない。本発明の制御技術は、カメラ１４を備えた移動体であれば適用することができ、例えば、自動車に適用することも好適である。また、本発明に係る移動体は、移動面上を移動する移動体に限定されるものではない。例えば、空中や水上を移動する移動体にも本発明を適用することができる。

本発明のいくつかの実施形態について説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１，１Ｃ 制御システム
１０，１０Ｃ 移動ロボット（移動体、脚移動ロボット）
１１ 本体
１２ 脚機構
１４ カメラ
１５ 加速度センサ
１６ ジャイロセンサ
１８，１８Ｃ 制御ユニット
１９ 通信装置
２０ 制御ユニット
２１ 通信装置
２２ 入力装置
２４ 表示装置（通知手段）
１００，１００Ｃ 処理装置
１０１ 画像取得部
１０３ 特徴点抽出部
１０４ 特徴点距離算出部
１０７ ずれ推定用特徴点決定部
１０８ ずれ推定用特徴点追跡部
１０９ ずれ推定部
１１１ ずれ判定部
１１３ 表示制御部（通知手段）
１１５ 進行方向決定部
１２１ 動作生成部
１２３ 動作修正部
１２５ 移動機構制御部
１３０ 記憶装置
２００ 撮像画像
２０１ 移動面の輪郭を示す画像
２０２ 構造物の画像
２０３ 構造物の輪郭を示す画像
２０４ 特徴点
２０５ 基準線
２０６ 所定の範囲
２０７ ずれ推定用特徴点

Claims (8)

1. 移動体の進行方向を決定する進行方向決定部と、
   移動体に設けられており、進行方向を含む画像を撮像可能なカメラと、
   当該カメラにより撮像された画像データを取得する画像取得部と、
   当該画像データが示す撮像画像から特徴点を抽出する特徴点抽出部と、
   当該特徴点のうち、撮像画像において進行方向を示す基準線の一部を含む所定の範囲内にあるものに基づいて、ずれ推定用特徴点を決定するずれ推定用特徴点決定部と、
   移動体の移動に伴う、ずれ推定用特徴点の撮像画像における位置の時間変化を追跡するずれ推定用特徴点追跡部と、
   当該ずれ推定用特徴点追跡部により追跡されているずれ推定用特徴点の撮像画像における位置に基づいて、前記進行方向に対する実際に移動体が移動している実移動方向のずれ度合いを推定するずれ推定部と、
   を備えることを特徴とする移動体用制御システム。
2. 前記ずれ推定部により推定されたずれ度合いに基づいて、前記進行方向に対して前記実移動方向が、ずれているか否かを判定するずれ判定部と、
   さらに備えることを特徴とする移動体用制御システム。
3. 前記移動体は、操作者により遠隔操作されるものであり、
   前記ずれ判定部により前記進行方向に対して前記実移動方向がずれていると判定した場合に、その旨を操作者に知らせる通知手段を、さらに備える
   ことを特徴とする請求項２に記載の移動体用制御システム。
4. 前記通知手段は、
   前記カメラにより撮像された映像を画面に表示可能な表示装置と、
   前記表示装置の画面に表示される表示画像を制御可能な表示制御部と、
   を有し、
   当該表示制御部は、前記ずれ判定部により前記進行方向に対して前記実移動方向がずれていると判定された場合に、その旨を示す画像を前記表示装置の画面に表示させる
   ことを特徴とする請求項３に記載の移動体用制御システム。
5. 前記ずれ推定部により推定されたずれ度合いが減少する方向に前記移動体が移動するよう移動機構の動作を修正する動作修正部を、
   さらに備えることを特徴とする請求項１ないし請求項４のいずれか一項に記載の移動体用制御システム。
6. 前記ずれ推定用特徴点により決定されたずれ推定用特徴点に対応する構造物と移動体との間の物理的な距離を算出可能な特徴点距離算出部を、さらに備え、
   前記ずれ推定部は、
   撮像画像における基準線から当該ずれ推定用特徴点までの画素数であるずれ量を算出し、
   当該ずれ量と、前記特徴点距離算出部により算出された距離に基づいて、前記進行方向と、前記実移動方向がなしている角度であるずれ角度を推定する
   ことを特徴とする請求項１ないし請求項５のいずれか一項に記載の移動体用制御システム。
7. 前記ずれ推定用特徴点決定部は、前記所定の範囲内にある複数の特徴点の中心の位置を算出し、当該中心の位置をずれ推定用特徴点に決定する
   ことを特徴とする請求項１ないし請求項６のいずれか一項に記載の移動体用制御システム。
8. 移動体の進行方向を、進行方向決定部が決定するステップと、
   移動体の進行方向を含む画像データを、画像取得部が取得するステップと、
   当該画像データが示す撮像画像から特徴点を、特徴点抽出部が抽出するステップと、
   当該特徴点のうち、撮像画像において進行方向を示す基準線の一部を含む所定の範囲内にあるものに基づいて、ずれ推定用特徴点を、ずれ推定用特徴点決定部が決定するステップと、
   移動体の移動に伴う、ずれ推定用特徴点の撮像画像における位置の時間変化を、ずれ推定用特徴点追跡部が追跡するステップと、
   追跡されているずれ推定用特徴点の撮像画像における位置に基づいて、前記進行方向に対する実際に移動体が移動している実移動方向のずれ度合いを、ずれ推定部が推定するステップと、
   を含むことを特徴とする移動体の制御方法。

Images