JP2002215655A - 情報検索方法、情報検索装置およびロボットの動作制御装置 - Google Patents

Abstract

(57)【要約】 【課題】カメラで撮影した対象物に関する情報を入手す
るようにした情報検索装置を得る。 【解決手段】パソコン１１はカメラ１２を備え、カメラ
１２は対象物３１を撮影する。カメラ１２で撮影された
画像データはパソコン１１で画像処理される。パソコン
１１はネットワークインターフェイス回路を介してネッ
トワーク４１に接続される。ネットワーク４１にはデー
タベース４２，４３，４４が接続される。対象物３１に
はタグ３１０が設けられる。タグ３１０は抽出が容易
で、対象物３１の属性情報が与えられる。属性情報は対
象物３１を製造したメーカ名、商品名、対象物３１に関
する情報が提供されるＵＲＬを有する。パソコン１１は
カメラ１２で撮影される画像データの中からタグ３１０
を抽出し、属性情報を読み取って対象物３１を特定す
る。パソコン１１はさらに、ネットワーク４１にアクセ
スして対象物３１に関する情報を検索して得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、対象物を特定し、
特定した対象物に関する情報を検索する情報検索方法、
情報検索装置およびロボットの動作制御装置に関する。

【０００２】

【従来の技術】カメラなどのセンサを塔載するパソコン
で対象物の特定を行う場合を考える。パソコンは、カメ
ラで撮像される画像データの中に、自らが記憶している
対象物のデータと一致するデータがあるか否かを判定し
て対象物を特定する。この場合には、あらかじめパソコ
ンに対して、対象物の形状、対象物の大きさなどの
情報を記憶させておく必要がある。

【０００３】

【発明が解決しようとする課題】このようなパソコンで
は、パソコンに特定させようとする対象物の数を多くす
るほど、あらかじめパソコンに記憶させておく情報量が
多くなる。

【０００４】本発明の目的は、あらかじめ記憶させてお
く情報量をさほど増やすことなく、数多くの対象物を特
定するようにした情報検索方法、情報検索装置、および
ロボットの動作制御装置を提供することにある。

【０００５】

【課題を解決するための手段】一実施の形態を示す図
１、図８に対応づけて本発明を説明する。 （１）請求項１に記載の発明による情報検索方法は、画
像情報の中から対象物３１に設けられている識別標識３
１０を抽出し、抽出した識別標識３１０から対象物３１
を特定し、特定した対象物３１に関する情報を検索する
ことにより、上述した目的を達成する。 （２）請求項２に記載の発明による情報検索装置は、対
象物３１を撮像して画像情報を出力する撮像手段１２
と、対象物３１に設けられる識別標識３１０を画像情報
の中から抽出する識別標識抽出手段１１と、識別標識抽
出手段１１により抽出される識別標識３１０から対象物
３１を特定する対象物特定手段１１と、対象物特定手段
１１により特定される対象物３１に関する情報を情報蓄
積手段４２〜４４から入手する情報入手手段１１とを有
することにより、上述した目的を達成する。 （３）請求項３に記載の発明は、請求項２に記載の情報
検索装置において、識別標識３１０は、情報蓄積手段４
２〜４４に対するアクセスに必要な情報を備えることを
特徴とする。 （４）請求項４に記載の発明は、請求項２または３に記
載の情報検索装置において、対象物３１に関する情報
は、対象物３１の位置情報を含むことを特徴とする。 （５）請求項５に記載の発明は、請求項２〜４のいずれ
かに記載の情報検索装置において、対象物３１に関する
情報は、対象物３１に対する操作方法に関する情報を含
むことを特徴とする。 （６）請求項６に記載の発明によるロボットの動作制御
装置は、対象物３２〜３８を撮像して画像情報を出力す
る撮像手段１２と、対象物３２〜３８に設けられる識別
標識３２０〜３８０を画像情報の中から抽出する識別標
識抽出手段１１Ａと、識別標識抽出手段１１Ａにより抽
出される識別標識３２０〜３８０から対象物３２〜３８
を特定する対象物特定手段１１Ａと、対象物特定手段１
１Ａにより特定される対象物３２〜３８に関する情報を
情報蓄積手段４２から入手する情報入手手段１１Ａと、
情報入手手段１１Ａにより入手される情報に基づいて対
象物特定手段１１Ａにより特定される対象物３２をハン
ドリングする動作制御手段１１Ａとを備えることによ
り、上述した目的を達成する。

【０００６】なお、上記課題を解決するための手段の項
では、本発明をわかりやすく説明するために実施の形態
の図と対応づけたが、これにより本発明が実施の形態に
限定されるものではない。

【０００７】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 −第一の実施の形態− 図１は、本発明の第一の実施の形態による情報検索装置
の概念を表す図である。図１において、パソコン１１は
カメラ１２を備え、カメラ１２は対象物３１を撮影す
る。カメラ１２で撮影された画像データは、パソコン１
１内の不図示の演算回路により画像処理される。パソコ
ン１１には不図示のネットワークインターフェイス回路
が備えられており、ネットワークインターフェイス回路
を介して、たとえば、インターネットによるネットワー
ク４１に接続されている。ネットワーク４１には、デー
タベース４２，４３，４４が接続されている。データベ
ース４２〜４４の少なくとも１つには、対象物３１に関
する情報が記憶されている。

【０００８】対象物３１には、タグ３１０が設けられて
いる。タグ３１０は、抽出が容易な特徴が付与されたも
ので、たとえば、バーコードのように画像データから容
易に抽出できるような幾何学的図形や色の組み合わせな
どによって表わされる。タグ３１０には、対象物３１の
属性情報が与えられている。属性情報は、たとえば、対
象物３１を製造したメーカ名、商品名、対象物３１に関
する情報が提供されているＵＲＬ（Uniform Resource L
ocator）などである。タグ３１０によって異なる対象物
３１の属性情報を表す場合は、タグ３１０の幾何学的図
形の組み合わせや色の組み合わせなどを変化させるだけ
で、タグ３１０が有する特徴は同じである。

【０００９】パソコン１１は、カメラ１２で撮影され
る画像データの中からタグ３１０を抽出し(発見段階)、
抽出したタグ３１０によって与えられる属性情報を読
み取る(読み取り段階)。パソコン１１は、必要に応じて
カメラ１２のズーミングを調整し、タグ３１０から属性
情報を読みとれるようにする。属性情報が読みとれない
ものは、タグではないとみなす。パソコン１１は、タグ
３１０から対象物３１の属性情報を読み取ることによ
り、対象物３１を特定する。パソコン１１はさらに、
ネットワーク４１にアクセスして、データベース４２〜
４４から対象物３１に関する情報を検索する(情報取得
段階)。対象物３１に関する情報は、タグ３１０によっ
て与えられる製造メーカが提供するコンテンツ、タグ３
１０によって与えられる情報提供者のＵＲＬのいずれか
ら検索してもよい。

【００１０】対象物３１にタグ３１０を設けると、パソ
コン１１は対象物３１を特定するとき、画像データの中
から対象物３１の画像ではなく、タグ３１０の画像を探
せばよい。タグは、上述したように抽出が容易である上
に、それぞれが異なる対象物に設けられているタグであ
っても共通の特徴を有する。したがって、パソコン１１
はタグの形状のデータのみをあらかじめメモリに記憶
し、カメラ１２で撮影される画像データの中から、記憶
している形状データと一致するタグ３１０の画像を探
す。この結果、パソコン１１は、タグ３１０が設けられ
ている対象物３１の形状に係わらず、画像データからタ
グ３１０のみを探せばよいので、探す処理に要する時間
が短縮される。

【００１１】複数の対象物が用意されているとき、これ
らの複数の対象物の中から特定の対象物３１を選択する
場合は、選択すべき対象物の属性情報をあらかじめパソ
コン１１のメモリに記憶しておく。パソコン１１は、対
象物が複数存在する場合でも、画像データの中からタグ
のみを抽出し、タグによって与えられる属性情報がメモ
リに記憶されている属性情報と一致するタグを探す。パ
ソコン１１は、属性情報が一致するタグが設けられてい
る対象物を、選択すべき対象物３１として特定する。パ
ソコン１１は、タグによって与えられる属性情報がメモ
リに記憶されている属性情報と一致しなければ、画像デ
ータの中から別のタグを探す。

【００１２】もし、対象物３１にタグ３１０が設けられ
ていないと、パソコン１１は特定する対象物３１の形状
のデータをあらかじめメモリに記憶し、カメラ１２で撮
影される画像データの中から、あらかじめ記憶している
形状データと一致する対象物３１の画像を探すことが必
要になる。特定しようとする対象物３１の形状が複雑で
あったり、特定しようとする対象物の種類が多くなる
と、あらかじめパソコン１１のメモリに記憶させておく
形状データが多くなる。また、画像データの中から対象
物３１の全体の形状を抽出するので、画像データからタ
グ３１０のみを抽出する場合に比べて、処理に時間がか
かる。

【００１３】タグ３１０によって属性情報が与えられる
ことで、パソコン１１が対象物３１の情報を入手するた
めに要する時間が短縮される。たとえば、タグ３１０に
より対象物３１の製造メーカが特定できる場合は、画像
データ内の対象物３１が「Ａ社製品のうちのどの製品
か」を判断すればよい。対象物３１の製造メーカが特定
できない場合は、画像データ内の対象物３１が「全ての
メーカの製品のうちのどの製品か」を判断する必要があ
る。すなわち、タグ３１０が与える属性情報を使えば、
対象物３１に関する情報の検索範囲を限定することがで
きる。

【００１４】なお、タグ３１０が付与されている対象物
３１に関する情報は、製造メーカや情報提供者によっ
て、データベース４２〜４４に随時蓄積、更新されてい
る。データベース４２〜４４に蓄積されている情報は、
ネットワーク４１を経由して利用することができる。

【００１５】タグがバーコードで表される場合を例にあ
げて、タグの抽出処理について説明する。図２は、バー
コード３１０が印刷されている箱の一部を撮影した画像
である。この画像データに周知の処理を施して微分画像
を生成すると、図３の微分画像が得られる。パソコン１
１は、この微分画像データを用いてバーコードの特徴の
抽出を行う。この場合の特徴は、単方向領域(UNIVAR)の
性質、全方向領域(OMNIVAR)の性質、無変動領域(NOVAR)
の性質とする。単方向領域の性質については、単方向に
領域をベタに埋め尽くす応答、およびエッジに沿った応
答(これらをＰＥＧと記す)を算出して抽出する。ここ
で、エッジとは画像の濃淡値が急激に変化するところで
ある。全方向領域の性質については、端点やコーナでの
孤立的応答、端点列に沿った帯状の応答、および等方的
テクスチャ領域をベタに埋め尽くす応答(これらをＱＥ
Ｇと記す)を算出して抽出する。単方向領域(UNIVAR)お
よび全方向領域(OMNIVAR)に属さないところが無変動領
域(NOVAR)である。画像データの単方向領域(UNIVAR)、
全方向領域(OMNIVAR)、および無変動領域(NOVAR)には、
次式(１)〜(４)の関係が成立する。

【数１】 UNIVAR＋OMNIVAR＋NOVAR＝画像全体 (１) UNIVAR・OMNIVAR＝φ (２) OMNIVAR・NOVAR＝φ (３) UNIVAR・NOVAR＝φ (４)

【００１６】図３において、単方向領域(UNIVAR)の性質
を示す応答ＰＥＧが所定の面積以上、所定の充填率以
上、および所定の一様性をもって得られるとき、これら
の単方向性領域を連結した連結領域３１０Ｂをバーコー
ドの候補とする。図４はバーコードの例である。図４に
おいて、バーによる明暗変化に情報を符号化した方向を
コード軸、コード軸に直交する方向をバー軸とする。パ
ソコン１１は、バーの変化方向θＥＧの均質性からバー
軸を検出し、バーコード(ここではバーコードの候補)の
形状の平行四辺形への適合度からコード軸を検出する。
パソコン１１はさらに、バーコードの候補の対向する２
辺が無変動領域(NOVAR)に隣接していることをチェック
する。

【００１７】図４のバーコードをカメラ１２で撮影する
場合の幾何学モデルは図５のようになる。図５におい
て、カメラ１２によって撮影される像面１２０の中にバ
ーコード３１０の像３１０Ａがある。空間座標(Ｘ,Ｙ,
Ｚ)の点の像面座標(ｘ,ｙ)は、次式(５)で表される。な
お、図５は幾何学モデルを表すもので、カメラ１２のレ
ンズなどのカメラのパラメータについては省略されてい
る。

【数２】 バーコード３１０の中心座標をｖＲ０＝(Ｘ０,Ｙ０,Ｚ
０)、コード軸の単位ベクトルをｖｕ＝(ｕｘ,ｕｙ,ｕ
ｚ)、バー軸の単位ベクトルをｖｖ＝(ｖｘ,ｖｙ,ｖｚ)
とする。なお、符号の先頭の「ｖ」はベクトルを表す。
バーコード３１０の表面に上記単位ベクトルｖｕおよび
ｖｖで張られる座標を(ξ,η)とすると、バーコード３
１０上の点(ξ,η)の３次元座標(Ｘ,Ｙ,Ｚ)は次式(６)
〜(８)で表される。

【数３】 ただし、ｕｘ２＋ｕｙ２＋ｕｚ２＝１，ｖｘ２＋ｖｙ２
＋ｖｚ２＝１である。

【００１８】したがって、像面１２０上のバーコード３
１０の像３１０Ａの座標は、次式(９)、(１０)となる。

【数４】 すなわち、バーコードの像３１０Ａの中心の像面座標
(ｘ０,ｙ０)、バーコードの像３１０Ａのコード軸上の
単位ベクトル、およびバーコードの像３１０Ａのバー軸
上の単位ベクトルは、それぞれ次式(１１)〜(１３)で表
される。

【数５】 パソコン１１は、画像データにおけるバーコードの像３
１０Ａの座標を上述したように表して、バーコードの候
補の抽出処理と、周知の技術によりバーコードの属性情
報を読み取る読み取り処理と、バーコードの形状の検出
処理とを行う。パソコン１１は、バーコードの候補から
属性情報が読みとれないものは、バーコードでない、す
なわち、タグではないとみなす。バーコード(タグ)の形
状検出については後述する。

【００１９】図６は、パソコン１１による特定結果がデ
ィスプレイ１１０に表示される例を表す図である。図６
において、カメラ１２で対象物３１が撮影される。上述
したように、パソコン１１は、カメラ１２で撮影された
画像データの中からタグ３１０を抽出し、タグ３１０に
よって与えられる属性情報を用いて対象物３１に関する
情報をネットワーク４１に設けられているデータベース
４２を使用して検索する。パソコン１１は、カメラ１２
で撮影された画像１１１と、特定結果１１２と、検索し
て入手した情報１１３とをディスプレイ１１０に同時に
表示する。

【００２０】上述したパソコン１１で行われる情報検索
処理の流れを示すフローチャートを図７に示す。図７の
ステップＳ１１において、パソコン１１は、カメラ１２
で撮影される画像データの中からタグ３１０を抽出した
か否かを判定する。パソコン１１がタグを抽出(発見)し
て肯定判定するとステップＳ１２へ進み、タグを抽出で
きずに否定判定するとステップＳ１７へ進む。ステップ
Ｓ１２において、パソコン１１は、属性情報を読み取る
ことが可能か否かを判定する。パソコン１１が属性情報
を読み取り可能であると肯定判定するとステップＳ１３
へ進み、読み取り不可能であると否定判定するとステッ
プＳ１１へ戻って別のタグを抽出する。ステップＳ１３
において、パソコン１１は、タグ３１０から属性情報を
読み取ってステップＳ１４へ進む。

【００２１】ステップＳ１４において、パソコン１１
は、読み取った属性情報から対象物３１の製造メーカお
よび商品名を特定してステップＳ１５へ進む。ステップ
Ｓ１５において、パソコン１１は、属性情報に含まれる
ＵＲＬによってネットワーク４１上のデータベース４２
〜４４を検索し、対象物３１に関する情報を得る。ステ
ップＳ１６において、パソコン１１は、検索して入手し
た情報をカメラ１２による画像とともにディスプレイ１
１０に表示させて図７の処理を終了する。

【００２２】上述したステップＳ１１で否定判定されて
進むステップＳ１７において、パソコン１１は、タイム
アウトか否かを判定する。パソコン１１は、図７の処理
が開始されて所定時間が経過している場合に肯定判定し
て図７の処理を終了する。これは、画像データにタグが
発見されない場合に相当する。一方、パソコン１１は、
ステップＳ１７において否定するとステップＳ１８に進
む。ステップＳ１８において、パソコン１１は、カメラ
１２の向きを変えてステップＳ１１へ戻り、画像データ
の中からタグを抽出する。

【００２３】以上説明した第一の実施の形態によれば、
次の作用効果が得られる。 （１）対象物３１に抽出が容易な特徴を付与したタグ３
１０を設け、パソコン１１のカメラ１２で撮影される画
像データの中から、対象物３１に設けられているタグ３
１０の画像を探して対象物３１を特定するようにした。
タグ３１０を抽出容易にした結果、画像データの中から
対象物３１の画像を探す場合に比べて、短い時間で対象
物３１を抽出できる。また、対象物３１の画像を探すた
めに必要な対象物３１の形状データに比べて、タグ３１
０の画像を探すために必要なタグ３１０の形状データの
方が少ないので、記憶に必要なメモリの容量を少なくで
きる。 （２）対象物３１の属性情報をタグ３１０が有するよう
にしたので、パソコン１１は、タグ３１０から与えられ
る属性情報によってタグ３１０が設けられている対象物
３１を特定することができる。したがって、対象物ごと
に異なる属性情報を有するタグを設ければ、パソコン１
１は、タグが設けられている対象物の形状に関係なく対
象物を特定することができる。また、属性情報に対象物
３１に関する情報が提供されているＵＲＬを含めたの
で、パソコン１１は、ネットワーク４１にアクセスし
て、データベース４２〜４４から対象物３１に関する情
報を検索することが可能になる。

【００２４】タグ３１０は、バーコードを例に説明した
が、カメラ１２で撮影した画像データから検出しやすい
形状や色を有するパターン、商標でもよい。

【００２５】以上の説明では、ネットワーク４１をイン
ターネットとして説明したが、ネットワーク４１は、イ
ントラネットのようにオフィスや学校内などにおいて閉
じたものにしてもよい。

【００２６】また、データベース４２〜４４をパソコン
１１のデータストレージ装置として構成し、ネットワー
ク４１を介さずに対象物に関する情報を入手するように
してもよい。

【００２７】−第二の実施の形態− 第二の実施の形態は、ロボットハンドを備えるロボット
システムに本発明を適用した場合の例である。ロボット
は、あらかじめティーチング操作することなしに対象物
を特定し、特定した対象物をロボットハンドで掴む。図
８は、第二の実施の形態によるロボット１１Ａの概念図
である。図８において、壁３４，３５および３６に囲ま
れた部屋の中に、載置台３３が備えられている。載置台
３３の上に対象物３２が載置されている。壁３６と壁３
８との間には通路３７が設けられている。壁３４〜３
６、載置台３３，対象物３２、壁３８および通路３７に
は、それぞれタグ３４０〜３６０，３３０，３２０，３
８０および３７０が設けられている。

【００２８】ロボット１１Ａは、カメラ１２と、ロボッ
トハンド１３と、移動装置１４とを備える。カメラ１２
は対象物３１などを撮影する。カメラ１２で撮影された
画像データは、ロボット１１Ａ内の不図示の演算回路に
より画像処理される。ロボットハンド１３は対象物３２
を把持する。ロボットハンド１３は不図示の駆動機構を
有し、ロボット１１Ａの演算回路からの指令により駆動
される。駆動装置１４は、ロボット１１Ａの演算回路か
ら指令が送られると、ロボット１１Ａを任意の方向に移
動させる。また、ロボット１１Ａは不図示のネットワー
クインターフェイス回路を有し、ネットワークインター
フェイス回路を介してネットワーク４１に接続されてい
る。ネットワーク４１には、対象物３２に関する情報を
記憶している少なくとも１つのデータベース４２が接続
されている。

【００２９】ロボット１１Ａは、上述したタグの発見
段階、属性情報の読み取り段階、対象物に関する情
報取得段階の他に、タグの形状に関するデータとカメ
ラ１２により撮影されたタグの画像とを比較して、タグ
が設けられている対象物の姿勢を求め(幾何学情報の取
得段階)、発見したタグの情報をデータベース４２へ
蓄積する。

【００３０】ロボット１１Ａは、カメラ１２で撮影され
た画像データの中からタグを抽出する。壁３４〜３６、
３７および通路３７に設けられるタグには、現在地など
の位置を表す属性情報も与えておく。ロボット１１Ａ
は、壁３４〜３６、３７および通路に設けられたタグを
抽出することで、建物の中でどの位置を移動しているか
を検知する。ロボット１１Ａは、位置を表す属性情報を
入手すると、ロボット１１Ａがその場所で抽出したタグ
の情報をデータベース４２に送って蓄積させる。これに
より、タグが付与されている対象物の位置情報が、位置
を表す属性情報に関連してデータベース４２に蓄積され
る。

【００３１】データベース４２には、その場所でどのよ
うに行動するかという情報も記憶させておく。たとえ
ば、通路３７のタグ３７０を抽出した場所では、ロボッ
トハンド１３をたたむという情報を記憶させておく。ロ
ボット１１Ａは、タグ３７０を抽出してデータベース４
２にアクセスし、ロボットハンド１３をたたむという情
報を得るとロボットハンド１３をたたむ。

【００３２】ロボット１１Ａには、あらかじめ対象物３
２を探すようにプログラムされている。カメラ１２で撮
影された画像データから抽出したタグが対象物３２のタ
グ３２０でない場合、ロボット１１Ａは新たなタグを探
す。カメラ１２で撮影される画像データに新たなタグが
抽出されなくなると、ロボット１１Ａの演算回路の不図
示の演算回路は、駆動装置１４に指令を出してロボット
１１Ａの向きを変える。

【００３３】ロボット１１Ａが対象物３２のタグ３２０
を抽出すると、タグ３２０によって与えられる属性情報
を用いて対象物３２に関する情報をデータベース４２か
ら検索する。ロボット１１Ａが取得する情報は、対象
物３２のCADデータ(外形および寸法)、対象物３２上
でタグ３２０が付与されている位置、対象物３２の把
持すべき箇所(接触してはいけない箇所)、対象物３２
を把持する際の力などである。ロボット１１Ａはさら
に、カメラ１２により撮影される画像データにおけるタ
グ３２０の形状に基づいて、対象物３２とカメラ１２と
の間の３次元的な位置関係を推定する。

【００３４】位置関係の推定は、タグ３２０の外縁を用
いて行う。たとえば、タグ３２０がバーコードの場合を
例にとれば、カメラ１２がタグ３２０を正面から撮影す
ると、タグ３２０の外縁が長方形になる。カメラ１２の
位置がタグ３２０の正面から外れると、タグ３２０の外
縁は、カメラ１２の位置がタグ３２０の正面から外れた
距離に応じて変化し、近似平行四辺形として撮影され
る。ロボット１１Ａは、撮影されたタグ３２０の外縁の
歪み具合、すなわち、タグ３２０の形状からカメラ１２
とタグ３２０との位置関係を推定する。すなわち、タグ
３２０の外縁である近似平行四辺形と、上述したバーの
変化方向θＥＧを利用して算出される空間二次曲線とを
当てはめて、タグ３２０をどの方向から撮影しているか
を推定する。

【００３５】対象物３２が直方体である場合を例にあげ
ると、カメラ１２の位置座標と姿勢とパラメータ、およ
び対象物３２の位置座標と姿勢は以下のように推定され
る。ロボット１１Ａは、データベース４２から対象物３
２の３次元モデルを取得すると、取得した３次元モデル
から平面上にない少なくとも４点の頂点位置情報を得
る。たとえば、タグ３２０が設置された面の輪郭線の頂
点から３点、その面に接続する別な面の、タグ３２０の
設置面の交線とは異なる輪郭線の頂点から１点を選ぶ。
ロボット１１Ａは、カメラ１２により撮影される画像デ
ータにおいて、これら４つの頂点に相当する位置を探索
し、タグ３２０の検出時に得られた対象物３２の概略の
位置と姿勢を利用して探索範囲を絞り込む。これによ
り、画像データにおける頂点の位置座標と３次元モデル
上の頂点の位置座標との対応関係を検出し、カメラ１２
の正確な位置座標と姿勢とパラメータ、および対象物３
２の正確な位置座標と姿勢を推定する。

【００３６】ロボット１１Ａは、推定したタグ３２０の
撮影方向と、ネットワーク４１を介して取得した対象物
３２の外形および寸法の情報と、対象物３２上でタグ３
２０が付与されている位置の情報とから、カメラ１２に
よって撮影される対象物３２のイメージデータをシミュ
レートする。すなわち、カメラ１２に備えられるレンズ
の焦点距離などを考慮して、カメラ１２を通して撮影さ
れたタグ３２０の像３１０Ａ(図５)の大きさからカメラ
１２と対象物３２との距離を推定し、対象物３２のイメ
ージデータを生成する。対象物３２までの距離がロボッ
トハンド１３で掴める距離より長い場合は、駆動装置１
４を駆動して対象物３２に近づく。

【００３７】ロボット１１Ａは、実際にカメラ１２によ
って撮影された画像データと、生成したイメージデータ
とがぴったり一致するように、対象物３２とカメラ１２
との３次元的な位置関係の推定精度を向上させる。カメ
ラ１２による画像データが生成したデータと一致するか
否かの判定は、たとえば、対象物３２の輪郭部分を用い
て行う。位置関係の推定精度の向上は、対象物３２まで
の距離や対象物３２を撮影する方向などを表す値を修正
し、再度イメージデータを生成することにより行う。対
象物３２の姿勢および位置関係を推定すると、ネットワ
ーク４１を介して得た対象物３２の把持すべき箇所(接
触してはいけない箇所)の情報を参照し、ロボットハン
ド１３を駆動して対象物３２を把持する。

【００３８】以上のロボット１１Ａで行われる制御処理
の流れを示すフローチャートを図９に示す。図９のステ
ップＳ２１〜ステップＳ２５までは図７の処理と同じた
め説明を省略する。ステップＳ２６において、ロボット
１１Ａは、特定した対象物が探している対象物３２であ
るか否かを判定する。ステップＳ２６において、特定し
た対象物が探している対象物３２であると肯定判定する
とステップＳ２７へ進み、否定判定するとステップＳ３
１へ進む。ステップＳ２７において、ロボット１１Ａ
は、対象物３２の姿勢を推定する。ステップＳ２８にお
いて、ロボット１１Ａは、対象物３２がロボットハンド
１３で掴める範囲内にあるか否かを判定する。ステップ
Ｓ２８において、対象物３２が掴める範囲内にあると肯
定判定するとステップＳ２９へ進む。ステップＳ２９に
おいて、ロボット１１Ａは、ロボットハンド１３を駆動
して対象物３２を把持し、図９の処理を終了する。

【００３９】ステップＳ２８において、対象物３２が掴
める範囲内にないと否定判定されるとステップＳ３０へ
進む。ステップＳ３０において、ロボット１１Ａは、駆
動装置１４を駆動して対象物３２に近づく。再びステッ
プＳ２７に戻り、ロボット１１Ａは対象物３２の姿勢を
推定する。上述したステップＳ２６において、特定した
対象物が探している対象物３２でないと否定判定される
と、ステップＳ３１へ進む。ステップＳ３１において、
ロボット１１Ａは、特定した対象物が壁または通路か否
かを判定する。ステップＳ３１において、壁または通路
であると肯定判定されるとステップＳ３２へ進む。ステ
ップＳ３２において、ロボット１１Ａは、ステップＳ２
５における情報検索で得られた「その場でどのように行
動するかの情報」にしたがって、たとえば、ロボットハ
ンド１３をたたむ。ロボットハンド１３がたたまれると
ステップＳ３３へ進む。

【００４０】また、ステップＳ３１において否定判定す
る場合にもステップＳ３３に進む。ステップＳ３３にお
いて、ロボット１１Ａは、抽出(発見)したタグの情報を
データベース４２へ送る。タグの情報がデータベース４
２へ送られるとステップＳ２１へ戻り、ステップＳ２１
において、画像データから新たなタグが抽出される。

【００４１】上述したステップＳ２１で否定判定されて
進むステップＳ３４において、ロボット１１Ａは、タイ
ムアウトか否かを判定する。ロボット１１Ａは、図９の
処理が開始されて所定時間が経過している場合に肯定判
定して図９の処理を終了する。これは、画像データに対
象物３２のタグ３２０が発見されない場合に相当する。
一方、ステップＳ３４において否定されるとステップＳ
３５に進む。ステップＳ３５において、ロボット１１Ａ
は、駆動装置１４を制御して移動する。再びステップＳ
２１へ戻り、ロボット１１Ａは、画像データの中から新
たなタグを抽出する。

【００４２】以上説明した第二の実施の形態によれば、
次の作用効果が得られる。 （１）対象物３２の属性情報をタグ３２０が有するよう
にしたので、ロボット１１Ａは、タグ３２０から与えら
れる属性情報によってタグ３２０が設けられている対象
物３２を特定することができる。また、壁３４〜３６、
３７および通路３７に設けられるタグは、現在地などの
位置を表す属性情報を有するようにしたので、ロボット
１１Ａは、壁３４〜３６、３７および通路に設けられた
タグを抽出することで、建物の中でどの位置を移動して
いるかを検知することができる。 （２）ロボット１１Ａがネットワーク４１を介して検索
するデータベース４２に、タグが設けられている対象物
に関する情報、タグが設けられている場所でどのように
行動するかという情報、などを記憶させておくようにし
たので、ロボット１１Ａ内のメモリにこれらの情報をあ
らかじめ記憶させておく必要がない。情報の追加や変更
などはデータベース４２側で行えばよいので、情報を管
理しやすい。 （３）カメラ１２により撮影されるタグ３２０の形状に
基づいて推定したタグ３２０の撮影方向と、ネットワー
ク４１を介して取得した対象物３２の外形および寸法の
情報と、対象物３２上でタグ３２０が付与されている位
置の情報とから、カメラ１２によって撮影される対象物
３２までの距離を推定し、カメラ１２で撮影される対象
物３２のイメージデータを生成する。そして、実際にカ
メラ１２によって撮影された画像データと、生成したイ
メージデータとがぴったり一致するように対象物３２と
カメラ１２との３次元的な位置関係の推定精度を向上さ
せるようにしたので、ロボットハンド１３を駆動して正
確に対象物３２を把持することができる。

【００４３】ロボット１１Ａと同様の複数のロボットを
用いるようにしてもよい。複数のロボットでタグを抽出
するとき、他のロボットが検知した情報もデータベース
４２に蓄えれば、タグが設けられている全ての物体の配
置位置を知るのに要する時間は、ロボットを１台のみ用
いる場合より短くできる。そして、ロボットに対して特
定の対象物３２を掴むように命令するとき、たとえば、
対象物３２に最寄りのロボットに命じることにより、所
要時間を最短にすることもできる。

【００４４】以上の説明では、ロボットハンド１３は対
象物を掴むように説明したが、スイッチなどの操作部材
を操作するようにしてもよい。この場合には、対象物と
なる操作部材にタグを設けておき、対象物をどのように
取り扱うか、すなわち、操作部材をどのように操作する
かの情報をデータベースに記憶しておく。ロボット１１
Ａは操作部材のタグを抽出すると操作部材に関する情報
をデータベースから取得し、操作部材を操作する。この
ようなロボット１１Ａは、ベッドの操作部材や食器など
にタグを設けておけば介護ロボットとして利用できる。
また、工場などで人が近づけない環境下に配設されてい
るパイプや操作部材などにタグを設けておけば、日常点
検や非常時に復旧を行う作業ロボットとして利用でき
る。

【００４５】−第三の実施の形態− 複数の対象物に同じタグが設けられている場合に、デー
タベースに記憶されている情報と一致する対象物を特定
することもできる。図７において、ロボット１１Ａが対
象物のタグを抽出すると、タグによって与えられる属性
情報を用いて対象物に関する情報を検索する。この場合
には、対象物のCADデータ(外形および寸法)と、対
象物上でタグが付与されている位置の情報を取得する。

【００４６】ロボット１１Ａは、カメラ１２により撮影
される画像データにおける各々のタグの形状に基づい
て、それぞれの対象物とカメラ１２との間の３次元的な
位置関係を推定する。そして、推定したタグの撮影方向
と、ネットワーク４１を介して取得した対象物の外形お
よび寸法の情報と、対象物上でタグが付与されている位
置の情報とを用いて、各々の対象物のイメージデータを
シミュレートする。実際にカメラ１２によって撮影され
る画像データとぴったり一致するイメージデータは、デ
ータベースの情報と一致するタグから生成されたもので
ある。すなわち、このタグが設けられている対象物が、
データベースの情報と一致するものである。

【００４７】なお、一つの視点からとらえた画像データ
からでは判断できないときには、判断しやすい視点はど
こかをCADデータより算出し、その視点へカメラ１２を
動かせばよい。たとえば、ＣＲＴディスプレイと液晶デ
ィスプレイとを特定するとき、正面から撮影すると特定
しにくいが、ディスプレイを横から撮影すると特定しや
すくなる。

【００４８】カメラ１２で撮影された画像において、画
像からエッジを抽出すると、対象物の輪郭線を含む数多
くのエッジが抽出される。対象物とカメラ１２との位置
関係および対象物の外形が分かっていると、エッジを含
めたイメージデータを生成できる。この場合、どのエッ
ジが対象物の輪郭線に相当するかを検出することは容易
であるので、実際にカメラ１２によって撮影される画像
データと、エッジがぴったり一致するイメージデータを
探すことができる。

【００４９】カメラ１２で撮影される対象物の一部が、
障害物などで隠蔽されていても、ロボット１１Ａはデー
タベースから取得した対象物の外形データから隠蔽され
ている部分の形状をシミュレートできる。これにより、
カメラ１２をどちらに動かせば、すなわち、ロボット１
１Ａがどちらに移動すれば、対象物を隠蔽されることな
く撮影できるかを判断できる。

【００５０】以上説明した第三の実施の形態によれば、
カメラ１２により撮影されるタグの形状に基づいて推定
したタグの撮影方向と、ネットワーク４１を介して取得
した対象物の外形および寸法の情報と、対象物上でタグ
が付与されている位置の情報とから、カメラ１２によっ
て撮影される対象物までの距離を推定し、カメラ１２で
撮影される対象物のイメージデータを生成する。そし
て、実際にカメラ１２によって撮影された対象物の画像
データが、生成したイメージデータとぴったり一致する
か否かを判定することにより、複数の異なる対象物の中
からデータベースに記憶されている情報と一致する対象
物を特定できる。これは、たとえば、同一メーカ製の新
旧製品の中から、データベースと一致するモデルがどれ
かを探す場合に適用できる。

【００５１】−第四の実施の形態− 対象物が破損および変形していないか、あるいは汚れて
いないかを検査することもできる。図７において、ロボ
ット１１Ａが対象物３２のタグ３２０を抽出すると、タ
グ３２０によって与えられる属性情報を用いて対象物３
２に関する情報を検索する。この場合には、対象物の
CADデータ(外形、寸法、および色)と、対象物３２上
でタグ３２０が付与されている位置の情報をネットワー
ク４１上のデータベース４２から取得する。

【００５２】ロボット１１Ａは、カメラ１２により撮影
される画像データにおけるタグ３２０の形状に基づい
て、対象物３２とカメラ１２との間の３次元的な位置関
係を推定する。そして、推定したタグ３２０の撮影方向
と、ネットワーク４１を介して取得した対象物３２の外
形、寸法および色の情報と、対象物３２上でタグ３２０
が付与されている位置の情報とを用いて、対象物３２の
３次元のイメージデータをシミュレートする。実際にカ
メラ１２によって撮影される画像データとぴったり一致
すれば異常なしと判定し、不一致の部分があれば何らか
の異常が生じていると判定する。実際にカメラ１２によ
って撮影された画像データは、検査結果としてネットワ
ーク４１を介してデータベース４２に保存しておき、時
間的な変化を蓄積する。

【００５３】１つの視点からとらえた画像だけでは、対
象物の３次元形状を検査できない。一般に、３次元形状
の検査はステレオの原理を用いて行われる。この検査
は、カメラ１２(ロボット１１Ａ)を移動させて、異なる
２つ以上の視点から対象物３２を撮影する。どの視点か
ら対象物３２を撮影するかは、対象物３２の形状に依存
する。したがって、対象物３２の検査したい箇所や複雑
な形状を有する箇所の情報と、これらの箇所の３次元形
状を検査するのに有効な視点の情報、すなわち、カメラ
１２を移動させる情報とを、データベース４２に記憶し
ておく。この場合には、ロボット１１Ａは、タグ３２０
によって与えられる属性情報を用いてネットワーク４１
にアクセスして情報を検索するとき、３次元形状の検査
に必要な情報も取得する。

【００５４】以上説明した第四の実施の形態によれば、
カメラ１２により撮影されるタグの形状に基づいて推定
したタグの撮影方向と、ネットワーク４１を介して取得
した対象物３２の外形、寸法および色の情報と、対象物
３２上でタグ３２０が付与されている位置の情報とか
ら、カメラ１２によって撮影される対象物までの距離を
推定し、カメラ１２で撮影される対象物の３次元イメー
ジデータを生成する。そして、実際にカメラ１２によっ
て撮影された対象物の画像データが、生成したイメージ
データとぴったり一致するか否かを判定することによ
り、対象物の検査を行うことができる。これは、工場な
どの製品検査に適用できる。

【００５５】以上の説明では、ロボット１１Ａが有線接
続によるネットワーク４１を介して情報を取得するよう
にしたが、無線接続によって情報を取得するようにして
もよい。

【００５６】特許請求の範囲における各構成要素と、発
明の実施の形態における各構成要素との対応について説
明すると、画像データが画像情報に、タグ３１０、３２
０〜３８０が識別標識に、カメラ１２が撮像手段に、パ
ソコン１１およびロボット１１Ａが識別標識抽出手段、
対象物特定手段および情報入手手段に、データベース４
２〜４４が情報蓄積手段に、ロボット１１Ａが動作制御
手段に、それぞれ対応する。

【００５７】

【発明の効果】以上詳細に説明したように本発明によれ
ば、次のような効果を奏する。 （１）請求項１〜６に記載の発明では、画像情報の中か
ら対象物に設けられる識別標識を抽出し、抽出した識別
標識から対象物を特定するようにした。したがって、画
像情報の中から対象物の画像を抽出し、対象物の画像か
ら対象物を特定する場合に比べて、対象物の特定が容易
になる。さらに、対象物を特定すると対象物に関する情
報を検索(入手)するようにしたので、特定した対象物に
対するさらに詳しい情報を得ることができる。 （２）とくに、請求項２〜５に記載の発明による情報検
索装置では、たとえば、対象物の外形および寸法の情報
を情報蓄積手段から入手すれば、画像情報の中の対象物
の外形および大きさに基づいて、対象物と情報検索装置
との間の位置関係を求めることが可能になる。 （３）請求項６に記載の発明によるロボットの動作制御
装置では、たとえば、対象物の外形および寸法の情報を
情報蓄積手段から入手すれば、画像情報の中の対象物の
外形および大きさに基づいて、対象物とロボットとの間
の位置関係を求めることが可能になる。そして、対象物
をどのようにハンドリングするかの情報を情報蓄積手段
から入手すれば、あらかじめハンドリング情報を記憶し
ていなくても対象物をハンドリングすることが可能にな
る。

【図面の簡単な説明】

【図１】第一の実施の形態による情報検索装置の概念を
表す図である。

【図２】バーコードが印刷されている箱の一部の画像を
表す図である。

【図３】図２の微分画像を表す図である。

【図４】バーコードの例を表す図である。

【図５】バーコードをカメラで撮影する場合の幾何学モ
デルを表す図である。

【図６】特定結果がディスプレイに表示される例を表す
図である。

【図７】パソコンによる情報検索処理の流れを示すフロ
ーチャートである。

【図８】第二の実施の形態によるロボットの概念図であ
る。

【図９】ロボットによる制御処理の流れを示すフローチ
ャートである。

【符号の説明】

１１…パソコン、 １１Ａ…ロボ
ット、１２…カメラ、 １３…
ロボットハンド、１４…移動装置、
３１，３２…対象物、３３…載置台、
３４〜３６，３８…壁、３７…通路、
４１…ネットワーク、４２〜４
４…データベース、 １１０…ディスプレ
イ、１１１…カメラで撮影された画像、 １１２…
特定結果、１１３…検索して得た情報、３１０,３２０,
３３０,３４０,３５０,３６０,３７０,３８０…タグ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 3C007 CS08 JS03 KS08 KS16 KT00 KT01 KT04 LT06 MT10 WA28 5B075 KK03 KK07 KK13 KK33 KK37 ND03 ND20 ND23 NK10 NK13 NK24 PP10 PP12 PP30 PQ02 PQ05 QP10 QS03 UU40

Claims (6)

【特許請求の範囲】
1. 【請求項１】画像情報の中から対象物に設けられている
   識別標識を抽出し、 抽出した前記識別標識から前記対象物を特定し、 特定した前記対象物に関する情報を検索することを特徴
   とする情報検索方法。
2. 【請求項２】対象物を撮像して画像情報を出力する撮像
   手段と、 前記対象物に設けられる識別標識を前記画像情報の中か
   ら抽出する識別標識抽出手段と、 前記識別標識抽出手段により抽出される前記識別標識か
   ら前記対象物を特定する対象物特定手段と、 前記対象物特定手段により特定される前記対象物に関す
   る情報を情報蓄積手段から入手する情報入手手段とを有
   することを特徴とする情報検索装置。
3. 【請求項３】請求項２に記載の情報検索装置において、 前記識別標識は、前記情報蓄積手段に対するアクセスに
   必要な情報を備えることを特徴とする情報検索装置。
4. 【請求項４】請求項２または３に記載の情報検索装置に
   おいて、 前記対象物に関する情報は、前記対象物の位置情報を含
   むことを特徴とする情報検索装置。
5. 【請求項５】請求項２〜４のいずれかに記載の情報検索
   装置において、 前記対象物に関する情報は、前記対象物に対する操作方
   法に関する情報を含むことを特徴とする情報検索装置。
6. 【請求項６】対象物を撮像して画像情報を出力する撮像
   手段と、 前記対象物に設けられる識別標識を前記画像情報の中か
   ら抽出する識別標識抽出手段と、 前記識別標識抽出手段により抽出される前記識別標識か
   ら前記対象物を特定する対象物特定手段と、 前記対象物特定手段により特定される前記対象物に関す
   る情報を情報蓄積手段から入手する情報入手手段と、 前記情報入手手段により入手される情報に基づいて前記
   対象物特定手段により特定される対象物をハンドリング
   する動作制御手段とを備えることを特徴とするロボット
   の動作制御装置。