JP2018134687A - ロボット、プログラム及びマーカ - Google Patents

ロボット、プログラム及びマーカ Download PDF

Info

Publication number
JP2018134687A
JP2018134687A JP2017028620A JP2017028620A JP2018134687A JP 2018134687 A JP2018134687 A JP 2018134687A JP 2017028620 A JP2017028620 A JP 2017028620A JP 2017028620 A JP2017028620 A JP 2017028620A JP 2018134687 A JP2018134687 A JP 2018134687A
Authority
JP
Japan
Prior art keywords
marker
processing
robot
storage unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017028620A
Other languages
English (en)
Inventor
ジュリアン ピアテック
Peertech Julianne
ジュリアン ピアテック
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2017028620A priority Critical patent/JP2018134687A/ja
Publication of JP2018134687A publication Critical patent/JP2018134687A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

【課題】マーカを認識することで様々な処理を行うことが可能なロボット、プログラム及びマーカを提供する。【解決手段】ロボット1は、被写体を撮影して撮影画像を生成するカメラ31と、処理内容が関連付けられたマーカ4aを記憶するマーカ記憶部22を参照して、カメラ31によって得られた撮影画像からマーカ4aを認識するマーカ認識部12と、マーカ認識部12によって認識されたマーカ4aに関連付けられている処理を実行する処理実行部18と、を備える。【選択図】図1

Description

本発明は、ロボット、プログラム及びマーカに関する。
従来、人との間で対話を行う人型ロボットが開示されている(例えば、特許文献1)。
特表2016−536630号公報
特許文献1に記載のロボットは、対話をする人を、顔認識により識別したり、例えば、QRコード(登録商標)等のグラフィックコードを読み取ることで識別したりするものであった。よって、グラフィックコード等のマーカは、対話する人の識別に用いられていた。
本発明は、マーカを認識することで様々な処理を行うことが可能なロボット、プログラム及びマーカを提供することを目的とする。
本発明は、以下のような解決手段により、前記課題を解決する。
第1の発明は、被写体を撮影して撮影画像を生成する撮影部と、処理内容が関連付けられたマーカを記憶するマーカ記憶部と、前記マーカ記憶部を参照して、前記撮影部によって得られた前記撮影画像から前記マーカを認識するマーカ認識手段と、前記マーカ認識手段によって認識された前記マーカに関連付けられている処理を実行する処理実行手段と、を備えるロボットである。
第2の発明は、第1の発明のロボットにおいて、前記マーカ認識手段は、前記マーカの種類を含めて前記マーカを認識し、前記処理実行手段は、前記マーカ認識手段によって認識した前記マーカの種類に対応した処理を実行すること、を特徴とするロボットである。
第3の発明は、第1の発明又は第2の発明のロボットにおいて、前記マーカ又は前記マーカの認識内容と、前記マーカに対応する処理データとを対応付けた処理データ記憶部を備え、前記処理実行手段は、前記処理データ記憶部を参照し、前記マーカ認識手段によって認識された前記マーカに対応する処理データを実行すること、を特徴とするロボットである。
第4の発明は、第3の発明のロボットにおいて、前記マーカ認識手段により認識された前記マーカに関連する大きさに基づいて、処理の度合いを決定する度合決定手段を備え、前記処理実行手段は、前記度合決定手段によって決定した処理の度合いを反映させて、前記マーカに対応する処理データを実行すること、を特徴とするロボットである。
第5の発明は、第3の発明のロボットにおいて、前記処理データ記憶部は、前記マーカの大きさをさらに対応付けて記憶しており、前記マーカ認識手段により認識された前記マーカの大きさを計測する計測手段を備え、前記処理実行手段は、前記処理データ記憶部を参照し、前記計測手段により計測された前記マーカの大きさに対応する処理を実行すること、を特徴とするロボットである。
第6の発明は、第5の発明のロボットにおいて、前記計測手段によって計測した前記マーカの大きさに基づいて前記マーカまでの距離を算出する距離算出手段と、前記距離算出手段によって算出した前記距離に対応した動作を行う動作制御手段と、を備えること、を特徴とするロボットである。
第7の発明は、第1の発明又は第2の発明のロボットにおいて、前記マーカは、一定の形状及び大きさを有する1の基準マーカと、処理を示す1以上の処理マーカとを含み、前記基準マーカと前記処理マーカとの大きさの比率又は配置位置に対応した処理データを記憶する処理データ記憶部と、前記マーカ認識手段によって認識された前記マーカの前記基準マーカと前記処理マーカとの大きさの比率を算出し、又は配置位置を特定する関係確認手段と、を備え、前記処理実行手段は、前記関係確認手段により算出した前記比率、又は、前記関係確認手段により特定した前記配置位置に対応する処理データを、前記処理データ記憶部から抽出して処理を行うこと、を特徴とするロボットである。
第8の発明は、第7の発明のロボットにおいて、前記マーカ認識手段によって認識された前記マーカの前記基準マーカに基づいて前記マーカまでの距離を算出する距離算出手段と、前記距離算出手段によって算出した前記距離に対応した動作を行わせる動作制御手段と、を備えること、を特徴とするロボットである。
第9の発明は、第1の発明又は第2の発明のロボットにおいて、前記マーカは、二次元コードであり、前記マーカ認識手段によって認識された前記マーカからコード情報を抽出するコード抽出手段を備え、前記処理実行手段は、前記コード抽出手段が抽出したコード情報に基づく処理を実行すること、を特徴とするロボットである。
第10の発明は、第1の発明から第9の発明までのいずれかのロボットにおいて、前記マーカの色情報に対応した処理データを記憶する色情報記憶部と、前記マーカ認識手段によって認識された前記マーカに含まれる前記マーカの色情報を取得する色情報取得手段と、を備え、前記処理実行手段は、前記色情報取得手段により取得した色情報に対応する処理データを、前記色情報記憶部から抽出して処理を行うこと、を特徴とするロボットである。
第11の発明は、第1の発明から第10の発明までのいずれかのロボットとしてコンピュータを機能させるためのプログラムである。
第12の発明は、第1の発明から第10の発明までのいずれかのロボットが認識処理を行うマーカである。
第13の発明は、第12の発明のマーカにおいて、操作対象物に付されており、前記ロボットに前記操作対象物をつかむための処理に対応するものであること、を特徴とするマーカである。
本発明によれば、マーカを認識することで様々な処理を行うことが可能なロボット、プログラム及びマーカを提供することができる。
本実施形態に係るロボットの運用例を示す図である。 本実施形態に係るロボットの機能ブロック図である。 本実施形態に係るロボットの記憶部の例を示す図である。 本実施形態に係るマーカの例を示す図である。 本実施形態に係るロボットでのロボット制御処理を示すフローチャートである。 本実施形態に係るロボットでのパターンA処理を示すフローチャートである。 本実施形態に係るパターンA処理での具体例を説明するための図である。 本実施形態に係るロボットでのパターンB処理を示すフローチャートである。 本実施形態に係るマーカを認識した場合の具体例を示す図である。 本実施形態に係るロボットでのパターンC処理を示すフローチャートである。 本実施形態に係るロボットによるマーカを使った具体例を説明する図である。
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
(実施形態)
図1は、本実施形態に係るロボット1の運用例を示す図である。
図2は、本実施形態に係るロボット1の機能ブロック図である。
図3は、本実施形態に係るロボット1の記憶部20の例を示す図である。
図4は、本実施形態に係るマーカ4bの例を示す図である。
図1(A)に示すロボット1は、例えば、高さが1m程度の人型のロボットである。
ロボット1は、ロボット1のカメラ31(撮影部)(後述する)が撮影した撮影画像からマーカ4(後述するマーカ4a〜4c)を読み取って、マーカ4に関連付けられている処理を実行する。例えば、机の上に載置されている箱5(操作対象物)に、図1(B)に示すマーカ4aが付されている場合、ロボット1は、マーカ4aに関連付けられている処理として、箱5を掴んで持ち上げる動作を行う。
図2に示すように、ロボット1は、制御部10と、記憶部20と、カメラ31と、スピーカ32と、モータ部33とを備える。
制御部10は、ロボット1の全体を制御する中央処理装置(CPU)である。制御部10は、記憶部20に記憶されているオペレーティングシステム(OS)やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部10は、画像取得部11と、マーカ認識部12(マーカ認識手段)と、マーカ計測部13と、度合決定部14(度合決定手段)と、関係確認部15(関係確認手段)と、色データ取得部16(色情報取得手段)と、コード抽出部17(コード抽出手段)と、処理実行部18(処理実行手段)とを備える。
画像取得部11は、カメラ31を介して撮影画像を取得する。
マーカ認識部12は、マーカ形状が記憶されたマーカ記憶部22を参照して、画像取得部11が取得した撮影画像から、マーカ4(4a〜4c)を認識する。
マーカ計測部13は、マーカ認識部12によって認識されたマーカ4aに関連する大きさを計測する。例えば、マーカ4aの大きさが一定の大きさである場合、マーカ計測部13は、マーカ4aに関連する大きさとしての箱5の大きさを、基準になるマーカ4aを含む基準画像データとの比較によって計測する。
度合決定部14は、マーカ4aに関連する大きさに基づいて、処理の度合いを決定する。度合決定部14は、例えば、箱5の大きさが小さいほど、腕を左右に広げる幅を小さくし、箱5の大きさが大きいほど、腕を左右に広げる幅を大きくするように、腕を広げる幅の度合いを決定する。
関係確認部15は、マーカ認識部12が認識したマーカ4bのうちの基準マーカ4bBに対する処理マーカ4bP(いずれも後述する)の大きさの比率や、配置位置といった、マーカ4bにより示される関係を確認する。
色データ取得部16は、マーカ4の色データを取得する。色データ取得部16は、例えば、マーカ4bに含まれる処理マーカ4bPの色データを取得する。
コード抽出部17は、マーカ4cからコード情報を抽出する処理を行う。
処理実行部18は、処理データ記憶部23の処理A記憶部231を参照して、マーカ4aに関連付けられた処理を実行する。処理実行部18は、度合決定部14によって決定された度合いを反映させて処理を行う。
また、処理実行部18は、処理データ記憶部23の処理B記憶部232を参照して、マーカ4bに関連付けられた処理を実行する。処理実行部18は、関係確認部15によって確認された関係に基づく処理を行う。そして、処理実行部18は、色データ記憶部24(色情報記憶部)を参照し、色データ取得部16によって取得した色データに基づく処理を行う。
さらに、処理実行部18は、コード抽出部17が抽出したコード情報に基づく処理を行う。
記憶部20は、制御部10が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
記憶部20は、プログラム記憶部21と、マーカ記憶部22と、処理データ記憶部23と、色データ記憶部24とを備える。
プログラム記憶部21は、プログラムを記憶する記憶領域である。プログラム記憶部21は、上述した制御部10の各種機能を実行するための制御プログラム21a(プログラム)を記憶している。
マーカ記憶部22は、ロボット1が認識するマーカ4を記憶する記憶領域である。図3(A)に示すように、マーカ記憶部22は、マーカ形状と、種類と、処理内容とを対応付けて記憶している。レコード22aは、マーカ形状が、マーカ4aの例を示し、これは、図1(B)に示すマーカ4aの形状と同じ場合である。また、レコード22bは、マーカ形状が、マーカ4bの例を示し、レコード22c及びレコード22dは、マーカ形状が、マーカ4cの例を示す。
図2に戻り、処理データ記憶部23は、マーカ4a,4bに対する処理データを記憶する記憶領域である。処理データ記憶部23は、処理A記憶部231と、処理B記憶部232とを含む。
図3(B)に示すように、処理A記憶部231は、マーカ4aにより認識された認識内容と、処理データとを対応付けて記憶している。レコード231aは、図1(B)に示すマーカ4aの認識内容を示す。
図3(C)に示すように、処理B記憶部232は、マーカ4bに関する関係データ(大きさの比率、配置位置)と、処理データとを対応付けて記憶する。なお、パラメータa及びパラメータbが何のパラメータであるかは、予め決められている。
図2に戻り、色データ記憶部24は、色データと、処理データとを対応付けて記憶する。色データは、赤、青、黄色等の色情報の他、網掛け、濃淡等の情報をも含む。
カメラ31は、撮影装置である。カメラ31は、例えば、ロボット1の目の部分に対応する位置に設けられている。そして、カメラ31は、ロボット1の顔が向いた方向の被写体を撮影する。
スピーカ32は、音声出力装置である。スピーカ32は、例えば、ロボット1の口の部分に対応する位置に設けられている。そして、スピーカ32は、制御部10の指示に基づいて音声を出力する。
モータ部33は、ロボット1に動作をさせるためのモータである。モータ部33は、頭部モータ33aと、腕部モータ33bと、足部モータ33cとを備える。
頭部モータ33aは、ロボット1の頭部を動かすモータである。頭部モータ33aは、制御部10によって制御され、頭部を上下左右に動かす。
腕部モータ33bは、ロボット1の腕部を動作させるためのモータである。腕部モータ33bは、制御部10によって制御され、例えば、ロボット1が箱5を掴むために腕等を動かす。
足部モータ33cは、ロボット1の足部を動作させるためのモータである。足部モータ33cは、制御部10によって制御され、例えば、ロボット1の位置を移動させる。
なお、図示しないが、ロボット1は、例えば、ロボット1の耳の部分に対応する位置にマイクを備えて、外部から音声を受け付けてもよい。
<マーカ4>
次にマーカ4について説明する。
マーカ4は、ロボット1が認識する標識であり、その形状によって処理が特定できるものである。
以下では、マーカ4を、種類ごとにマーカ4a〜4cとして説明する。
マーカ4aは、図形等の形状と、その形状内に示された英数字等の文字であるマーカID(IDentification)とによって示されるものである。
マーカ4aは、例えば、図1(B)に示すように、一体として認識可能な形状と、形状内のマーカIDとによって特定できる。そして、マーカ4aの中の一体として認識可能な形状は、予め決められており、例えば、図3(A)のレコード22aに示すように、マーカ記憶部22に記憶されている。なお、マーカ4aとして認識する図1(B)の形状のものは、一例であって、他の形状であってもよい。また、マーカ4aは、形状のみで特定できるものであってもよい。しかし、いずれの場合も、マーカ4aの他の形状がマーカ記憶部22に記憶されている必要がある。
マーカ4bは、図3(A)のレコード22bに示す1つの基準マーカ4bBと、1以上の処理マーカ4bPとにより構成される。
ここで、基準マーカ4bB及び処理マーカ4bPの形状は、予め決められており、マーカ記憶部22に記憶されている。そして、基準マーカ4bBの大きさは、一定である。他方、処理マーカ4bPの大きさは、処理内容に応じて異なる。
図4は、マーカ4bの例を示す。
図4(A)及び図4(B)は、基準マーカ4bBと、処理マーカ4bPとが一体になっておらず、並んで配置された場合の例を示す。この場合、処理データは、例えば、処理マーカ4bPの基準マーカ4bBに対する比率に対応する。
図4(C)は、基準マーカ4bBと、処理マーカ4bPとが一体になっており、基準マーカ4bBと、処理マーカ4bPとが同心円状に位置する場合の例である。また、図4(D)は、基準マーカ4bBと、処理マーカ4bPとが一体になっており、基準マーカ4bBと、処理マーカ4bPとが同心円状に位置していない場合の例である。これらの場合、処理データは、例えば、処理マーカ4bPの基準マーカ4bBに対する比率や、処理マーカ4bPと基準マーカ4bBとの位置関係に対応する。
マーカ4cは、コード情報を含むものである。マーカ4cは、図3(A)のマーカ記憶部22において、レコード22cにあるように、QRコード(登録商標)等の二次元コードであってもよいし、レコード22dにあるように、バーコード等の一次元コードであってもよい。
<ロボット1の処理>
次に、ロボット1の処理について説明する。
図5は、本実施形態に係るロボット1でのロボット制御処理を示すフローチャートである。
ここで、ロボット1の電源が投入され、例えば、マーカ読み取りモードに設定されている場合に、ロボット1は、このロボット制御処理を、常に実行するものとする。
ステップS(以下、「S」という。)10において、ロボット1の制御部10(画像取得部11)は、カメラ31を介して撮影画像を取得する。
S11において、制御部10(マーカ認識部12)は、マーカ記憶部22を参照し、撮影画像にマーカ4(例えば、マーカ4aからマーカ4cまでのいずれか)を含むか否かを判断する。マーカ4を含む場合(S11:YES)には、制御部10は、処理をS12に移す。他方、マーカ4を含まない場合(S11:NO)には、制御部10は、処理をS10に移す。
S12において、制御部10(マーカ認識部12)は、撮影画像に含まれるマーカ4を認識し、マーカ記憶部22を参照して、マーカ4の形状が、マーカ4aからマーカ4cまでのいずれであるかを特定する。そして、制御部10は、特定したマーカ4の形状からマーカ4の種類(パターンAからパターンCまでのいずれか)を特定する。
S13において、制御部10は、特定したマーカ4の種類が、パターンAであるか否かを判断する。ここで、マーカ4の種類が、パターンAである場合とは、制御部10が、マーカ4aを認識した場合をいう。パターンAである場合(S13:YES)には、制御部10は、処理をS14に移し、後述するパターンA処理を実行後、本処理を終了する。他方、パターンAではない場合(S13:NO)には、制御部10は、処理をS15に移す。
S15において、制御部10は、特定したマーカ4の種類が、パターンBであるか否かを判断する。ここで、マーカ4の種類が、パターンBである場合とは、制御部10が、基準マーカ4bBと、処理マーカ4bPとからなるマーカ4bを認識した場合をいう。パターンBである場合(S15:YES)には、制御部10は、処理をS16に移し、後述するパターンB処理を実行後、本処理を終了する。他方、パターンBではない場合(S15:NO)には、制御部10は、処理をS17に移す。
S17において、制御部10は、特定したマーカ4の種類が、パターンCであるか否かを判断する。ここで、マーカ4の種類が、パターンCである場合とは、制御部10が、マーカ4cを認識した場合をいう。パターンCである場合(S17:YES)には、制御部10は、処理をS18に移し、後述するパターンC処理を実行後、本処理を終了する。他方、パターンCではない場合(S17:NO)には、制御部10は、本処理を終了する。なお、パターンCではない場合とは、例えば、マーカ記憶部22のマーカ形状に対応するマーカを認識したが、種類がパターンAからパターンCまでのいずれにも該当しない場合をいう。
<例1>
次に、制御部10が特定したマーカ4の種類がパターンAであって、マーカ4aを認識した場合について説明する。
図6は、本実施形態に係るロボット1でのパターンA処理を示すフローチャートである。
図7は、本実施形態に係るパターンA処理での具体例を説明するための図である。
図6のS20において、制御部10は、マーカ4aが付された箱5を認識する。そして、制御部10(マーカ計測部13、度合決定部14)は、箱5の大きさを計測し、度合いを決定する。具体的には、制御部10は、図7(a)に示すような、基準となる箱5に付されたマーカ4aの画像データである基準画像データ60xを、予め記憶部20に記憶させておく。そして、制御部10は、撮影画像の画像データと、基準画像データ60xとを比較することによって、マーカ4aに関連する箱5の大きさを計測し、基準からの度合いを決定する。
例えば、撮影画像として図7(B)に示す画像データ60aを得た場合、制御部10は、図7(A)に示す基準画像データ60xと、図7(B)に示す画像データ60aとを用いて、基準画像データ60xに含まれる箱5の大きさに対する、画像データ60aに含まれる箱5の大きさの割合を算出する。実際のマーカ4aの大きさは、一定であるので、制御部10は、マーカ4aの大きさが一定になるように、例えば、画像データ60aを拡大又は縮小する。そして、制御部10は、図7(B)に示す画像データ60aの箱5の大きさの度合いを、例えば、基準の大きさ+20%と決定する。
また、例えば、撮影画像として図7(C)に示す画像データ60bを得た場合、制御部10は、図7(A)に示す基準画像データ60xと、図7(C)に示す画像データ60bとを用いて、図7(C)に示す画像データ60bの箱5の大きさの度合いを、例えば、基準の大きさ−10%と決定する。
図6に戻り、S21において、制御部10(処理実行部18)は、マーカ4aに対応付けられた処理データを、処理A記憶部231から抽出することで取得する。制御部10は、マーカ4aからマーカIDを認識し、マーカIDを認識内容として、対応する処理データを処理A記憶部231から抽出する。図7(A)に示す基準画像データ60xの例では、処理データは、例えば、腕の幅を100mmに広げて掴むという内容のデータである。
S22において、制御部10(処理実行部18)は、取得した処理データに、度合いを反映させて処理を実行する。図7(B)の例では、制御部10は、100mmに+20%した120mmに腕の幅を広げて手と手の間にある物を掴む処理を行う。また、図7C()の例では、制御部10は、100mmに−10%した90mmに腕の幅を広げて手と手の間にある物を掴む処理を行う。この処理によって、箱5の大きさにかかわらず、ロボット1は、マーカ4aが付された箱5を掴むことができる。その後、制御部10は、本処理を終了し、処理を図5に移す。
<例2>
次に、特定したマーカ4の種類がパターンBであって、マーカ4bを認識した場合について説明する。
図8は、本実施形態に係るロボット1でのパターンB処理を示すフローチャートである。
S30において、制御部10(関係確認部15)は、基準マーカ4bBと、処理マーカ4bPとの大きさの比率を算出する。例えば、図4(A)に示すマーカ4bを含む画像データを得た場合、制御部10は、基準マーカ4bBの直径に対する処理マーカ4bPの直径の割合(比率)を、例えば、3.0と算出する。
S31において、制御部10(関係確認部15)は、基準マーカ4bBと、処理マーカ4bPとの配置位置を特定する。例えば、図4(A)に示すマーカ4bを含む画像データを得た場合には、制御部10は、基準マーカ4bBと、処理マーカ4bPとが一体になっているものではないため、本処理を行わない。また、例えば、図4(C)に示すマーカ4bを含む画像データを得た場合には、制御部10は、基準マーカ4bBと、処理マーカ4bPとが一体になっているので、制御部10は、基準マーカ4bBと、処理マーカ4bPとの配置位置として、両者が同心円上に配置されていると特定する。
S32において、制御部10(色データ取得部16)は、処理マーカ4bPの色データを取得する。
S33において、制御部10(処理実行部18)は、取得した色データに対応する処理データを、色データ記憶部24から抽出して取得する。
S34において、制御部10(処理実行部18)は、算出した大きさの比率及び特定した配置位置に対応する処理データを、処理B記憶部232から抽出することで取得する。
S35において、制御部10(処理実行部18)は、S33及びS34で取得した処理データを実行する。その後、制御部10は、本処理を終了し、処理を図5に移す。
このパターンB処理による具体例を説明する。
図9は、本実施形態に係るマーカ4bを認識した場合の具体例を示す図である。
図9(A)は、図4(C)のマーカ4bを応用した例であり、基準マーカ4bBと、複数の処理マーカ4bP(処理マーカ4bP1〜4bP3)とが一体になっているマーカ4bの例である。複数の処理マーカ4bPの各々には、色が付されている。
図8のS30に対応する処理として、制御部10は、基準マーカ4bBと、各処理マーカ4bPとの大きさの比率を算出する。まず、制御部10は、基準マーカ4bBと、処理マーカ4bP1との大きさの比率を算出する。同様に、制御部10は、基準マーカ4bBと、処理マーカ4bP2との大きさの比率、及び、基準マーカ4bBと、処理マーカ4bP3との大きさの比率を算出する。ここで、大きさの比率は、幅の長さに応じたものにしてもよい。そこで、制御部10は、処理マーカ4bP1から処理マーカ4bP3までの比率を順番に、2,4,1と算出する。
次に、図8のS31に対応する処理として、制御部10は、基準マーカ4bBと、各処理マーカ4bPとの配置位置を特定する。この例の場合、基準マーカ4bBと、各処理マーカ4bPとは、同心円上に配置されている。そのため、制御部10は、例えば、足部モータ33cを制御して動くためのパラメータを変更しない。つまり、制御部10は、このロボット1を移動させない。
図8のS32及びS33に対応する処理として、制御部10は、各処理マーカ4bPの色データを取得し、色データ記憶部24を参照して、取得した色データに対応する処理データを、色データ記憶部24から抽出する。
例えば、処理マーカ4bP1の色データに対応する処理データが、頭を左にかしげる動作に対応するものであるとする。同様に、処理マーカ4bP2の色データに対応する処理データが、頭を右にかしげる動作に対応するものであり、処理マーカ4bP3の色データに対応する処理データが、腕を前方向に伸ばす動作に対応するものであるものとする。
図8のS34に対応する処理として、制御部10は、算出した比率に対応する処理データを、処理B記憶部232から抽出して取得する。具体例としては、処理データは、例えば、色データに対応する処理を、パラメータの大きさに対応させて実行させる、というものである。図9(B)は、上述した処理内容を、処理マーカ4bPごとに記載して記憶部20に記憶させた処理テーブル29の例を示す。制御部10は、このような処理テーブル29を生成してもよい。
図8のS35に対応する処理として、制御部10は、取得した処理データを実行する。具体例としては、制御部10は、頭を左に2だけ(20度)かしげる動作をし、次に、頭を右に4だけ(40度)かしげる動作をし、そして、腕を前方向に1だけ(10度)伸ばす動作を、順番に行う。
なお、この例では、制御部10は、基準マーカ4bBに近い処理マーカ4bPから順番に処理を行うものとして説明した。しかし、これに限定されるものではなく、例えば、逆順であってもよい。
<例3>
最後に、特定したマーカ4の種類がパターンCであって、マーカ4cを認識した場合について説明する。
図10は、本実施形態に係るロボット1でのパターンC処理を示すフローチャートである。
S40において、制御部10(コード抽出部17)は、認識したマーカ4cからコード情報を抽出する。
S41において、制御部10(処理実行部18)は、S40で抽出したコード情報に基づく処理を行う。その後、制御部10は、本処理を終了し、処理を図5に移す。
ここで、ロボット1が次々に異なるマーカ4cを読み取ることで、ロボット1を連続動作させる例を説明する。
図11は、本実施形態に係るロボット1によるマーカ4cを使った具体例を説明する図である。
最初に、ユーザは、ロボット1のカメラ31による撮影範囲に、図11(A)に示すマーカ4c1を含むボード51を置くことで、ロボット1は、カメラ31を介してマーカ4c1を含む撮影画像を取得する。マーカ4c1は、前方向に3歩進むことを行わせるためのコード情報を有する。これにより、ロボット1の制御部10は、図11(B)に示すように、ロボット1を前方向に3歩進ませる(#1)。
次に、ユーザは、ロボット1のカメラ31による撮影範囲に、図11(A)に示すマーカ4c2を含むボード52を置くことで、ロボット1は、マーカ4c2を含む撮影画像を、カメラ31を介して取得する。マーカ4c2は、腕を動かして掴む動作を行わせるためのコード情報を有する。これにより、ロボット1の制御部10は、図11(B)に示すように、ロボット1に、前にあるりんごを掴む動作を行う(#2)。
その後、ユーザは、ロボット1のカメラ31による撮影範囲に、図11(A)に示すマーカ4c3を含むボード53を置くことで、ロボット1は、マーカ4c3を含む撮影画像を、カメラ31を介して取得する。マーカ4c3は、向きを左に90度変えるためのコード情報を有する。これにより、制御部10は、図11(B)に示すように、ロボット1を、左方向に向かせる(#3)。
その後、ユーザは、ロボット1のカメラ31による撮影範囲に、図11(A)に示すマーカ4c4を含むボード54を置くことで、ロボット1は、マーカ4c4を含む撮影画像を、カメラ31を介して取得する。マーカ4c4は、前方向に2歩進むことを行わせるためのコード情報を有する。これにより、ロボット1の制御部10は、図11(B)に示すように、ロボット1を前方向に2歩進む(#4)。
最後に、ユーザは、ロボット1のカメラ31による撮影範囲に、図11(A)に示すマーカ4c5を含むボード55を置くことで、ロボット1は、マーカ4c5を含む撮影画像を、カメラ31を介して取得する。マーカ4c5は、掴んでいるものを離すためのコード情報を有する。これにより、ロボット1の制御部10は、図11(B)に示すように、ロボット1が掴んでいるりんごを離す動作をさせる(#5)。この動作を行った後、りんごは、ロボット1の目の前にある別の台の上に載置される。
このように、本実施形態のロボット1によれば、以下のような効果がある。
(1)撮影画像からマーカ4を認識し、マーカ4に関連付けられた処理を実行する。よって、マーカ4を認識することで、マーカ4に関連付けられた様々な処理を行うことができる。
(2)マーカ4の種類を含めてマーカ4を認識するので、マーカ4の種類に対応した処理を行うことができる。
(3)マーカ4aに対応した処理データを記憶することで、認識したマーカ4aに対応した処理データを実行することで、マーカ4aに対応した処理を行うことができる。
(4)マーカ4aが付された箱5の大きさに基づいて、処理の度合いを決定し、度合いを反映させて処理を実行するので、マーカ4aに関連する大きさを、処理に反映させることができる。
(5)基準マーカ4bBと、処理マーカ4bPとを含むマーカ4bの場合に、認識したマーカ4bの基準マーカ4bBと処理マーカ4bPとの大きさの比率を特定する。そして、基準マーカ4bBと処理マーカ4bPとの大きさの比率に対応した処理データを記憶した処理B記憶部232から処理データを抽出して処理を行うので、マーカ4bの大きさにかかわらず、一律に処理を行うことができる。
(6)マーカ4cの場合に、マーカ4cからコード情報を抽出できるので、抽出したコード情報に基づく処理をすることができる。
(7)マーカ4の色データに対応した処理データを記憶する色データ記憶部24を有し、マーカ4の色データを取得することで、取得した色データに対応した処理を、色データ記憶部24から抽出して行うことができる。よって、同じ形状のマーカ4であっても、マーカ4の色が異なれば、異なる処理を行うことができる。
(8)マーカ4を、箱5等のロボット1が触れる操作対象物に付すことで、マーカ4によって、ロボット1に、マーカ4が付された操作対象物に対する操作をさせることができる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
(変形形態)
(1)本実施形態では、マーカ4aの大きさが一定である場合に、マーカ4aが付された箱5の大きさの度合いを決定するものを例に説明したが、これに限定されない。マーカの大きさを計測し、マーカの大きさに対応する処理を実行するものであってもよい。具体的には、例えば、マーカの大きさに基づいて、マーカまでの距離を算出し、距離に対応した動作として、例えば、算出した距離に応じてロボットを移動させたり、距離に対応した大きさの音声を出力させたりするものであってもよい。
(2)本実施形態では、マーカ4cとしてQRコードやバーコードを用いる例を説明したが、これに限定されない。他の二次元コードであってもよいし、バーコード以外のコードであってもよく、マーカからコード情報が抽出できるものであれば、どのようなものでもよい。
(3)本実施形態では、マーカ4a及びマーカ4bの具体例として、ある形状のものを例に説明したが、これに限定されない。マーカ記憶部のマーカ形状に記憶されていれば、どのような形状のものであってもよい。但し、マーカ4bの基準マーカ4bBは、形状及び大きさを一定にする必要がある。
(4)本実施形態では、マーカ4bの具体例として、同心円上に基準マーカ4bBと、処理マーカ4bPとを配置したものを例に説明したが、これに限定されない。基準マーカ4bBと、処理マーカ4bPとの配置位置が同心円上でなくてもよい。その場合には、その配置位置によって、処理データを、配置位置に対応したものにしてもよい。例えば、基準マーカ4bBが、処理マーカ4bPの左下に配置されている場合に、ロボットは、右腕を水平にし、左腕を斜め下方向にする等である。
(5)本実施形態では、マーカを認識することで、ロボットに物を掴む処理を行わせるものを主に説明した。掴む処理をする物としては、運搬対象物の他、人にティッシュペーパーやサンプル等を配布するような場合等、接客用のロボットとして使用してもよい。その場合には、「どうぞ」等の音声出力を行う処理データを、マーカに対応付けておけば、ロボットによる物を掴んで話す動作と、音声とをあわせて行うことができる。また、物を掴む処理に限定されず、マーカに処理を対応付けることで、ロボットを、人を相手とする教育、介護等の様々な用途に使用することができる。
(6)本実施形態では、ロボットがカメラを備えて撮影画像を取得するものを例に説明したが、これに限定されない。例えば、ロボットがカメラから撮影画像を受信してもよい。その場合には、カメラの位置は、近傍にすることで、ロボットがカメラを備える場合と同様の処理が可能である。
(7)本実施形態では、ロボットが各種処理を行うものを例に説明したが、これに限定されない。ロボットに対して通信可能に接続されたサーバを備え、サーバが各種処理を行ってもよい。その場合には、ロボットは、少なくとも、ロボットが動作をするためのモータ部を備えるものであればよい。また、ロボットと、サーバとの両方の装置によって各種処理を行ってもよい。
1 ロボット
4,4a,4b,4c,4c1〜4c5 マーカ
4bB 基準マーカ
4bP,4bP1〜4bP3 処理マーカ
10 制御部
11 画像取得部
12 マーカ認識部
13 マーカ計測部
14 度合決定部
15 関係確認部
16 色データ取得部
17 コード抽出部
18 処理実行部
20 記憶部
21a 制御プログラム
22 マーカ記憶部
23 処理データ記憶部
24 色データ記憶部
31 カメラ
33 モータ部

Claims (13)

  1. 被写体を撮影して撮影画像を生成する撮影部と、
    処理内容が関連付けられたマーカを記憶するマーカ記憶部と、
    前記マーカ記憶部を参照して、前記撮影部によって得られた前記撮影画像から前記マーカを認識するマーカ認識手段と、
    前記マーカ認識手段によって認識された前記マーカに関連付けられている処理を実行する処理実行手段と、
    を備えるロボット。
  2. 請求項1に記載のロボットにおいて、
    前記マーカ認識手段は、前記マーカの種類を含めて前記マーカを認識し、
    前記処理実行手段は、前記マーカ認識手段によって認識した前記マーカの種類に対応した処理を実行すること、
    を特徴とするロボット。
  3. 請求項1又は請求項2に記載のロボットにおいて、
    前記マーカ又は前記マーカの認識内容と、前記マーカに対応する処理データとを対応付けた処理データ記憶部を備え、
    前記処理実行手段は、前記処理データ記憶部を参照し、前記マーカ認識手段によって認識された前記マーカに対応する処理データを実行すること、
    を特徴とするロボット。
  4. 請求項3に記載のロボットにおいて、
    前記マーカ認識手段により認識された前記マーカに関連する大きさに基づいて、処理の度合いを決定する度合決定手段を備え、
    前記処理実行手段は、前記度合決定手段によって決定した処理の度合いを反映させて、前記マーカに対応する処理データを実行すること、
    を特徴とするロボット。
  5. 請求項3に記載のロボットにおいて、
    前記処理データ記憶部は、前記マーカの大きさをさらに対応付けて記憶しており、
    前記マーカ認識手段により認識された前記マーカの大きさを計測する計測手段を備え、
    前記処理実行手段は、前記処理データ記憶部を参照し、前記計測手段により計測された前記マーカの大きさに対応する処理を実行すること、
    を特徴とするロボット。
  6. 請求項5に記載のロボットにおいて、
    前記計測手段によって計測した前記マーカの大きさに基づいて前記マーカまでの距離を算出する距離算出手段と、
    前記距離算出手段によって算出した前記距離に対応した動作を行う動作制御手段と、
    を備えること、
    を特徴とするロボット。
  7. 請求項1又は請求項2に記載のロボットにおいて、
    前記マーカは、一定の形状及び大きさを有する1の基準マーカと、処理を示す1以上の処理マーカとを含み、
    前記基準マーカと前記処理マーカとの大きさの比率又は配置位置に対応した処理データを記憶する処理データ記憶部と、
    前記マーカ認識手段によって認識された前記マーカの前記基準マーカと前記処理マーカとの大きさの比率を算出し、又は配置位置を特定する関係確認手段と、
    を備え、
    前記処理実行手段は、前記関係確認手段により算出した前記比率、又は、前記関係確認手段により特定した前記配置位置に対応する処理データを、前記処理データ記憶部から抽出して処理を行うこと、
    を特徴とするロボット。
  8. 請求項7に記載のロボットにおいて、
    前記マーカ認識手段によって認識された前記マーカの前記基準マーカに基づいて前記マーカまでの距離を算出する距離算出手段と、
    前記距離算出手段によって算出した前記距離に対応した動作を行わせる動作制御手段と、
    を備えること、
    を特徴とするロボット。
  9. 請求項1又は請求項2に記載のロボットにおいて、
    前記マーカは、二次元コードであり、
    前記マーカ認識手段によって認識された前記マーカからコード情報を抽出するコード抽出手段を備え、
    前記処理実行手段は、前記コード抽出手段が抽出したコード情報に基づく処理を実行すること、
    を特徴とするロボット。
  10. 請求項1から請求項9までのいずれかに記載のロボットにおいて、
    前記マーカの色情報に対応した処理データを記憶する色情報記憶部と、
    前記マーカ認識手段によって認識された前記マーカに含まれる前記マーカの色情報を取得する色情報取得手段と、
    を備え、
    前記処理実行手段は、前記色情報取得手段により取得した色情報に対応する処理データを、前記色情報記憶部から抽出して処理を行うこと、
    を特徴とするロボット。
  11. 請求項1から請求項10までのいずれかに記載のロボットとしてコンピュータを機能させるためのプログラム。
  12. 請求項1から請求項10までのいずれかに記載のロボットが認識処理を行うマーカ。
  13. 請求項12に記載のマーカにおいて、
    操作対象物に付されており、
    前記ロボットに前記操作対象物をつかむための処理に対応するものであること、
    を特徴とするマーカ。
JP2017028620A 2017-02-20 2017-02-20 ロボット、プログラム及びマーカ Pending JP2018134687A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017028620A JP2018134687A (ja) 2017-02-20 2017-02-20 ロボット、プログラム及びマーカ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017028620A JP2018134687A (ja) 2017-02-20 2017-02-20 ロボット、プログラム及びマーカ

Publications (1)

Publication Number Publication Date
JP2018134687A true JP2018134687A (ja) 2018-08-30

Family

ID=63365897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017028620A Pending JP2018134687A (ja) 2017-02-20 2017-02-20 ロボット、プログラム及びマーカ

Country Status (1)

Country Link
JP (1) JP2018134687A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022113771A1 (ja) * 2020-11-26 2022-06-02 ソニーグループ株式会社 自律移動体、情報処理装置、情報処理方法、及び、プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272328A (ja) * 1998-03-25 1999-10-08 Nippon Signal Co Ltd:The 色標識,移動ロボットおよび移動ロボットの誘導方法
JP2000254883A (ja) * 1999-03-05 2000-09-19 Sony Corp 道具装置と道具認識方法および自動動作装置
JP2002215655A (ja) * 2001-01-15 2002-08-02 Shigeru Ando 情報検索方法、情報検索装置およびロボットの動作制御装置
JP2003330538A (ja) * 2002-05-13 2003-11-21 Sanyo Electric Co Ltd 自律移動ロボットおよびその自律移動方法
JP2005164323A (ja) * 2003-12-01 2005-06-23 Honda Motor Co Ltd 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP2009154240A (ja) * 2007-12-26 2009-07-16 Nec Access Technica Ltd ロボット、その行動制御方法およびその行動制御プログラム
JP2010228064A (ja) * 2009-03-27 2010-10-14 National Institute Of Advanced Industrial Science & Technology 福祉用ロボット装置のロボットアーム操作方法、ロボットアーム操作プログラム、及び、記録媒体
JP2012228756A (ja) * 2011-04-27 2012-11-22 Seiko Epson Corp ロボット制御方法、ロボット制御装置およびプログラム
US20140008436A1 (en) * 2010-12-10 2014-01-09 Ubleam Method for the detection of a marker affixed to the surface of an object and system for implementing same
US20150197009A1 (en) * 2014-01-10 2015-07-16 Simon Melikian Method for picking up an article using a robot arm and associated system

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11272328A (ja) * 1998-03-25 1999-10-08 Nippon Signal Co Ltd:The 色標識,移動ロボットおよび移動ロボットの誘導方法
JP2000254883A (ja) * 1999-03-05 2000-09-19 Sony Corp 道具装置と道具認識方法および自動動作装置
JP2002215655A (ja) * 2001-01-15 2002-08-02 Shigeru Ando 情報検索方法、情報検索装置およびロボットの動作制御装置
JP2003330538A (ja) * 2002-05-13 2003-11-21 Sanyo Electric Co Ltd 自律移動ロボットおよびその自律移動方法
JP2005164323A (ja) * 2003-12-01 2005-06-23 Honda Motor Co Ltd 位置検出用マーク、並びに、マーク検出装置、その方法及びそのプログラム
JP2007090448A (ja) * 2005-09-27 2007-04-12 Honda Motor Co Ltd 二次元コード検出装置及びそのプログラム、並びに、ロボット制御情報生成装置及びロボット
JP2009154240A (ja) * 2007-12-26 2009-07-16 Nec Access Technica Ltd ロボット、その行動制御方法およびその行動制御プログラム
JP2010228064A (ja) * 2009-03-27 2010-10-14 National Institute Of Advanced Industrial Science & Technology 福祉用ロボット装置のロボットアーム操作方法、ロボットアーム操作プログラム、及び、記録媒体
US20140008436A1 (en) * 2010-12-10 2014-01-09 Ubleam Method for the detection of a marker affixed to the surface of an object and system for implementing same
JP2012228756A (ja) * 2011-04-27 2012-11-22 Seiko Epson Corp ロボット制御方法、ロボット制御装置およびプログラム
US20150197009A1 (en) * 2014-01-10 2015-07-16 Simon Melikian Method for picking up an article using a robot arm and associated system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022113771A1 (ja) * 2020-11-26 2022-06-02 ソニーグループ株式会社 自律移動体、情報処理装置、情報処理方法、及び、プログラム

Similar Documents

Publication Publication Date Title
JP6396516B2 (ja) 視覚センサのキャリブレーション装置、方法及びプログラム
JP5898747B2 (ja) 閲覧行動の記録方法および装置
CN109426835B (zh) 信息处理装置、信息处理装置的控制方法和存储介质
JP2018116599A5 (ja)
JP2018116599A (ja) 情報処理装置、情報処理方法およびプログラム
JP2015014882A5 (ja)
JP6498802B1 (ja) 生体情報解析装置及びその顔型のシミュレーション方法
JP2019525365A (ja) コンピュータプログラムを生成するデバイス及びコンピュータプログラムを生成する方法
JP2022103189A (ja) 作業現場監視装置、作業現場監視システム、作業現場監視方法およびプログラム
CN111507246A (zh) 通过手势选定标记对象的方法、装置、系统及存储介质
JP2021168151A (ja) 処理システム、処理方法及びプログラム
US11610334B2 (en) Image recognition apparatus using an object image data, image recognition method using an object image data, and program
JP2014106597A (ja) 自律移動体、物体情報取得装置、および物体情報取得方法
JP2015212897A5 (ja)
JP2018134687A (ja) ロボット、プログラム及びマーカ
JP2009216480A (ja) 三次元位置姿勢計測方法および装置
US9405375B2 (en) Translation and scale invariant features for gesture recognition
JP6065911B2 (ja) 配置情報登録装置、配置情報登録方法および配置情報登録プログラム
JP2019012453A (ja) 情報処理装置、情報処理装置の制御方法、プログラム
JP2019028968A (ja) 頬紅領域を標示可能な生体情報解析装置
JP5796596B2 (ja) 支援方法、支援システム、制御装置、画像形成装置、および支援プログラム
US10621746B2 (en) Methods and apparatus for rapidly dimensioning an object
KR101802918B1 (ko) 3차원 영상 획득 장치 및 그 동작방법
JP6884911B1 (ja) 運用保守システム、運用保守方法および運用保守プログラム
JP2015122004A (ja) 保育行動認識システム、保育行動認識プログラム、保育行動認識方法および保育行動認識装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629