JP2009129058A - Position specifying apparatus, operation instruction apparatus, and self-propelled robot - Google Patents
Position specifying apparatus, operation instruction apparatus, and self-propelled robot Download PDFInfo
- Publication number
- JP2009129058A JP2009129058A JP2007301424A JP2007301424A JP2009129058A JP 2009129058 A JP2009129058 A JP 2009129058A JP 2007301424 A JP2007301424 A JP 2007301424A JP 2007301424 A JP2007301424 A JP 2007301424A JP 2009129058 A JP2009129058 A JP 2009129058A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- instruction
- pointing object
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 43
- 239000000284 extract Substances 0.000 claims description 17
- 239000003086 colorant Substances 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 28
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、指示対象物または指示対象位置の位置特定装置および動作指示装置並びに自走式ロボットに関するものである。 The present invention relates to a position specifying device, an operation instruction device, and a self-propelled robot for an instruction object or an instruction object position.
日常生活で利用される自走式ロボットに対し、ユーザからの指示によって物体の搬送作業等を行わせる場合、搬送する対象物や、対象物の位置・姿勢や、搬送先を人が指示する必要がある。 When a self-propelled robot used in daily life is to carry an object by an instruction from the user, it is necessary for the person to instruct the object to be transported, the position / posture of the object, and the transport destination. There is.
これらの指示を、レーザポインタを用いて行う技術が特許文献1に開示されている。この技術は、ユーザが被搬送物や搬送位置にレーザポインタを照射し、自走式ロボットがその位置を検出することにより指示された動作を実行するものである。
しかしながら、上記技術では、レーザポインタの輝点の認識が困難な場合があり、特に、直射日光の環境下では輝点の認識精度が著しく低下するため、指示された位置を特定することができず、自走式ロボットに対して動作を正確に指示することができないという問題があった。 However, in the above technique, it may be difficult to recognize the bright spot of the laser pointer, and in particular, in the environment of direct sunlight, the bright spot recognition accuracy is remarkably lowered, so the indicated position cannot be specified. There is a problem that it is not possible to accurately instruct the operation to the self-propelled robot.
本発明は、上記問題を解決するためになされたもので、被搬送物等の指示対象物または搬送先等の指示対象位置の位置を特定する際の精度を向上させることができる位置特定装置および動作指示装置並びに自走式ロボットを提供することを目的とする。 The present invention has been made to solve the above problem, and a position specifying device capable of improving the accuracy in specifying the position of an instruction target object such as a transported object or an instruction target position such as a transport destination. An object is to provide an operation instruction device and a self-propelled robot.
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、複数の対象物の画像から算出した特徴量と位置情報とを関連付けて記憶する記憶部と、指示対象物の画像を取得する画像取得部と、該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記記憶部に記憶された複数の前記対象物の画像から算出した特徴量との比較を行う比較部と、該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、該指示対象物特定部により特定された前記指示対象物に対応する前記対象物の位置情報を、前記指示対象物の位置情報として前記記憶部より抽出する位置情報抽出部とを備える位置特定装置を採用する。
In order to solve the above problems, the present invention employs the following means.
The present invention relates to a storage unit that associates and stores feature amounts calculated from images of a plurality of objects and position information, an image acquisition unit that acquires an image of an instruction target, and the image acquired by the image acquisition unit A comparison unit that compares the feature amount calculated from the image of the target object with the feature amount calculated from the plurality of target object images stored in the storage unit, and the instruction based on the comparison result by the comparison unit The target object specifying unit for specifying the target object, and the position information of the target object corresponding to the specified target object specified by the specified target object specifying unit are extracted from the storage unit as the position information of the target object. A position specifying device including a position information extracting unit is employed.
本発明によれば、記憶部に記憶された複数の対象物の画像から算出した特徴量および位置情報に基づいて、画像取得部により取得された指示対象物が指示対象物特定部により特定され、特定された指示対象物の位置情報が位置情報抽出部により抽出される。これにより、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、画像取得部により取得された指示対象物の画像を用いて、その位置情報を得ることができ、指示対象物の位置を容易に特定することが可能となる。
ここで、画像から算出した特徴量とは、比較処理をより正確・ロバスト・高速・小メモリでおこなうために画像から抽出した画像の特徴を示す情報のことであり、例えば、輪郭形状や色等をいう。
According to the present invention, based on the feature amount and position information calculated from the images of a plurality of objects stored in the storage unit, the instruction object acquired by the image acquisition unit is specified by the instruction object specifying unit, The position information of the specified pointing object is extracted by the position information extraction unit. Thus, even when the name of the pointing object is not clear or when it is difficult to express the pointing object in a language, the position information is obtained using the image of the pointing object acquired by the image acquisition unit. And the position of the pointing object can be easily specified.
Here, the feature amount calculated from the image is information indicating the feature of the image extracted from the image in order to perform comparison processing with more accuracy, robustness, high speed, and a small memory. Say.
本発明は、複数の対象物の画像コードの情報と位置情報とを関連付けて記憶する記憶部と、指示対象物の画像コードの情報を取得する画像コード取得部と、該画像取得部により取得された前記指示対象物の画像コードの情報と前記記憶部に記憶された複数の前記対象物の画像コードの情報との比較を行う比較部と、該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、該指示対象物特定部により特定された前記指示対象物に対応する前記対象物の位置情報を、前記指示対象物の位置情報として前記記憶部より抽出する位置情報抽出部とを備える位置特定装置を採用する。 The present invention is obtained by a storage unit that stores image code information and position information of a plurality of objects in association with each other, an image code acquisition unit that acquires image code information of an instruction target, and the image acquisition unit. A comparison unit that compares the information of the image code of the pointing object with the information of the image codes of the plurality of objects stored in the storage unit, and the pointing object based on a comparison result by the comparison unit A target object specifying unit for specifying the position of the target object, and position information of the target object corresponding to the target object specified by the target object specifying unit is extracted from the storage unit as position information of the target object A position specifying device including an information extraction unit is employed.
本発明によれば、例えば、バーコードやQRコード等の画像コードに基づいて指示対象物を特定することができる。これにより、例えば、外観が類似している複数の対象物を識別することができ、指示対象物を特定する際の精度を向上させることが可能となる。また、例えば、バーコードは既に多くの製品に付されており、バーコードと指示対象物を関連付けたデータベースを用いることで、指示対象物の名称等の情報を取得することも可能となる。
なお、本発明と前述の画像を用いた指示対象物の位置特定装置とを組み合わせることにより、指示対象物の特定を容易に、かつ、高い精度で行うことが可能となる。
According to the present invention, for example, it is possible to specify an instruction target based on an image code such as a barcode or a QR code. Thereby, for example, it is possible to identify a plurality of objects having similar appearances, and it is possible to improve accuracy when specifying the pointing object. In addition, for example, barcodes are already attached to many products, and it is possible to acquire information such as names of designated objects by using a database that associates barcodes and designated objects.
Note that by specifying the pointing object position specifying apparatus using the present invention and the above-described image, the pointing object can be easily specified with high accuracy.
本発明は、位置に応じて異なるパターンを有する映像パターンを、指示対象物を含む所定の領域に投影し、該映像パターンに基づいて該指示対象物の位置を特定する位置特定装置であって、前記指示対象物に投影された前記パターンを取得する画像取得部と、該画像取得部により取得された前記パターンから前記指示対象物の位置情報を抽出する位置情報抽出部とを備える位置特定装置を採用する。 The present invention is a position specifying device for projecting a video pattern having a different pattern depending on a position onto a predetermined area including the pointing object, and specifying the position of the pointing object based on the video pattern, A position specifying device comprising: an image acquisition unit that acquires the pattern projected on the pointing object; and a position information extraction unit that extracts position information of the pointing object from the pattern acquired by the image acquisition unit. adopt.
本発明によれば、指示対象物に投影されたパターンに基づいて、指示対象物の位置情報を位置情報抽出部により抽出することができる。これにより、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置情報を抽出することが可能となる。 According to the present invention, the position information extraction unit can extract the position information of the pointing object based on the pattern projected onto the pointing object. Thereby, it is not necessary to register the position information of the pointing object in advance, and it is possible to extract the position information of the pointing object placed at an arbitrary position.
また、上記発明において、前記映像パターンは、複数のドットを有しており、該ドットの配置が位置に応じて異なることとしてもよい。
映像パターンとして、例えば、アノトパターン(登録商標)を用いることにより、指示対象物の位置情報を抽出することが可能となる。
In the above invention, the video pattern may have a plurality of dots, and the arrangement of the dots may differ depending on the position.
By using, for example, an Anoto pattern (registered trademark) as the video pattern, it is possible to extract the position information of the pointing object.
また、上記発明において、前記映像パターンは、複数の色分けされた領域を有しており、位置に応じて色が異なることとしてもよい。
映像パターンとして、例えば、位置に応じて色分けされたパターンを用いることにより、指示対象物の位置情報を抽出することが可能となる。
In the above invention, the video pattern may have a plurality of color-coded regions, and the color may be different depending on the position.
By using, for example, a pattern color-coded according to the position as the video pattern, it is possible to extract the position information of the pointing object.
本発明は、作業が行われる空間の画像から算出した特徴量と位置情報とを関連付けて記憶する記憶部と、指示対象位置の画像を取得する画像取得部と、該画像取得部により取得された前記指示対象位置の画像から算出した特徴量と前記記憶部に記憶された前記空間の画像から算出した特徴量との比較を行う比較部と、該比較部による比較結果に基づいて前記指示対象位置を特定する指示対象位置特定部と、該指示対象位置特定部により特定された前記指示対象位置に対応する前記空間の位置情報を、前記指示対象位置の位置情報として前記記憶部より抽出する位置情報抽出部とを備える位置特定装置を採用する。 The present invention relates to a storage unit that associates and stores a feature amount calculated from an image of a space in which work is performed and position information, an image acquisition unit that acquires an image of an instruction target position, and the image acquisition unit A comparison unit that compares the feature amount calculated from the image of the instruction target position with the feature amount calculated from the image of the space stored in the storage unit, and the instruction target position based on a comparison result by the comparison unit Position information for specifying the target object position specifying unit, and position information of the space corresponding to the instruction target position specified by the instruction target position specifying unit from the storage unit as position information of the instruction target position A position specifying device including an extracting unit is employed.
本発明によれば、壁面、または床面、あるいは天井面等の作業が行われる空間の画像から算出した特徴量および位置情報に基づいて、画像取得部により取得された指示対象位置の位置情報を抽出することができる。また、作業が行われる空間の画像内における窓等の大きさや歪みから、位置特定装置自体の位置や向いている方向を推定することが可能となる。 According to the present invention, the position information of the instruction target position acquired by the image acquisition unit is obtained based on the feature amount and the position information calculated from the image of the space where the work such as the wall surface, the floor surface, or the ceiling surface is performed. Can be extracted. Further, it is possible to estimate the position of the position specifying device itself and the direction in which the position specifying device itself is based on the size and distortion of a window or the like in the image of the space where the work is performed.
本発明は、所定の位置に配置された複数の撮像装置により撮影された作業が行われる空間の画像に基づいて、指示対象物の位置を特定する位置特定装置であって、前記指示対象物の画像を取得する画像取得部と、該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量との比較を行う比較部と、該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、複数の前記撮像装置の位置関係と各前記撮像装置により撮影された前記空間の画像内における前記指示対象物の位置とに基づいて、前記指示対象物の位置情報を抽出する位置情報抽出部とを備える位置特定装置を採用する。 The present invention relates to a position specifying device for specifying the position of an indication target object based on an image of a space in which work performed by a plurality of imaging devices arranged at a predetermined position is performed. An image acquisition unit that acquires an image, and a feature amount calculated from the image of the pointing object acquired by the image acquisition unit and a feature amount calculated from an image of the space photographed by the imaging device are compared. A comparison unit, an instruction target specifying unit that specifies the target object based on a comparison result by the comparison unit, a positional relationship among a plurality of the imaging devices, and an image of the space captured by each of the imaging devices A position specifying device including a position information extraction unit that extracts position information of the pointing object based on the position of the pointing object is employed.
本発明によれば、撮像装置の位置関係と撮像装置により撮影された作業が行われる空間の画像とに基づいて、画像取得部により取得された指示対象物の位置情報が位置情報抽出部により抽出される。これにより、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、画像取得部により取得された指示対象物の画像を用いてその位置情報を得ることができるので、指示対象物の位置を容易に特定することが可能となる。また、複数の撮像装置により指示対象物の位置情報を抽出することで、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置を特定することが可能となる。なお、3次元空間において2つの視点から、同一の点を見ているときの位置関係は、公知のエピポーラ幾何を用いた算出方法により推定することが可能である。 According to the present invention, based on the positional relationship of the imaging device and the image of the space where the work photographed by the imaging device is performed, the positional information extraction unit extracts the positional information of the pointing object acquired by the image acquisition unit. Is done. Thus, even when the name of the pointing object is not clear or when it is difficult to express the pointing object in a language, the position information is obtained using the image of the pointing object acquired by the image acquisition unit. Therefore, the position of the pointing object can be easily specified. Further, by extracting the position information of the pointing object by using a plurality of imaging devices, it is not necessary to register the position information of the pointing object in advance, and the position of the pointing object placed at an arbitrary position is specified. It becomes possible. The positional relationship when viewing the same point from two viewpoints in a three-dimensional space can be estimated by a known calculation method using epipolar geometry.
また、上記発明において、前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量との直接比較を行い、前記指示対象物特定部が、前記比較部による直接比較結果に基づいて前記指示対象物を特定することとしてもよい。
このようにすることで、指示対象物を特定する際の制御を容易に行うことができる。
In the above invention, the comparison unit directly calculates a feature amount calculated from the image of the pointing object acquired by the image acquisition unit and a feature amount calculated from the image of the space photographed by the imaging device. Comparison may be performed, and the pointing object specifying unit may specify the pointing object based on a direct comparison result by the comparing unit.
By doing in this way, control at the time of specifying a pointed object can be performed easily.
また、上記発明において、前記比較部が、前記画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量とを、予め登録された前記指示対象物の登録画像から算出した特徴量を介して間接比較を行い、前記指示対象物特定部が、前記比較部による間接比較結果に基づいて前記指示対象物を特定することとしてもよい。
各撮像装置と画像取得部とでは指示対象物を撮影する角度や位置が異なるため、各画像における指示対象物の歪み等が異なり、各画像から指示対象物を特定することが困難な場合がある。これに対し、予め登録された指示対象物の登録画像を介して間接比較を行うことで、指示対象物を特定する際の精度を向上させることができる。
In the above invention, the comparison unit calculates a feature amount calculated from the image of the pointing object acquired by the image acquisition unit and a feature amount calculated from the image of the space photographed by the imaging device. Indirect comparison is performed via a feature amount calculated from a registered image of the pointing object registered in advance, and the pointing object specifying unit specifies the pointing object based on an indirect comparison result by the comparing unit. It is good.
Since each imaging device and the image acquisition unit differ in the angle and position at which the pointing object is photographed, the distortion of the pointing object in each image differs, and it may be difficult to identify the pointing object from each image. . On the other hand, by performing an indirect comparison via a registered image of the pointing object registered in advance, it is possible to improve accuracy when specifying the pointing object.
また、上記発明において、前記指示対象物の登録画像が、複数の角度から撮影した前記指示対象物の画像であることとしてもよい。
指示対象物が立体形状を有する場合には、撮影する角度や位置によって指示対象物の見え方が異なる。これに対し、指示対象物の登録画像として、複数の角度から撮影した指示対象物の画像を予め登録しておくことで、指示対象物を特定する際の精度を向上させることができる。
In the above invention, the registered image of the pointing object may be an image of the pointing object taken from a plurality of angles.
When the pointing object has a three-dimensional shape, how the pointing object looks is different depending on the shooting angle and position. On the other hand, by registering in advance the images of the pointing object taken from a plurality of angles as the registered images of the pointing object, the accuracy when specifying the pointing object can be improved.
また、上記発明において、前記画像取得部または前記画像コード取得部の撮影方向にレーザを照射するレーザ照射部を備えることとしてもよい。
このようにすることで、画像取得部または前記画像コード取得部の撮影方向に照射されたレーザの輝点をユーザが目視することができ、ユーザが意図する指示対象物または指示対象位置を確実に撮影することができる。
Moreover, in the said invention, it is good also as providing the laser irradiation part which irradiates a laser in the imaging | photography direction of the said image acquisition part or the said image code acquisition part.
By doing in this way, the user can visually observe the bright spot of the laser irradiated in the imaging direction of the image acquisition unit or the image code acquisition unit, and the target object or the target position intended by the user can be reliably ensured. You can shoot.
また、上記発明において、前記画像取得部または前記画像コード取得部が取得した画像を表示する表示部を備えることとしてもよい。
このようにすることで、画像取得部または画像コード取得部が取得した画像を、表示部にてユーザが目視することができ、ユーザが意図する指示対象物または指示対象位置を確実に撮影することができる。
Moreover, in the said invention, it is good also as providing the display part which displays the image which the said image acquisition part or the said image code acquisition part acquired.
In this way, the image acquired by the image acquisition unit or the image code acquisition unit can be viewed by the user on the display unit, and the pointing object or the pointing target position intended by the user can be surely captured. Can do.
また、上記発明において、前記表示部が、前記指示対象物または前記指示対象位置の候補が複数ある場合に、各前記候補を表示し、表示された各前記候補の中から前記指示対象物または前記指示対象位置の選択をユーザに促すこととしてもよい。
このようにすることで、ユーザが意図する指示対象物または指示対象位置を確実に選択することが可能となる。
Further, in the above invention, when there are a plurality of candidates for the pointing object or the pointing object position, the display unit displays each of the candidates, and from among the displayed candidates, the pointing object or the The user may be prompted to select an instruction target position.
By doing in this way, it becomes possible to select reliably the indication target object or indication target position which a user intends.
また、上記発明において、前記指示対象物または前記指示対象位置までの距離を測定する距離測定部を備え、前記指示対象物特定部または前記指示対象位置特定部が、前記距離測定部により測定された距離をも用いて前記指示対象物または前記指示対象位置を特定することとしてもよい。
画像取得部または前記画像コード取得部により取得した画像だけでなく、距離測定部により測定した距離をも用いて指示対象物または指示対象位置の特定を行うことにより、大きさの異なる指示対象物または指示対象位置を識別することが可能となる。
Further, in the above invention, a distance measuring unit that measures a distance to the pointing object or the pointing target position is provided, and the pointing object specifying unit or the pointing target position specifying unit is measured by the distance measuring unit. The pointing object or the pointing object position may be specified also using the distance.
By specifying the pointing object or the pointing target position using not only the image acquired by the image acquiring unit or the image code acquiring unit but also the distance measured by the distance measuring unit, The instruction target position can be identified.
本発明は、上記の位置特定装置により特定された前記指示対象物または前記指示対象位置の位置情報に基づいて、前記指示対象物または前記指示対象位置に対する動作指示を行う動作指示部を備える動作指示装置を採用する。 The present invention provides an operation instruction including an operation instruction unit that performs an operation instruction on the instruction object or the instruction target position based on the position information of the instruction object or the instruction object position specified by the position specifying device. Adopt equipment.
本発明によれば、指示対象物または指示対象位置の名称が明確でない場合や、指示対象物または指示対象位置を言語で表現することが困難な場合においても、指示対象物または指示対象位置に対する動作指示を容易に行うことが可能となる。 According to the present invention, even when the name of the pointing object or the pointing target position is not clear or when it is difficult to express the pointing object or the pointing target position in the language, the operation on the pointing object or the pointing target position The instruction can be easily performed.
本発明は、上記の動作指示装置による指示に基づいて前記指示対象物または前記指示対象位置に対する動作を実行する自走式ロボットを採用する。 The present invention employs a self-propelled robot that performs an operation on the pointing object or the pointing target position based on an instruction from the motion instruction device.
本発明によれば、指示対象物または指示対象位置の名称が明確でない場合や、指示対象物または指示対象位置を言語で表現することが困難な場合においても、指示対象物または指示対象位置に対する動作を実行することが可能となる。 According to the present invention, even when the name of the pointing object or the pointing target position is not clear or when it is difficult to express the pointing object or the pointing target position in the language, the operation on the pointing object or the pointing target position Can be executed.
本発明によれば、被搬送物等の指示対象物または搬送先等の指示対象位置の位置を特定する際の精度を向上させることができるという効果を奏する。 According to the present invention, there is an effect that it is possible to improve the accuracy in specifying the position of an instruction target object such as an object to be conveyed or an instruction target position such as a conveyance destination.
[第1の実施形態]
以下に、本発明に係る位置特定装置、動作指示装置、および自走式ロボット(以下「ロボット」という。)を具備するロボットシステムの第1の実施形態について、図面を参照して説明する。
図1に示すように、本実施形態に係るロボットシステム100は、ロボット1と、ロボット1に対して動作を指示する動作指示装置50とを備えている。
[First Embodiment]
A first embodiment of a robot system including a position specifying device, an operation instruction device, and a self-propelled robot (hereinafter referred to as “robot”) according to the present invention will be described below with reference to the drawings.
As shown in FIG. 1, the
動作指示装置50は、指示対象物の画像を取得する画像取得部51と、ロボット1に対して動作指示を行う動作指示部52とを備えている。画像取得部51は、例えば、レンズおよびCCDを備えるカメラである。
ロボット1は、動作指示装置50からの指示に基づいてロボット1を制御する制御装置40を備えている。制御装置40は、動作指示装置50に備えられた画像取得部51により取得された指示対象物の画像に基づいて、指示対象物の位置を特定するようになっている。
The
The
以下に、ロボット1の構成について図2および図3を用いて説明する。
図2は、本実施形態に係るロボットの正面図、図3は、図2に示したロボットの左側面図である。
図2および図3に示すように、ロボット本体1には、頭部2と、この頭部2を下方から支持する胸部3と、この胸部3の右側に設けられた右腕部4a、胸部3の左側に設けられた左腕部4bと、胸部3の下方に接続された腰部5と、この腰部5の下方に接続されたスカート部6と、このスカート部6の下方に接続された脚部7とが設けられている。
Below, the structure of the
FIG. 2 is a front view of the robot according to the present embodiment, and FIG. 3 is a left side view of the robot shown in FIG.
As shown in FIGS. 2 and 3, the
頭部2には、頭頂部近傍に全方位カメラ11が一つ設けられている。この全方位カメラ11の外周に沿って複数の赤外線LED12が所定の間隔で円環上に配置されている。
頭部2の前面の中央近傍には、図1に示すように、前方を撮像するための前方カメラ13が正面視して右側に一つ、マイクロフォン14が正面視して左側に一つ、それぞれ設けられている。
One
In the vicinity of the center of the front surface of the
胸部3の前面の中央近傍には、モニタ15が一つ設けられている。このモニタ15の上方には、人を検知するための超音波距離センサ16が一つ設けられている。モニタ15の下方には、電源スイッチ17が一つ設けられている。超音波距離センサ16の上方には、2つのスピーカ18が左右に一つずつ設けられている。また、図3に示すように、胸部3の背面には、荷物を収納することができるランドセル部33が設けられている。ランドセル部33には、上部に設けたヒンジ周りに回動可能な開閉扉33aが設けられている。図1に示すように、胸部3の左右の肩部には、マンマシンインターフェースとして機能する肩スイッチ19がそれぞれ一つずつ設けられている。肩スイッチ19には、例えば、タッチセンサが採用されている。
One
右腕部4aおよび左腕部4bには、多関節構造が採用されている。右腕部4a、左腕部4bにおいて、胸部3との接続部近傍には、体や物の挟み込みを検知して腕の動作を止めるための脇スイッチ20がそれぞれ設けられている。図2に示すように、右腕部4aの手のひら部分には、マンマシンインターフェースとして機能する握手スイッチ21が内蔵されている。これら脇スイッチ20や握手スイッチ21には、例えば、押圧センサが採用される。
A multi-joint structure is adopted for the
腰部5の前面の中央近傍には、人を検知するための超音波距離センサ22が左右に一つずつ設けられている。これら超音波距離センサ22の下方には、複数の赤外センサ23が配列されたセンサ領域24が設けられている。これら赤外線センサ22は、ロボット本体1の下方前方にある障害物等を検出するためのものである。図2および図3に示すように、腰部5の下方には、前面および背面において、音源方向を検出するためのマイクロフォン25が左右に一つずつ、計4つ設けられている。図3に示すように、腰部5の側面の左右には、本体を持ち上げるときに使用する取手部26がそれぞれ一つずつ設けられている。取手部26は、凹所とされており、操作者の手が挿入できるようになっている。
In the vicinity of the center of the front surface of the
スカート部6の前面下方には、段差を検出するための赤外線センサ27が、中央および左右に計3つ設けられている。図3に示すように、スカート部6の背面には、充電コネクタ28が設けられている。
Below the front surface of the
図2に示すように、脚部7の前面には、側方の距離を検出するための赤外線センサ29が左右に一つずつ設けられている。これら赤外線センサ29は、主に段差検出に用いられるものである。
図3に示すように、脚部7の背面には、充電ステーションにロボット本体1を位置固定するためのフック30が設けられている。脚部7は、走行用車輪31および4つのボールキャスタ32を備えた台車とされている。
上述したロボットにおいて、胸部3の超音波距離センサ16、腰部5の超音波距離センサ22およびマイクロフォン25は、ロボット周辺にいる人物を検知する人検知センサ34として機能する。
As shown in FIG. 2, one
As shown in FIG. 3, a
In the robot described above, the
このようなロボットは、ロボット本体1に内蔵されたバッテリからの電源供給により、作業空間を自立的に移動することが可能な構成を備えており、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でロボットの所有者や操作者などのユーザの生活を補助・支援・介護するための各種サービスを提供するために用いられる。そのため、ロボットは、ユーザとの会話を実現させる会話機能のほか、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。
Such a robot has a configuration capable of moving independently in a work space by supplying power from a battery built in the
このような機能は、例えば、ロボット本体1の内部に内蔵されたマイクロコンピュータ等からなる制御装置40により実現されるものである。制御装置40には、図2および図3に示した各種カメラや各種センサ等が接続されており、カメラからの画像情報やセンサからのセンサ検出情報を取得し、これらの情報に基づいて各種プログラムを実行することにより、上述した各種機能を実現させる。また、制御装置40は、動作指示装置50からの信号を取得し、該信号に基づいて指示対象物の位置特定を行う。以下では、この指示対象物の位置特定が、位置特定装置101により行われるとして説明する。
Such a function is realized by, for example, the
図4に、位置特定装置101が備える機能を展開して表した機能ブロック図を示す。
図4に示すように、位置特定装置101は、画像および位置情報を記憶する記憶部121と、指示対象物の画像を取得する画像取得部51と、複数の画像の比較を行う比較部122と、指示対象物を特定する指示対象物特定部123と、指示対象物の位置情報を抽出する位置情報抽出部124とを備えている。
FIG. 4 shows a functional block diagram in which the functions of the
As illustrated in FIG. 4, the
記憶部121は、予め撮影した複数の対象物の画像から算出した特徴量と、該対象物の位置情報とを関連付けて記憶するようになっている。ここで、画像から算出した特徴量とは、比較処理をより正確・ロバスト・高速・小メモリでおこなうために、画像から抽出した画像の特徴を示す情報のことであり、例えば、輪郭形状や色等をいう。
画像取得部51は、ユーザの操作によって指示対象物の画像を取得し、取得した指示対象物の画像から算出した特徴量を比較部122に出力するようになっている。
The
The
比較部122は、記憶部121に記憶された複数の対象物の画像から算出した特徴量を読み出し、読み出した複数の対象物の画像から算出した特徴量と画像取得部51により取得された指示対象物の画像から算出した特徴量との比較を行い、比較結果を指示対象物特定部123に出力するようになっている。なお、比較に際しては、比較対象の画像の大きさや角度や歪みが異なっていても、例えば、US Patent 6,711,293, David G. Lowe,“Object recognition from local scale-invariant features,” International Conference on Computer Vision, Corfu, Greece (September 1999), pp.1150-1157.に示される公知の方法により、画像同士の類似度を算出することが可能である。
The
指示対象物特定部123は、比較部122による比較結果に基づいて指示対象物に最も一致する対象物を指示対象物として特定し、特定した結果を位置情報抽出部に出力するようになっている。
The indication
位置情報抽出部124は、指示対象物特定部123により特定された指示対象物に対応する対象物の位置情報を記憶部121より読み出し、読み出した対象物の位置情報を指示対象物の位置情報として動作指示部52に出力するようになっている。
動作指示部52は、位置情報抽出部124により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体1に出力するようになっている。
The position
The
このように構成された位置特定装置101の作用について、主に図5を用いて以下に説明する。
記憶部121には予め対象物Aの画像PAから算出した特徴量および対象物Bの画像PBから算出した特徴量が、それぞれの位置情報と関連付けられて記憶されている。
The operation of the
In the
ここで、ユーザが指示対象物として対象物Bを選択した場合、ユーザの操作によって画像取得部51により指示対象物の画像QBが取得される。
次に、比較部122により、画像取得部51により取得された指示対象物の画像QBから算出した特徴量と記憶部121から読み出した対象物Aの画像PAから算出した特徴量および対象物Bの画像PBから算出した特徴量との比較が行われる。
Here, if the user selects an object B as an instruction target, the image Q B indicated object by the
Next, the
次に、比較部122による比較結果に基づいて、指示対象物特定部123により画像QBに最も一致する画像として画像PBが選択され、画像PBに対応する対象物Bが指示対象物として特定される。
Then, based on the comparison result by the
次に、位置情報抽出部により、指示対象物として特定された対象物Bの画像PBから算出した特徴量に関連付けられた位置情報、すなわち、図5においてテーブルの中央部の座標が、記憶部121より読み出される。 Next, the position information associated with the feature amount calculated from the image P B of the object B identified as the pointing object by the position information extraction unit, that is, the coordinates of the center of the table in FIG. 121 is read out.
このように記憶部121より読み出された対象物Bの位置情報が、指示対象物の位置情報として抽出され、動作指示部52によりロボット本体1に対して搬送指示等の動作指示が行われる。
Thus, the position information of the object B read from the
以上説明したように、本実施形態に係る位置特定装置101によれば、記憶部121に記憶された複数の対象物の画像から算出した特徴量および位置情報に基づいて、画像取得部51により取得された指示対象物が指示対象物特定部123により特定され、特定された指示対象物の位置情報が位置情報抽出部124により抽出される。これにより、指示対象物の名称が明確でない場合や、指示対象物を言語で表現することが困難な場合においても、画像取得部51により取得された指示対象物の画像を用いて、その位置情報を得ることができ、指示対象物の位置を容易に特定することが可能となる。
As described above, according to the
なお、本実施形態の第1の変形例として、図6に示すように、画像取得部51に代えてバーコードやQRコード等の画像コードの情報を取得する画像コード取得部54を設け、記憶部121には対象物の画像に代えて画像コードの情報を記憶させることとしてもよい。
As a first modification of the present embodiment, as shown in FIG. 6, an image
このようにすることで、例えば、外観が類似している複数の対象物を識別することができ、指示対象物を特定する際の精度を向上させることが可能となる。また、例えば、バーコードは既に多くの製品に付されており、バーコードと指示対象物を関連付けたデータベースを用いることで、指示対象物の名称等の情報を取得することも可能となる。
また、画像取得部51と画像コード取得部54とを併用することで、指示対象物の特定を容易に、かつ、高い精度で行うことが可能となる。
By doing so, for example, it is possible to identify a plurality of objects having similar appearances, and it is possible to improve the accuracy when specifying the pointing object. In addition, for example, barcodes are already attached to many products, and it is possible to acquire information such as names of designated objects by using a database that associates barcodes and designated objects.
Further, by using the
また、本実施形態の第2の変形例として、図7に示すように、画像取得部51の撮影方向にレーザを照射するレーザ照射部55を備えてもよい。ここで、レーザ照射部55は、例えば、レーザポインタである。
このようにすることで、画像取得部51の撮影方向に照射されたレーザの輝点をユーザが目視することができ、ユーザが意図する指示対象物を確実に撮影することができる。
As a second modification of the present embodiment, as shown in FIG. 7, a
By doing in this way, the user can visually observe the bright spot of the laser irradiated in the shooting direction of the
また、本実施形態の第3の変形例として、図8に示すように、指示対象物までの距離を測定する距離測定部56を備え、指示対象位置特定部123が、距離測定部56により測定された距離をも用いて指示対象物を特定することとしてもよい。ここで、距離測定部56は、例えば、レーザ測距機である。
画像取得部51により取得した画像だけでなく、距離測定部56により測定した距離をも用いて指示対象物の特定を行うことにより、大きさの異なる指示対象物を識別することが可能となる。
Further, as a third modification of the present embodiment, as shown in FIG. 8, a
By specifying the target object using not only the image acquired by the
また、本実施形態の第4の変形例として、図9に示すように、画像取得部51が取得した画像を表示する表示部57を備えてもよい。ここで、表示部57は、例えば、CRT(cathode-ray tube)やLCD(liquid Crystal Display)等のモニタである。
このようにすることで、画像取得部51が取得した画像を、表示部57にてユーザが目視することができ、ユーザが意図する指示対象物を確実に撮影することができる。
As a fourth modification of the present embodiment, as shown in FIG. 9, a
By doing in this way, the image which the
また、本実施形態の第5の変形例として、図10に示すように、指示対象物の候補が複数ある場合に、各候補を表示部57に表示し、表示された各候補の中から指示対象物の選択をユーザに促すこととしてもよい。
このようにすることで、ユーザが意図する指示対象物を確実に選択することが可能となる。なお、各候補の表示を表示部57ではなく、動作指示装置60とは別に設けられたタッチパネル58に行うこととしてもよい。
As a fifth modification of the present embodiment, as shown in FIG. 10, when there are a plurality of candidates for an instruction target, each candidate is displayed on the
By doing in this way, it becomes possible to select the instruction | indication target object which a user intends reliably. Each candidate may be displayed not on the
〔第2の実施形態〕
次に、本発明の第2の実施形態について、図11から図15を用いて説明する。
本実施形態のロボットシステムが第1の実施形態と異なる点は、映写装置により位置に応じて異なるパターンを有する映像パターンを投影し、該映像パターンに基づいて指示対象物の位置情報を抽出する点である。以下、本実施形態のロボットシステムについて、第1の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described with reference to FIGS.
The difference of the robot system of the present embodiment from the first embodiment is that a projection device projects a video pattern having a different pattern according to the position, and extracts position information of the pointing object based on the video pattern. It is. Hereinafter, with respect to the robot system of the present embodiment, description of points that are common to the first embodiment will be omitted, and different points will be mainly described.
図11に示すように、本実施形態に係るロボットシステム200は、ロボット1と、ロボット1に対して動作を指示する動作指示装置60と、位置に応じて異なるパターンを有する映像パターンを投影する映写装置63とを備えている。
ここでは、位置に応じて異なるパターンを有する映像パターンとして、例えば、図12に示すアノトパターン(登録商標)を用いることとして説明する。アノトパターン(登録商標)は、格子状の線分上に複数のドットが配置され、該ドットの配置が位置に応じて異なるパターンである。
As shown in FIG. 11, the
Here, for example, an Anoto pattern (registered trademark) shown in FIG. 12 is used as a video pattern having a different pattern depending on the position. Anoto pattern (registered trademark) is a pattern in which a plurality of dots are arranged on a grid-like line segment and the arrangement of the dots differs depending on the position.
映写装置63は、例えば、人には不可視な近赤外線を映写する映写装置であり、画像取得部61は、例えば、近赤外線の光を取得可能な近赤外線カメラである。これにより、映写装置63により投影される画像パターンを人に認識させることなく、画像取得部61により取得させることが可能となる。
The
上記構成を有するロボットシステム200において、映写装置63により指示対象物に投影された映像パターンを画像取得部61により取得し、取得した映像パターンに基づいて制御装置40により指示対象物の位置特定が行われる。以下では、この指示対象物の位置特定が、位置特定装置103により行われるとして説明する。
In the
図13に、位置特定装置103が備える機能を展開して表した機能ブロック図を示す。
図13に示すように、位置特定装置103は、指示対象物に投影されたパターンを取得する画像取得部61と、指示対象物の位置情報を抽出する位置情報抽出部134とを備えている。
FIG. 13 shows a functional block diagram in which the functions of the
As illustrated in FIG. 13, the
画像取得部61は、ユーザの操作によって、映写部63により指示対象物に投影された映像パターンを取得し、取得した映像パターンを位置情報抽出部134に出力するようになっている。
The
位置情報抽出部134は、画像取得部61により取得された映像パターンから指示対象物の位置情報を抽出し、抽出した指示対象物の位置情報を動作指示部62に出力するようになっている。
動作指示部62は、位置情報抽出部134により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体1に出力するようになっている。
The position
The
このように構成された位置特定装置102の作用について、主に図14を用いて以下に説明する。
映写装置63より、例えば、アノトパターン(登録商標)の映像パターンが、指示対象物を含む所定の領域に投影されている。
ここで、ユーザが指示対象物として対象物Bを選択した場合、ユーザの操作によって画像取得部61により対象物Bに投影された映像パターンの画像RBが取得される。
The operation of the
From the
Here, if the user selects an object B as an instruction target, the image R B of image pattern projected onto the object B by the
次に、位置情報抽出部134により、対象物Bに投影された映像パターンの画像RBの位置情報、すなわち、図14においてテーブルの中央部の座標が抽出される。
Then, the position
このように指示対象物の位置情報が抽出され、動作指示部62によりロボット本体1に対して搬送指示等の動作指示が行われる。
なお、第1の実施形態と同様に、複数の対象物の画像から算出した特徴量を画像DBに記憶させ、画像取得部61が映像パターンだけでなく対象物の画像をも取得することにより、指示対象物自体を特定することも可能となる。
In this way, the position information of the target object is extracted, and an operation instruction such as a conveyance instruction is given to the
As in the first embodiment, the feature amount calculated from the images of the plurality of objects is stored in the image DB, and the
以上説明したように、本実施形態に係る位置特定装置103によれば、画像取得部61により指示対象物に投影されたパターンを取得し、該パターンに基づいて指示対象物の位置情報を位置情報抽出部134により抽出することができる。これにより、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置情報を抽出することが可能となる。
As described above, according to the
なお、本実施形態の変形例として、図15に示すように、映写装置63が位置に応じて色が異なる映像パターンを投影し、画像取得部61が該パターンを取得することとしてもよい。
このようにすることで、指示対象物に投影された色パターンに基づいて、指示対象物の位置情報を抽出することができる。
As a modification of the present embodiment, as shown in FIG. 15, the
By doing so, it is possible to extract the position information of the pointing object based on the color pattern projected onto the pointing object.
〔第3の実施形態〕
次に、本発明の第3の実施形態について、図16および図17を用いて説明する。
本実施形態のロボットシステムが前述の各実施形態と異なる点は、作業が行われる空間の画像に基づいて指示対象位置の位置情報を抽出する点である。以下、本実施形態のロボットシステムについて、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。
[Third Embodiment]
Next, a third embodiment of the present invention will be described with reference to FIGS.
The robot system of this embodiment is different from the above-described embodiments in that the position information of the instruction target position is extracted based on the image of the space where the work is performed. Hereinafter, with respect to the robot system of the present embodiment, description of points that are common to the above-described embodiments will be omitted, and different points will be mainly described.
図16に、指示対象位置の位置特定装置104が備える機能を展開して表した機能ブロック図を示す。
図16に示すように、位置特定装置104は、画像から算出した特徴量および位置情報を記憶する記憶部121と、指示対象位置の画像を取得する画像取得部51と、複数の画像から算出した特徴量の比較を行う比較部122と、指示対象位置を特定する指示対象位置特定部133と、指示対象位置の位置情報を抽出する位置情報抽出部124とを備えている。
FIG. 16 shows a functional block diagram in which the functions of the
As illustrated in FIG. 16, the
記憶部121は、壁、天井、床面等の作業が行われる空間の画像から算出した特徴量と、該空間の位置情報とを関連付けて記憶するようになっている。
画像取得部51は、ユーザの操作によって指示対象位置の画像を取得し、取得した指示対象位置の画像から算出した特徴量を比較部122に出力するようになっている。
The
The
比較部122は、記憶部121に記憶された作業が行われる空間の画像から算出した特徴量を読み出し、読み出した空間の画像から算出した特徴量と画像取得部51により取得された指示対象位置の画像から算出した特徴量との比較を行い、比較結果を指示対象位置特定部133に出力するようになっている。
指示対象位置特定部133は、比較部122による比較結果に基づいて指示対象位置に最も一致する空間を指示対象位置として特定し、特定した結果を位置情報抽出部に出力するようになっている。
The
The instruction target
位置情報抽出部124は、指示対象位置特定部133により特定された指示対象位置に対応する空間の位置情報を記憶部121より読み出し、読み出した空間の位置情報を指示対象位置の位置情報として動作指示部52に出力するようになっている。
動作指示部52は、位置情報抽出部124により抽出された指示対象位置の位置情報および該位置情報に対する動作をロボット本体1に出力するようになっている。
The position
The
このように構成された位置特定装置104の作用について、主に図17を用いて以下に説明する。
図17(a)に示すように、記憶部121には作業が行われる空間の壁面Aの画像SAから算出した特徴量、壁面Bの画像SBから算出した特徴量、および壁面Cの画像SCから算出した特徴量が、それぞれの位置情報と関連付けられて記憶されている。
The operation of the
As shown in FIG. 17A, the
ここで、図17(b)に示すように、ユーザが指示対象位置として、壁面Cの領域Xを選択した場合、ユーザの操作によって画像取得部51により指示対象位置の画像TXが取得される。
次に、比較部122により、画像取得部51により取得された指示対象位置の画像TXから算出した特徴量と記憶部121から読み出した壁面Aの画像SAから算出した特徴量、壁面Bの画像SBから算出した特徴量、および壁面Cの画像SCから算出した特徴量との比較が行われる。
Here, as illustrated in FIG. 17B, when the user selects the region X of the wall surface C as the instruction target position, the
Next, the
次に、比較部122による比較結果に基づいて、指示対象位置特定部133により画像TXに最も一致する画像として画像SCの中の領域Xが選択され、領域Xの位置が指示対象位置として特定される。
次に、位置情報抽出部124により、指示対象位置として特定された領域Xに関連付けられた位置情報、すなわち、図17(b)において壁面Cに配置された棚の最上段左側部の座標が、記憶部121より読み出される。
Then, based on the comparison result by the
Next, the position information associated with the region X specified as the instruction target position by the position
このように記憶部121より読み出された領域Xの位置情報が、指示対象位置の位置情報として抽出され、動作指示部52によりロボット本体1に対して搬送指示等の動作指示が行われる。
Thus, the position information of the region X read from the
以上説明したように、本実施形態に係る位置特定装置104によれば、壁面、または床面、あるいは天井面等の作業が行われる空間の画像から算出した特徴量および位置情報に基づいて、画像取得部51により取得された指示対象位置の位置情報を抽出することができる。
また、図17(c)に示すように、作業が行われる空間の画像内における窓等の大きさや歪みから、デバイスである動作指示装置70の位置や向いている方向を推定することが可能となる。
As described above, according to the
Further, as shown in FIG. 17C, it is possible to estimate the position and direction of the
〔第4の実施形態〕
次に、本発明の第4の実施形態について、図18から図22を用いて説明する。
本実施形態のロボットシステムが前述の各実施形態と異なる点は、所定の位置に配置された複数の撮像装置により撮影された作業が行われる空間の画像に基づいて、指示対象物の位置を特定する点である。以下、本実施形態のロボットシステムについて、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described with reference to FIGS.
The robot system of this embodiment is different from each of the above-described embodiments in that the position of the pointing object is specified based on the image of the space where the work is performed by the plurality of imaging devices arranged at predetermined positions. It is a point to do. Hereinafter, with respect to the robot system of the present embodiment, description of points that are common to the above-described embodiments will be omitted, and different points will be mainly described.
図18に示すように、本実施形態に係るロボットシステム300は、ロボット1と、ロボット1に対して動作を指示する動作指示装置70と、作業が行われる空間を撮影する複数の撮像装置73とを備えている。
撮像装置73は、例えば、作業が行われる空間の隅部の天井面に配置され、レンズおよびCCDを備えるカメラである。
As illustrated in FIG. 18, the
The
上記構成を有するロボットシステム300において、指示対象物の画像を画像取得部71により取得し、画像取得部71により取得された指示対象物の画像および撮像装置73により撮影された作業が行われる空間の画像に基づいて制御装置40により指示対象物の位置特定が行われる。以下では、この指示対象物の位置特定が、位置特定装置105により行われるとして説明する。
In the
図19に、指示対象物の位置特定装置105が備える機能を展開して表した機能ブロック図を示す。
図19に示すように、位置特定装置105は、指示対象物の画像を取得する画像取得部71と、複数の画像から算出した特徴量の比較を行う比較部122と、指示対象物を特定する指示対象物特定部123と、指示対象物の位置情報を抽出する位置情報抽出部144とを備えている。
FIG. 19 is a functional block diagram in which the functions of the pointing object
As illustrated in FIG. 19, the
画像取得部71は、ユーザの操作によって指示対象物の画像を取得し、取得した指示対象物の画像から算出した特徴量を比較部122に出力するようになっている。
比較部122は、撮像装置73により撮影された作業が行われる空間の画像から算出した特徴量と画像取得部71により取得された指示対象物の画像から算出した特徴量との比較を行い、比較結果を指示対象物特定部123に出力するようになっている。
The
The
指示対象物特定部123は、比較部122による比較結果に基づいて指示対象物に最も一致する対象物を指示対象物として特定し、特定した結果を位置情報抽出部144に出力するようになっている。
The indication
位置情報抽出部144は、撮像装置73の位置関係と撮像装置73により撮影された作業が行われる空間の画像内における指示対象物の位置とに基づいて、指示対象物の位置情報を抽出し、抽出した指示対象物の位置情報を動作指示部72に出力するようになっている。
動作指示部72は、位置情報抽出部144により抽出された指示対象物の位置情報および該位置情報に対する動作をロボット本体1に出力するようになっている。
The position
The
このように構成された位置特定装置105の作用について、主に図20を用いて以下に説明する。
撮像装置73(a)および撮像装置73(b)により、作業が行われる空間が撮影されている。撮像装置73(a)により撮影された画像が画像UA、撮像装置73(b)により撮影された画像が画像UBである。
The operation of the
A space in which work is performed is photographed by the imaging device 73 (a) and the imaging device 73 (b). An image taken by the imaging device 73 (a) is an image U A , and an image taken by the imaging device 73 (b) is an image U B.
ここで、ユーザが指示対象物として対象物Dを選択した場合、ユーザの操作によって画像取得部71により指示対象物の画像Vが取得される。
次に、比較部122により、画像取得部71により取得された指示対象物の画像Vから算出した特徴量と、撮像装置73(a)により撮影された画像UAから算出した特徴量および撮像装置73(b)により撮影された画像UBから算出した特徴量との比較が行われる。
Here, when the user selects the object D as the instruction object, the
Next, the feature amount calculated from the image V of the pointing object acquired by the
次に、比較部122による比較結果に基づいて、指示対象物特定部123により画像Vに一致する画像として、画像UAの中の領域Yおよび画像UBの中の領域Zが選択され、領域Yおよび領域Zに対応する対象物が指示対象物として特定される。
Then, based on the comparison result by the
次に、位置情報抽出部144により、撮像装置73(a)と撮像装置73(b)との位置関係と、画像UAおよび画像UBにおける指示対象物の位置とに基づいて、指示対象物の位置情報が抽出される。この際、指示対象物の位置情報は、例えば、Richard
Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision.
Cambridge University Press.
ISBN 0-521-54051-8.に示される公知のエピポーラ幾何を用いた算出方法により推定することができる。
Next, based on the positional relationship between the imaging device 73 (a) and the imaging device 73 (b) and the position of the pointing object in the images U A and U B , the position
Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision.
Cambridge University Press.
It can be estimated by a calculation method using a known epipolar geometry shown in ISBN 0-521-54051-8.
以上説明したように、本実施形態に係る位置特定装置105によれば、撮像装置73(a)と73(b)との位置関係と、撮像装置73(a)および撮像装置73(b)により撮影された作業が行われる空間の画像とに基づいて、画像取得部71により取得された指示対象物の位置情報が位置情報抽出部144により抽出される。このように、複数の撮像装置により指示対象物の位置情報を抽出することで、指示対象物の位置情報を予め登録しておく必要がなく、任意の位置に置かれた指示対象物の位置を特定することが可能となる。
As described above, according to the
なお、本実施形態の第1の変形例として、図21に示すように、画像DBに指示対象物の画像から算出した特徴量を予め登録しておき、比較部122が、画像取得部71により取得された指示対象物の画像から算出した特徴量と撮像装置73(a)および撮像装置73(b)により撮影された作業が行われる空間の画像から算出した特徴量とを、画像DBの登録画像から算出した特徴量を介して間接比較を行い、指示対象物特定部123が、比較部122による間接比較結果に基づいて指示対象物を特定することとしてもよい。
As a first modification of the present embodiment, as shown in FIG. 21, the feature amount calculated from the image of the pointing object is registered in advance in the image DB, and the
撮像装置73(a)と撮像装置73(b)と画像取得部71とでは指示対象物を撮影する角度や位置が異なるため、各画像における指示対象物の歪み等が異なり、各画像から指示対象物を特定することが困難な場合がある。これに対し、予め画像DBに登録された指示対象物の画像を介して間接比較を行うことで、指示対象物を特定する際の精度を向上させることができる。
Since the imaging device 73 (a), the imaging device 73 (b), and the
また、本実施形態の第2の変形例として、図22に示すように、画像DBに予め登録する指示対象物の画像から算出した特徴量を、複数の角度から撮影した指示対象物の画像から算出した特徴量としてもよい。
指示対象物が立体形状を有する場合には、撮影する角度や位置によって指示対象物の見え方が異なる。これに対し、指示対象物の登録画像として、複数の角度から撮影した指示対象物の画像とすることで、指示対象物を特定する際の精度を向上させることができる。
Further, as a second modification of the present embodiment, as shown in FIG. 22, the feature amount calculated from the image of the pointing object registered in advance in the image DB is obtained from the image of the pointing object captured from a plurality of angles. It may be a calculated feature amount.
When the pointing object has a three-dimensional shape, how the pointing object looks is different depending on the shooting angle and position. On the other hand, the accuracy of specifying the pointing object can be improved by using the pointing object image taken from a plurality of angles as the registered image of the pointing object.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to this embodiment, The design change etc. of the range which does not deviate from the summary of this invention are included.
1 ロボット本体
40 制御装置
50,60,70 動作指示装置
51,61,71 画像取得部
52,62,72 動作指示部
54 画像コード取得部
55 レーザ照射部
56 距離測定部
57 表示部
58 タッチパネル
63 映写装置
73,73(a),72(b) 撮像装置
100,200,300 ロボットシステム
101,103,104,105 位置特定装置
121 記憶部
122 比較部
123 指示対象物特定部
124,134,144 位置情報抽出部
133 指示対象位置特定部
DESCRIPTION OF
Claims (16)
指示対象物の画像を取得する画像取得部と、
該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記記憶部に記憶された複数の前記対象物の画像から算出した特徴量との比較を行う比較部と、
該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、
該指示対象物特定部により特定された前記指示対象物に対応する前記対象物の位置情報を、前記指示対象物の位置情報として前記記憶部より抽出する位置情報抽出部と
を備える位置特定装置。 A storage unit that stores the feature amount calculated from the images of the plurality of objects and the positional information in association with each other;
An image acquisition unit for acquiring an image of the pointing object;
A comparison unit that compares the feature amount calculated from the image of the pointing object acquired by the image acquisition unit with the feature amount calculated from the images of the plurality of objects stored in the storage unit;
An instruction object specifying unit for specifying the instruction object based on a comparison result by the comparison unit;
A position specifying device comprising: a position information extracting unit that extracts position information of the object corresponding to the pointing object specified by the pointing object specifying unit from the storage unit as position information of the pointing object.
指示対象物の画像コードの情報を取得する画像コード取得部と、
該画像取得部により取得された前記指示対象物の画像コードの情報と前記記憶部に記憶された複数の前記対象物の画像コードの情報との比較を行う比較部と、
該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、
該指示対象物特定部により特定された前記指示対象物に対応する前記対象物の位置情報を、前記指示対象物の位置情報として前記記憶部より抽出する位置情報抽出部と
を備える位置特定装置。 A storage unit that stores image code information and position information of a plurality of objects in association with each other;
An image code acquisition unit for acquiring information of an image code of the pointing object;
A comparison unit that compares the information of the image code of the designated object acquired by the image acquisition unit with the information of the image code of the plurality of objects stored in the storage unit;
An instruction object specifying unit for specifying the instruction object based on a comparison result by the comparison unit;
A position specifying device comprising: a position information extracting unit that extracts position information of the object corresponding to the pointing object specified by the pointing object specifying unit from the storage unit as position information of the pointing object.
前記指示対象物に投影された前記パターンを取得する画像取得部と、
該画像取得部により取得された前記パターンから前記指示対象物の位置情報を抽出する位置情報抽出部と
を備える位置特定装置。 A position specifying device that projects a video pattern having a different pattern according to a position onto a predetermined area including an indication target, and specifies the position of the indication target based on the video pattern,
An image acquisition unit for acquiring the pattern projected on the pointing object;
A position specifying device comprising: a position information extracting unit that extracts position information of the pointing object from the pattern acquired by the image acquiring unit.
指示対象位置の画像を取得する画像取得部と、
該画像取得部により取得された前記指示対象位置の画像から算出した特徴量と前記記憶部に記憶された前記空間の画像から算出した特徴量との比較を行う比較部と、
該比較部による比較結果に基づいて前記指示対象位置を特定する指示対象位置特定部と、
該指示対象位置特定部により特定された前記指示対象位置に対応する前記空間の位置情報を、前記指示対象位置の位置情報として前記記憶部より抽出する位置情報抽出部と
を備える位置特定装置。 A storage unit that stores the feature amount calculated from the image of the space in which the work is performed and the positional information in association with each other;
An image acquisition unit for acquiring an image of the instruction target position;
A comparison unit that compares the feature amount calculated from the image of the instruction target position acquired by the image acquisition unit with the feature amount calculated from the image of the space stored in the storage unit;
An instruction target position specifying unit for specifying the instruction target position based on a comparison result by the comparison unit;
A position specifying device comprising: a position information extracting unit that extracts position information of the space corresponding to the instruction target position specified by the instruction target position specifying unit from the storage unit as position information of the instruction target position.
前記指示対象物の画像を取得する画像取得部と、
該画像取得部により取得された前記指示対象物の画像から算出した特徴量と前記撮像装置により撮影された前記空間の画像から算出した特徴量との比較を行う比較部と、
該比較部による比較結果に基づいて前記指示対象物を特定する指示対象物特定部と、
複数の前記撮像装置の位置関係と各前記撮像装置により撮影された前記空間の画像内における前記指示対象物の位置とに基づいて、前記指示対象物の位置情報を抽出する位置情報抽出部と
を備える位置特定装置。 A position specifying device that specifies the position of an instruction target based on an image of a space in which work performed by a plurality of imaging devices arranged at a predetermined position is performed,
An image acquisition unit for acquiring an image of the pointing object;
A comparison unit that compares the feature amount calculated from the image of the pointing object acquired by the image acquisition unit with the feature amount calculated from the image of the space photographed by the imaging device;
An instruction object specifying unit for specifying the instruction object based on a comparison result by the comparison unit;
A position information extracting unit that extracts position information of the pointing object based on a positional relationship between the plurality of imaging devices and a position of the pointing object in an image of the space imaged by each of the imaging devices; A position specifying device provided.
前記指示対象物特定部が、前記比較部による直接比較結果に基づいて前記指示対象物を特定する請求項7に記載の位置特定装置。 The comparison unit performs a direct comparison between the feature amount calculated from the image of the pointing object acquired by the image acquisition unit and the feature amount calculated from the image of the space photographed by the imaging device,
The position specifying device according to claim 7, wherein the pointing object specifying unit specifies the pointing object based on a direct comparison result by the comparing unit.
前記指示対象物特定部が、前記比較部による間接比較結果に基づいて前記指示対象物を特定する請求項7に記載の位置特定装置。 The instruction that is registered in advance with the feature amount calculated from the image of the pointing object acquired by the image acquisition unit and the feature amount calculated from the image of the space photographed by the imaging device by the comparison unit. Perform an indirect comparison via the feature value calculated from the registered image of the object,
The position specifying device according to claim 7, wherein the pointing object specifying unit specifies the pointing object based on an indirect comparison result by the comparing unit.
前記指示対象物特定部または前記指示対象位置特定部が、前記距離測定部により測定された距離をも用いて前記指示対象物または前記指示対象位置を特定する請求項1から請求項13のいずれかに記載の位置特定装置。 A distance measuring unit for measuring a distance to the pointing object or the pointing object position;
The pointed object specifying unit or the pointed object position specifying unit specifies the pointed object or the pointed object position using the distance measured by the distance measuring unit. The positioning device described in 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007301424A JP5221939B2 (en) | 2007-11-21 | 2007-11-21 | POSITION SPECIFICATION DEVICE, OPERATION INSTRUCTION DEVICE, AND SELF-RUNNING ROBOT |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007301424A JP5221939B2 (en) | 2007-11-21 | 2007-11-21 | POSITION SPECIFICATION DEVICE, OPERATION INSTRUCTION DEVICE, AND SELF-RUNNING ROBOT |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012083987A Division JP5536131B2 (en) | 2012-04-02 | 2012-04-02 | POSITION SPECIFICATION DEVICE, OPERATION INSTRUCTION DEVICE, AND SELF-RUNNING ROBOT |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009129058A true JP2009129058A (en) | 2009-06-11 |
JP5221939B2 JP5221939B2 (en) | 2013-06-26 |
Family
ID=40819940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007301424A Active JP5221939B2 (en) | 2007-11-21 | 2007-11-21 | POSITION SPECIFICATION DEVICE, OPERATION INSTRUCTION DEVICE, AND SELF-RUNNING ROBOT |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5221939B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022700A (en) * | 2009-07-14 | 2011-02-03 | Japan Science & Technology Agency | Robot control system and robot control program |
US9635346B2 (en) | 2014-05-27 | 2017-04-25 | Murata Machinery, Ltd. | Autonomous vehicle, and object recognizing method in autonomous vehicle |
JP2017174377A (en) * | 2016-03-24 | 2017-09-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Position indication method, position indication device, self-propelled device, and program |
CN107229274A (en) * | 2016-03-24 | 2017-10-03 | 松下电器(美国)知识产权公司 | Method for indicating position, terminal installation, self-propelled device and program |
JP2019530104A (en) * | 2016-10-09 | 2019-10-17 | 浙江国自機器人技術有限公司Zhejiang Guozi Robotics Co., Ltd. | Inventory management system, transport device, and method of combining transport device with transport object |
JP2021166106A (en) * | 2019-12-24 | 2021-10-14 | ソニーグループ株式会社 | Mobile body, control method, and program |
JP2021182272A (en) * | 2020-05-19 | 2021-11-25 | オムロン株式会社 | Mobile robot |
WO2022127541A1 (en) * | 2020-12-16 | 2022-06-23 | 北京极智嘉科技股份有限公司 | Robot and localization method |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031742A (en) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | Image processor and object transfer device |
JP2003156316A (en) * | 2001-11-20 | 2003-05-30 | Ricoh Co Ltd | Optical shape measuring apparatus |
JP2003345815A (en) * | 2002-05-28 | 2003-12-05 | Jiishisu:Kk | Server and system for url search, and server and system for image processing |
JP2005096956A (en) * | 2003-09-26 | 2005-04-14 | Toshiba Digital Media Engineering Corp | Book management system |
JP2006202136A (en) * | 2005-01-21 | 2006-08-03 | Fuji Photo Film Co Ltd | Information provision device, print system, information provision program and information provision program storage medium |
JP2006231447A (en) * | 2005-02-23 | 2006-09-07 | Mitsubishi Heavy Ind Ltd | Confirmation method for indicating position or specific object and method and device for coordinate acquisition |
JP2007098555A (en) * | 2005-10-07 | 2007-04-19 | Nippon Telegr & Teleph Corp <Ntt> | Position indicating method, indicator and program for achieving the method |
JP2007111854A (en) * | 2003-06-02 | 2007-05-10 | Matsushita Electric Ind Co Ltd | Article handling system and article handling server |
JP2007219765A (en) * | 2006-02-15 | 2007-08-30 | Toyota Motor Corp | Image processor, method therefor, and imaging processing program |
-
2007
- 2007-11-21 JP JP2007301424A patent/JP5221939B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1031742A (en) * | 1996-07-15 | 1998-02-03 | Mitsubishi Electric Corp | Image processor and object transfer device |
JP2003156316A (en) * | 2001-11-20 | 2003-05-30 | Ricoh Co Ltd | Optical shape measuring apparatus |
JP2003345815A (en) * | 2002-05-28 | 2003-12-05 | Jiishisu:Kk | Server and system for url search, and server and system for image processing |
JP2007111854A (en) * | 2003-06-02 | 2007-05-10 | Matsushita Electric Ind Co Ltd | Article handling system and article handling server |
JP2005096956A (en) * | 2003-09-26 | 2005-04-14 | Toshiba Digital Media Engineering Corp | Book management system |
JP2006202136A (en) * | 2005-01-21 | 2006-08-03 | Fuji Photo Film Co Ltd | Information provision device, print system, information provision program and information provision program storage medium |
JP2006231447A (en) * | 2005-02-23 | 2006-09-07 | Mitsubishi Heavy Ind Ltd | Confirmation method for indicating position or specific object and method and device for coordinate acquisition |
JP2007098555A (en) * | 2005-10-07 | 2007-04-19 | Nippon Telegr & Teleph Corp <Ntt> | Position indicating method, indicator and program for achieving the method |
JP2007219765A (en) * | 2006-02-15 | 2007-08-30 | Toyota Motor Corp | Image processor, method therefor, and imaging processing program |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011022700A (en) * | 2009-07-14 | 2011-02-03 | Japan Science & Technology Agency | Robot control system and robot control program |
US9635346B2 (en) | 2014-05-27 | 2017-04-25 | Murata Machinery, Ltd. | Autonomous vehicle, and object recognizing method in autonomous vehicle |
JP2017174377A (en) * | 2016-03-24 | 2017-09-28 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Position indication method, position indication device, self-propelled device, and program |
CN107229274A (en) * | 2016-03-24 | 2017-10-03 | 松下电器(美国)知识产权公司 | Method for indicating position, terminal installation, self-propelled device and program |
US10437251B2 (en) | 2016-03-24 | 2019-10-08 | Panasonic Intellectual Property Corporation Of America | Method for specifying position, terminal device, autonomous device, and program |
JP2019530104A (en) * | 2016-10-09 | 2019-10-17 | 浙江国自機器人技術有限公司Zhejiang Guozi Robotics Co., Ltd. | Inventory management system, transport device, and method of combining transport device with transport object |
JP2021166106A (en) * | 2019-12-24 | 2021-10-14 | ソニーグループ株式会社 | Mobile body, control method, and program |
JP7338662B2 (en) | 2019-12-24 | 2023-09-05 | ソニーグループ株式会社 | Mobile object, control method and program |
JP2021182272A (en) * | 2020-05-19 | 2021-11-25 | オムロン株式会社 | Mobile robot |
WO2021235039A1 (en) * | 2020-05-19 | 2021-11-25 | オムロン株式会社 | Mobile robot |
JP7540195B2 (en) | 2020-05-19 | 2024-08-27 | オムロン株式会社 | Mobile robot |
WO2022127541A1 (en) * | 2020-12-16 | 2022-06-23 | 北京极智嘉科技股份有限公司 | Robot and localization method |
Also Published As
Publication number | Publication date |
---|---|
JP5221939B2 (en) | 2013-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5221939B2 (en) | POSITION SPECIFICATION DEVICE, OPERATION INSTRUCTION DEVICE, AND SELF-RUNNING ROBOT | |
KR100328648B1 (en) | Hand Pointing Device | |
US8265425B2 (en) | Rectangular table detection using hybrid RGB and depth camera sensors | |
US9895131B2 (en) | Method and system of scanner automation for X-ray tube with 3D camera | |
US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
US20150262002A1 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
TW201324258A (en) | Method for detecting motion of input body and input device using same | |
JP5001930B2 (en) | Motion recognition apparatus and method | |
US9107613B2 (en) | Handheld scanning device | |
JP2005315746A (en) | Own position identifying method, and device therefor | |
EP1394743A3 (en) | Device for detecting position/orientation of object from stereo images | |
JP4042517B2 (en) | Moving body and position detection device thereof | |
Shen et al. | A multi-view camera-projector system for object detection and robot-human feedback | |
KR20190036864A (en) | VR observation telescope, driving method and application for VR observation using the same | |
CN107538485B (en) | Robot guiding method and system | |
JP5536131B2 (en) | POSITION SPECIFICATION DEVICE, OPERATION INSTRUCTION DEVICE, AND SELF-RUNNING ROBOT | |
US8717579B2 (en) | Distance measuring device using a method of spanning separately targeted endpoints | |
JP2009216480A (en) | Three-dimensional position and attitude measuring method and system | |
KR20140053712A (en) | The localization method for indoor mobile robots by sensor fusion | |
KR20120108277A (en) | Method for localizing intelligent mobile robot by using both natural landmark and artificial landmark | |
Hadi et al. | Fusion of thermal and depth images for occlusion handling for human detection from mobile robot | |
Nguyen et al. | Real-time obstacle detection for an autonomous wheelchair using stereoscopic cameras | |
KR101305405B1 (en) | Method for Localizing Intelligent Mobile Robot by using a lateral landmark | |
JP2020051856A (en) | Camera calibration method and device | |
KR20100060622A (en) | Human pose estimation technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120717 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5221939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |