JP2021033712A - 画像処理装置、撮像装置、ロボット及びロボットシステム - Google Patents

Abstract

【課題】画像上で被写体を特定するための処理量を低減する画像処理装置等を提供する。【解決手段】画像処理装置は、画像を処理する画像処理装置であって、被写体の形状を記憶する記憶部と、カメラが前記被写体を撮像した第一画像から、一部の領域である対象領域の第二画像を抽出する抽出部と、前記第二画像を処理することで、前記対象領域内に写し出される少なくとも３つの部位から前記カメラまでの距離を検出する距離検出部と、前記少なくとも３つの部位での距離を用いて前記対象領域内に写し出される平面を推定する平面推定部と、前記カメラの光軸に対する前記平面の角度を検出する角度検出部と、前記記憶部に記憶される前記被写体の形状と、前記平面の角度とを用いて、前記第一画像に写し出される前記被写体の輪郭である被写体輪郭を推定する輪郭推定部と、前記被写体輪郭を用いて、前記第一画像上で前記被写体を特定する特定部とを備える。【選択図】図６

Description

本発明は、画像処理装置、撮像装置、ロボット及びロボットシステムに関する。

従来、ワークを撮像した画像を用いて動作を制御するロボットがある。例えば、特許文献１は、カメラによってワークを撮像した画像を用いて、ワークの３次元位置及び姿勢を計測し、計測された情報を用いて、ロボットアーム先端部及びロボットハンドを制御する装置を開示している。特許文献１のカメラは、左右のレンズ機構と撮像素子とを備える。ワークは、左右のレンズ機構によって同時に撮像され、撮像素子に記録される。さらに、左右のレンズ機構のワークの２つの画像間でステレオマッチング法を用いた画像処理を行うことで、ワークの３次元位置及び姿勢が算出される。

特開２００９−２４１２４７号公報

しかしながら、特許文献１には、２つの画像上においてワークを特定するための手法が開示されていない。カメラとワークとの位置関係及びカメラに対するワークの姿勢に対応して、画像に写し出されるワークの形状、サイズ、色彩及び模様等が種々に変化する。このため、画像上においてワークを特定するために多くの処理が必要となる場合がある。

そこで、本発明は、画像上でワーク等の被写体を特定するための処理量を低減する画像処理装置、撮像装置、ロボット及びロボットシステムを提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る画像処理装置は、画像を処理する画像処理装置であって、被写体の形状を記憶する記憶部と、カメラが前記被写体を撮像した第一画像から、一部の領域である対象領域の第二画像を抽出する抽出部と、前記第二画像を処理することで、前記対象領域内に写し出される少なくとも３つの部位から前記カメラまでの距離を検出する距離検出部と、前記少なくとも３つの部位での距離を用いて前記対象領域内に写し出される平面を推定する平面推定部と、前記カメラの光軸に対する前記平面の角度を検出する角度検出部と、前記記憶部に記憶される前記被写体の形状と、前記平面の角度とを用いて、前記第一画像に写し出される前記被写体の輪郭である被写体輪郭を推定する輪郭推定部と、前記被写体輪郭を用いて、前記第一画像上で前記被写体を特定する特定部とを備える。

また、本発明の一態様に係る画像処理装置は、画像を処理する画像処理装置であって、被写体の形状を記憶する記憶部と、カメラが前記被写体を撮像した第一画像から、一部の領域である対象領域の第二画像を抽出する抽出部と、前記第二画像を処理することで、前記対象領域内に写し出される少なくとも３つの部位から前記カメラまでの距離を検出する距離検出部と、前記少なくとも３つの部位での距離を用いて前記対象領域内に写し出される平面を推定する平面推定部と、前記カメラの光軸に対する前記平面の角度を検出する角度検出部と、前記平面と垂直な方向である第一方向に前記カメラの光軸の方向を合わせるように前記カメラを方向付ける方向決定部と、前記光軸が前記第一方向に方向付けられた前記カメラが前記被写体を撮像した第三画像に写し出される前記被写体の輪郭である被写体輪郭を、前記記憶部に記憶される前記被写体の形状を用いて推定する輪郭推定部と、前記被写体輪郭を用いて、前記第三画像上で前記被写体を特定する特定部とを備える。

また、本発明の一態様に係る撮像装置は、カメラと、前記カメラが撮像した画像を処理する本発明の一態様に係る画像処理装置とを備える。

また、本発明の一態様に係るロボットは、本発明の一態様に係る撮像装置と、物品に対して処理動作を行うエンドエフェクタを有するロボットアームと、前記特定部によって特定された前記被写体としての前記物品の画像に基づき、前記エンドエフェクタ及び前記ロボットアームの動作を制御する制御装置とを備える。

また、本発明の一態様に係るロボットシステムは、本発明の一態様に係るロボットと、前記ロボットを操作するための操作装置とを備える。

本発明によれば、画像上で被写体を特定するための処理量の低減が可能となる。

実施の形態に係るロボットシステムの構成の一例を示す図 図１のロボットを拡大した側面図 実施の形態に係るカメラの構成の一例を示す断面側面図 実施の形態に係るロボットシステムのハードウェア構成の一例を示すブロック図 実施の形態に係る制御装置の機能的構成の一例を示すブロック図 実施の形態に係る画像処理部の機能的構成の一例を示すブロック図 ２つのカメラが撮像した画像の一例を示す図 カメラ座標系における推定平面の一例を示す図 画像処理部によって推定される物品の輪郭の形状の一例を示す図 実施の形態に係るロボットシステムの動作の一例を示すフローチャート 変形例１に係る画像処理部の機能的構成の一例を示すブロック図 変形例１に係るロボットシステムの動作の一例を示すフローチャート 変形例２に係る画像処理部の機能的構成の一例を示すブロック図 変形例２に係るロボットシステムの動作の一例を示すフローチャート 変形例３に係る画像処理部の機能的構成の一例を示すブロック図 変形例３に係るロボットシステムの動作の一例を示すフローチャート 変形例４に係る画像処理部の機能的構成の一例を示すブロック図 変形例４に係るロボットシステムの動作の一例を示すフローチャート 変形例５に係る画像処理部の機能的構成の一例を示すブロック図

以下において、本発明の実施の形態を、図面を参照しつつ説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。また、本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

＜ロボットシステムの構成＞
実施の形態に係るロボットシステム１の構成を説明する。図１は、実施の形態に係るロボットシステム１の構成の一例を示す図である。図１に示すように、ロボットシステム１は、ロボット１０と、入力装置２０と、出力装置３０と、カメラ４１と、制御装置１００とを構成要素として備える。なお、上記構成要素の全てが必須ではない。

本実施の形態では、ロボットシステム１は、ロボット１０を用いて物品Ａを移動する作業を行うシステムであるとして、以下の説明を行うが、これに限定されない。例えば、ロボットシステム１は、ロボット１０が物品に対して何らかの処理動作を行うシステムであればよい。さらに、ロボット１０が移動する物品Ａは、段ボールケースであるとして、以下の説明を行うが、これに限定されない。物品Ａは、その外表面に平面を含むことが好ましい。このような物品Ａは、所定の形状を有する他の物体であってもよく、岩石等の所定の形状を有しない物体であってもよい。入力装置２０は、ロボット１０を操作するための装置であり、オペレータの入力に対応する信号を制御装置１００に出力する。制御装置１００は、ロボットシステム１の全体を制御し、例えば、入力装置２０からの信号に対応する制御信号をロボット１０に出力しロボット１０の動作を制御する。

＜ロボットの構成＞
ロボット１０の構成を説明する。図２は、図１のロボット１０を拡大した側面図である。図１及び図２に示すように、ロボット１０は、収容部１１と、ロボットアーム１２と、ロボットハンド（「エンドエフェクタ」とも呼ばれる）１３と、搬送車１４とを備える。収容部１１、ロボットアーム１２及びロボットハンド１３は、搬送車１４に配置されている。搬送車１４は、床面等の上でロボット１０を移動させることが可能であり、走行手段としての車輪１４ａと、車輪１４ａを駆動する搬送駆動装置１４ｂ（図示せず）とを備えるが、これに限定されず、クローラ（「キャタピラ（登録商標）」とも呼ばれる）等の他の走行手段を備えてもよい。搬送駆動装置１４ｂは、電力を動力源とし、電気モータとしてサーボモータを有するが、いかなる動力源を用いてもよい。このような搬送車１４は、例えばＡＧＶ（無人搬送車：Automated Guided Vehicle）であってもよい。なお、ロボット１０は、搬送車１４を備えず、床面等に固定等されて配置されてもよい。

収容部１１は、搬送車１４上に配置され、制御装置１００、電源装置１６（図示せず）及び負圧発生装置１７（図示せず）等を収容する。電源装置１６は、電力を消費するロボット１０の各構成要素に電力を供給する。電源装置１６は、二次電池を備え、二次電池の電力を各構成要素に供給してもよく、商用電源又はロボット１０の外部の装置等の外部電源と接続されるように構成され、外部電源の電力を各構成要素に供給してもよい。電源装置１６は、二次電池を備え且つ外部電源と接続されるように構成されてもよい。二次電池は、電力の充放電が可能である蓄電池であり、鉛蓄電池、リチウムイオン二次電池、ニッケル・水素蓄電池、ニッケル・カドミウム蓄電池等であってもよい。電源装置１６は、電力の放電のみが可能である一次電池を備えてもよい。

ロボットアーム１２の基部は、搬送車１４に取り付け固定され、ロボットアーム１２の先端部には、ロボットハンド１３が取り付けられている。ロボットハンド１３は、段ボールケースである物品Ａを保持することができるように構成されている。ロボットアーム１２及びロボットハンド１３は、制御装置１００の制御に従って動作し、例えば、ロボットハンド１３で保持した物品Ａを他の場所に移動させる。本実施の形態では、ロボットハンド１３は、負圧により吸着することで物品Ａを保持するが、例えば、把持、掬い上げ、吊り上げ、係合、粘着力及び磁力等により物品Ａを保持するように構成されてもよい。また、ロボット１０は、以下に説明するように垂直多関節型の産業用ロボットとして構成されるが、これに限定されない。

ロボットアーム１２は、その基部から先端に向かって順に配置されたリンク１２ａ〜１２ｆと、リンク１２ａ〜１２ｆを順次接続する関節ＪＴ１〜ＪＴ６と、関節ＪＴ１〜ＪＴ６それぞれを回転駆動するアーム駆動装置Ｍ１〜Ｍ６とを備えている。アーム駆動装置Ｍ１〜Ｍ６の動作は、制御装置１００によって制御される。アーム駆動装置Ｍ１〜Ｍ６はそれぞれ、電力を動力源とし、これらを駆動する電気モータとしてサーボモータを有するが、いかなる動力源を用いてもよい。なお、ロボットアーム１２の関節の数量は、６つに限定されず、７つ以上であってもよく、１つ以上５つ以下であってもよい。

リンク１２ａは関節ＪＴ１を介して搬送車１４に取り付けられ、ロボットハンド１３はリンク１２ｆの先端部に取り付けられている。関節ＪＴ１は、搬送車１４とリンク１２ａの基端部とを、搬送車１４を支持する床面に対して垂直である鉛直方向の軸周りに回転可能に連結する。関節ＪＴ２は、リンク１２ａの先端部とリンク１２ｂの基端部とを、当該床面に対して水平方向の軸周りに回転可能に連結する。関節ＪＴ３は、リンク１２ｂの先端部とリンク１２ｃの基端部とを、水平方向の軸周りに回転可能に連結する。関節ＪＴ４は、リンク１２ｃの先端部とリンク１２ｄの基端部とを、リンク１２ｃの長手方向の軸周りに回転可能に連結する。関節ＪＴ５は、リンク１２ｄの先端部とリンク１２ｅの基端部とを、リンク１２ｄの長手方向と直交する方向の軸周りに回転可能に連結する。関節ＪＴ６は、リンク１２ｅの先端部とリンク１２ｆの基端部とを、リンク１２ｅに対する捻れ回転可能に連結する。

ロボットハンド１３は、本体部１３ａと、１つ以上の吸着部１３ｂと、支持部１３ｃとを有する。本体部１３ａは板状の形状を有し、本体部１３ａの一方の主面にリンク１２ｆが接続され、上記主面と反対側の主面に吸着部１３ｂ及び支持部１３ｃが配置される。本体部１３ａは、リンク１２ｆと共に、リンク１２ｆの捻れ回転軸Ｓを中心に回動する。支持部１３ｃは、板状の形状を有し本体部１３ａから軸Ｓ方向に突出する。

吸着部１３ｂは軸Ｓと垂直な方向で支持部１３ｃから離れて配置されている。吸着部１３ｂは、例えば、テーパ筒状等の中空の形状を有し、図示しない配管を介して負圧発生装置１７と接続されている。吸着部１３ｂは、軸Ｓ方向に開放している。負圧発生装置１７の構成は、吸着部１３ｂの中空部分に負圧を発生させることができれば特に限定されず、既存のいかなる構成が用いられてもよい。例えば、負圧発生装置１７は、圧縮空気を送入することで負圧又は真空を発生するエジェクタの構成を有してもよく、空気を吸引することで負圧又は真空を発生する真空ポンプ又は空気圧シリンダの構成を有してもよい。

ロボットハンド１３は、物品Ａの側面等の表面に吸着部１３ｂを接触させ、吸着部１３ｂに負圧を発生させることで、吸着部１３ｂを介して物品Ａを吸着する。これにより、ロボットハンド１３は、物品Ａを持ち上げる等の物品Ａを保持し移動させることができる。さらに、ロボットハンド１３は、支持部１３ｃを物品Ａの底面等の表面に当接させることで、支持部１３ｃによって支持しつつ物品Ａを保持することができる。

＜入力装置の構成＞
入力装置２０の構成を説明する。図１に示すように、入力装置２０は、オペレータ等による指令及び情報の入力を受け付け、当該指令及び情報を制御装置１００に出力する。入力装置２０は、制御装置１００と有線通信又は無線通信を介して接続される。有線通信及び無線通信の形式はいかなる形式であってもよい。例えば、入力装置２０は、ロボット１０を遠隔操作するために用いられ、ロボット１０から所定の距離だけ離して配置される。

入力装置２０は、オペレータによるロボット１０の手動操作を構成する個々の操作の入力を受け付け、当該操作の指令値を制御装置１００に出力してもよい。入力装置２０は、ロボット１０の自動操作の操作内容の入力を受け付け、当該操作内容の指令値を制御装置１００に出力してもよい。入力装置２０は、ロボット１０の移動対象の物品Ａの形状及び／又はサイズ等の情報の入力を受け付け、当該情報を制御装置１００に出力してもよい。

このような入力装置２０は、ハンドル、レバー、ペダル、ボタン、タッチパネル、マイク及びカメラ等の装置を備えてもよい。入力装置２０は、入力される指令及び情報として、ハンドル又はレバーの変位、方向、速度及び操作力、ボタンの押し下げ、タッチパネルの画面への接触、接触軌跡及び接触圧、スピーカによって集音される音声信号、カメラによって撮像されたオペレータのジェスチャなどの画像の解析結果等を受け付けてもよい。

＜出力装置の構成＞
出力装置３０の構成を説明する。図１に示すように、出力装置３０は入力装置２０の近傍に配置される。出力装置３０は、カメラ４１から取得される画像の信号を画像として出力しオペレータに表示する。出力装置３０の例は、液晶ディスプレイ（Liquid Crystal Display）及び有機又は無機ＥＬディスプレイ（Electro-Luminescence Display）であるが、これらに限定されない。出力装置３０は、音声を発するスピーカを備えてもよい。出力装置３０は、制御装置１００によって出力される操作等のための画像及び／又は音声を出力してもよい。

＜カメラの構成＞
カメラ４１の構成を説明する。カメラ４１は、デジタル画像を撮像するカメラであり、撮像された画像内の被写体までの距離等の３次元位置の検出を可能にするカメラである。図２に示すように、カメラ４１は、ロボットハンド１３の前方を視野とするように配置及び方向付けられている。具体的には、カメラ４１は、リンク１２ｄに配置され、リンク１２ｄの長手方向に沿って、リンク１２ｄの先端に向かって方向付けられている。このようなカメラ４１は、ロボットハンド１３の移動対象の物品Ａを撮像することができる。

図３は、実施の形態に係るカメラ４１の構成の一例を示す断面側面図である。図３に示すように、本実施の形態では、カメラ４１は、２つ以上のカメラを含む複眼カメラである。カメラ４１は、異なる位置に配置された２つのカメラ４１ａ及び４１ｂを含む。カメラ４１ａ及び４１ｂは同様の構成及び性能を有するが、異なっていてもよい。カメラ４１ａ及び４１ｂは、図３のように一体化されていてもよく、分離して配置されていてもよい。カメラ４１ａ及び４１ｂは、互いの視野が重複するように配置されている。カメラ４１ａ及び４１ｂはそれぞれ、レンズ４２と撮像素子４３とを含む。カメラ４１ａにおいて、レンズ４２の光軸中心ＬＡａ上に撮像素子４３が配置されている。カメラ４１ｂにおいて、レンズ４２の光軸中心ＬＡｂ上に撮像素子４３が配置されている。光軸中心ＬＡａ及びＬＡｂは互いに平行であるが、平行でなくてもよい。光軸中心ＬＡａ及びＬＡｂは、カメラ４１の光軸の一例である。

撮像素子４３は、レンズ４２を通って入射する光を受光し、受光した光から像を形成する。撮像素子４３の例は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ及びＣＣＤ（Charge Coupled Device）イメージセンサ等である。撮像素子４３は、格子状に平面的に配列された複数の受光素子を含む。各受光素子は、受光した光の強度を示す画素値を制御装置１００に出力する。画素値の例は、輝度値である。図３では、２つの撮像素子４３が配置されているが、一体化されていてもよい。つまり、２つの撮像素子４３の領域にわたる１つの撮像素子が配置されてもよい。

カメラ座標系がカメラ４１に設定されている。カメラ座標系は、カメラ４１ａ及び４１ｂを基準とするローカル座標系であり、カメラ４１ａ及び４１ｂのレンズ４２の中心の中点である原点Оと、互いに直交するＸ軸、Ｙ軸及びＺ軸とによって定義される。Ｚ軸は、光軸中心ＬＡａ及びＬＡｂと平行である。Ｘ軸は、光軸中心ＬＡａ及びＬＡｂを含む平面と平行である。Ｙ軸は、光軸中心ＬＡａ及びＬＡｂを含む平面と垂直である。撮像素子４３における受光する表面である受光面は、ＸＹ平面と平行である。カメラ４１ａ及び４１ｂによって撮像された画像は、ＸＹ平面と平行な面へ被写体を投影した画像である。

＜ロボットシステムのハードウェア構成＞
ロボットシステム１のハードウェア構成を説明する。図４は、実施の形態に係るロボットシステム１のハードウェア構成の一例を示すブロック図である。図４に示すように、ロボットシステム１は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、メモリ１０４と、入力Ｉ／Ｆ（インタフェース：Interface）２１と、撮像素子Ｉ／Ｆ４４と、ビデオカード３１と、モータ駆動回路５２と、負圧駆動回路６２と、入力装置２０と、カメラ４１ａ及び４１ｂと、出力装置３０と、サーボモータ５１と、負圧発生装置１７とを構成要素として含む。上記構成要素はそれぞれ、バス、有線通信又は無線通信を介して接続されている。なお、上記構成要素の全てが必須ではない。

これに限定されないが、本実施の形態では、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、メモリ１０４、入力Ｉ／Ｆ２１、撮像素子Ｉ／Ｆ４４及びビデオカード３１は、制御装置１００を構成する。ＣＰＵ１０１はプロセッサであり、ロボットシステム１の処理及び動作の全体を制御する。ＲＯＭ１０２は不揮発性半導体メモリ等で構成され、ＣＰＵ１０１に処理及び動作を制御させるためのプログラム及びデータ等を格納する。ＲＡＭ１０３は揮発性半導体メモリ等構成され、ＣＰＵ１０１で実行するプログラム及び処理途中又は処理済みのデータ等を一時的に格納する。メモリ１０４は、揮発性メモリ及び不揮発性メモリなどの半導体メモリ、ハードディスク（ＨＤＤ：Hard Disc Drive）及びＳＳＤ（Solid State Drive）等の記憶装置で構成される。

ＣＰＵ１０１が動作するためのプログラムは、ＲＯＭ１０２又はメモリ１０４に予め保持されている。ＣＰＵ１０１は、ＲＯＭ１０２又はメモリ１０４からプログラムをＲＡＭ１０３に読み出して展開する。ＣＰＵ１０１は、ＲＡＭ１０３に展開されたプログラム中のコード化された各命令を実行する。

入力Ｉ／Ｆ２１は、入力装置２０と接続され、入力装置２０からの情報及び指令等の入力を受け付ける。入力Ｉ／Ｆ２１は、入力信号を変換する回路等を含んでもよい。

撮像素子Ｉ／Ｆ４４は、プログラムの実行に対応して、カメラ４１ａ及び４１ｂの撮像素子４３の駆動を制御し、カメラ４１ａ及び４１ｂによって撮像された画像をＲＡＭ１０３又はメモリ１０４に取り込む。撮像素子Ｉ／Ｆ４４は、撮像素子４３の駆動のための回路等を含んでもよい。

ビデオカード３１は、プログラムの実行に対応して、カメラ４１ａ及び４１ｂによって撮像された画像、及び／又は、当該画像から生成された画像を処理して、出力装置３０に出力し表示させる。

モータ駆動回路５２は、ＣＰＵ１０１の指令に従って、電源装置１６の電力を各サーボモータ５１に供給し当該サーボモータ５１の駆動を制御する。サーボモータ５１は、ロボットアーム１２のアーム駆動装置Ｍ１〜Ｍ６及び搬送車１４の搬送駆動装置１４ｂのサーボモータである。モータ駆動回路５２は全てのサーボモータ５１の駆動を制御する。

なお、各サーボモータ５１は、電気モータと、電気モータの回転子の回転角を検出するエンコーダとを備えている。各サーボモータ５１は、ＣＰＵ１０１から出力される指令等に従って、電気モータを動作させ、エンコーダの検出値及び電気モータの電流値をＣＰＵ１０１に出力する。ＣＰＵ１０１は、各サーボモータ５１からフィードバックされたエンコーダの検出値及び電流値に基づき、当該サーボモータ５１の回転子の回転量、回転速度及び回転トルク等を検出し、検出結果を用いて当該サーボモータ５１の回転開始、回転停止、回転速度及び回転トルクを制御する。これにより、ＣＰＵ１０１は、各サーボモータ５１を任意の回転位置で停止させることができ、任意の回転速度で回転させることができ、任意の回転トルクで動作させることができる。よって、ＣＰＵ１０１は、ロボットアーム１２及び搬送車１４を多様に且つ緻密に動作させることができる。

負圧駆動回路６２は、ＣＰＵ１０１の指令に従って、電源装置１６の電力を負圧発生装置１７に供給し負圧発生装置１７の駆動を制御する。

上述のような制御装置１００の各機能は、ＣＰＵ１０１、ＲＯＭ１０２及びＲＡＭ１０３等からなるコンピュータシステムによって実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路によって実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。プログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信、その他の無線ネットワーク、有線ネットワーク、又は放送等で提供されるものであってもよい。

例えば、制御装置１００の各機能は、ＬＳＩ（Large Scale Integration：大規模集積回路）、システムＬＳＩ等の回路によって実現されてもよい。複数の構成要素の機能は、個別に１チップ化されてもよく、一部又は全てを含むように１チップ化されてもよい。また、回路は、それぞれ、汎用的な回路でもよく、専用の回路でもよい。ＬＳＩとして、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブルプロセッサ、又は、特定用途向けに複数の機能の回路が１つにまとめられたＡＳＩＣ（Application Specific Integrated Circuit）等が利用されてもよい。

＜制御装置の機能的構成＞
制御装置１００の機能的構成を説明する。図５は、実施の形態に係る制御装置１００の機能的構成の一例を示すブロック図である。図５に示すように、制御装置１００は、入力処理部２０１と、出力処理部３０１と、撮像制御部４０１と、画像処理部１１１と、アーム制御部１１２と、ハンド制御部１１３と、搬送制御部１１４と、記憶部１１５とを機能的構成要素として含む。なお、上記機能的構成要素の全てが必須ではない。制御装置１００は、画像処理装置の一例である。

記憶部１１５を除く機能的構成要素の機能は、ＣＰＵ１０１等によって実現される。記憶部１１５の機能は、メモリ１０４、ＲＯＭ１０２及びＲＡＭ１０３等によって実現される。撮像制御部４０１、画像処理部１１１、並びに、カメラ４１ａ及び４１ｂは、撮像装置４０を構成する。

記憶部１１５は、種々の情報を格納し、格納している情報の読み出しを可能にする。記憶部１１５は、カメラ４１ａ及び４１ｂのカメラパラメタ、並びに、ロボット１０が移動し得る対象の物品の形状及びサイズ等を格納する。また、記憶部１１５は、カメラ４１ａ及び４１ｂによって撮像された画像の中で画像処理部１１１が処理する領域の情報を格納する。記憶部１１５は、プログラムを格納してもよい。

カメラパラメタは、外部パラメータと内部パラメータとを含む。外部パラメータの例は、カメラ４１ａ及び４１ｂの位置及び向き等を示すパラメータである。内部パラメータの例は、カメラ４１ａ及び４１ｂのレンズの歪み、焦点距離、撮像素子４３の１画素のサイズ及び光軸中心の画素座標等を示すパラメータである。画素座標は、画素を単位とする座標であり、画像上での２次元座標である。

物品の形状は、物品の３次元形状及び／又は２次元形状である。物品の形状は、物品の３次元形状及び／又は２次元形状を表す情報として記憶部１１５に格納されてもよい。物品の３次元形状及び２次元形状はそれぞれ、物品の３次元モデル及び２次元モデルとして記憶部１１５に格納されてもよい。例えば、物品の２次元形状は、様々な方向から物品を投影したときの投影面上での物品の輪郭形状であってもよい。

物品のサイズは、実際の物品のサイズ、つまり実物のサイズを示す。物品のサイズは、物品の３次元形状及び２次元形状の各部の寸法を示してもよく、３次元形状及び２次元形状の特徴部分の寸法を示してもよい。例えば、特徴部分の寸法は、物品の外形の幅、高さ及び奥行き等の外形の代表的な寸法、並びに、物品の辺の寸法及び断面寸法等の物品の代表的な一部の寸法等であってもよい。

入力処理部２０１は、入力装置２０から取得される指令及び情報を、制御装置１００の各機能的構成要素に出力する。

出力処理部３０１は、カメラ４１ａ及び４１ｂによって撮像された画像、及び、画像処理部１１１によって処理された画像、並びに、制御装置１００の各機能的構成要素の動作結果及び検出結果等の出力情報を、出力装置３０に出力する。出力処理部３０１は、ロボット１０の操作用の画面を出力装置３０に出力する。

撮像制御部４０１は、カメラ４１ａ及び４１ｂの動作を制御する。撮像制御部４０１は、入力装置２０に入力される撮像実行の指令に従って、カメラ４１ａ及び４１ｂに撮像させてもよい。撮像制御部４０１は、カメラ４１ａ及び４１ｂに互いに同期させて撮像させる。撮像制御部４０１は、カメラ４１ａ及び４１ｂによって同時刻に撮像された画像を対応付けて記憶部１１５等に出力する。

画像処理部１１１は、カメラ４１ａ及び４１ｂによって撮像された画像を用いて、当該画像に写し出される物品を特定し、当該物品の３次元の位置及び姿勢を検出する。画像処理部１１１は、物品の３次元の位置及び姿勢の情報を、アーム制御部１１２、ハンド制御部１１３及び搬送制御部１１４に出力する。画像処理部１１１は、当該情報を記憶部１１５に出力し格納してもよい。画像処理部１１１の詳細は後述する。

アーム制御部１１２は、入力処理部２０１から受け取る指令等に従って、画像処理部１１１から受け取る情報を用いて、アーム駆動装置Ｍ１〜Ｍ６の動作を制御することで、ロボットアーム１２に対応する動作をさせる。アーム制御部１１２は、アーム駆動装置Ｍ１〜Ｍ６のサーボモータ５１の回転量等の動作量に基づき、ロボットアーム１２の各リンク１２ａ〜１２ｆ及びロボットハンド１３の位置、姿勢、移動方向及び移動速度等を含む位置姿勢情報を検出する。アーム制御部１１２は、位置姿勢情報に基づき、アーム駆動装置Ｍ１〜Ｍ６の動作を制御する。また、アーム制御部１１２は、位置姿勢情報をハンド制御部１１３及び搬送制御部１１４に出力する。

ハンド制御部１１３は、入力処理部２０１から受け取る指令等に従って、負圧発生装置１７の動作を制御する。例えば、ハンド制御部１１３は、画像処理部１１１から受け取る情報と、アーム制御部１１２から受け取るロボットハンド１３の位置姿勢情報とに基づき、吸着部１３ｂと物品との接触又は接近を検出し、当該検出後、負圧発生装置１７を起動させることで吸着部１３ｂに物品を吸着させる。

搬送制御部１１４は、入力処理部２０１から受け取る指令等に従って、搬送駆動装置１４ｂの動作を制御することで、搬送車１４に対応する動作をさせる。例えば、搬送制御部１１４は、画像処理部１１１から受け取る情報と、アーム制御部１１２から受け取るロボットアーム１２及びロボットハンド１３の位置姿勢情報とを用いて、移動対象の物品がロボットアーム１２のリーチ範囲内であるか否かを検出してもよい。リーチ範囲外である場合、搬送制御部１１４は、搬送車１４を当該物品に接近させるように動作させてもよい。

なお、搬送制御部１１４は、搬送駆動装置１４ｂのサーボモータ５１の回転量等の動作量に基づき、搬送車１４の位置及び向きを検出し、当該位置及び向き等に基づき搬送駆動装置１４ｂを制御してもよい。また、搬送車１４は、ＧＰＳ（Global Positioning System）受信機及びＩＭＵ（慣性計測装置：Inertial Measurement Unit）等の位置計測装置を備え、位置計測装置の計測結果を用いて搬送車１４の位置及び向きを検出してもよい。また、搬送制御部１１４は、例えば、床面に埋設された電線から微弱な誘導電流を検出し、この検出値に基づき搬送車１４の位置及び向きを検出してもよい。

＜画像処理部の機能的構成＞
画像処理部１１１の機能的構成を説明する。図６は、実施の形態に係る画像処理部１１１の機能的構成の一例を示すブロック図である。図６に示すように、画像処理部１１１は、抽出部１１１ａと、距離検出部１１１ｂと、平面推定部１１１ｃと、角度検出部１１１ｄと、輪郭推定部１１１ｅと、エッジ抽出部１１１ｆと、特定部１１１ｇと、被写体検出部１１１ｈとを機能的構成要素として含む。

図７は、カメラ４１ａ及び４１ｂが撮像した画像の一例を示す図である。図６及び図７に示すように、抽出部１１１ａは、カメラ４１ａ及び４１ｂそれぞれによって撮像された画像（以下、「第一画像」とも呼ぶ）ＩＡａ及びＩＡｂそれぞれから、一部の領域である対象領域ＴＡの画像（以下、「第二画像」とも呼ぶ）ＩＢａ及びＩＢｂを抽出し、距離検出部１１１ｂに出力する。第一画像ＩＡａ及びＩＡｂは同時刻に撮像された画像である。第一画像ＩＡａ及びＩＡｂにおける対象領域ＴＡの位置、形状及びサイズは、同一であり、予め設定されている。対象領域ＴＡの位置、形状及びサイズの情報は、記憶部１１５に格納されている。対象領域ＴＡの位置、形状及びサイズは、例えば、画素座標を用いて設定されてもよい。

対象領域ＴＡは、第一画像ＩＡａ及びＩＡｂよりも小さいサイズの矩形形状を有し、第一画像ＩＡａ及びＩＡｂの中心に配置されている。なお、対象領域ＴＡのサイズ、形状及び位置は特に限定されず、対象領域ＴＡが、第一画像ＩＡａ及びＩＡｂよりも小さく、第一画像ＩＡａ及びＩＡｂ内に収まるように配置されればよい。対象領域ＴＡは、後述するように平面推定部１１１ｃが第二画像ＩＢａ及びＩＢｂ内で物品の平面領域を推定できるような形状及びサイズであることが好ましい。例えば、対象領域ＴＡは、第一画像に写し出される１つの物品の外形よりも小さくてもよい。対象領域ＴＡのサイズが小さくなる程、距離検出部１１１ｂ及び平面推定部１１１ｃの処理量の低減が可能である。

また、対象領域ＴＡの位置、形状及びサイズは、変更可能であってもよい。例えば、当該変更は、入力装置２０を介して行われてもよい。入力装置２０に、変更後の対象領域ＴＡの位置、形状及びサイズの情報が入力されると、抽出部１１１ａは、変更後の対象領域ＴＡの位置、形状及びサイズで、記憶部１１５に格納される対象領域ＴＡの位置、形状及びサイズを置き換える、つまり更新する。このように、対象領域ＴＡの位置、形状及びサイズは、任意に設定可能であってよい。

距離検出部１１１ｂは、第二画像ＩＢａ及びＩＢｂを処理することで、対象領域ＴＡ内に写し出される被写体からカメラ４１までの実際の距離を検出し、平面推定部１１１ｃに出力する。カメラ４１における距離の基準点の位置は、任意の位置であってもよい。例えば、上記基準点は、カメラ４１ａに設定された基準点、カメラ４１ｂに設定された基準点、又は、カメラ４１ａ及び４１ｂの中間点О（図３参照）等であってもよい。本実施の形態では、距離検出部１１１ｂは、第二画像ＩＢａ及びＩＢｂの全ての画素のペアについて、当該画素のペアに写し出される被写体とカメラ４１との実際の距離である３次元距離（以下、単に「距離」とも呼ぶ）を算出する。第二画像ＩＢａ及びＩＢｂの画素のペアは、同じ被写体を写し出す対応する画素のペアである。なお、距離検出部１１１ｂは、第二画像ＩＢａ及びＩＢｂにおいて、画素位置が異なる少なくとも３つの画素のペアについて、上記距離を算出してもよい。

例えば、距離検出部１１１ｂは、第二画像ＩＢａ及びＩＢｂを用いたステレオ視により、少なくとも３つの画素のペアそれぞれが写し出す被写体からカメラ４１までの距離を検出する。このとき、距離検出部１１１ｂは、第二画像ＩＢａ及びＩＢｂと、記憶部１１５に格納されるカメラ４１ａ及び４１ｂのカメラパラメタとを用いる。具体的には、距離検出部１１１ｂは、第二画像ＩＢａ上の各画素について、当該画素の画素座標と、当該画素に写し出されている被写体と同じ被写体が表されている第二画像ＩＢｂ上の対応点の画素座標とを検出する。検出手法は、既知のいかなる手法であってもよい。

距離検出部１１１ｂは、第二画像ＩＢａ及びＩＢｂの間で、画素に写し出される被写体とカメラ４１との距離に応じて生じる視差を算出する。「視差」とは、異なる位置にあるカメラ４１ａ及び４１ｂから同一の対象点を視た場合の当該対象点の方向又は位置の差である。視差は、第二画像ＩＢａ及びＩＢｂの間における同一の点を写し出す画素の位置のずれに対応する。つまり、画素のペアの画素座標の画素位置の差異が視差である。距離検出部１１１ｂは、画素のペアの２つの画素座標に基づく視差とカメラパラメタとを用いたステレオ視により、当該画素のペアに写し出されている被写体とカメラ４１との距離を算出する。距離検出部１１１ｂは、第二画像ＩＢａ上の全ての画素について上記処理を行う。これにより、距離検出部１１１ｂは、各画素の位置での距離値を算出する。距離検出部１１１ｂは、各画素の位置での距離値を当該画素の画素値とする距離画像を生成してもよい。

さらに、距離検出部１１１ｂは、第二画像ＩＢａ及びＩＢｂの少なくとも一方の各画素における距離値と、カメラ４１ａ及び４１ｂから当該画素に向かう視線の方向とを用いて、当該画素に写し出される被写体の実際の３次元位置を算出し、平面推定部１１１ｃに出力してもよい。以下において、「画素に写し出される被写体の３次元位置」を、「画素に対応する３次元位置」と表現する場合もある。３次元位置は、地球上での位置を示す世界座標系又はカメラ座標系での３次元座標等で示されてもよい。

平面推定部１１１ｃは、第二画像ＩＢａ及びＩＢｂの少なくとも一方における少なくとも３つの部位での距離を用いて対象領域ＴＡ内に写し出される平面を推定する。本実施の形態では、１つの部位が１つの画素であるとして説明するが、これに限定されない。例えば、１つの部位は、１つの点、１つの画素、及び、複数の画素からなる１つの画素群等であってもよい。平面推定部１１１ｃは、第二画像ＩＢａ又はＩＢｂにおける少なくとも３つの画素に対応する３次元位置を距離検出部１１１ｂから取得する、又は、自身で算出する。平面推定部１１１ｃは、少なくとも３つの画素に対応する３次元位置を用いて上記平面を推定する。平面推定部１１１ｃは、少なくとも３つの画素に対応する３次元位置又はその近傍を通る平面を、推定対象の平面として算出してもよい。平面推定部１１１ｃは、算出した平面である推定平面を示す情報を角度検出部１１１ｄに出力する。当該情報は、３次元空間内で推定平面を表す情報である。推定平面は、世界座標系又はカメラ座標系等での座標で示されてもよい。

又は、平面推定部１１１ｃは、第二画像ＩＢａ又はＩＢｂの複数の画素における距離値を平均化することでノイズ成分を除去し平滑化してもよい。平均化の手法は、既知のいかなる手法であってよい。平面推定部１１１ｃは、第二画像ＩＢａ又はＩＢｂの全画素について平均化してもよく、一部の画素について平均化してもよい。後者の場合、平面推定部１１１ｃは、第二画像ＩＢａ又はＩＢｂから、隣り合う画素間での距離値の差異が第一閾値以内である画素を抽出し、抽出した画素の画素群について平均化してもよい。第一閾値は、推定する平面の平滑度及び粗度等に応じて任意に設定され、記憶部１１５に格納されていてもよい。複数の画素群が抽出された場合、平面推定部１１１ｃは、画素群間の距離が第二閾値以内である画素群を抽出し、抽出した画素群を１つの平面を表す画素群であるとみなしてもよい。第二閾値は、物品の形状等に応じて任意に設定され、記憶部１１５に格納されていてもよい。

平面推定部１１１ｃは、平均化後の各画素の距離値と、カメラ４１ａ又は４１ｂから当該画素に向かう視線の方向とを用いて、当該画素に対応する３次元位置を算出する。そして、平面推定部１１１ｃは、各画素に対応する３次元位置又はその近傍を通る平面を、推定対象の平面として算出する。

角度検出部１１１ｄは、カメラ４１ａ及び４１ｂの光軸中心ＬＡａ及びＬＡｂに対する推定平面の角度を検出し、輪郭推定部１１１ｅに出力する。例えば、角度検出部１１１ｄは、推定平面を表す座標又は関数等と光軸中心ＬＡａ及びＬＡｂを表す座標又は関数等とを用いて、上記角度を算出する。例えば、図８に示すように、角度検出部１１１ｄは、カメラ座標系を用いて上記角度を算出してもよい。図８は、カメラ座標系における推定平面の一例を示す図である。

推定平面の角度は、推定平面ＰＥとＺ軸との角度である。本実施の形態では、角度検出部１１１ｄは、推定平面ＰＥとＹＺ平面との交線ＬａがＺ軸と交差する角度θａを算出する。角度θａは、Ｙ軸正方向での角度を示す場合に正の値をとり、Ｙ軸負方向での角度を示す場合に負の値をとる。図８では、角度θａは正の値である。さらに、角度検出部１１１ｄは、推定平面ＰＥとＸＺ平面との交線ＬｂがＺ軸と交差する角度θｂを算出する。角度θｂは、Ｘ軸正方向での角度を示す場合に正の値をとり、Ｘ軸負方向での角度を示す場合に負の値をとる。図８では、角度θｂは正の値である。角度検出部１１１ｄは、角度θａ及びθｂを、推定平面の角度として算出する。これにより、Ｚ軸に対する推定平面の傾斜方向及び傾斜角度の特定が可能である。

輪郭推定部１１１ｅは、記憶部１１５に記憶される物品Ａの形状と、推定平面の角度とを用いて、第一画像ＩＡａ及びＩＡｂに写し出される物品Ａの輪郭を推定する。輪郭推定部１１１ｅは、推定した輪郭の情報を特定部１１１ｇに出力する。具体的には、輪郭推定部１１１ｅは、推定平面とＺ軸との角度を、光軸中心ＬＡａ及びＬＡｂに対する物品Ａの姿勢を示す角度とみなす。このとき、輪郭推定部１１１ｅは、物品Ａの形状から物品Ａの外表面上の平面を抽出する。さらに、輪郭推定部１１１ｅは、抽出平面と光軸中心ＬＡａ及びＬＡｂとの角度、つまり抽出平面とＺ軸との角度が推定平面とＺ軸との角度と一致する場合の物品Ａの姿勢を算出し、当該姿勢を物品Ａの姿勢とみなす。

さらに、輪郭推定部１１１ｅは、物品Ａの形状に基づき、当該姿勢にある物品ＡをＸＹ平面に投影した像の輪郭の形状（以下、「輪郭形状」とも呼ぶ）を算出する。当該輪郭形状は、第一画像ＩＡａ及びＩＡｂに写し出される物品Ａの輪郭形状に対応する。当該輪郭形状は、抽出平面に対して垂直な方向で見た場合の物品Ａの輪郭形状に対して変形している場合があり、物品Ａの見かけの輪郭形状を表す。このように、輪郭推定部１１１ｅは、物品Ａの形状を推定平面の角度に対応して変形させた形状を、第一画像ＩＡａ及びＩＡｂに写し出される物品Ａの輪郭形状として推定する。なお、輪郭推定部１１１ｅは、物品Ａの形状として、物品Ａの３次元モデルを用いてもよい。これにより、物品Ａの輪郭形状の算出精度が向上し得る。また、複数の抽出平面が存在する等により、物品Ａの複数の姿勢が算出された場合、輪郭推定部１１１ｅは、各姿勢での物品Ａの輪郭形状を算出する。

図７に示すように、本実施の形態では、物品Ａは直方体形状の段ボールケースであり、同形状の複数の物品Ａが上下左右に積み上げられている。このため、推定平面の角度θａ及びθｂのうち、角度θａは略９０°であり、角度θｂは０°超９０°以下である。そして、図９に示すように、輪郭推定部１１１ｅによって推定される物品Ａの輪郭ＣＡの形状は、台形状又は矩形状である。図９は、画像処理部１１１の輪郭推定部１１１ｅによって推定される物品Ａの輪郭ＣＡの形状の一例を示す図である。

エッジ抽出部１１１ｆは、第一画像ＩＡａ及びＩＡｂの少なくとも一方において、エッジを抽出する。エッジ抽出部１１１ｆは、抽出されたエッジのみを含むエッジ画像を生成し、特定部１１１ｇに出力する。エッジ画像は、エッジのみを写し出す第一画像ＩＡａ又はＩＡｂに対応する画像である。

特定部１１１ｇは、輪郭推定部１１１ｅによって推定された物品Ａの輪郭形状を用いて、第一画像ＩＡａ及びＩＡｂの少なくとも一方において当該物品Ａを特定する。具体的には、特定部１１１ｇは、第一画像ＩＡａ又はＩＡｂのエッジ画像上において、当該エッジ画像に含まれるエッジの形状と、物品Ａの輪郭形状とを比較しパターンマッチングすることで、当該物品Ａを示すエッジを特定する。さらに、特定部１１１ｇは、特定されたエッジのエッジ画像での位置に基づき、第一画像ＩＡａ又はＩＡｂ上で物品Ａの位置を特定してもよい。複数の物品Ａの輪郭形状が推定された場合、特定部１１１ｇは、複数の物品Ａの輪郭形状とエッジの形状とをパターンマッチングする。また、第一画像ＩＡａ及びＩＡｂに物品Ａの全体が写し出されない場合、特定部１１１ｇは、物品Ａの輪郭形状の一部とエッジの形状との部分的なパターンマッチングにより、当該物品Ａを示すエッジを特定してもよい。上記のようなパターンマッチングは、幾何学形状パターンマッチングであり、既知のいかなる手法が用いられてもよい。

図９の例では、画像に写し出される物品Ａの輪郭ＣＡのエッジは、当該画像に対して左上又は右上に向いて突出する角部を含むことを特徴とする。よって、特定部１１１ｇは、左上又は右上に向いて突出する角部を示すエッジを探索し、角部を基準としてパターンマッチングを行う。これにより、特定部１１１ｇの処理量の低減が可能になる。

被写体検出部１１１ｈは、特定部１１１ｇによって特定された第一画像ＩＡａ又はＩＡｂ上での物品Ａの画像と、推定平面との角度とを用いて、物品Ａの３次元の位置及び姿勢を検出する。具体的には、被写体検出部１１１ｈは、第一画像ＩＡａ又はＩＡｂ上で物品Ａを表す画素に対応する距離値又は３次元位置を取得する。このとき、被写体検出部１１１ｈは、第二画像ＩＢａ又はＩＢｂの画素の距離値又は３次元位置を用いる。被写体検出部１１１ｈは、取得した距離値又は３次元位置を用いて、物品Ａの３次元の位置を検出する。さらに、被写体検出部１１１ｈは、推定平面の角度と物品Ａの形状とを用いて、物品Ａの３次元の姿勢を検出する。被写体検出部１１１ｈは、検出結果をアーム制御部１１２、ハンド制御部１１３及び搬送制御部１１４に出力する。

＜ロボットシステムの動作＞
実施の形態に係るロボットシステム１の動作を説明する。図１０は、実施の形態に係るロボットシステム１の動作の一例を示すフローチャートである。図１０に示すように、ロボットシステム１の制御装置１００の撮像制御部４０１は、ロボット１０の移動対象の物品Ａ（以下、「物品Ａ１」とも呼ぶ）の画像である第一画像ＩＡａ及びＩＡｂをカメラ４１ａ及び４１ｂに撮像させ取得させる（ステップＳ１０１）。例えば、物品Ａ１が、ロボット１０の動作に伴って移動するカメラ４１ａ及び４１ｂの視野内に入ったタイミングで、撮像制御部４０１が撮像を実行する。この場合、出力装置３０に表示されるカメラ４１ａ及び／又は４１ｂの画像を視認するオペレータ等が上記タイミングを判定し、入力装置２０に撮像実行の指令を入力してもよい。又は、ロボットハンド１３に図示しない距離センサが設けられ、当該距離センサが検出する距離値が物品Ａ１へのロボットハンド１３の接近を示すと、撮像制御部４０１が撮像を実行してもよい。

なお、ステップＳ１０１の前又はステップＳ１０１において、オペレータ等は、物品Ａ１の情報を、入力装置２０を介して入力してもよい。物品Ａ１の情報は、物品Ａ１の形状を示す情報を少なくとも含む。例えば、オペレータ等は、上記情報として、物品Ａ１の形状に付けられた名称又は記号等を入力してもよく、出力装置３０に物品の形状のリストを表示させ、当該リストから物品Ａ１の形状を選択してもよい。当該リストは、制御装置１００の記憶部１１５に予め格納されていてもよい。

次いで、制御装置１００の画像処理部１１１は、第一画像ＩＡａ及びＩＡｂそれぞれにおいて対象領域ＴＡを特定し、対象領域ＴＡに含まれる第二画像ＩＢａ及びＩＢｂを抽出する（ステップＳ１０２）。

次いで、画像処理部１１１は、カメラ４１から第二画像ＩＢａ及びＩＢｂに写し出される被写体までの実際の距離を検出する（ステップＳ１０３）。本例では、画像処理部１１１は、第二画像ＩＢａ及びＩＢｂ間で互いに対応する全ての画素のペアについて上記距離を検出するが、少なくとも３つの画素のペアについて上記距離を検出してもよい。さらに、画像処理部１１１は、第二画像ＩＢａ又はＩＢｂを用いた距離画像を生成してもよい。

次いで、画像処理部１１１は、第二画像ＩＢａ及びＩＢｂに写し出される平面を推定する（ステップＳ１０４）。本例では、画像処理部１１１は、第二画像ＩＢａ又はＩＢｂの複数の画素の距離値を平均化し、平均化後の各画素の距離値に基づき、平面を写し出す画素群を推定する。

次いで、画像処理部１１１は、カメラ４１の光軸に対する推定平面の角度を検出する（ステップＳ１０５）。具体的には、画像処理部１１１は、推定平面を写し出す各画素の距離値と、カメラ４１ａ又は４１ｂから当該画素に向かう視線の方向とを用いて、当該画素に対応する３次元位置、つまり、推定平面の３次元位置を算出する。さらに、画像処理部１１１は、推定平面の３次元位置に基づき、光軸中心ＬＡａ及びＬＡｂに対する推定平面の角度を検出する。

次いで、画像処理部１１１は、推定平面の角度と、記憶部１１５に記憶される物品Ａ１の形状とを用いて、第一画像ＩＡａ及びＩＡｂに写し出される物品Ａ１の輪郭を推定する（ステップＳ１０６）。具体的には、画像処理部１１１は、物品Ａ１上の平面の光軸中心ＬＡａ及びＬＡｂに対する角度と推定平面の角度と一致させた場合の物品Ａ１の姿勢を算出し、当該姿勢の物品Ａ１を第一画像ＩＡａ及びＩＡｂに投影した像の輪郭の形状を推定する。

次いで、画像処理部１１１は、第一画像ＩＡａ又はＩＡｂ上でエッジを抽出し、抽出されたエッジのみを含むエッジ画像を生成する（ステップＳ１０７）。さらに、画像処理部１１１は、エッジ画像と物品Ａ１の輪郭形状とを用いて、第一画像ＩＡａ又はＩＡｂ上で物品Ａ１を特定する（ステップＳ１０８）。具体的には、画像処理部１１１は、エッジ画像上において物品Ａ１の輪郭形状を示すエッジを特定し、エッジ画像上での当該エッジの位置に基づき、第一画像ＩＡａ又はＩＡｂ上で物品Ａ１を特定する。

次いで、画像処理部１１１は、第一画像ＩＡａ又はＩＡｂ上での物品Ａ１の画像と、推定平面の角度とを用いて、物品Ａ１の３次元の位置及び姿勢を検出する（ステップＳ１０９）。具体的には、画像処理部１１１は、第二画像ＩＢａ又はＩＢｂに含まれ且つ物品Ａ１を写し出す画素に対応する距離値又は３次元位置を用いて、物品Ａ１の３次元位置を検出する。画像処理部１１１は、推定平面の角度と物品Ａ１の形状とを用いて、物品Ａ１の３次元の姿勢を検出する。

次いで、画像処理部１１１は、ステップＳ１０９での検出結果を、アーム制御部１１２、ハンド制御部１１３及び搬送制御部１１４等に出力する。アーム制御部１１２、ハンド制御部１１３及び搬送制御部１１４等は、上記検出結果に基づき、ロボットアーム１２、ロボットハンド１３及び搬送車１４の動作を制御することで、ロボットハンド１３で物品Ａ１を吸着し移動させる（ステップＳ１１０）。

ステップＳ１０１〜Ｓ１１０によって、制御装置１００は、カメラ４１ａ及び４１ｂに撮像させた物品Ａ１の第一画像を用いて、第一画像に写し出される平面の光軸に対する角度、つまり姿勢を推定する。制御装置１００は、推定された平面の姿勢に基づき、第一画像に写し出される物品Ａ１の姿勢を推定し、当該姿勢に基づき、第一画像に写し出される物品Ａ１の輪郭形状を推定する。さらに、制御装置１００は、推定された物品Ａ１の輪郭形状を用いて、第一画像上で物品Ａ１を特定する。

＜効果等＞
実施の形態に係る画像処理装置としての制御装置１００は、被写体としての物品Ａの形状を記憶する記憶部１１５と、カメラ４１が物品Ａを撮像した第一画像から、一部の領域である対象領域の第二画像を抽出する抽出部１１１ａと、第二画像を処理することで、対象領域内に写し出される少なくとも３つの部位からカメラ４１までの距離を検出する距離検出部１１１ｂと、少なくとも３つの部位での距離を用いて対象領域内に写し出される平面を推定する平面推定部１１１ｃと、カメラ４１の光軸に対する推定平面の角度を検出する角度検出部１１１ｄと、記憶部１１５に記憶される物品Ａの形状と、推定平面の角度とを用いて、第一画像上に写し出される物品Ａの輪郭を推定する輪郭推定部１１１ｅと、物品Ａの輪郭を用いて、第一画像上で物品Ａを特定する特定部１１１ｇとを備える。

上記構成によると、対象領域内に写し出される推定平面の角度は、カメラ４１の光軸に対する物品Ａの姿勢を示し得る。このような推定平面の角度と物品Ａの形状とを用いることによって、第一画像上での物品Ａの輪郭を推定することが可能である。さらに、このような輪郭を用いることによって、第一画像上で物品Ａを精度よく特定することが可能になり、物品Ａを特定するための処理量の低減も可能になる。また、推定平面の推定に、第一画像の一部の領域の画像を用いるため、処理量の低減が可能である。よって、画像処理精度及び速度が向上する。

また、輪郭推定部１１１ｅは、記憶部１１５に記憶される物品Ａの形状を推定平面の角度に対応して変形させた形状を、第一画像上での物品Ａの輪郭として推定してもよい。上記構成によると、推定される物品Ａの輪郭は、第一画像上での物品Ａの見かけの輪郭を示す。例えば、光軸に対する推定平面の角度が９０°でない場合、当該推定平面は第一画像上では歪んで表示される。第一画像上での物品Ａの見かけの輪郭は、このような推定平面の歪みが反映された高い精度の輪郭を表すことができる。

また、輪郭推定部１１１ｅは、推定平面の角度を、カメラ４１の光軸に対する物品Ａの姿勢を示す角度として用いて、第一画像上での物品Ａの輪郭を推定してもよい。上記構成によると、第一画像上での物品Ａの輪郭を推定するための処理量の低減が可能になる。

また、制御装置１００は、画像からエッジを抽出するエッジ抽出部１１１ｆを備え、特定部１１１ｇは、エッジの形状と物品Ａの輪郭とを比較することで、物品Ａを特定してもよい。上記構成によると、物品Ａを特定するための処理量の低減が可能になる。

また、制御装置１００は、特定部１１１ｇによって特定された物品Ａの画像と推定平面の角度とを用いて、物品Ａの３次元の位置及び姿勢を検出する被写体検出部１１１ｈを備えてもよい。上記構成によると、３次元空間内での物品Ａの検出が可能になる。

また、実施の形態に係る撮像装置４０は、カメラ４１と、カメラ４１が撮像した画像を処理する制御装置１００とを備える。上記構成によると、実施の形態に係る制御装置１００と同様の効果が得られる。

なお、カメラ４１は、少なくとも２つのカメラ４１ａ及び４１ｂで構成され、抽出部１１１ａは、少なくとも２つのカメラ４１ａ及び４１ｂが撮像した第一画像から、少なくとも２つの第二画像を抽出し、距離検出部１１１ｂは、少なくとも２つの第二画像を用いたステレオ視により、対象領域内に写し出される少なくとも３つの部位からカメラ４１までの距離を検出してもよい。上記構成によると、上記少なくとも３つの部位までの距離の検出精度が向上する。

また、実施の形態に係るロボット１０は、撮像装置４０と、物品に対して処理動作を行うエンドエフェクタとしてのロボットハンド１３を有するロボットアーム１２と、特定部１１１ｇによって特定された物品Ａの画像に基づき、ロボットハンド１３及びロボットアーム１２の動作を制御する制御装置１００とを備える。上記構成によると、実施の形態に係る撮像装置４０と同様の効果が得られる。

また、撮像装置４０は、特定部１１１ｇによって特定された物品Ａの画像と推定平面の角度とを用いて、物品Ａの３次元の位置及び姿勢を検出し、制御装置１００は、物品Ａの３次元の位置及び姿勢に基づき、ロボットハンド１３及びロボットアーム１２の動作を制御してもよい。上記構成によると、ロボット１０は、物品Ａの画像を用いて検出された物品Ａの３次元の位置及び姿勢に基づき、ロボットハンド１３及びロボットアーム１２を用いて、物品Ａに対する動作を行うことができる。

また、実施の形態に係るロボットシステム１は、ロボット１０と、ロボット１０を操作するための操作装置としての入力装置２０とを備える。上記構成によると、実施の形態に係るロボット１０と同様の効果が得られる。

（変形例１）
実施の形態の変形例１を説明する。変形例１に係る制御装置１００の画像処理部１１１Ａは、サイズ推定部１１１ｉを含む点で実施の形態と異なる。以下、変形例１について、実施の形態と異なる点を中心に説明し、実施の形態と同様の点の説明を適宜省略する。

図１１は、変形例１に係る画像処理部１１１Ａの機能的構成の一例を示すブロック図である。図１１に示すように、画像処理部１１１Ａは、実施の形態に係る画像処理部１１１に対して、サイズ推定部１１１ｉをさらに機能的構成要素として含む。本変形例では、記憶部１１５は、ロボット１０が移動し得る対象の物品の形状及びサイズの情報を格納する。物品のサイズは、物品の実物のサイズである。

サイズ推定部１１１ｉは、記憶部１１５に格納された物品のサイズである第一サイズを用いて、第一画像ＩＡａ及びＩＡｂ上での物品Ａ１のサイズである第二サイズを推定する。具体的には、距離検出部１１１ｂは、第二画像ＩＢａ又はＩＢｂ上の少なくとも２つの画素に対応する３次元位置を検出する。サイズ推定部１１１ｉは、当該少なくとも２つの画素に対応する３次元位置と、第二画像ＩＢａ又はＩＢｂ上における当該少なくとも２つの画素の２次元位置とを比較することで、実像と当該画像上での像との間でのサイズの比率を算出する。サイズ推定部１１１ｉは、上記比率と物品Ａ１の第一サイズとを用いて、物品Ａ１の第二サイズを推定する。

また、特定部１１１ｇは、輪郭推定部１１１ｅによって推定された物品Ａ１の輪郭形状と、物品Ａ１の第二サイズとを用いて、第一画像ＩＡａ又はＩＡｂ上で物品Ａ１を特定する。具体的には、特定部１１１ｇは、第二サイズに対応するように物品Ａ１の輪郭形状のサイズを決定し、決定されたサイズ及びその近傍のサイズの輪郭形状を用いて、第一画像ＩＡａ又はＩＡｂのエッジ画像上において物品Ａ１を示すエッジを特定する。特定部１１１ｇは、エッジ画像上での当該エッジの位置に基づき、第一画像ＩＡａ又はＩＡｂ上で物品Ａ１の位置を特定する。

変形例１に係るロボットシステム１の動作を説明する。図１２は、変形例１に係るロボットシステム１の動作の一例を示すフローチャートである。図１２に示すように、ステップＳ２０１〜Ｓ２０６の処理はそれぞれ、実施の形態におけるステップＳ１０１〜Ｓ１０６と同様である。なお、ステップＳ２０１の前又はステップＳ２０１において、オペレータ等は、物品Ａ１の形状及びサイズを示す情報を少なくとも含む物品Ａ１の情報を、入力装置２０を介して入力してもよい。また、ステップＳ２０３において、制御装置１００の画像処理部１１１Ａは、第二画像ＩＢａ及びＩＢｂ間の互いに対応する全ての画素のペアについて、当該画素のペアに対応する３次元位置を検出する。

ステップＳ２０７において、画像処理部１１１Ａは、第二画像ＩＢａ及びＩＢｂの各画素に対応する３次元位置と、当該画像上での各画素の２次元位置と、物品Ａ１の第一サイズとを用いて、第一画像ＩＡａ及びＩＡｂ上での物品Ａ１の第二サイズを推定する。また、ステップＳ２０８、Ｓ２１０及びＳ２１１の処理はそれぞれ、実施の形態におけるステップＳ１０７、Ｓ１０９及びＳ１１０と同様である。

ステップＳ２０９において、画像処理部１１１Ａは、物品Ａ１の輪郭形状及び第二サイズを用いて、第一画像ＩＡａ又はＩＡｂ上で物品Ａ１を特定する。

上述のような変形例１によれば、実施の形態と同様の効果が得られる。さらに、変形例１に係る画像処理部１１１Ａは、カメラ４１が撮像した画像上における物品Ａのサイズである第二サイズを推定するサイズ推定部１１１ｉを備え、記憶部１１５は、物品Ａの実際のサイズである第一サイズを記憶し、距離検出部１１１ｂは、対象領域内に写し出される部位での距離を用いて、当該部位での３次元位置を検出してもよい。さらに、サイズ推定部１１１ｉは、当該部位での３次元位置と、カメラ４１が撮像した画像上における当該部位の２次元位置と、第一サイズとを用いて、第二サイズを推定し、特定部１１１ｇは、物品Ａの輪郭及び第二サイズを用いて、物品Ａを特定してもよい。上記構成によると、物品Ａは、物品Ａの輪郭と画像上での物品Ａのサイズとを用いて画像上で特定される。よって、物品Ａの特定精度が向上する。さらに、物品Ａを特定するための処理量の低減も可能になる。

（変形例２）
実施の形態の変形例２を説明する。変形例２に係る制御装置１００の画像処理部１１１Ｂは、方向決定部１１１ｊを含む点で実施の形態と異なる。以下、変形例２について、実施の形態及び変形例１と異なる点を中心に説明し、実施の形態及び変形例１と同様の点の説明を適宜省略する。

図１３は、変形例２に係る画像処理部１１１Ｂの機能的構成の一例を示すブロック図である。図１３に示すように、画像処理部１１１Ｂは、実施の形態に係る画像処理部１１１に対して、方向決定部１１１ｊをさらに機能的構成要素として含む。

方向決定部１１１ｊは、平面推定部１１１ｃによって推定された推定平面と垂直な方向である第一方向にカメラ４１の光軸方向を合わせるようにカメラ４１を方向付ける。具体的には、方向決定部１１１ｊは、推定平面と垂直な第一方向にカメラ４１ａ及び４１ｂの光軸中心ＬＡａ及びＬＡｂの方向を決定する。さらに、方向決定部１１１ｊは、光軸中心ＬＡａ及びＬＡｂの方向と第一方向とが一致するようにカメラ４１ａ及び４１ｂを方向付ける指令と、方向付け後にカメラ４１ａ及び４１ｂに撮像させる指令とを撮像制御部４０１に出力する。方向付け後、カメラ４１ａ及び４１ｂが物品Ａ１に向き、光軸中心ＬＡａ及びＬＡｂは推定平面に垂直である。

撮像制御部４０１は、アーム制御部１１２に指令を出力してロボットアーム１２を動作させることで、カメラ４１ａ及び４１ｂを所望の向きに方向付けてもよい。また、カメラ４１は、カメラ４１の向きを任意に変更することができる図示しないシンバルを介してロボットアーム１２に配置され、撮像制御部４０１がシンバルの動作を制御し、カメラ４１ａ及び４１ｂを所望の向きに方向付けてもよい。撮像制御部４０１は、方向付け後、カメラ４１ａ及び４１ｂに物品Ａ１の画像である第三画像を撮像させ、第三画像を輪郭推定部１１１ｅに出力する。撮像制御部４０１は、第三画像を記憶部１１５に格納してもよい。

輪郭推定部１１１ｅは、記憶部１１５に記憶される物品Ａ１の形状を用いて、第三画像に写し出される物品Ａ１の輪郭を推定する。輪郭推定部１１１ｅは、物品Ａ１上の平面と光軸中心ＬＡａ及びＬＡｂとが垂直である場合の物品Ａ１の姿勢を算出する。さらに、輪郭推定部１１１ｅは、物品Ａ１の形状に基づき、算出された姿勢にある物品Ａ１をカメラ座標系のＸＹ平面に投影した像の輪郭形状を算出する。物品Ａ１上の平面と光軸中心ＬＡａ及びＬＡｂとが垂直である場合に算出され得る輪郭形状の数量は、垂直でない場合よりも少なくなる。このため、特定部１１１ｇの処理量が低減され得る。

変形例２に係るロボットシステム１の動作を説明する。図１４は、変形例２に係るロボットシステム１の動作の一例を示すフローチャートである。図１４に示すように、ステップＳ３０１〜Ｓ３０５の処理はそれぞれ、実施の形態におけるステップＳ１０１〜Ｓ１０５と同様である。

ステップＳ３０６において、制御装置１００の画像処理部１１１Ｂは、ステップＳ３０５において推定された推定平面の角度に合わせてカメラ４１を方向付ける。具体的には、画像処理部１１１Ｂは、カメラ４１ａ及び４１ｂの光軸中心ＬＡａ及びＬＡｂの方向が推定平面に対して垂直となる方向にカメラ４１ａ及び４１ｂを方向付ける指令を撮像制御部４０１に出力する。本例では、撮像制御部４０１は、アーム制御部１１２に指令を出力してロボットアーム１２を動作させることで、カメラ４１ａ及び４１ｂを上記方向に方向付ける。次いで、撮像制御部４０１は、方向付け完了後のカメラ４１ａ及び４１ｂに物品Ａ１を撮像させ、物品Ａ１を含む第三画像を取得する（ステップＳ３０７）。

次いで、画像処理部１１１Ｂは、第三画像上での物品Ａ１の輪郭を推定する（ステップＳ３０８）。具体的には、画像処理部１１１Ｂは、物品Ａ１上の平面が光軸中心ＬＡａ及びＬＡｂと垂直である場合の物品Ａ１を第三画像に投影した像の輪郭形状を推定する。本例では、物品Ａ１の輪郭形状は矩形である。次いで、画像処理部１１１Ｂは、第三画像上でエッジを抽出することでエッジ画像を生成する（ステップＳ３０９）。さらに、画像処理部１１１Ｂは、エッジ画像と物品Ａ１の輪郭形状とを用いて、第三画像上で物品Ａ１を特定する（ステップＳ３１０）。

次いで、画像処理部１１１Ｂは、第三画像上での物品Ａ１の画像を用いて、物品Ａ１の３次元の位置及び姿勢を検出する（ステップＳ３１１）。具体的には、画像処理部１１１Ｂは、第二画像の場合と同様に、カメラ４１ａ及び４１ｂの２つの第三画像を用いたステレオ視により、物品Ａ１の３次元の位置及び姿勢を検出する。また、ステップＳ３１２の処理は、実施の形態におけるステップＳ１１０と同様である。

上述のような変形例２によれば、実施の形態と同様の効果が得られる。さらに、変形例２に係る画像処理部１１１Ｂは、平面推定部１１１ｃによって推定された推定平面と垂直な方向である第一方向にカメラ４１の光軸の方向を合わせるようにカメラ４１を方向付ける方向決定部１１１ｊを備え、輪郭推定部１１１ｅは、光軸が第一方向に方向付けられたカメラ４１が物品Ａを撮像した第三画像に写し出される物品Ａの輪郭を、記憶部１１５に記憶される物品Ａの形状を用いて推定してもよい。上記構成によると、カメラ４１は、光軸の方向が推定平面及び物品Ａ上の平面と垂直である第一方向となるように方向付けられる。このようなカメラ４１が撮像した第三画像上での物品Ａの輪郭は、物品Ａ上の当該平面を正面から見た場合の輪郭を示す。よって、物品Ａの輪郭の推定精度の向上及びその処理量の低減が可能になる。

（変形例３）
実施の形態の変形例３を説明する。変形例３に係る制御装置１００の画像処理部１１１Ｃは、サイズ推定部１１１ｉを含む点で変形例２と異なる。以下、変形例３について、実施の形態及び変形例１〜２と異なる点を中心に説明し、実施の形態及び変形例１〜２と同様の点の説明を適宜省略する。

図１５は、変形例３に係る画像処理部１１１Ｃの機能的構成の一例を示すブロック図である。図１５に示すように、画像処理部１１１Ｃは、変形例２に係る画像処理部１１１Ｂに対して、サイズ推定部１１１ｉをさらに機能的構成要素として含む。サイズ推定部１１１ｉの構成は、変形例１と同様である。

変形例３に係るロボットシステム１の動作を説明する。図１６は、変形例３に係るロボットシステム１の動作の一例を示すフローチャートである。図１６に示すように、ステップＳ４０１〜Ｓ４０５の処理はそれぞれ、変形例２におけるステップＳ３０１〜Ｓ３０５と同様である。ステップＳ４０６の処理は、変形例１におけるステップＳ２０７と同様である。ステップＳ４０７〜Ｓ４１０の処理はそれぞれ、変形例２におけるステップＳ３０６〜Ｓ３０９と同様である。

ステップＳ４１１において、制御装置１００の画像処理部１１１Ｃは、ステップＳ４０９で推定された第三画像上での物品Ａ１の輪郭形状と、ステップＳ４０６で推定された第一画像上での物品Ａ１の第二サイズとを用いて、第三画像で物品Ａ１を特定する。具体的には、画像処理部１１１Ｃは、第二サイズに対応するように物品Ａ１の輪郭形状のサイズを決定し、決定されたサイズ及びその近傍のサイズの物品Ａ１の輪郭形状を用いて、第三画像のエッジ画像上において物品Ａ１を示すエッジを特定する。画像処理部１１１Ｃは、エッジ画像上での当該エッジの位置に基づき、第三画像上で物品Ａ１の位置を特定する。また、ステップＳ４１２及びＳ４１３の処理はそれぞれ、変形例２におけるステップＳ３１１及びＳ３１２と同様である。そして、上述のような変形例３によれば、変形例１及び２と同様の効果が得られる。

（変形例４）
実施の形態の変形例４を説明する。変形例４に係る制御装置１００の画像処理部１１１Ｄは、表面領域抽出部１１１ｋを含む点で実施の形態と異なる。以下、変形例４について、実施の形態及び変形例１〜３と異なる点を中心に説明し、実施の形態及び変形例１〜３と同様の点の説明を適宜省略する。

図１７は、変形例４に係る画像処理部１１１Ｄの機能的構成の一例を示すブロック図である。図１７に示すように、画像処理部１１１Ｄは、実施の形態に係る画像処理部１１１に対して、表面領域抽出部１１１ｋをさらに機能的構成要素として含む。本変形例では、記憶部１１５は、ロボット１０が移動し得る対象物品の表面状態の情報を格納する。物品の表面状態の情報は、物品の表面の色及びテクスチャ等の表面状態を表す表面要素の情報である。

表面領域抽出部１１１ｋは、画像上において、対象物品である物品Ａ１の表面状態に対応する像を写し出す領域である表面領域を抽出する。具体的には、表面領域抽出部１１１ｋは、物品Ａ１の表面状態と同様の状態の像を写し出す表面領域を抽出する。

例えば、表面領域抽出部１１１ｋは、物品Ａ１の表面の色と同様の色を写し出す表面領域を抽出する。この場合、表面領域抽出部１１１ｋは、画像内の画素を順に走査し、物品Ａ１の表面の色と同じ又は類似する色を表す輝度値の画素を抽出画素として抽出する。さらに、表面領域抽出部１１１ｋは、隣り合う抽出画素の一群が形成する領域を表面領域として抽出する。例えば、表面領域抽出部１１１ｋは、所定の数量以上の抽出画素を含む領域を表面領域としてもよい。所定の数量は、物品Ａ１の構成、及びカメラ４１から物品Ａ１までの距離等に応じて決められてもよい。

例えば、表面領域抽出部１１１ｋは、物品Ａ１の表面のテクスチャと同様のテクスチャを写し出す表面領域を抽出する。この場合、表面領域抽出部１１１ｋは、物品Ａ１の表面のテクスチャの特徴量と同じ又は類似する特徴量のテクスチャを表す領域を抽出する。具体的には、表面領域抽出部１１１ｋは、走査枠を移動させて画像全体を走査し、走査中の各検出位置において、走査枠内の画素が形成するテクスチャの特徴量を検出する。検出位置は、全ての検出位置での走査枠全体が画像全体を覆うように配置されてもよい。例えば、検出位置は、隣り合う検出位置の走査枠が互いに隣接する又は部分的に重なるように配置されてもよい。

表面領域抽出部１１１ｋは、記憶部１１５に記憶される物品Ａ１の表面のテクスチャの特徴量と、各検出位置での走査枠内のテクスチャ特徴量とを比較し、テクスチャの同一、類似及び非類似を判定する。表面領域抽出部１１１ｋは、テクスチャが同一又は類似である検出位置での走査枠内の領域を表面領域とする。走査枠の大きさは、表面領域とみなすことができるような所定の数量以上の画素を含む大きさとされてもよい。

表面領域抽出部１１１ｋは、色及びテクスチャ等の表面要素の少なくとも１つが対象物品Ａ１の表面状態と同一又は類似する領域を表面領域に決定してもよい。

また、特定部１１１ｇは、輪郭推定部１１１ｅによって推定された物品Ａ１の輪郭形状と、表面領域抽出部１１１ｋによって抽出された表面領域とを用いて、第一画像ＩＡａ又はＩＡｂ上で物品Ａ１を特定する。具体的には、特定部１１１ｇは、表面領域を構成する画素の画素座標に基づき、第一画像ＩＡａ又はＩＡｂのエッジ画像上で表面領域を特定する。さらに、特定部１１１ｇは、当該エッジ画像上において、表面領域の近傍のエッジを抽出する。表面領域の近傍のエッジは、表面領域と重なるエッジ、表面領域と隣り合うエッジ、表面領域から所定距離以内のエッジ、及び、表面領域の少なくとも一部を囲むエッジ等を含んでもよい。特定部１１１ｇは、抽出されたエッジの形状と、物品Ａ１の輪郭形状とを比較しパターンマッチングすることで、物品Ａ１を示すエッジを特定する。特定部１１１ｇは、エッジ画像上での当該エッジの位置に基づき、第一画像ＩＡａ又はＩＡｂ上で物品Ａ１の位置を特定する。

変形例４に係るロボットシステム１の動作を説明する。図１８は、変形例４に係るロボットシステム１の動作の一例を示すフローチャートである。図１８に示すように、ステップＳ５０１〜Ｓ５０６の処理はそれぞれ、実施の形態におけるステップＳ１０１〜Ｓ１０６と同様である。

ステップＳ５０７において、制御装置１００の画像処理部１１１Ｄは、第一画像ＩＡａ又はＩＡｂ上で、物品Ａ１の表面状態に対応する像を写し出す表面領域を抽出する。次いで、ステップＳ５０８において、画像処理部１１１Ｄは、第一画像ＩＡａ又はＩＡｂのエッジ画像を生成する。次いで、ステップＳ５０９において、画像処理部１１１Ｄは、エッジ画像と、物品Ａ１の輪郭形状と、物品Ａ１の表面状態に対応する表面領域の情報とを用いて、第一画像ＩＡａ又はＩＡｂ上で物品Ａ１を特定する。また、ステップＳ５１０及びＳ５１１の処理はそれぞれ、実施の形態におけるステップＳ１０９及びＳ１１０と同様である。

上述のような変形例４によれば、実施の形態と同様の効果が得られる。さらに、変形例４に係る画像処理部１１１Ｄは、カメラ４１が撮像した画像上で物品Ａの表面状態に対応する表面領域を抽出する表面領域抽出部１１１ｋを備え、表面領域抽出部１１１ｋは、記憶部１１５に記憶される表面状態の情報を用いて上記表面領域を抽出し、特定部１１１ｇは、物品Ａの輪郭及び表面領域を用いて、物品Ａを特定してもよい。上記構成によると、物品Ａは、物品Ａの輪郭と物品Ａに対応する表面領域とを用いて画像上で特定される。よって、物品Ａの特定精度が向上する。なお、画像処理部１１１Ｄの表面領域抽出部１１１ｋを用いた処理が、変形例１〜３に適用されてもよい。

（変形例５）
実施の形態の変形例５を説明する。変形例５に係る制御装置１００の画像処理部１１１Ｅは、画像内で他の物品を探索するように構成される点で実施の形態と異なる。以下、変形例５について、実施の形態及び変形例１〜４と異なる点を中心に説明し、実施の形態及び変形例１〜４と同様の点の説明を適宜省略する。

図１９は、変形例５に係る画像処理部１１１Ｅの機能的構成の一例を示すブロック図である。図１９に示すように、画像処理部１１１Ｅは、実施の形態に係る画像処理部１１１に対して、周辺探索部１１１ｐをさらに機能的構成要素として含む。

周辺探索部１１１ｐは、第一画像ＩＡａ及びＩＡｂの少なくとも一方において、特定部１１１ｇによって特定された物品Ａ１の像の周囲を探索することで、物品Ａ１と同様の他の物品Ａの像を検出する。具体的には、周辺探索部１１１ｐは、第一画像ＩＡａ又はＩＡｂのエッジ画像上において、物品Ａ１の像の周囲のエッジの形状と、輪郭推定部１１１ｅによって推定された物品Ａ１の輪郭形状とを比較しパターンマッチングすることで、他の物品Ａを示すエッジを特定する。これに限定されないが、本実施の形態では、周辺探索部１１１ｐは、物品Ａ１上の平面の姿勢と他の物品Ａ上の平面の姿勢とが同様であるとみなすことで、他の物品Ａのエッジを特定する。

例えば、図７の第一画像ＩＡａ及びＩＡｂに示すように、対象領域ＴＡに写し出される物品Ａ１の周囲において、全体が写し出される物品Ａと、一部が写し出される物品Ａとが存在し得る。このため、周辺探索部１１１ｐは、全体形状及び部分形状のパターンマッチングを行う。

周辺探索部１１１ｐは、特定された他の物品Ａのエッジの位置に基づき、第一画像ＩＡａ及びＩＡｂ上で他の物品Ａの位置を特定する。さらに、周辺探索部１１１ｐは、第一画像ＩＡａ及びＩＡｂ上での他の物品Ａの位置情報を撮像制御部４０１に出力する。物品Ａの位置情報は、当該物品Ａの中心、角又は辺等の特定部位の位置を示す情報であり、例えば、画素座標で表されてもよい。周辺探索部１１１ｐは、複数の物品Ａを検出した場合、１つの物品Ａの位置情報を出力してもよく、２つ以上の物品Ａの位置情報を出力してもよい。例えば、周辺探索部１１１ｐは、１つの物品Ａの位置情報を出力する場合、物品Ａ１から最も近い物品Ａを出力対象に決定してもよく、上下方向又は左右方向等の予め設定された物品Ａの移動順序に従って出力対象の物品Ａを決定してもよい。

ロボット１０による物品Ａ１の移動後、撮像制御部４０１は、周辺探索部１１１ｐから受け取った位置情報の対象の物品Ａが画像の中心となるようにカメラ４１ａ及び４１ｂを方向付け、上記物品Ａを撮像させる。このようなカメラ４１ａ及び４１ｂによって撮像された画像において、上記物品Ａは対象領域ＴＡに写し出され、画像処理部１１１Ｅによる処理を受け得る。

上述のような変形例５によれば、実施の形態と同様の効果が得られる。さらに、変形例５に係る画像処理部１１１Ｅは、第一画像上で、特定部１１１ｇによって特定された物品Ａ１の周囲を探索する周辺探索部１１１ｐを備える。さらに、周辺探索部１１１ｐは、輪郭推定部１１１ｅによって推定された物品Ａ１の輪郭を用いて、物品Ａ１に類似する他の物品Ａを探索し、第一画像上での他の物品Ａの位置を検出する。上記構成によると、画像処理部１１１Ｅは、物品Ａ１と類似する物品Ａの像及びその位置を第一画像上で検出することができる。撮像制御部４０１は、物品Ａの位置に基づき、物品Ａ１の次の移動対象として、カメラ４１に物品Ａを撮像させることができる。さらに、画像処理部１１１Ｅは、輪郭推定部１１１ｅによって推定された物品Ａ１の輪郭を探索に用いるため、その処理量を低く抑えることができる。なお、画像処理部１１１Ｅの周辺探索部１１１ｐを用いる処理が、変形例１〜４に適用されてもよい。

＜その他の実施の形態＞
以上、本発明の実施の形態の例について説明したが、本発明は、上記実施の形態及び変形例に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態及び変形例に施したもの、及び、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、実施の形態及び変形例において、カメラ４１は複眼カメラを含む構成であり、具体的にはステレオカメラを含む構成であったが、これに限定されない。例えば、カメラ４１は、単眼カメラ、ＴＯＦカメラ（トフカメラ：Time-of-Flight-Camera）、縞投影等のパターン光投影カメラ、又は光切断法を用いたカメラ等を含む構成であってもよい。例えば、カメラ４１が単眼カメラを含む構成である場合、カメラ４１はレーザ又はライダ（Lidar）等の測距装置をさらに含んでもよい。この場合、画像処理部は、カメラ画像内における測距装置の光線の位置と、測距装置の計測結果とに基づき、光線の照射先の位置とカメラ４１との距離、及び、光線の照射先の３次元位置を検出してもよい。又は、カメラ４１が測距装置を含まない場合、画像処理部は、単眼カメラの撮像位置の変化に伴う、カメラ画像に写し出される被写体の形状及びサイズ等の変化に基づき、カメラ４１と当該被写体との距離、及び当該被写体の３次元位置を検出してもよい。

また、実施の形態及び変形例に係るロボットシステム１において、入力装置２０及びロボット１０の数量及び構成は、いかなる数量及び構成であってもよい。例えば、ロボットシステム１は、１つ以上の入力装置２０と１つ以上のロボット１０とを備えてもよい。また、ロボット１０は、１つ以上のロボットアーム１２を備えてもよい。また、ロボット１０は、垂直多関節型の産業用ロボットに限定されず、例えば、水平多関節型、極座標型、円筒座標型、直角座標型、垂直多関節型、又はその他の形式の産業用ロボットとして構成されてもよい。さらに、ロボット１０は、産業用ロボット以外のロボットであってもよく、サービスロボット、建設機械、クレーン、荷役搬送車、及びヒューマノイド等であってもよい。サービスロボットは、介護、医療、清掃、警備、案内、救助、調理、商品提供等の様々なサービス業で使用されるロボットである。

また、上記で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係及びステップの順序は、本発明の技術を具体的に説明するために例示するものである。本発明の機能を実現する構成要素間の接続関係及びステップの順序は、実施の形態及び変形例に限定されず、変更又は入れ替え可能である。

また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを１つのブロックとして実現する、１つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

１ ロボットシステム
１０ ロボット
１２ ロボットアーム
１３ ロボットハンド（エンドエフェクタ）
２０ 入力装置（操作装置）
４０ 撮像装置
４１，４１ａ，４１ｂ カメラ
１００ 制御装置（画像処理装置）
１１１，１１１Ａ，１１１Ｂ，１１１Ｃ 画像処理部
１１１ａ 抽出部
１１１ｂ 距離検出部
１１１ｃ 平面推定部
１１１ｄ 角度検出部
１１１ｅ 輪郭推定部
１１１ｆ エッジ抽出部
１１１ｇ 特定部
１１１ｈ 被写体検出部
１１１ｉ サイズ推定部
１１１ｊ 方向決定部
１１１ｋ 表面領域抽出部
１１１ｐ 周辺探索部

Claims (13)

1. 画像を処理する画像処理装置であって、
   被写体の形状を記憶する記憶部と、
   カメラが前記被写体を撮像した第一画像から、一部の領域である対象領域の第二画像を抽出する抽出部と、
   前記第二画像を処理することで、前記対象領域内に写し出される少なくとも３つの部位から前記カメラまでの距離を検出する距離検出部と、
   前記少なくとも３つの部位での距離を用いて前記対象領域内に写し出される平面を推定する平面推定部と、
   前記カメラの光軸に対する前記平面の角度を検出する角度検出部と、
   前記記憶部に記憶される前記被写体の形状と、前記平面の角度とを用いて、前記第一画像に写し出される前記被写体の輪郭である被写体輪郭を推定する輪郭推定部と、
   前記被写体輪郭を用いて、前記第一画像上で前記被写体を特定する特定部とを備える
   画像処理装置。
2. 前記輪郭推定部は、前記記憶部に記憶される前記被写体の形状を前記平面の角度に対応して変形させた形状を、前記被写体輪郭として推定する
   請求項１に記載の画像処理装置。
3. 前記輪郭推定部は、前記平面の角度を、前記カメラの光軸に対する前記被写体の姿勢を示す角度として用いて、前記被写体輪郭を推定する
   請求項２に記載の画像処理装置。
4. 画像を処理する画像処理装置であって、
   被写体の形状を記憶する記憶部と、
   カメラが前記被写体を撮像した第一画像から、一部の領域である対象領域の第二画像を抽出する抽出部と、
   前記第二画像を処理することで、前記対象領域内に写し出される少なくとも３つの部位から前記カメラまでの距離を検出する距離検出部と、
   前記少なくとも３つの部位での距離を用いて前記対象領域内に写し出される平面を推定する平面推定部と、
   前記カメラの光軸に対する前記平面の角度を検出する角度検出部と、
   前記平面と垂直な方向である第一方向に前記カメラの光軸の方向を合わせるように前記カメラを方向付ける方向決定部と、
   前記光軸が前記第一方向に方向付けられた前記カメラが前記被写体を撮像した第三画像に写し出される前記被写体の輪郭である被写体輪郭を、前記記憶部に記憶される前記被写体の形状を用いて推定する輪郭推定部と、
   前記被写体輪郭を用いて、前記第三画像上で前記被写体を特定する特定部とを備える
   画像処理装置。
5. 画像からエッジを抽出するエッジ抽出部をさらに備え、
   前記特定部は、前記エッジの形状と前記被写体輪郭とを比較することで、前記被写体を特定する
   請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記カメラが撮像した画像上における前記被写体のサイズである第二サイズを推定するサイズ推定部をさらに備え、
   前記記憶部は、前記被写体の実際のサイズである第一サイズを記憶し、
   前記距離検出部は、前記部位での距離を用いて、前記部位での３次元位置を検出し、
   前記サイズ推定部は、前記部位での３次元位置と、前記カメラが撮像した画像上における前記部位の２次元位置と、前記第一サイズとを用いて、前記第二サイズを推定し、
   前記特定部は、前記被写体輪郭と前記第二サイズとを用いて、前記被写体を特定する
   請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記特定部によって特定された前記被写体の画像と前記平面の角度とを用いて、前記被写体の３次元の位置及び姿勢を検出する被写体検出部をさらに備える
   請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記第一画像上で前記被写体の表面状態に対応する表面領域を抽出する表面領域抽出部をさらに備え、
   前記記憶部は、前記被写体の表面状態の情報を記憶し、
   前記表面領域抽出部は、前記記憶部に記憶された前記表面状態の情報を用いて前記表面領域を抽出し、
   前記特定部は、前記被写体輪郭及び前記表面領域を用いて、前記第一画像上で前記被写体を特定する
   請求項１〜７のいずれか一項に記載の画像処理装置。
9. 前記第一画像上で、前記特定部によって特定された前記被写体の周囲を探索する周辺探索部をさらに備え、
   前記周辺探索部は、前記被写体輪郭を用いて、前記被写体と類似する他の被写体を検出する
   請求項１〜８のいずれか一項に記載の画像処理装置。
10. カメラと、
    前記カメラが撮像した画像を処理する請求項１〜９のいずれか一項に記載の画像処理装置とを備える
    撮像装置。
11. 請求項１０に記載の撮像装置と、
    物品に対して処理動作を行うエンドエフェクタを有するロボットアームと、
    前記特定部によって特定された前記被写体としての前記物品の画像に基づき、前記エンドエフェクタ及び前記ロボットアームの動作を制御する制御装置とを備える
    ロボット。
12. 前記撮像装置は、前記特定部によって特定された前記物品の画像と前記平面の角度とを用いて、前記物品の３次元の位置及び姿勢を検出し、
    前記制御装置は、前記物品の３次元の位置及び姿勢に基づき、前記エンドエフェクタ及び前記ロボットアームの動作を制御する
    請求項１１に記載のロボット。
13. 請求項１１または１２に記載のロボットと、
    前記ロボットを操作するための操作装置とを備える
    ロボットシステム。
    

Images