JP2004240894A - テンプレート画像生成装置 - Google Patents
テンプレート画像生成装置 Download PDFInfo
- Publication number
- JP2004240894A JP2004240894A JP2003031733A JP2003031733A JP2004240894A JP 2004240894 A JP2004240894 A JP 2004240894A JP 2003031733 A JP2003031733 A JP 2003031733A JP 2003031733 A JP2003031733 A JP 2003031733A JP 2004240894 A JP2004240894 A JP 2004240894A
- Authority
- JP
- Japan
- Prior art keywords
- image
- template
- scene
- template image
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】対象物表面の汚れや光沢があった場合でもテンプレート画像を生成できるテンプレート画像生成装置を提供する。
【解決手段】テンプレートマッチングを行う際のテンプレート画像を生成するテンプレート画像生成装置において、シーン画像を入力するシーン画像入力部１０４と、シーン画像と同一の視野を持つ距離画像を入力する距離画像入力部１０５と、距離画像による３次元物体認識を行いテンプレートとなる３次元上での物体位置を生成する物体認識部１０６と、シーン画像と物体位置とからテンプレート画像１０３を生成するテンプレート画像生成部１０７とを備える。物体認識部１０６により距離画像から物体位置を得て、その物体位置とシーン画像とからテンプレート画像を生成することで、対象物表面の汚れや光沢の影響を受けないロバストなテンプレートマッチングが可能となる。
【選択図】 図１
【解決手段】テンプレートマッチングを行う際のテンプレート画像を生成するテンプレート画像生成装置において、シーン画像を入力するシーン画像入力部１０４と、シーン画像と同一の視野を持つ距離画像を入力する距離画像入力部１０５と、距離画像による３次元物体認識を行いテンプレートとなる３次元上での物体位置を生成する物体認識部１０６と、シーン画像と物体位置とからテンプレート画像１０３を生成するテンプレート画像生成部１０７とを備える。物体認識部１０６により距離画像から物体位置を得て、その物体位置とシーン画像とからテンプレート画像を生成することで、対象物表面の汚れや光沢の影響を受けないロバストなテンプレートマッチングが可能となる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、テンプレートマッチングを行う際のテンプレート画像を自動生成する装置に関する。
【０００２】
【従来の技術】
テンプレートマッチングとは、予め保存されたテンプレート画像（予約テンプレート画像）が、新たに入力された画像（シーン画像）の中のどこに最も合うかを求めることである。
このようなテンプレートマッチングに用いるテンプレート画像を生成する従来のテンプレート画像生成装置としては、正確にテンプレートマッチングを行うためや演算コストを低減させるために、例えば特開２００１−１４３０７５号公報（特許文献１）に記載されたような、シーン画像と同一視野を持つ距離画像を利用したものがある。
【０００３】
この特許文献１のテンプレート画像生成装置を、図１０を用いて簡単に説明する。
図１０には、シーン画像およびシーン画像と同一の視野を持つ距離画像を生成する距離画像生成装置１０１から出力されるシーン画像と距離画像に基づいてテンプレート画像１０３を生成する従来のテンプレート画像生成装置１００１が示されている。テンプレート画像生成装置１００１は、シーン画像入力部１０４と、距離画像入力部１０５と、距離画像が存在する領域のみシーン画像を有効にすることでシーン画像を限定した統合画像を生成する統合画像生成部１００２と、テンプレート画像としてあらかじめ登録した予約テンプレート画像を記憶するテンプレート画像記憶部１００３と、限定されたシーン画像である統合画像と予約テンプレート画像とからテンプレートマッチングによりマッチング領域を特定するテンプレートマッチング部１００４と、シーン画像中のマッチング領域に相当する画像をテンプレート画像として出力するテンプレート画像生成部１００５とを備えている。
【０００４】
以上の構成のテンプレート画像生成装置１００１によるテンプレート画像生成手順について、図１１を参照しながら説明する。なお、図１１において、１１０１は予約テンプレート画像、１１０２はシーン画像、１１０３は白が近距離で黒が無限遠を表す距離画像、１１０４は統合画像、１１０５はテンプレート画像である。
まず、距離画像生成装置１０１において生成されたシーン画像１１０２および距離画像１１０３をシーン画像入力部１０４および距離画像入力部１０５で入力し、統合画像生成部１００２において距離画像１１０３の距離が存在する範囲に限定されたシーン画像１１０２である統合画像１１０４を生成し、テンプレートマッチング部１００４においてあらかじめ記憶してあった予約テンプレート画像１１０１と統合画像１１０４とからテンプレートマッチングを行いマッチング領域の特定をし、テンプレート画像生成部１００５においてシーン画像中のマッチング領域に相当する画像をテンプレート画像１１０５として生成する。
これらの処理により正確にテンプレートマッチングを行うことができ、演算コストを低減させることができる。
【０００５】
【特許文献１】
特開２００１−１４３０７５号公報
【特許文献２】
特開２００２−２０８００９号公報
【特許文献３】
特開２００２−３６６９６０号公報
【非特許文献１】
「メッシュモデルとＭ−推定法に基づく配電機材の位置推定法」日本ロボット学会誌２０００年Ｖｏｌ．１８、Ｎｏ．４
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来のテンプレート画像生成装置においては、シーン画像中の対象物表面の汚れや光沢があった場合、シーン画像と予約テンプレート画像が著しく異なることがあり、テンプレートマッチングそのものを失敗し、テンプレート画像が得られないことがあった。
したがって、この発明の目的は、対象物表面の汚れや光沢があった場合でもテンプレート画像を生成できるテンプレート画像生成装置を提供することである。
【０００７】
【課題を解決するための手段】
上記問題を解決するため請求項１記載のテンプレート画像生成装置は、テンプレートマッチングを行う際のテンプレート画像を生成するテンプレート画像生成装置において、シーン画像を入力するシーン画像入力部と、前記シーン画像と同一の視野を持つ距離画像を入力する距離画像入力部と、前記距離画像による３次元物体認識を行いテンプレートとなる３次元上での物体位置を生成する物体認識部と、前記シーン画像と前記物体位置とからテンプレート画像を生成するテンプレート画像生成部とを有するものである。
この請求項１に記載のテンプレート画像生成装置においては、物体認識部により距離画像から物体位置を得て、その物体位置とシーン画像とからテンプレート画像を生成することで、対象物表面の汚れや光沢の影響を受けないロバストなテンプレートマッチングが可能となる。
【０００８】
請求項２記載のテンプレート画像生成装置は、テンプレートマッチングを行う際のテンプレート画像を生成するテンプレート画像生成装置において、シーン画像を入力するシーン画像入力部と、前記シーン画像と異なる視野を持つ距離画像を入力する距離画像入力部と、前記距離画像による３次元物体認識を行いテンプレートとなる３次元上での物体位置を生成する物体認識部と、前記物体位置を前記距離画像の座標系から前記シーン画像の座標系に変換しシーン座標系物体位置を生成するシーン座標変換部と、前記シーン画像と前記シーン座標系物体位置とからテンプレート画像を生成するテンプレート画像生成部とを有するものである。
この請求項２に記載のテンプレート画像生成装置においては、シーン座標変換部により距離画像と違う視野のシーン画像からテンプレート画像を生成することで、シーン画像と距離画像の視野を同一にするための機構上の制約が無くなり、距離画像生成装置の内部機構を簡素化できる。
【０００９】
請求項３記載のテンプレート画像生成装置は、請求項１または２におけるテンプレート画像生成部が、距離画像中の対象となる物体の領域を特定する対象物領域特定部と、対象物領域特定部により特定された領域のシーン画像をテンプレート画像として抽出するテンプレート画像抽出部とを有するものである。
この請求項３に記載のテンプレート画像生成部において、物体位置の距離画像中の対象物領域を特定し、特定された領域におけるシーン画像をテンプレート画像として抽出することにより、自動的に対象物の占有領域が特定されるので、自動化率が向上する。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
＜第１の実施の形態＞
本発明の第１の実施の形態のテンプレート画像生成装置について図１、図２、図３および図４を用いて説明する。図１は第１の実施の形態についてのブロック図、図２は本実施の形態におけるシステム全体の概略を示す斜視図、図３は本実施の形態の実施例を説明するフロー図、図４は本実施の形態のテンプレート画像生成部の処理を説明する図である。
図１において、本実施の形態におけるテンプレート画像生成装置１０２は、距離画像生成装置１０１において生成されたシーン画像および距離画像を入力するシーン画像入力部１０４および距離画像入力部１０５と、距離画像中の対象物を認識し物体位置を出力する物体認識部１０６と、物体認識部１０６で検出された物体位置とシーン画像とからテンプレート画像１０３を生成するテンプレート画像生成部１０７とからなる。
【００１１】
前記の距離画像生成装置１０１は、レーザレンジファインダ（以下、ＬＲＦ）であり、物体認識部１０６は特開２００２−３６６９６０号公報（特許文献３）や日本ロボット学会誌２０００年Ｖｏｌ．１８、Ｎｏ．４「メッシュモデルとＭ−推定法に基づく配電機材の位置推定法」（非特許文献１）などの手法を用いることができるが、これらの手法は公知なので説明は省略する。
通常、ＬＲＦのような距離画像生成装置１０１における対象物位置の導出時間は数秒であり、視覚追従を行うには不向きである。しかし、ＮＴＳＣ信号のシーン画像のテンプレートマッチングにおける対象物位置の導出時間は３３ｍｓｅｃと高速であり、視覚追従に向いている。テンプレートマッチングによる視覚追従を行う場合、シーン画像中の対象物に似ているテンプレート画像が必要となる。視覚追従の直前にテンプレート画像を自動で生成できれば、テンプレート画像はシーン画像と同じ画像となり、テンプレートマッチングが正確に行えるので、視覚追従性能の向上につながる。以下では、テンプレートマッチングの応用例である２次元視覚追従を例として説明する。
【００１２】
図２はシステム全体の概略を示す斜視図である。図２において、２０１は視覚追従の対象となる移動する対象物、２０２は距離画像生成装置１０１で生成された距離画像とシーン画像とをテンプレート画像生成装置１０２に伝送するためのケーブル、２０３は距離画像生成装置１０１で生成されるシーン画像を２次元視覚追従装置２０５（後述）に伝送するためのケーブル、２０４はテンプレート画像生成装置１０２で生成されたテンプレート画像を２次元視覚追従装置に伝送するためのケーブル、２０５はテンプレート画像生成装置１０２で生成されたテンプレート画像と距離画像生成装置１０１で生成されるシーン画像とから２次元視覚追従を行うための２次元視覚追従装置である。
２次元視覚追従装置２０５は特開２００２−２０８００９号公報（特許文献２）に開示された物体検出方法の手法を用いることとし、本手法は公知なので説明は省略する。
【００１３】
図３を用いて２次元視覚追従のシーケンスを説明する。図３のシーケンスは以下の通りである。
Ｓ３０１：距離画像生成装置１０１で生成された距離画像とシーン画像をテンプレート画像生成装置１０２に伝送する。
Ｓ３０２：物体認識部１０６が距離画像を利用して対象物の物体認識を行い、物体位置を検出する。
Ｓ３０３：テンプレート画像生成部１０７が物体位置とシーン画像を利用してテンプレート画像１０３を生成する。
Ｓ３０４：テンプレート画像生成部１０７で生成したテンプレート画像１０３とシーン画像を利用して２次元視覚追従装置２０５が対象物の視覚追従を行う。
次に、図４を用いてテンプレート画像生成部１０７の処理内容を説明する。図４において、４０１は距離画像と同一視野を持つシーン画像、４０２はシーン画像における２次元座標、４０３は物体認識部から得られた対象物の物体位置をシーン画像の２次元座標に変換した時の２次元位置、４０４はシーン画像内の対象物、４０５は対象物の２次元位置と図中のｘ１、ｘ２、ｙ１、ｙ２の定数（あらかじめ手動により設定）から決定されるテンプレート領域である。テンプレート画像生成部１０７はテンプレート領域で指定されるシーン画像をテンプレート画像１０３として生成する。
【００１４】
この実施の形態のテンプレート画像生成装置１０２の特徴は、距離画像中の対象物を物体認識し、物体認識された物体位置とシーン画像とからテンプレート画像を生成することである。
この実施の形態によれば、距離画像による物体認識を行い、物体位置とその時点のシーン画像とからテンプレート画像を生成することで、対象物表面の汚れや光沢の影響を受けないロバストなテンプレートマッチングを実現することができる。なお、２次元視覚追従を例に説明したが、距離画像生成装置１０１を２台にした３次元視覚追従も可能である。
【００１５】
＜第２の実施の形態＞
本発明の第２の実施の形態のテンプレート画像生成装置について図５、図６および図７を用いて説明する。図５は第２の実施の形態についてのブロック図、図６は本実施の形態の実施例を説明するシステム構成図、図７は本実施の形態の実施例を説明するフロー図である。なお、第１の実施の形態における構成と同じ構成要素については、同一の符号を付している。
図５に示したように、第２の実施の形態におけるテンプレート画像生成装置５０３は、シーン画像を生成するカメラ装置５０１で生成されたシーン画像を入力するシーン画像入力部１０４と、距離画像を生成する距離画像生成装置５０２で生成された距離画像を入力する距離画像入力部１０５と、距離画像中の対象物を認識し物体位置を出力する物体認識部１０６と、距離画像生成装置座標系の物体位置をシーン座標系の物体位置に変換するシーン座標変換部５０４と、シーン座標形物体位置とシーン画像とからテンプレート画像１０３を生成するテンプレート画像生成部１０７とからなる。
前記の距離画像生成装置５０２は、公知のＬＲＦを用いることができる。
【００１６】
以下、本実施の形態の動作を、テンプレートマッチングの応用例である２次元視覚追従を例として説明する。
図６はシステム全体の概略を示す斜視図である。図６において、６０１は距離画像生成装置５０２で生成された距離画像をテンプレート画像生成装置５０３に伝送するためのケーブル、６０２はカメラ装置５０１で生成されたシーン画像をテンプレート画像生成装置５０３に伝送するためのケーブル、６０３はカメラ装置５０１で生成されたシーン画像を２次元視覚追従装置２０５に伝送するためのケーブル、６０４はテンプレート画像生成装置５０３で生成されたテンプレート画像を２次元視覚追従装置２０５に伝送するためのケーブル、６０５はカメラ装置５０１の座標系（以下、シーン座標という）で、６０６は距離画像生成装置５０２の座標系（以下、ＬＲＦ座標という）、６０７はＬＲＦ座標の位置をシーン座標の位置に変換するための変換座標である。なお、２次元視覚追従装置２０５については、第１の実施の形態と同様であるので、説明を省略する。
【００１７】
図７を用いて２次元視覚追従のシーケンスを説明する。図７のシーケンスは以下の通りである。
Ｓ７０１：カメラ装置５０１で生成されたシーン画像をテンプレート画像生成装置５０３に伝送する。
Ｓ７０２：距離画像生成装置５０２で生成された距離画像をテンプレート画像生成装置５０３に伝送する。
Ｓ７０３：物体認識部１０６が距離画像を利用して対象物の物体認識を行い、物体位置を検出する。
Ｓ７０４：シーン座標変換部５０４でＬＲＦ座標の物体位置をシーン座標に変換する。
Ｓ７０５：テンプレート画像生成部１０７がシーン座標の物体位置とシーン画像を利用してテンプレート画像１０３を生成する。
Ｓ７０６：テンプレート画像生成装置５０３で生成したテンプレート画像とシーン画像を利用して２次元視覚追従装置２０５が対象物の視覚追従を行う。
【００１８】
この実施の形態のテンプレート画像生成装置５０３の特徴は、距離画像中の対象物を物体認識し、ＬＲＦ座標の物体位置をシーン座標に変換し、変換後の物体位置とシーン画像とからテンプレート画像１０３を生成することである。
この実施の形態によれば、距離画像と違う視野のシーン画像からテンプレート画像を生成することで、シーン画像と距離画像の視野を同一にするための機構上の制約が無くなり、距離画像生成装置５０２の内部機構を簡素化でき、距離画像生成装置５０２を安価に実現することができる。また、距離画像による物体認識を行い、物体位置とその時点のシーン画像とからテンプレート画像を生成することで、対象物表面の汚れや光沢の影響を受けないロバストなテンプレートマッチングを実現することができる。なお、２次元視覚追従を例に説明したが、距離画像生成装置５０２は１台のままでカメラ装置５０１を２台にした第１の実施の形態より安価な３次元視覚追従も可能である。
【００１９】
＜第３の実施の形態＞
この発明の第３の実施の形態のテンプレート画像生成装置について図８および図９を用いて説明する。図８は第３の実施の形態についてのブロック図、図９は第３の実施の形態のテンプレート画像生成部の処理を説明する図である。図８に示されているように、本実施の形態においては、テンプレート画像生成部１０７は、物体位置から対象物の領域を特定する対象物領域特定部８０１と、対象物領域特定部により特定された領域のシーン画像をテンプレート画像として抽出するテンプレート画像抽出部８０２とを備えている。テンプレート画像生成装置１０２のその他の構成は、第１の実施の形態または第２の実施の形態と同様であるので、ここでは説明を省略する。
【００２０】
図９を用いてテンプレート画像生成部１０７の処理内容を説明する。図９において、９０１はシーン画像、９０２は物体位置の距離画像、９０３は物体位置の距離画像における対象物の占有領域のＸ軸Ｙ軸の最大最小の検出結果、９０４は物体位置の距離画像で検出した対象物の占有領域をシーン画像に投影した結果、９０５はシーン画像における対象物の占有領域を抜き出したテンプレート画像、９０６は物体位置の距離画像における２次元座標を表している。
対象物領域特定部８０１は、物体位置の距離画像から対象物の占有領域をＸ軸Ｙ軸の最大最小値として特定する。テンプレート画像抽出部８０２は特定された対象物の領域とシーン画像とからテンプレート画像を抽出する。
【００２１】
第１の実施の形態の図４で説明した手法によると、対象物の代表的な位置とあらかじめ設定しておいたｘ１、ｘ２、ｙ１、ｙ２とからテンプレート画像を生成するので、対象物が変われば各値を設定しなおす必要があるが、本実施の形態では、あらかじめ設定する値がないことから更に自動化が行える利点がある。
この実施の形態のテンプレート画像生成部１０７の特徴は、物体位置の距離画像中の対象物領域を特定し、特定された領域におけるシーン画像をテンプレート画像として抽出することである。
この実施の形態によれば、自動的に対象物の占有領域を特定するので、自動化率の向上を図ることができる。
【００２２】
【発明の効果】
以上述べたように、請求項１記載の発明におけるテンプレート画像生成装置によれば、距離画像中の対象物を物体認識することでテンプレート画像を生成するので、予約テンプレート画像を利用したときよりもロバストなテンプレートマッチングを実現することができる。
請求項２記載の発明におけるテンプレート画像生成装置によれば、距離画像とシーン画像が同一視野である必要は無く、距離画像中の対象物を物体認識することでテンプレート画像を生成するので、距離画像生成装置の内部機構を簡素化でき、距離画像生成装置を安価に実現することができ、予約テンプレート画像を利用したときよりもロバストなテンプレートマッチングを実現することができる。
請求項３記載の発明におけるテンプレート画像生成部によれば、自動的に対象物の占有領域を特定するので、自動化率の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のテンプレート画像生成装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態の実施例を説明するシステム構成図である。
【図３】本発明の第１の実施の形態の実施例を説明するフロー図である。
【図４】本発明の第１の実施の形態のテンプレート画像生成部の処理を説明する図である。
【図５】本発明の第２の実施の形態のテンプレート画像生成装置の構成を示すブロック図である。
【図６】本発明の第２の実施の形態の実施例を説明するシステム構成図である。
【図７】本発明の第２の実施の形態の実施例を説明するフロー図である。
【図８】本発明の第３の実施の形態テンプレート画像生成部の構成を示すブロック図である。
【図９】本発明の第３の実施の形態のテンプレート画像生成部の処理を説明する図である。
【図１０】従来のテンプレート画像生成装置の構成を示すブロック図である。
【図１１】従来のテンプレート画像生成装置内の各画像を説明する図である。
【符号の説明】
１０１ 距離画像生成装置
１０２ テンプレート画像生成装置
１０３ テンプレート画像
１０４ シーン画像入力部
１０５ 距離画像入力部
１０６ 物体認識部
１０７ テンプレート画像生成部
２０１ 移動する対象物
２０２，２０３，２０４ ケーブル
２０５ ２次元視覚追従装置
４０１ 距離画像と同一視野を持つシーン画像
４０２ シーン画像の２次元座標
４０３ 対象物の２次元位置
４０４ シーン画像内の対象物
４０５ テンプレート領域
５０１ カメラ装置
５０２ 距離画像生成装置
５０３ テンプレート画像生成装置
５０４ シーン座標変換部
６０１，６０２，６０３，６０４ ケーブル
６０５ シーン座標
６０６ ＬＲＦ座標
６０７ ＬＲＦ座標の物体位置をシーン座標に変換する変換座標
８０１ 対象物領域特定部
８０２ テンプレート画像抽出部
９０１ シーン画像
９０２ 物体位置の距離画像
９０３ 対象物の占有領域の検出結果
９０４ シーン画像での対象物領域
９０５ テンプレート画像
９０６ 物体位置の距離画像における２次元座標
１００１ 従来のテンプレート画像生成装置
１００２ 統合画像生成部
１００３ テンプレート画像記憶部
１００４ テンプレートマッチング部
１００５ テンプレート画像生成部
１１０１ 予約テンプレート画像
１１０２ シーン画像
１１０３ 距離画像
１１０４ 統合画像
１１０５ テンプレート画像
【発明の属する技術分野】
本発明は、テンプレートマッチングを行う際のテンプレート画像を自動生成する装置に関する。
【０００２】
【従来の技術】
テンプレートマッチングとは、予め保存されたテンプレート画像（予約テンプレート画像）が、新たに入力された画像（シーン画像）の中のどこに最も合うかを求めることである。
このようなテンプレートマッチングに用いるテンプレート画像を生成する従来のテンプレート画像生成装置としては、正確にテンプレートマッチングを行うためや演算コストを低減させるために、例えば特開２００１−１４３０７５号公報（特許文献１）に記載されたような、シーン画像と同一視野を持つ距離画像を利用したものがある。
【０００３】
この特許文献１のテンプレート画像生成装置を、図１０を用いて簡単に説明する。
図１０には、シーン画像およびシーン画像と同一の視野を持つ距離画像を生成する距離画像生成装置１０１から出力されるシーン画像と距離画像に基づいてテンプレート画像１０３を生成する従来のテンプレート画像生成装置１００１が示されている。テンプレート画像生成装置１００１は、シーン画像入力部１０４と、距離画像入力部１０５と、距離画像が存在する領域のみシーン画像を有効にすることでシーン画像を限定した統合画像を生成する統合画像生成部１００２と、テンプレート画像としてあらかじめ登録した予約テンプレート画像を記憶するテンプレート画像記憶部１００３と、限定されたシーン画像である統合画像と予約テンプレート画像とからテンプレートマッチングによりマッチング領域を特定するテンプレートマッチング部１００４と、シーン画像中のマッチング領域に相当する画像をテンプレート画像として出力するテンプレート画像生成部１００５とを備えている。
【０００４】
以上の構成のテンプレート画像生成装置１００１によるテンプレート画像生成手順について、図１１を参照しながら説明する。なお、図１１において、１１０１は予約テンプレート画像、１１０２はシーン画像、１１０３は白が近距離で黒が無限遠を表す距離画像、１１０４は統合画像、１１０５はテンプレート画像である。
まず、距離画像生成装置１０１において生成されたシーン画像１１０２および距離画像１１０３をシーン画像入力部１０４および距離画像入力部１０５で入力し、統合画像生成部１００２において距離画像１１０３の距離が存在する範囲に限定されたシーン画像１１０２である統合画像１１０４を生成し、テンプレートマッチング部１００４においてあらかじめ記憶してあった予約テンプレート画像１１０１と統合画像１１０４とからテンプレートマッチングを行いマッチング領域の特定をし、テンプレート画像生成部１００５においてシーン画像中のマッチング領域に相当する画像をテンプレート画像１１０５として生成する。
これらの処理により正確にテンプレートマッチングを行うことができ、演算コストを低減させることができる。
【０００５】
【特許文献１】
特開２００１−１４３０７５号公報
【特許文献２】
特開２００２−２０８００９号公報
【特許文献３】
特開２００２−３６６９６０号公報
【非特許文献１】
「メッシュモデルとＭ−推定法に基づく配電機材の位置推定法」日本ロボット学会誌２０００年Ｖｏｌ．１８、Ｎｏ．４
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来のテンプレート画像生成装置においては、シーン画像中の対象物表面の汚れや光沢があった場合、シーン画像と予約テンプレート画像が著しく異なることがあり、テンプレートマッチングそのものを失敗し、テンプレート画像が得られないことがあった。
したがって、この発明の目的は、対象物表面の汚れや光沢があった場合でもテンプレート画像を生成できるテンプレート画像生成装置を提供することである。
【０００７】
【課題を解決するための手段】
上記問題を解決するため請求項１記載のテンプレート画像生成装置は、テンプレートマッチングを行う際のテンプレート画像を生成するテンプレート画像生成装置において、シーン画像を入力するシーン画像入力部と、前記シーン画像と同一の視野を持つ距離画像を入力する距離画像入力部と、前記距離画像による３次元物体認識を行いテンプレートとなる３次元上での物体位置を生成する物体認識部と、前記シーン画像と前記物体位置とからテンプレート画像を生成するテンプレート画像生成部とを有するものである。
この請求項１に記載のテンプレート画像生成装置においては、物体認識部により距離画像から物体位置を得て、その物体位置とシーン画像とからテンプレート画像を生成することで、対象物表面の汚れや光沢の影響を受けないロバストなテンプレートマッチングが可能となる。
【０００８】
請求項２記載のテンプレート画像生成装置は、テンプレートマッチングを行う際のテンプレート画像を生成するテンプレート画像生成装置において、シーン画像を入力するシーン画像入力部と、前記シーン画像と異なる視野を持つ距離画像を入力する距離画像入力部と、前記距離画像による３次元物体認識を行いテンプレートとなる３次元上での物体位置を生成する物体認識部と、前記物体位置を前記距離画像の座標系から前記シーン画像の座標系に変換しシーン座標系物体位置を生成するシーン座標変換部と、前記シーン画像と前記シーン座標系物体位置とからテンプレート画像を生成するテンプレート画像生成部とを有するものである。
この請求項２に記載のテンプレート画像生成装置においては、シーン座標変換部により距離画像と違う視野のシーン画像からテンプレート画像を生成することで、シーン画像と距離画像の視野を同一にするための機構上の制約が無くなり、距離画像生成装置の内部機構を簡素化できる。
【０００９】
請求項３記載のテンプレート画像生成装置は、請求項１または２におけるテンプレート画像生成部が、距離画像中の対象となる物体の領域を特定する対象物領域特定部と、対象物領域特定部により特定された領域のシーン画像をテンプレート画像として抽出するテンプレート画像抽出部とを有するものである。
この請求項３に記載のテンプレート画像生成部において、物体位置の距離画像中の対象物領域を特定し、特定された領域におけるシーン画像をテンプレート画像として抽出することにより、自動的に対象物の占有領域が特定されるので、自動化率が向上する。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
＜第１の実施の形態＞
本発明の第１の実施の形態のテンプレート画像生成装置について図１、図２、図３および図４を用いて説明する。図１は第１の実施の形態についてのブロック図、図２は本実施の形態におけるシステム全体の概略を示す斜視図、図３は本実施の形態の実施例を説明するフロー図、図４は本実施の形態のテンプレート画像生成部の処理を説明する図である。
図１において、本実施の形態におけるテンプレート画像生成装置１０２は、距離画像生成装置１０１において生成されたシーン画像および距離画像を入力するシーン画像入力部１０４および距離画像入力部１０５と、距離画像中の対象物を認識し物体位置を出力する物体認識部１０６と、物体認識部１０６で検出された物体位置とシーン画像とからテンプレート画像１０３を生成するテンプレート画像生成部１０７とからなる。
【００１１】
前記の距離画像生成装置１０１は、レーザレンジファインダ（以下、ＬＲＦ）であり、物体認識部１０６は特開２００２−３６６９６０号公報（特許文献３）や日本ロボット学会誌２０００年Ｖｏｌ．１８、Ｎｏ．４「メッシュモデルとＭ−推定法に基づく配電機材の位置推定法」（非特許文献１）などの手法を用いることができるが、これらの手法は公知なので説明は省略する。
通常、ＬＲＦのような距離画像生成装置１０１における対象物位置の導出時間は数秒であり、視覚追従を行うには不向きである。しかし、ＮＴＳＣ信号のシーン画像のテンプレートマッチングにおける対象物位置の導出時間は３３ｍｓｅｃと高速であり、視覚追従に向いている。テンプレートマッチングによる視覚追従を行う場合、シーン画像中の対象物に似ているテンプレート画像が必要となる。視覚追従の直前にテンプレート画像を自動で生成できれば、テンプレート画像はシーン画像と同じ画像となり、テンプレートマッチングが正確に行えるので、視覚追従性能の向上につながる。以下では、テンプレートマッチングの応用例である２次元視覚追従を例として説明する。
【００１２】
図２はシステム全体の概略を示す斜視図である。図２において、２０１は視覚追従の対象となる移動する対象物、２０２は距離画像生成装置１０１で生成された距離画像とシーン画像とをテンプレート画像生成装置１０２に伝送するためのケーブル、２０３は距離画像生成装置１０１で生成されるシーン画像を２次元視覚追従装置２０５（後述）に伝送するためのケーブル、２０４はテンプレート画像生成装置１０２で生成されたテンプレート画像を２次元視覚追従装置に伝送するためのケーブル、２０５はテンプレート画像生成装置１０２で生成されたテンプレート画像と距離画像生成装置１０１で生成されるシーン画像とから２次元視覚追従を行うための２次元視覚追従装置である。
２次元視覚追従装置２０５は特開２００２−２０８００９号公報（特許文献２）に開示された物体検出方法の手法を用いることとし、本手法は公知なので説明は省略する。
【００１３】
図３を用いて２次元視覚追従のシーケンスを説明する。図３のシーケンスは以下の通りである。
Ｓ３０１：距離画像生成装置１０１で生成された距離画像とシーン画像をテンプレート画像生成装置１０２に伝送する。
Ｓ３０２：物体認識部１０６が距離画像を利用して対象物の物体認識を行い、物体位置を検出する。
Ｓ３０３：テンプレート画像生成部１０７が物体位置とシーン画像を利用してテンプレート画像１０３を生成する。
Ｓ３０４：テンプレート画像生成部１０７で生成したテンプレート画像１０３とシーン画像を利用して２次元視覚追従装置２０５が対象物の視覚追従を行う。
次に、図４を用いてテンプレート画像生成部１０７の処理内容を説明する。図４において、４０１は距離画像と同一視野を持つシーン画像、４０２はシーン画像における２次元座標、４０３は物体認識部から得られた対象物の物体位置をシーン画像の２次元座標に変換した時の２次元位置、４０４はシーン画像内の対象物、４０５は対象物の２次元位置と図中のｘ１、ｘ２、ｙ１、ｙ２の定数（あらかじめ手動により設定）から決定されるテンプレート領域である。テンプレート画像生成部１０７はテンプレート領域で指定されるシーン画像をテンプレート画像１０３として生成する。
【００１４】
この実施の形態のテンプレート画像生成装置１０２の特徴は、距離画像中の対象物を物体認識し、物体認識された物体位置とシーン画像とからテンプレート画像を生成することである。
この実施の形態によれば、距離画像による物体認識を行い、物体位置とその時点のシーン画像とからテンプレート画像を生成することで、対象物表面の汚れや光沢の影響を受けないロバストなテンプレートマッチングを実現することができる。なお、２次元視覚追従を例に説明したが、距離画像生成装置１０１を２台にした３次元視覚追従も可能である。
【００１５】
＜第２の実施の形態＞
本発明の第２の実施の形態のテンプレート画像生成装置について図５、図６および図７を用いて説明する。図５は第２の実施の形態についてのブロック図、図６は本実施の形態の実施例を説明するシステム構成図、図７は本実施の形態の実施例を説明するフロー図である。なお、第１の実施の形態における構成と同じ構成要素については、同一の符号を付している。
図５に示したように、第２の実施の形態におけるテンプレート画像生成装置５０３は、シーン画像を生成するカメラ装置５０１で生成されたシーン画像を入力するシーン画像入力部１０４と、距離画像を生成する距離画像生成装置５０２で生成された距離画像を入力する距離画像入力部１０５と、距離画像中の対象物を認識し物体位置を出力する物体認識部１０６と、距離画像生成装置座標系の物体位置をシーン座標系の物体位置に変換するシーン座標変換部５０４と、シーン座標形物体位置とシーン画像とからテンプレート画像１０３を生成するテンプレート画像生成部１０７とからなる。
前記の距離画像生成装置５０２は、公知のＬＲＦを用いることができる。
【００１６】
以下、本実施の形態の動作を、テンプレートマッチングの応用例である２次元視覚追従を例として説明する。
図６はシステム全体の概略を示す斜視図である。図６において、６０１は距離画像生成装置５０２で生成された距離画像をテンプレート画像生成装置５０３に伝送するためのケーブル、６０２はカメラ装置５０１で生成されたシーン画像をテンプレート画像生成装置５０３に伝送するためのケーブル、６０３はカメラ装置５０１で生成されたシーン画像を２次元視覚追従装置２０５に伝送するためのケーブル、６０４はテンプレート画像生成装置５０３で生成されたテンプレート画像を２次元視覚追従装置２０５に伝送するためのケーブル、６０５はカメラ装置５０１の座標系（以下、シーン座標という）で、６０６は距離画像生成装置５０２の座標系（以下、ＬＲＦ座標という）、６０７はＬＲＦ座標の位置をシーン座標の位置に変換するための変換座標である。なお、２次元視覚追従装置２０５については、第１の実施の形態と同様であるので、説明を省略する。
【００１７】
図７を用いて２次元視覚追従のシーケンスを説明する。図７のシーケンスは以下の通りである。
Ｓ７０１：カメラ装置５０１で生成されたシーン画像をテンプレート画像生成装置５０３に伝送する。
Ｓ７０２：距離画像生成装置５０２で生成された距離画像をテンプレート画像生成装置５０３に伝送する。
Ｓ７０３：物体認識部１０６が距離画像を利用して対象物の物体認識を行い、物体位置を検出する。
Ｓ７０４：シーン座標変換部５０４でＬＲＦ座標の物体位置をシーン座標に変換する。
Ｓ７０５：テンプレート画像生成部１０７がシーン座標の物体位置とシーン画像を利用してテンプレート画像１０３を生成する。
Ｓ７０６：テンプレート画像生成装置５０３で生成したテンプレート画像とシーン画像を利用して２次元視覚追従装置２０５が対象物の視覚追従を行う。
【００１８】
この実施の形態のテンプレート画像生成装置５０３の特徴は、距離画像中の対象物を物体認識し、ＬＲＦ座標の物体位置をシーン座標に変換し、変換後の物体位置とシーン画像とからテンプレート画像１０３を生成することである。
この実施の形態によれば、距離画像と違う視野のシーン画像からテンプレート画像を生成することで、シーン画像と距離画像の視野を同一にするための機構上の制約が無くなり、距離画像生成装置５０２の内部機構を簡素化でき、距離画像生成装置５０２を安価に実現することができる。また、距離画像による物体認識を行い、物体位置とその時点のシーン画像とからテンプレート画像を生成することで、対象物表面の汚れや光沢の影響を受けないロバストなテンプレートマッチングを実現することができる。なお、２次元視覚追従を例に説明したが、距離画像生成装置５０２は１台のままでカメラ装置５０１を２台にした第１の実施の形態より安価な３次元視覚追従も可能である。
【００１９】
＜第３の実施の形態＞
この発明の第３の実施の形態のテンプレート画像生成装置について図８および図９を用いて説明する。図８は第３の実施の形態についてのブロック図、図９は第３の実施の形態のテンプレート画像生成部の処理を説明する図である。図８に示されているように、本実施の形態においては、テンプレート画像生成部１０７は、物体位置から対象物の領域を特定する対象物領域特定部８０１と、対象物領域特定部により特定された領域のシーン画像をテンプレート画像として抽出するテンプレート画像抽出部８０２とを備えている。テンプレート画像生成装置１０２のその他の構成は、第１の実施の形態または第２の実施の形態と同様であるので、ここでは説明を省略する。
【００２０】
図９を用いてテンプレート画像生成部１０７の処理内容を説明する。図９において、９０１はシーン画像、９０２は物体位置の距離画像、９０３は物体位置の距離画像における対象物の占有領域のＸ軸Ｙ軸の最大最小の検出結果、９０４は物体位置の距離画像で検出した対象物の占有領域をシーン画像に投影した結果、９０５はシーン画像における対象物の占有領域を抜き出したテンプレート画像、９０６は物体位置の距離画像における２次元座標を表している。
対象物領域特定部８０１は、物体位置の距離画像から対象物の占有領域をＸ軸Ｙ軸の最大最小値として特定する。テンプレート画像抽出部８０２は特定された対象物の領域とシーン画像とからテンプレート画像を抽出する。
【００２１】
第１の実施の形態の図４で説明した手法によると、対象物の代表的な位置とあらかじめ設定しておいたｘ１、ｘ２、ｙ１、ｙ２とからテンプレート画像を生成するので、対象物が変われば各値を設定しなおす必要があるが、本実施の形態では、あらかじめ設定する値がないことから更に自動化が行える利点がある。
この実施の形態のテンプレート画像生成部１０７の特徴は、物体位置の距離画像中の対象物領域を特定し、特定された領域におけるシーン画像をテンプレート画像として抽出することである。
この実施の形態によれば、自動的に対象物の占有領域を特定するので、自動化率の向上を図ることができる。
【００２２】
【発明の効果】
以上述べたように、請求項１記載の発明におけるテンプレート画像生成装置によれば、距離画像中の対象物を物体認識することでテンプレート画像を生成するので、予約テンプレート画像を利用したときよりもロバストなテンプレートマッチングを実現することができる。
請求項２記載の発明におけるテンプレート画像生成装置によれば、距離画像とシーン画像が同一視野である必要は無く、距離画像中の対象物を物体認識することでテンプレート画像を生成するので、距離画像生成装置の内部機構を簡素化でき、距離画像生成装置を安価に実現することができ、予約テンプレート画像を利用したときよりもロバストなテンプレートマッチングを実現することができる。
請求項３記載の発明におけるテンプレート画像生成部によれば、自動的に対象物の占有領域を特定するので、自動化率の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のテンプレート画像生成装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態の実施例を説明するシステム構成図である。
【図３】本発明の第１の実施の形態の実施例を説明するフロー図である。
【図４】本発明の第１の実施の形態のテンプレート画像生成部の処理を説明する図である。
【図５】本発明の第２の実施の形態のテンプレート画像生成装置の構成を示すブロック図である。
【図６】本発明の第２の実施の形態の実施例を説明するシステム構成図である。
【図７】本発明の第２の実施の形態の実施例を説明するフロー図である。
【図８】本発明の第３の実施の形態テンプレート画像生成部の構成を示すブロック図である。
【図９】本発明の第３の実施の形態のテンプレート画像生成部の処理を説明する図である。
【図１０】従来のテンプレート画像生成装置の構成を示すブロック図である。
【図１１】従来のテンプレート画像生成装置内の各画像を説明する図である。
【符号の説明】
１０１ 距離画像生成装置
１０２ テンプレート画像生成装置
１０３ テンプレート画像
１０４ シーン画像入力部
１０５ 距離画像入力部
１０６ 物体認識部
１０７ テンプレート画像生成部
２０１ 移動する対象物
２０２，２０３，２０４ ケーブル
２０５ ２次元視覚追従装置
４０１ 距離画像と同一視野を持つシーン画像
４０２ シーン画像の２次元座標
４０３ 対象物の２次元位置
４０４ シーン画像内の対象物
４０５ テンプレート領域
５０１ カメラ装置
５０２ 距離画像生成装置
５０３ テンプレート画像生成装置
５０４ シーン座標変換部
６０１，６０２，６０３，６０４ ケーブル
６０５ シーン座標
６０６ ＬＲＦ座標
６０７ ＬＲＦ座標の物体位置をシーン座標に変換する変換座標
８０１ 対象物領域特定部
８０２ テンプレート画像抽出部
９０１ シーン画像
９０２ 物体位置の距離画像
９０３ 対象物の占有領域の検出結果
９０４ シーン画像での対象物領域
９０５ テンプレート画像
９０６ 物体位置の距離画像における２次元座標
１００１ 従来のテンプレート画像生成装置
１００２ 統合画像生成部
１００３ テンプレート画像記憶部
１００４ テンプレートマッチング部
１００５ テンプレート画像生成部
１１０１ 予約テンプレート画像
１１０２ シーン画像
１１０３ 距離画像
１１０４ 統合画像
１１０５ テンプレート画像
Claims (3)
- テンプレートマッチングを行う際のテンプレート画像を生成するテンプレート画像生成装置において、
シーン画像を入力するシーン画像入力部と、前記シーン画像と同一の視野を持つ距離画像を入力する距離画像入力部と、前記距離画像による３次元物体認識を行いテンプレートとなる３次元上での物体位置を生成する物体認識部と、前記シーン画像と前記物体位置とからテンプレート画像を生成するテンプレート画像生成部とを有することを特徴とするテンプレート画像生成装置。 - テンプレートマッチングを行う際のテンプレート画像を生成するテンプレート画像生成装置において、
シーン画像を入力するシーン画像入力部と、前記シーン画像と異なる視野を持つ距離画像を入力する距離画像入力部と、前記距離画像による３次元物体認識を行いテンプレートとなる３次元上での物体位置を生成する物体認識部と、前記物体位置を前記距離画像の座標系から前記シーン画像の座標系に変換しシーン座標系物体位置を生成するシーン座標変換部と、前記シーン画像と前記シーン座標系物体位置とからテンプレート画像を生成するテンプレート画像生成部とを有することを特徴とするテンプレート画像生成装置。 - 前記テンプレート画像生成部は、距離画像中の対象となる物体の領域を特定する対象物領域特定部と、対象物領域特定部により特定された領域のシーン画像をテンプレート画像として抽出するテンプレート画像抽出部とを有することを特徴とする請求項１または２に記載のテンプレート画像生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003031733A JP2004240894A (ja) | 2003-02-07 | 2003-02-07 | テンプレート画像生成装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003031733A JP2004240894A (ja) | 2003-02-07 | 2003-02-07 | テンプレート画像生成装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004240894A true JP2004240894A (ja) | 2004-08-26 |
Family
ID=32958220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003031733A Pending JP2004240894A (ja) | 2003-02-07 | 2003-02-07 | テンプレート画像生成装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004240894A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966062A (zh) * | 2015-06-17 | 2015-10-07 | 浙江大华技术股份有限公司 | 视频监视方法和装置 |
| US11367287B2 (en) | 2015-06-17 | 2022-06-21 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for video surveillance |
-
2003
- 2003-02-07 JP JP2003031733A patent/JP2004240894A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104966062A (zh) * | 2015-06-17 | 2015-10-07 | 浙江大华技术股份有限公司 | 视频监视方法和装置 |
| US11367287B2 (en) | 2015-06-17 | 2022-06-21 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for video surveillance |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6853880B2 (en) | Autonomous action robot | |
| US8355529B2 (en) | Motion capture apparatus and method, and motion capture program | |
| Woodfill et al. | Tyzx deepsea high speed stereo vision system | |
| CN102197412B (zh) | 伪装检测系统和伪装检测方法 | |
| KR101740231B1 (ko) | 3차원 얼굴 위치 추정 방법 및 장치 | |
| US8224069B2 (en) | Image processing apparatus, image matching method, and computer-readable recording medium | |
| US20110187829A1 (en) | Image capture apparatus, image capture method and computer readable medium | |
| JP2003079685A (ja) | 視覚障害者歩行用補助具 | |
| JP2005500757A (ja) | ３ｄビデオ会議システム | |
| JPH10134187A (ja) | 三次元構造推定装置 | |
| JP2020042772A (ja) | 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム | |
| US9542733B2 (en) | Image processing method, imaging processing apparatus and image processing program for correcting density values between at least two images | |
| JP2021513175A (ja) | データ処理方法及び装置、電子機器並びに記憶媒体 | |
| KR20080029080A (ko) | 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 | |
| JP2018510419A (ja) | ３ｄシーンを３ｄモデルとして再構成する方法 | |
| JP2007334583A (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
| KR20140074201A (ko) | 추적 장치 | |
| JP2004240894A (ja) | テンプレート画像生成装置 | |
| KR101553522B1 (ko) | 로봇 및 그 제어 방법 | |
| JP2011002292A (ja) | 三次元指先位置検出方法、三次元指先位置検出装置、およびプログラム | |
| KR20130002090A (ko) | 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법 | |
| US20130076868A1 (en) | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same | |
| JP2004102323A (ja) | 画像処理装置および画像処理方法 | |
| WO2023189195A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP7310835B2 (ja) | カメラ情報算出装置、システム、カメラ情報算出方法およびプログラム |