JP2004512541A - 空間表現の構成のための装置及び方法 - Google Patents
空間表現の構成のための装置及び方法 Download PDFInfo
- Publication number
- JP2004512541A JP2004512541A JP2002540090A JP2002540090A JP2004512541A JP 2004512541 A JP2004512541 A JP 2004512541A JP 2002540090 A JP2002540090 A JP 2002540090A JP 2002540090 A JP2002540090 A JP 2002540090A JP 2004512541 A JP2004512541 A JP 2004512541A
- Authority
- JP
- Japan
- Prior art keywords
- indicators
- signals
- sensor
- sensors
- geometric representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
- Y10T74/00—Machine element or mechanism
- Y10T74/12—Gyroscopes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10T—TECHNICAL SUBJECTS COVERED BY FORMER US CLASSIFICATION
- Y10T74/00—Machine element or mechanism
- Y10T74/12—Gyroscopes
- Y10T74/1261—Gyroscopes with pick off
- Y10T74/1275—Electrical
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Toys (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
【発明の属する技術分野】
本発明は、一般に、空間表現の構成のための装置及び方法に関し、特に、監視制御されずに複数の指示物に係る空間表現を構成するための装置及び方法に関するが、それに制限されるものではない。
【0002】
【従来の技術】
世界は、指示物(referents)と呼ばれるデータ、オブジェクト及びアクションによって満たされており、それらは、相対的な空間的位置を有し、又は、便利なことには、相対的な空間的位置を有するものと解釈されることが可能である。この情報は多くのシステムの適正な動作のために重要であるので、これらの相対的な位置について認識していることは有用である。
【0003】
指示物は、画像センサ、音響センサ、圧力センサのようなセンサであることができ、一般に、信号を提供する任意のセンサであることができる。指示物は、そのようなセンサが方向を向けられる、世界の中における地点であることができる。指示物は、所定のアクションに関連付けられた任意の地点であることができる。指示物は、データのソースであることができる。
【0004】
指示物の相対的な空間的位置は、n次元の空間表現に埋め込まれたロケータによって表されることが可能である。
【0005】
指示物は、信号と呼ばれる、情報のソース又はフィルタであることができ、この信号は、空間表現における関連付けられたロケータの位置決めに影響を与えるために用いられることが可能である。
【0006】
例えば、画像処理とマシンビジョンのシステムは、一般に、感光センサ(例えばCCD)のアレーを利用する。この場合、複数の指示物は、個別の光センサを活性化する、知覚されたシーンの中の複数のソースである。複数のロケータは、これらの指示物の相対的位置を表現しようとする複数の画素である。各画素に係る変化する値は、その関連付けられた光センサの信号である。各個別の光センサからの信号をインテリジェントに解釈するために、システムは、複数の光センサの相対的な空間的位置について認識していることが必要である。システムが、複数のセンサの相対的な空間的位置について認識していないときは、組織化された画像を生成できないことがある。ゆえに、既存のシステムは、写真、ビデオ及び他の検出データを処理するために確立された標準において暗黙のうちに存在する概念的な直交行列において、複数のセンサに係るすべての相対的な空間的位置を先験的な情報として与えられる。CCDアレーの例では、カメラからの多重分離された複数の信号は2次元の直交行列に配置され、ここで各信号は2次元空間における固有の位置に割り当てられている。これらの行列は、多くの場合に、個別の画素のアレー又はリストである。あるセンサの信号を読み出す目的で、それの位置は、画像関数に対する引数として、座標か又はリストの位置かのいずれかの形式で与えられている。次いで、この関数はその値を戻す。位置は、このように固定され、かつインデックスを付けられている。センサの信号は、従来の定式化では二次的な特性である。
【0007】
画像処理又は他のセンサシステムにおける先験的な空間情報の提供は、大多数のシステムによってほとんど当然とみなされるほど本質的な要件である。システムを予めプログラミングすること以外の他のいかなる方法においても、空間情報を提供することが有利であるのか、あるいは可能であるのかについては、ほとんど考察されたことがない。
【0008】
【発明が解決しようとする課題】
しかしながら、本願出願人らが理解したように、複数のセンサの空間的位置についての先験的な情報をシステムに提供するための要件に関する複数の重大な問題が存在する。マシンビジョンサブシステムのようなセンサのサブシステムを組み込んだ、例えばロボットのようなシステムに対して、システムは可能な限り独立して動作できることが望ましい。問題は、先験的な空間情報の正確さ及び一貫性をあてにできないことにある。例えば、複数のセンサの相対的な空間的位置は、システムの較正が損なわれる(de−calibrated)ように変化することがあり、センサアレーについての空間情報は、例えばレンズの歪みのために、視野の一部において不正確な複数の指示物の空間的配置の単なる近似となることがあり、視覚装置の部品は、わずかに異なる仕様の新しい部品と交換されてもよく、設計が変更されてもよい。従って、信頼性を保つために定期的な点検及び較正が必要であるが、システムが遠隔した場所に存在したり、接近するのが困難であったり、又は極めて小さく精密であったりするので、このことは費用がかかり、多くの場合に困難である。
【0009】
システムに接近するのが容易であるところでさえも、定期的な点検が必要とされることは望ましくない。システムがより独立するならば、一般には、動作させるための費用がより少なくなる。
【0010】
さらに、先験的な空間情報が利用可能でない状況も存在する。複数のセンサによって画像形成されることが要求される空間にわたってランダムに分散された多数のセンサ、例えば海底又は他の惑星の表面上に落とされた多数のセンサについて考えよ。複数のセンサはランダムに位置決めされているので、先験的な相対的空間情報は利用可能ではない。
【0011】
これらの問題は、ただ画像処理とマシンビジョンのシステムにおける視覚センサにあてはまるのではなく、システムの動作のために空間的位置の知識が必要な任意の複数の指示物にあてはまる。
【0012】
そのような先験的情報に対する人工のセンサシステムの要件は、先験的情報を必要とせずに物理的空間を非常にうまく取り扱う生物的なシステムと対比されることが可能である。例えば、生物的な視覚システムは、複数の生物的な視覚センサ(例えば、網膜の細胞)の位置構成(positional arrangement)についてのいかなる仮定をすることも必要とせず、当該システムが見ている物理的空間の画像を構成することができる。
【0013】
本質的には、任意のシステムの独立した動作のために、先験的な空間情報に対する依存は除去することが好ましい。好ましくは、システムは、それ自体のセンササブシステムを用いて空間情報を導出できる必要がある。ゆえに、複数の指示物の相対的な空間的位置を評価するための改善された装置及び方法に対する必要性が存在する。
【0014】
さらに、本願出願人らは、空間情報を必要として有益であるのはセンサシステムだけではないということを理解した。本願出願人らはまた、空間中に位置決めされたロケータによって有益に表現されることが可能な他の指示物が存在するということも理解した。この方法で有益に表現されることが可能な指示物の1つの重要な例は、空間的なセンササブシステムを組み込んだ移動システムのためのモータコマンドを含む。本願出願人らは、2001年7月27日に出願されかつ本願が優先権を主張する先願のオーストラリア特許仮出願第PR6616号の明細書において、モータコマンドの指示物に対する空間表現の使用を提案している。
【0015】
モータサブシステムを含むシステムは多数存在し、上記システムは、産業において用いられるロボット(例えば、生産ラインロボット)と、(例えば、海中又は惑星外(off−planet)の探査のために)遠隔の領域において用いられるロボットと、商業、調査又は軍事のアプリケーションにおいて(例えば、ミサイルのような移動物体、侵入者、動物または人間の調査対象、液体中の汚染物質、自動車のトラフィックを追跡するために)用いられる視覚システムと、セキュリティーの目的のために用いられる監視制御システム(例えば、予め決められた場所における無人カメラ)と、玩具のために用いられる低コストのロボットと、他のシステムとを含む。そのようなシステムは、通常、センササブシステムを移動させるように構成されたモータサブシステムを有する。
【0016】
モータサブシステム及びセンササブシステムを組み込んだシステムに係る、申し分のない動作のために、2つの絶対的な要件が存在する。上記要件は次のものである。
1.センササブシステムは複数のセンサを含む必要がある。上で議論したように、センササブシステムによって検出されている環境の表現をシステムが構成するために、それは、複数のセンサの互いに対する空間的位置を与えられているか、又は推論可能である必要がある。
2.モータサブシステムは、それぞれがセンササブシステムの移動に影響する1つ以上のモータコマンドを含む必要がある。システムが移動を適正に制御するために、それは、センササブシステムに対するモータコマンドの影響を与えられるか、又は推論可能である必要がある。このことなしでは、それは、何の特定のモータコマンドが実行されるかを予想することができず、ゆえに、複数の利用可能なモータコマンドからインテリジェントに選択することができない。
【0017】
センササブシステムに対する第1の要件はすでに上で議論された。
【0018】
第二の要件(センササブシステムに対するモータコマンドの影響)に関して、従来のシステムでは、センササブシステムに対するモータコマンドの影響に係る先験的な知識、又はシステム制御された複数の構成要素の移動に係る先験的な知識は、システムの中に組み込まれている。ゆえに、システムは、何の特定のモータコマンドが実行されるのかについての知識を予めプログラミングされている。
【0019】
例えば、いくつかのマシンビジョンシステムは複数のセンサのアレーを含み、そこにおいて、視野は、周辺における相対的に低い解像度の部分と、“中心窩(fovea)”として知られる中心領域における相対的に高い解像度の部分とに分割されている。視覚的に興味のある地点をすばやく検出するために、視野の全体が用いられることが可能であり、次いで、システムは、関心を持たれた任意の地点を中心窩に配置するためのモータコマンドを用いて、後に続く高い解像度の処理のために上記視覚的に興味のある地点を見始めることができる。そのようなマシンビジョンシステムは、例えば、ミサイルのような移動物体、侵入者、動物又は人間の調査対象、液体中の汚染物質、及び自動車のトラフィックを追跡する能力を必要とするシステムに対して、非常に有用である。
【0020】
マシンビジョンシステムが適正に動作することを保証するために、(関心を持たれた対象が、高い解像度の領域において解像されることを可能にするように複数のセンサを移動させるために利用される)モータサブシステムは、センササブシステムに対して適正に較正されていなければならない。視覚システムの目的が、それの中心窩を、関心を持たれた対象の中心に集中させることにあるとき、中心窩に対する対象の位置が与えられたならば、当該システムは特定のモータコマンドを適正に選択し、そのモータコマンドが実行された後で、関心を持たれた対象が視覚サブシステムの中心窩において解像されるようにする必要がある。
【0021】
現在、モータサブシステム及びセンササブシステムに対するモータコマンドの影響に係る先験的な知識を用いて較正が行われている。しかしながら、較正が不正確なことがあり、さらに重要なことには、時間が経過すると(機械的部品の衰耗(wear and tear)を考慮すれば)システムの較正が損なわれうるという問題が生じる。さらに、信頼性があるようにシステムに提供しようとする事前の較正は、(例えば、最良の機械的部品、精密な公差の部品などを提供することで)非常に高価になることがある。
【0022】
センサシステムの場合に与えられたものと同様の理由によって、モータシステムの定期的な保守、点検、及び再較正は、望ましくない。
【0023】
モータサブシステムとセンササブシステムを含み、センササブシステムに対するモータサブシステムの自動的で連続的な較正を可能にするシステムに対する必要性が存在する。
【0024】
【課題を解決するための手段】
本発明に係る第1の態様によれば、複数の指示物から複数の信号を取得するステップと、上記複数の信号を利用して上記複数の指示物の幾何学的表現を提供するステップとを備えた、空間中の複数の指示物に係る幾何学的表現を生成する方法が提供される。
【0025】
好ましくは、上記複数の指示物によって提供された複数の信号は、上記複数の指示物の幾何学的表現を導出するために用いられる。上記複数の指示物の位置は、上記複数の信号によって直接には提供されない。好ましくは、上記複数の信号を取得するステップは、上記複数の指示物に関連付けられた複数のセンサから複数の信号を取得するステップを含む。
【0026】
1つの実施形態では、指示物はセンサ自体である。例えば、複数のセンサは複数の圧力センサであってもよく、それらの圧力センサは、画像がそれらの信号から構成可能であるように、互いに対して表現される必要がある。本発明を用いると、この幾何学的な表現は、複数のセンサ自体によって提供された複数の信号から純粋に構成され、好ましくは、いかなる先験的な空間情報が提供される必要性も存在しない。
【0027】
もう1つの実施形態では、複数の指示物はセンサではないが、複数のセンサに関連付けられた複数のソースであり、上記複数のソースに対して、幾何学的表現は有効であり又は必要である。例えば、複数のセンサは、環境における複数の地点(複数のソース)に向けられた、複数の遠隔の検出デバイスであってもよく、この場合、それらの信号は、センサ自体の場所におけるよりもむしろそれらの地点において取得する複数の値を参照する。
【0028】
もう1つの実施形態では、複数の指示物はセンサではないが、複数のアクションに関連付けられた複数の指示物であって、上記複数の指示物に対して、幾何学的表現は有効であり又は必要である。例えば、複数の指示物は、モータサブシステム及びセンササブシステムを含むシステム内のモータサブシステムに対するモータコマンドであってもよい。上で議論されたように、視覚サブシステムに対するモータサブシステムの較正を可能にする際に、複数のモータコマンドの幾何学的表現を複数のロケータとして提供することは有用である。
【0029】
もう1つの実施形態では、複数の指示物はセンサではないが、情報のフローを提供する複数の指示物である。例えば、1つの実施形態において、上記複数の指示物は、他のシステムによって更新される複数のデータベース又は複数のデータ構造であってもよい。常に更新される複数の値は、そのようなシステムに係る複数の信号と考えられる。本発明に係る方法は、好ましくは自己組織化処理である。すなわち、本方法が、例えば画像処理システムのようなシステム内で適用されるとき、システムによって、信号以外の別の情報は必要とされない。ゆえに、システムは、いかなる先験的な空間情報からも実際上は独立である。それは、生物的なシステムが独立に動作できるのと同様に、独立に動作できる。このことは重要な利点を生じさせるということが理解されるだろう。
【0030】
複数の指示物がセンサ自体である実施形態では、当該方法は、好ましくは、上記複数のセンサから複数の信号を収集するステップと、上記複数の信号を解析して上記複数のセンサの幾何学的表現を提供するステップとを含む。
【0031】
好ましくは、任意の2つの指示物からの信号の間における信号の差分(これは本願明細書では“ふるまいの差分”とも呼ばれる。)は、指示物の間の距離を含意することが仮定される。このことは、空間とふるまいとの間に存在する一般的な関係から従う。この関係は、それ自体を“空間的冗長度”として表す。一般に、空間的冗長度は、同様の指示物の対に係る信号のふるまいがより異なるようになると、それらの間の可能な距離をより大きくし、またその逆の関係になるようにする。この関係は問題があるものと以前は考えられたが、本願出願人らは、それらの信号のふるまいに基づいて多くの種類の指示物の幾何学的表現を提供する自己組織化処理を促進するために、この関係が利用可能であるということを理解した。好ましくは、複数のセンサ(又は他の任意の指示物)からの複数の信号は、所定の自己組織化する集合として処理され、幾何学的空間における上記集合の互いに対する接近は、それらの各ふるまいの類似性によって決定される。
【0032】
好ましくは、複数の信号はまた、それらのふるまいに係る有意な比較が実行可能であるように、時間的に整列可能であることも仮定される。
【0033】
上で議論されたように、空間的冗長度は、それ自体を、1)2つの指示物の間の距離と、2)それら2つの指示物の信号のふるまいにおける差分(すなわち、信号値における差分)との間の関係として表すことができる。この関係は、信号間のふるまいの差分“b”に基づいて、2つの指示物の間の実際の距離“a”の近似値を取得するために用いられることが可能である。いったん“a”に対して近似値が決定されると、指示物の各対に関して値“a”を正確に反映する幾何学的表現において複数のロケータの配置を発見するという問題が残る。複数のロケータの集合が、与えられた相対的な幾何学的位置であるときは、ロケータの各対の間に計算可能な幾何学的距離“g”が存在する。複数のロケータの幾何学的配置を、各可能な対に関して“a”が“g”に比例するように発見することは、明らかに有利である。本明細書の目的のために、用語“実際の距離”,“a”は、指示物間の物理的距離を参照するために用いられる。用語“幾何学的距離”,“g”は、複数のロケータ間の距離をそれらの幾何学的な空間表現において参照し、用語“ふるまいの差分”,“b”は、信号間の差分を参照する。ふるまいの差分は、瞬間的、同時的な信号値の間の差分、又は時間にわたるこれらの値の何らかの関数を参照する。
【0034】
好ましくは、複数の信号を利用するステップは、指示物間の実際の距離の間の差分を取得する誤差関数を決定するステップと、この誤差関数を最小化するステップとをさらに備えている。複数の指示物の実際の位置に係るいかなる事前の知識も用いずに、初期のロケータの幾何学的配置は、ランダムに分散されていると考えられることが可能である。この実施形態において、当該方法は、幾何学的表現が複数の指示物の実際の位置に対応するように、幾何学的表現を変化させて誤差“ε”を減少させることで進行する。
【0035】
1つの態様において、本発明に係る方法は以下のステップを含んでもよい。
1.“ε”を減少させる目的で、幾何学的表現を変化させる。
2.ステップ1に進む。
【0036】
ただ1つのロケータ“i”の“ε”に対する効果を考慮すると、本発明に係る方法は以下のステップを含んでもよい。
1.ロケータ“i”を選択する。
2.“ε”を減少させる目的で、幾何学的表現において“i”の位置を変化させる。
3.ステップ1に進む。
【0037】
好ましくは、ロケータ“i”の効果を、もう1つのロケータ“j”と関連して考慮するとき、当該方法は、確率的な、対に基づくアプローチを含み、以下のステップを含む。
1.ロケータの対“i”及び“j”を選択する。
2.幾何学的配置における各次元“x”に対して、
2.1 h[x]i,j=k(xj−xi)(1−ai,j/gi,j)を計算する。
2.2 xiをxi+h[x]i,jに設定する。
2.3 xjをxj−h[x]i,jに設定する。
3.ステップ1に進む。
【0038】
本発明に係る方法は、任意の数の次元に適用可能である一方で、マシンビジョンの分野に適用されるような好ましい実施形態では、複数のセンサの幾何学的配置に係る次元数は、多くの場合に2に制限される。
【0039】
ふるまいの差分bは、いくつかの部分的方法(sub methods)を用いて取得可能である。好ましくは、bは、瞬間的な信号の差分の絶対値に等しいか、瞬間的な信号の差分の絶対値に対する累積平均(accumulated average)に等しいか、又は、信号の瞬間値の間の相関係数をrとして、1−rに等しい。
【0040】
好ましくは、複数の信号が互いに独立であるときに、指示物の対からの信号間に係るふるまいの差分の期待値を測定する、統計値“μ”が確立される。信号の差分から導出されたbの場合に、“μ”の値は次の関係式から決定されることが可能である。
【0041】
【数1】
【0042】
ここで、piはセンサiの値の確率密度関数である。bが相関係数から導出される実施形態では、μは1に設定されていてもよい。
【0043】
複数のセンサからの信号が何らかの相関を有するとき、ふるまいの差分“b”に係る実際の測定値は、“μ”よりも小さくなる傾向がある。ゆえに、好ましくは、“μ”よりも大きい取得された任意の“b”値は、本発明に係る方法を実装する際に無視されることが可能である。有利なことに、このことは無用な処理を除去する。同様に、“b”値が“μ”の値に近いときか又は“μ”の値に等しいいくつかの状況でもまた、無視されることが可能である。
【0044】
好ましくは、本発明に係る方法は、利用可能な計算パワーとセンサシステムの複雑さとそれの環境との効果の間でバランスさせるために、複数のロケータの幾何学的配置を決定するために実行されることが可能な、さまざまな部分的方法を含んでいる。
【0045】
特に好ましい実施形態では、複数のロケータの幾何学的配置は、最初にすべての利用可能なロケータの部分集合を考察し、引き続いて信号の処理の間に、次第に付加的なロケータを含むことによって達成される。それに加えて、ロケータの対の母集団全体に係るサンプルが統計値の計算のために用いられてもよい。
【0046】
本明細書の目的のために、信号の対に関連付けられた統計値の集合は、1個の“作業力(workforce)におけるユニット”と呼ばれる。信号の各対に関して1個のユニットを有する作業力は、“完全な作業力”と呼ばれる。統計値の生成が計算資源を消費するならば、ときどき、可能な複数の対のサンプルからなる作業力を利用する技術が好まれることがある。好ましい技術は、以下のステップを含む、作業力を“展開する”ための部分的方法を必要とする。
1.(ロケータ“i”及び“j”に対して)作業力のユニット“u”を選択する。
2.“i”及び“j”の位置を調整する。
3.確率“p”で、新しいロケータの対に関して“u”を再割り当てする。
4.ステップ1に進む。
【0047】
本発明に係る方法は、ロケータ“i”及び“j”の位置を調整するためのさまざまな部分的方法を用いることができる。
【0048】
確率“p”と、作業力のユニット“u”を再割り当てする方法とは、変更されてもよい。作業力を展開するときの好ましいアプローチは、“b”についてより小さい値を有する対を選好することである。このアプローチを適用すると、“p”に対する好ましい実施形態の式は次のようになる。
【0049】
【数2】
【0050】
あるユニットが移動される(redeploy)ものであるといったん決定されると、それを他の複数のロケータにどのように再割り当てするかという問題が残る。本発明の好ましい実施形態では、値“bi,j”は“i”及び“j”に対する信号における平均の差分であるものと考えられる。差分の期待値“μ”に対して“bi,j”を比較した結果として、“ai,j”が推定されてもよい。この観点では、時間にわたって累積された値に対して比較された“b”に対する瞬間の値のみを用いて、おどろくほど良い結果が取得可能である。好ましい実施形態では、“b”に対する初期値(b0)は、次式のように設定される。
【0051】
【数3】
【0052】
1つの実施形態では、“μi,j”に対する近似値が用いられ、上記近似値は次式のように表される。
【0053】
【数4】
【0054】
ここで、Erf(x)は、ガウス分布の積分として定義される。
【0055】
【数5】
【0056】
本発明に係る方法は、“μ’”の決定のためのさまざまな部分的方法を利用することができ、正確な選択は、bを決定するための部分的方法の選択と、環境についての事前の知識のレベルと、利用可能な計算パワーと、要求される結果の正確さとに最も依存するであろう。“μ’”を決定するための部分的方法の定式化において、“b”の値が増大するとき、ロケータが移動される範囲が減少されるように、柔軟性ファクタが含まれてもよい。好ましい柔軟性ファクタは、次式のように表されることが可能であり、
【数6】
上記好ましい柔軟性ファクタは、好ましい実施形態の勾配降下アルゴリズムに組み込まれることができ、そこにおいて、部分的方法は以下のステップを含む。
1.ロケータの対“i”及び“j”を選択する。
2.上記対に関して、“b”,“μ’”及び“g”を確認する。
3.“b”及び“μ’”を用いて“a’”を導出する。
4.ファクタ=k(1−a’/g)(1/(1+ksoftb/μ’))を計算する。
5.幾何学的配置における各次元“x”に対して、
5.1 h=(xj−xi)ファクタを計算する。
5.2 xiをxi+hに設定する。
5.3 xjをxj−hに設定する。
6.ステップ1に進む。
【0057】
本発明は、視覚センサのみならず、任意のタイプの指示物に適用されることが可能である。それは、圧力センサ、音響センサ、及び他の任意のタイプのセンサに対して使用されることが可能である。
【0058】
上で議論されたように、本発明は、複数のセンサの相対的位置に係る空間表現を提供することに限定されず、モータサブシステムのためのモータコマンドのような他の指示物に用いられることも可能である。
【0059】
本発明は、あるいは非物理的領域に存在する、データのソースである複数の指示物に適用されることも可能である。
【0060】
ゆえに、別の実施形態では、複数の指示物はセンサではないが、複数のセンサに関連付けられた個別の部材(アイテム)である。
【0061】
1つの実施形態では、複数の指示物は、モータサブシステムのための複数のモータコマンドである。好ましくは、上記モータサブシステムは、センササブシステムもまた含む所定のシステムに関連付けられている。本発明のこの実施形態に係る方法は、好ましくは、複数のモータコマンドの効果の幾何学的表現を提供するように構成されている。好ましくは、当該方法は、センササブシステムによって提供された知覚情報の幾何学的表現における、所定のモータコマンドの効果を表現するステップを含む。
【0062】
“センササブシステム”は、1つ又は複数のセンサ信号を提供する1つ又は複数の構成要素を呼ぶということを注意する。用語“モータサブシステム”は、モータコマンドを実行する構成要素を呼ぶ。好ましくは、複数のセンサ信号を提供する、センササブシステム内の複数のセンサが存在する。好ましくは、モータサブシステムに利用可能な複数のモータコマンドが存在する。好ましくは、本発明に係る方法は、センササブシステムによって提供された知覚情報の幾何学的表現において、所定のロケータを介してモータコマンドの効果を表現することによって、複数のモータコマンドを較正するように構成されている。
【0063】
理解されるように、複数の信号を提供する複数のセンサがセンササブシステム中に存在するところでは、それらのセンサに関連付けられた複数の指示物を表す、複数のロケータの幾何学的配置が存在することができる。好ましくは、所定のセンサの指示物に関連付けられた各ロケータは、当該表現において互いに近接したロケータが、実際に互いに近接した指示物と関連付けられるように、所定の幾何学的表現において所定の位置を割り当てられる。CCDアレーの例では、カメラからの多重分離された複数の信号は2次元の直交行列に配置され、各信号は2次元空間における固有の位置を割り当てられている。
【0064】
本願出願人らは、センササブシステムによって提供される知覚情報の幾何学的表現においてロケータを用いてモータコマンドの効果を表現することによって、センササブシステムに対してモータサブシステムを較正するタスクが簡単化されることが可能であるということを理解した。
【0065】
ここで、知覚情報に対する特定のモータコマンドの効果を決定するために、基準のフレームが存在する。特定のモータコマンドの効果、すなわち、それから結果として生じる、知覚空間内の情報の移動に係る方向及び距離は、幾何学的表現内のそのロケータの位置に直接に関連している。
【0066】
好ましくは、モータコマンドのロケータを位置決めするステップは、モータコマンドの実行の前及び後で、センササブシステムにおける複数のセンサから信号を収集するステップと、上記複数の信号を解析して、実行されたモータコマンドと複数のセンサの空間的配置との間の空間的関係に関する情報を取得するステップとを含む。
【0067】
好ましくは、上記複数の信号を解析するステップは、モータコマンドが実行される前に取得されたセンサロケータ“i”の信号を、モータコマンドが実行された後で取得された、選択された基準センサロケータ“j”の信号に対して比較するステップを備えている。2つの信号に係るふるまいの差分は、ロケータ“i”に対してモータコマンドロケータの位置を調整するために利用される。モータコマンドロケータの位置決めは、好ましくは、複数の指示物の幾何学的表現を提供するための上で議論された方法を利用することによって実行される。
【0068】
適切な較正をもたらすために、この解析するステップは、モータコマンドを実行する時間の間に、環境が相対的に安定したままであることに依存する。従って、信号の変化の主な原因はモータコマンド自体の実行によるということが仮定可能である。
【0069】
この方法は、センササブシステムによって提供された知覚情報の幾何学的表現において、ロケータを用いて各モータコマンドの効果を表現するために、複数のモータコマンドに適用されることが可能である。
【0070】
この方法で、複数のモータコマンドは知覚情報の幾何学的表現に対して正しくマッピングされる。
【0071】
多数のセンサが存在するところでは、モータコマンドの実行の前に、モータコマンドの後の第2の1つ以上のセンサの値と同様の値を有する第1の1つ以上のセンサを識別するタスクは、困難になる。大量のデータを処理する必要性が存在する場合がある(CCDアレーは数千個の画素を有することがあり、処理しなければならない多数のモータコマンドが存在しうる)。この問題を扱うために、本願出願人らは、センサ情報を処理する2つの代替の方法を提案した。
【0072】
好ましくは、第1の方法において、幾何学的表現における複数の領域は、特定のモータコマンドがそこに位置決めされる確率を割り当てられている。モータコマンドは、最高の確率の部分の位置を与えられる。当該確率は、好ましくは進行する方法(on−going fashion)で調整され、好ましくはモータコマンドの各実行に対して調整される。特定のモータコマンドに対する高い確率の領域だけを見る必要があるように、処理は減少されることが可能である。
【0073】
代替の方法では、好ましくは、モータコマンドロケータの位置は複数のセンサロケータに対して調整される。この調整は、複数のセンサロケータの信号を利用することによって決定される。
【0074】
要約すると、(複数の信号の変化によって知覚されるような)センササブシステムの移動に対するモータコマンドの効果が決定可能である。このことは各モータコマンドに対して実行されて、センササブシステムによって提供される知覚情報の幾何学的表現において、複数のモータコマンドの効果の幾何学的表現を構成することが可能である。このことが進行する基準で実行されるとき、システムは、知覚情報の幾何学的表現に関して何の各モータコマンドを実行して、従って較正されるかを検出する。
【0075】
好ましくは、本発明に係る方法は連続的に動作可能であり、技術者のような外部の関係者が介在することなく動作可能である。この方法では、機械的構成要素の衰耗のような、較正が次第に損なわれる現象を補償することができ、さらに、複数の構成要素を、検出又はモータアクションの異なるスケールを用いた他の構成要素と置換することさえも補償することができる。本発明に係る方法を用いると、好ましくはシステムは自ら較正するので、高価な初期較正と高価な機械的部品に対する必要性は軽減される。ゆえに、本発明を利用したセンササブシステム及びモータサブシステムが、例えば玩具のロボットのような安価なシステムを較正するために使用可能であるということは、確かに可能なことである。
【0076】
上で議論されたように、複数のモータコマンドロケータの監視制御されない組織化を促進するために、好ましくは“時間的冗長度”が必要とされる(モータコマンドの実行の間に、環境は相対的に安定のままでなければならない)。世界に対するいかなる視野においても、多数の対象が存在し、それらは、大部分、(少なくとも、モータサブシステムの較正が行われている時間期間にわたって)それらの存在するところに留まるということが、当業者によって認められる。この相対的変化の欠如が“時間的冗長度”である。システムがモータコマンドを実行し、このことが結果として世界におけるセンササブシステムの視野を変化させ、かつモータコマンドの継続時間が時間的冗長度に関して短いならば、センササブシステムからの世界に係る“前”及び“後”の視野は、視野の変化に対して正されるとき、高度に相関させられる。このことは、複数のセンサ信号の変化から、モータコマンドの幾何学的表現を信頼できるように構成すること可能にする。そのことは、複数のセンサ信号の変化がモータコマンドのアクションによるものであると、システムがみなすことを効果的に可能にする。
【0077】
モータコマンドの実行の継続時間が時間的冗長度に関して短いとみなされないところでは、本発明を実現するために、好ましくは、モータコマンドは、(例えば、時間のしきい値、又はふるまいにおける検出可能な変化を用いて)より短い複数のサブコマンドのシーケンスに分解されてもよい。次いで、本発明に係る方法は、モータサブコマンドのそれぞれに対してロケータを用いて幾何学的表現を構成するために、サブコマンドのそれぞれに対して実現されることが可能である。
【0078】
好ましくは、複数のロケータの幾何学的表現は、信号のふるまいに基づいて複数のロケータの位置を決定するために、本発明の方法を利用した進行する方法で確立される。
【0079】
本発明の特徴及び利点は、添付の図面を実施例としてのみ参照することによって、それの実施形態に係る以下の詳細な説明から明らかになるだろう。
【0080】
【発明の実施の形態】
以下、図面を参照して本発明に係る好ましい実施形態について説明する。
【0081】
第1の実施形態では、複数の指示物に関連付けられた複数のセンサからの信号を利用して、複数のロケータによって構成された上記複数の指示物の幾何学的表現を実現するための、本発明に係る方法のアプリケーションが記述され、特にマシンビジョンのアプリケーションに関して記述される。アプリケーションはマシンビジョンに制限されるものではないことが理解されよう。
【0082】
次いで、図18乃至図20を参照して別の実施形態が記述され、当該別の実施形態は、本発明の方法に従って複数のモータコマンドの幾何学的表現を提供することによって、モータサブシステムがマシンビジョンのセンササブシステムに対して較正される、本発明のアプリケーションに関する。
【0083】
本発明の最良の態様
本発明の1つの実施形態は、マシンビジョン及び画像処理のタスクに対して容易に適用可能である。マシンビジョンにおいて、複数の指示物は、複数のセンサに対する複数の信号のソースである、シーン中の地点であるということが理解されよう。
【0084】
図22は、本発明の実施形態に係るマシンビジョンシステムの概略的なブロック図である。上記マシンビジョンシステムはCCDカメラ500と計算装置501とを備え、上記計算装置501は、CCDアレーから受信された複数の信号の幾何学的表現を提供するために、適当なソフトウェア及びハードウェアによって、ここにおいて続いて説明されるアルゴリズムを実装するように構成される。
【0085】
図1cは、本発明に係るCCDアレー500に対して入力されるテスト画像を示す。図1bは、処理が進行する前の、本発明のシステムからの出力を示し、図1bは、本発明の実施形態に従って処理が進行した後における、幾何学的表現が配置された後の出力を示す。
【0086】
好ましい実施形態では、複数のセンサによって収集されたデータの解析は、複数の指示物間の実際の距離と、対応する複数のロケータ間の幾何学的距離との間の差分を取得する誤差関数を最小化しようとする方法によって影響される。それは、いかなる誤差を減少させようとするときにも、幾何学的表現が複数の指示物の実際の位置に対応するように幾何学的表現を変化させることによって進行する。
【0087】
複数のロケータi及びjが存在する指示物の対に関して、当該方法は、ai,jと呼ばれる指示物間の実際の距離について直接の知識を持たないということが理解される。しかしながら、この特定の実施形態のために、bi,jと呼ばれるふるまいの差分は、指示物間の実際の距離に関数として従属することが仮定される。当該方法の仮定の式は、形式的には次のように表されることが可能である。
【0088】
【数7】
【0089】
ここで、fは、逆関数を有する関数である。
【0090】
bi,jは複数の信号自体から決定されてもよいので、ai,jは次式を用いて推定されてもよい。
【0091】
【数8】
【0092】
2つのロケータ間の幾何学的距離は、解釈される幾何学的表現における距離の計量(distance metric)である。例えば、2次元の幾何学的表現におけるロケータに対しては、次のようになる。
【0093】
【数9】
【0094】
われわれは、誤差関数εi,jを定義することができ、上記誤差関数εi,jは、実際の距離に対する、幾何学的距離における誤差を取得する。これは次式のように表されることが可能である。
【0095】
【数10】
【0096】
ロケータiに対して、位置における累積された誤差は、構成要素誤差(component errors)の総和であり、すなわち次式で表される。
【0097】
【数11】
【0098】
そして、システムに対する誤差の合計は、個別のロケータの誤差の総和である。
【0099】
【数12】
【0100】
好ましい実施形態に係る方法は、εを最小化する、複数の指示物の幾何学的表現を確立しようとする。ヒルクライミング法のアルゴリズムに関して表されたとき、問題は、εを減少させることを目的とする、幾何学的表現に対する何らかの小さな変化を決定することのうちの1つである。最上位概念の方法は、次のように表されることが可能である。
1)εを減少させる目的で、幾何学的表現を小さく変化させる。
2)1に進む。
【0101】
このことは、ただ1つのロケータを移動させることの効果を考察することによって明らかにされることが可能である。単一のロケータzの位置を変化させることがεzを減少させるとき、誤差の合計εは比例して減少されるということが見てとれる。εは個別のεi,jの総和なので、zを移動させることは、i=z及びj=zであるεの成分のみに影響を与えることができる。われわれは、εを3つの成分に、すなわち、Σi≠zεi,zと、Σj≠zεz,jと、Σi≠z,j≠z,i≠jεi,jとに分割することが可能である。zを移動させることは、最初の2つの成分にのみ影響する。
【数13】
であるので、数11がεzに等しいことから、
【数14】
であることが見てとれる。従って、誤差の合計εは、εzの変化に比例して変化される。
【0102】
εiを減少させるためにロケータiの位置を変化させることは、εを減少させ、従って、この方法は次のように表されることが可能である。
1)ロケータiを選択する。
2)εiを減少させる目的で、ロケータの位置を小さく変化させる。
3)1に進む。
【0103】
特に有用なヒルクライミング法アルゴリズムは、“勾配降下法(gradient descent)”と呼ばれるタイプである。勾配降下法のアプローチを用いてロケータを移動させると、それは方向−dεi/dXiにおいて移動され、ここで、Xiはiを表す幾何学的位置を示すベクトルである。言いかえると、ロケータは、誤差を局所的に減少させる方向に位置変更される。
【0104】
勾配降下法は、複数の成分に減縮されることができる。x成分のみを考えると、ロケータiの幾何学的表現における変化がh[x]iであるとき、
【数15】
であって、ここで、kは何らかの小さい正の定数である。
【0105】
εiの定義から、h[x]iは次のように表されることが可能である。
【0106】
【数16】
【0107】
kは何らかの任意の正の定数であるので、上式は次のように簡単化されることが可能である。
【0108】
【数17】
【0109】
ここで、
【数18】
である。
【0110】
数18は、各ロケータjに対して、われわれが、ロケータiを、それのjからの幾何学的距離に比例して、jに向けて移動させなければならないが、これは1−ai,j/gi,jによってスケーリングされ、この値はiとjが非常に近いとき負の数であり、それらが非常に離れているときは正の数であるということを示す。ある簡単化は、可能な対の母集団をサンプリングすることによって当該方法を確率的にすることにある。この確率的なバージョンはロケータの対を考え、それらのhに対する寄与のみに基づいてそれらの位置を調節する。確率的な、対に基づいた方法は、次のように表される。
1)ロケータの対i及びjを選択する。
2)幾何学的表現における各次元xに対して、
2.1) h[x]i,j=k(xj−xi)(1−ai,j/gi,j)を計算する。
2.2) xiをxi+h[x]i,jに設定する。
2.3) xjをxj−h[x]i,jに設定する。
3)1に進む。
【0111】
好ましくは、ファクタ(1−ai,j/gi,j)はループの外で計算される。
【0112】
当該方法の確率的なバージョンは、確率的アルゴリズムに固有なランダムさの出費において利益を提供する。この利点は、一定の時間の複雑さであるとともに反復毎の仕事の部分がより小さくなることと、母集団の全体のサンプルからロケータの対を引き出す機会と、特定の、かつ起こりうる有用な偏りを有して、利用可能な対のサンプルが生成可能であることとを含む。
【0113】
この特に好ましい実施形態に係る方法は、f−1(bi,j)によって与えられるような、ai,jの信頼できる評価値を必要とする。
【0114】
ab関係の数学的モデル
ふるまいの情報からの空間情報の抽出は、一般に、複数の信号の集合における空間的冗長度の存在に依存する。本発明の特に好ましい実施形態では、実際にその2つの指示物が互いに接近すると、それらの信号はより類似するようになることを見込まれると仮定されている。
【0115】
信号の相関性をもたない2つの指示物について考えることは有益である。2つの同様の指示物が与えられているとき、複数の信号に係る差分の概念を構成することが可能である。例えば、指示物が2値の状態を有するとき、われわれは、それらが両方とも同じ状態にあるときはそれらが0の差分を有するといい、そうでないときは1の差分を有するということができる。以下の定式化に関して、指示物がいくつの状態を持ちうるかは重要ではなく、単にその差分を取得する統計値が存在する。
【0116】
信号の相関が存在しないところにおいて、指示物の対からの信号間の差分の期待値を測定する統計値μが定義可能である。好ましい実施形態では、指示物の対i及びjに対してμを計算するために、それらの値の確率分布pi(v)及びpj(v)のそれぞれが必要とされるすべてである。複数の指示物が離散信号を生成するとき、μは形式的には次のように表されることが可能である。
【0117】
【数19】
【0118】
2値の指示物の対に係る実施例を用いると、各状態が同様に確からしいとき、
【数20】
である。
【0119】
もう1つの例として、0から255までの同様に確からしい値を有する指示物に対して、μは次のように表されることが可能である。
【0120】
【数21】
【0121】
実数値を報告する指示物に対して、μの等価な定式化は、確率密度関数pi(v)及びpj(v)の知識を必要とする。従って、値μは次のように表されることが可能である。
【0122】
【数22】
【0123】
複数の指示物からの信号が何らかの相関を有するとき、ふるまいの差分bの実際の測定値はμよりも小さくなる。複数の信号が反相関(anti−correlated)されているとき、bは、μの定式化によって決定されたそれよりも大きくなる。
【0124】
2つの指示物間の距離aが有する効果を、差分の期待値に係る評価値に関連して考察することもまた有用である。この目的のために、世界は複数の領域に分割されて、ここで、複数の指示物が同じ領域にあるならば上記指示物はゼロの差分を有するとみなされてもよい。さらに、この実施例の目的のために、境界の領域が単位距離当りにλの平均周波数で遭遇されるように、複数の領域は空間においてランダムに分散されていることが仮定される。
【0125】
2つの指示物が距離aによって分離されているならば、それらの間にn個の領域の境界が存在する確率Pnは、ポワソン分布によって表されることが可能である。
【0126】
【数23】
【0127】
2つの指示物が同じ領域に存在する確率は、それらの間に領域の境界が存在しない確率であり、従って、Pnが次のように表されることが可能になる。
【0128】
【数24】
【0129】
少なくとも1つの領域の境界をまたぐ確率は、次のように表されることが可能である。
【0130】
【数25】
【0131】
複数の指示物が境界をまたがないとき、差分の期待値は0になる。複数の指示物が境界をまたぐとき、差分の期待値はμになる。従って、aの関数としての、ふるまいの差分の期待値bは、次のように表されることが可能である。
【0132】
【数26】
【0133】
数26は、ふるまいの差分と、指示物の対の間の実際の距離との関係について予測を提供する。パラメータλ及びμはその関係をスケーリングする。
【0134】
ふるまいの類似性に係る第2のソースは、重複する検出領域を有する複数の指示物に関する。この効果の数学的モデルは、複数の指示物がある領域に集まるときに発生しうる複雑な相互作用によって混乱させられる。しかしながら、それぞれが理論的な点状の示度(readings)の重み付けられた総和を取得する複数の指示物を考慮することは有用である。この例では、ab関係は、時空間の地点における示度の間の理論的な関係の重み付けられた総和である。
【0135】
このことは、領域にわたって(空間及び時間において)bを平均化する効果を有する。平均化するこの領域が大きくなると、ab関係の信頼性はより高くなる。
【0136】
パラメータに対する感度
数26のab関係が与えられているとき、われわれは、測定されたふるまいの差分bから、推定される距離a’を提供するために逆関数を用いることができ、上記逆関数は次のように表されることが可能である。
【0137】
【数27】
【0138】
この推定の成功は、パラメータλ’及びμ’の定式化及び知識を基礎とする仮定に大きく影響される。パラメータλ’は実際のλの推定値であり、パラメータμ’は実際のμの推定値である。
【0139】
λ’及びμ’の設定における誤差に基づいて、推定された実際の距離に対する効果について考察することは有用である。図2は、ab関係と、パラメータμ’の不正確な設定の効果とを表す。この例では、図2は、理想化されたabプロットと、μが10%だけ過大評価されているときのbに対するa’のプロットとを表す。図面より、小さい値のbに対してa’は少量だけ過小に評価されていることが見てとれる。大きな値のbに対して、a’は、不均衡な大きな量だけ過小に評価される。
【0140】
a’の過小評価及び過大評価の割合がbのすべての値に対して一定のままであるとき、a’は単にaに比例する。λ’又はμ’が変えられるときa’/aの比が一定ならば、推定される幾何学的表現は、そのパラメータに対して反応しない(スケーリングを無視する)。
【0141】
われわれは、a’/aを次式に表されるように拡張することができる。
【0142】
【数28】
【0143】
λ’に対するシステムの感度を考慮すると、λ’を変化させることは、単に、aに関してa’をスケーリングするということが見てとれる。従って、λ’は、何らかの便利な定数に設定されることが可能である。μ’の影響を解析するために、われわれは誤差率errを次のように定義する。
【0144】
【数29】
【0145】
b/μに対するerrのプロットは、測定された異なるふるまいの差分に対して、a’がどのようにスケーリングされるかを示す。このプロットが水平な直線であるときは、スケーリングは定数である。このプロットが水平な直線から大きく変化するほど、a’はaに関してより非線形になる。μ’/μの異なる値に対するこのプロットを考慮することによって、パラメータμ’に対するシステムの感度が明らかになる。
【0146】
図3は、パラメータμ’を過大に設定することと過小に設定することとの効果を示す図であり、さまざまな値に対して設定されたμ’/μに対するプロットを示す。上記プロットは、μ’/μ<1であるとき(すなわち、μが正しく決定されているとき)に、a’がaのみに対して線形であることを示す。μ’/μ<1であるとき(すなわち、μが過小評価されているとき)、a’とaの間の関係は高度に非線形である。特に、dよりも大きいbの値に対して、a’に対する値は存在しない。
【0147】
この非線形性は、図4に示されたように、曲線が任意のスケールに対して正規化されているときよりはっきりと見てとれる。
【0148】
図4は、パラメータμを過大に設定することと過小に設定することとの効果を示す図であり、いかなるスケーリングファクタkも無視している。この例では、このプロットにおける最下部の曲線が、次式の非常に簡単な線形のab関係
【数30】
を仮定しているときの誤差率を示し、ここで、kは何らかの任意のスケーリング定数である。この曲線は、μ’>μであるとき、誤差率に対して境界の下限を提供する。
【0149】
μ’/μ>1であるとき(すなわち、μが過大評価されているとき)、a’とaの間の関係はわずかに非線形である。この非線形性は、a’が過小評価であるところにおいて、より大きな値のbに対して最も顕著である。
【0150】
μを過大評価することがそれを過小評価することよりもよいことを考慮すると、保守的な評価は、単に、2つの信号間の最大の可能な差分を取得することができる。これは決して過小評価になることがなく、線形のab関係を用いることよりも悪くなることは決してありえない。μ’に対する当該方法の感度を考慮すると、μのよい評価値を取得する方法を調べることは有用である。
【0151】
abプロットに対するr,λ及びμにおける変化の効果
このように進んで考察されたab関係に関する主な変数は、λ及びμである。これに対して、われわれは、第3のもの、r、すなわちセンサ値の範囲を追加することができる。本セクションでは、画像のプロパティとこれら3つの変数との間の関係が考察される。ab曲線における、一般性のより低い他の特徴についても考察される。これらのすべての変数及び特性は、それらが複数の画像の複数のシーケンスに対してするように、静的な複数の画像に対して適用する。しかしながら、本明細書の目的として、視覚的効果を説明するために、静的画像が支配的に用いられる。
【0152】
図5a,5b,5c及び5dは、ab関係において、画像のコントラストを変化させることがμに対してどのように影響を与えるかを表す。
【0153】
理想的なab曲線は、主に、2つのパラメータλ及びμによって決定される。これらについて、μは平均コントラストの測定値であって、ab曲線が平坦になる高さを決定する。われわれがシーン中のコントラストを低下させるとき、われわれは、μにおいて比例した低下を見ると期待する。図5a乃至5dは、コントラストの低下に係る20の写真の効果が、λではなくて(曲線の水平スケールは変化しない)、どのようにμに影響するか(漸近線は〜80から〜30まで下がる)について詳細に示している。
【0154】
一方、λは画像の鮮鋭さ(シャープネス)の測定値であって、曲線がμによって与えられる漸近線にどれだけ急に接近するかを決定する。このことは、λがab曲線をa軸に沿って水平にスケーリングし、それによって最急勾配のセクションを圧縮するか又は拡大するからである。
【0155】
図6a,6b,6c及び6dは、画像をぼやけさせることがどのようにλを低下させ、どのようにab関係に対してなめらかにする効果を有するかを示す。ぼやけさせる程度が増大するとき、曲線の最大の高さは有意には変化しないが、その勾配の初期値は、λが減少するとき累進的に低下される。
【0156】
極端にぼやけさせることは、λに対する小さい値と、実際の距離とふるまいの差分との間の高い相関とを結果的にもたらす。小さいλの値は、焦点を合わされていない視覚システムからもっとも容易に取得されることが可能なので、最初に画像に対して焦点を合わせられないことは、実際には、おおまかに局所化された位置を復元する助けとなることが見てとれる。この観点では、本発明に係る方法は、これがそのような画像の段階的な品質低下(デグラデーション)から利益を得るので新規である。
【0157】
図7a,7b及び7cはセンサスケールの解像度における低下の効果を示す。
【0158】
コントラストを低下させることのない、rの低下、すなわち単色画像のグレースケールの低下は、ab曲線の形状に対して、顕著なほどほとんど影響を持たない。グレースケールの範囲は、指示物のスケールの解像度と考えられることが可能である。図7a乃至7cには、同じシーンの3つのレンダリング表示(rendition)が示されたもの、最初のものは元の220個のグレーの陰影(shades)を備え、2つの修正された画像では、グレーの陰影の個数が8個と2個にそれぞれ減少されている。色彩の解像度における差分は、ab曲線のうねりの誇張としてそれ自体を明示するが、全体形状は有意には変化されない。この誇張は、それが誤差の可能性を増大させうるだけなので有害である。
【0159】
画像処理において、ディザリングは、画像中の色又はグレーの数を減少させる方法である。このことは、2つ以上の他の色の交替するパターンを用いて、存在しない色を近似することからなる。例えば、すべてのグレーは、黒と白の混合によって近似されることが可能である。図7cの画像に関してディザリングすることの効果が示されている図8を参照すると、混合することは、以前は単一の一様な色が存在した場所において、交替するパターン中に異なる色の隣接した配置を必要とするので、ディザリングすることの目立った効果は、1つの画素の実際の距離aにわたって測定される平均のふるまいの差分bを激しくかつ不均衡に増大させるということに注意する必要がある。相対的にab曲線の全体形状は影響されないが、小さな値のaに対してそれはもはや有用ではない(曲線の左端におけるスパイクを注意せよ)。曲線のこの部分は多くの場合に最も有用であるので、ディザリングには問題があるということが見てとれる。
【0160】
ab曲線の変動
理想的な状況下では、ab曲線はなめらかかつ単調である。しかしながら、理想的な状況からの偏差と、それらから結果的に生じた視覚的効果との間の関係を考えることは有用である。
【0161】
なめらかさ
ab曲線が線形ならば、本発明に係る方法は、bからaを推定する際に相対的にほとんど困難を持たない。ab関係の非線形性は、bがμに接近するときの誤差に対して、aの推定値を影響されやすいものにする。しかしながら、λが小さいとき、漸近線に対する接近は相対的に遅く、ab関係はより安定である。従って、本発明に係る方法は、小さなλによるab曲線(すなわち、その勾配の初期値が小さい)に対してよりよい性能を示す。画像における長いなめらかな勾配は、なめらかなab曲線に対応する。
【0162】
図9は、ab関係においてなめらかな勾配を生成する画像中の長いなめらかな勾配の効果を示す。この図面は、画像のab関係に対する標準偏差のプロットを含む。このプロットは、小さい距離において小さい差分が存在するということが非常に確からしく、大きな範囲の差分は中間の範囲において発生するということを示している。極端に長い距離においては、小さな母集団のサイズのために、データは非常に変化しやすくなる(小さな母集団のサイズは、ab曲線の信頼性においても、対応する低下をもたらす)。この画像では、角の領域が同様の色調にてなるので、標準偏差値は長い距離において相対的に小さい。この例では、λは非常に小さく、ab曲線は、その理想的な形状から離れ始める前に、200画素にわたって延在する。このことは、いくつかのシーンにおいて自然に発生しうる小さいλに対して、ぼやけさせることが必要ではないことを示している。この画像中のab曲線はまた、写真の共通の特性、すなわち大きい値の例における小さいbを示す。
【0163】
スパイク( spikiness )
図10における画像は魔方陣であり、ここでは0乃至255のすべてのグレーの値が表れ、各行、各列、及び各対角線における全体のグレーの品質は同じである。さらに、すべての象限は1つの平均値を共有し、それらの象限のそれぞれなどから、2×2画素を測定する領域のレベルまで同様に平均値を共有する。従って、この画像が構成される特別な方法のために、すべての小さい領域は、等量の明るさと暗さを有し、グレーの分布は完全に一様である(256個の画素に256個のグレー)。平均のふるまいの差分は(数43によって予測されるように)85である。この空間的及び色彩的な一貫性は、標準偏差のプロットにおいて見てとれるように、中間の範囲の距離におけるふるまいの差分において、相対的に低い標準偏差値をもたらす。
【0164】
図10は、一定の局所的な平均値を有する画像における標準偏差を示すプロットである。この画像における極端に短い距離と長い距離は、一貫して、大きなふるまいの差分を与える。このことは、ab曲線における小さい値のa及び大きい値のaに対して相対的に高い値を生成する。
【0165】
図10の画像における1つの画素のほぼすべての距離は、チェッカーボードパターン(市松模様)のために、非常に大きなふるまいの差分を有する。このことは、ab曲線におけるa=1のときのスパイクの原因となる。a=21において、abプロットは、画像中の最長の距離にわたる差分を測定しており、これは、それの量子化された対角線である。画像自体の検査は、各対角線にわたって、輝度における非常に大きな差分が存在していることを明らかにする(実際の差分は、左上から右下に対して240−0=240であり、右上から左下に対して255−15=240である)。a=20、すなわち対角線よりも短い距離の1単位において、ふるまいの差分は極めて小さくなる。このことは、曲線のこの部分が、1つの角の画素と、反対の角の画素に隣接した2つの画素との間の差分を収集するからである。これらの差分は、画像を検査することによって見てとれるように、すべて非常に小さい。すなわち、この画像中の局所的なコントラストの高度に不自然なパターンは、並外れてとがった(spiky)ab曲線を生じさせる。
【0166】
しかしながら、図10の標準偏差のプロットは、ab曲線におけるスパイク(spikiness)のもう1つのソースに対する表示を提供する。すべての局所的な領域は同じ平均のグレーを共有するので、中間の距離にわたって、われわれは、いくぶん(rather)一様なふるまいの差分を取得することを期待するものであり、このことは曲線中に示されている。しかしながら、標準偏差のプロットは、中間の長さの距離におけるなめらかなセクションを示す。このことは、それ自体、減少された差分によるものではなく、それは、母集団のサイズにおける増大によるものであることが明らかになる。この画像において、距離の実際の分布は、この画像におけるふるまいの差分の標準偏差値に反比例(inversely related)する。
【0167】
空間的歪みに対するab曲線の免疫
空間的歪みがab曲線に対して有する効果を調べることは有益である。
【0168】
比例したスケーリング
図11に、ab曲線に対する解像度の変化の効果が示されている。ソース画像のアスペクト比は変化されない。各寸法は4のファクタで減少されているので、画素の母集団は16のファクタで減少されている。両方の画像は非常に大きいλを有し、それぞれは多くの非常に高いコントラストの形状を含んでいる。ab曲線において検出可能な唯一の差分は、母集団のサイズの減少によって生じた、より低い解像度の画像のそれにおけるより高い可変性から結果的にもたらされる。このことは、μの推定値(すなわちμ’)の計算が、入力された母集団のまばらなサンプリングを用いて成功裏に達成されうるということを示唆する。
【0169】
不均衡なスケーリング
図12は、両方の次元においてであるが、異なる量で(水平に128画素から100画素に、垂直に96画素から30画素に)画像を削減する効果を示す。この特定の例では、スケールとアスペクト比の両方が変更されているが、ab曲線は有意には影響されていない。
【0170】
幾何学的配置の次元数
実現する過程での重要な決定は、システムに含まれる必要がある次元の個数である。複数の指示物の空間に存在することが仮定された次元よりも多くの次元を提供することは、勾配降下法のようなアルゴリズムに対して、それが大域的な最小値を発見しようとするときに、余分な自由度を提供することができる。今までに、幾何学的表現に係る局所的に一貫性のある別々の複数のパッチが、それら自体で相互に一貫性を持たないところにおける実験のうちのいくつかにおいて、ある現象が注目されている。2次元の幾何学的表現に対して、結果は、いくぶん、ねじれ(twist)のように表れている(図15を参照せよ)。いくつかの場合において、1つの一貫性のあるパッチを破棄し、それを反映(reflection)において復元することによって、幾何学的表現はねじれを持たない。
【0171】
余分な次元を提供することは、この“ねじれを持たない”ことが生じるための余分な自由度を提供する。余分な自由度が追加されてもよいが、それらが必要とされないときは除去されてもよい。
【0172】
いくつかの場合には、基準として空間中に存在することが仮定されているよりも少ない次元が必要とされることがり、この場合、処理のための次元の個数は減少されることが可能である。
【0173】
指示物の母集団
本発明に係る方法は、最初に複数の指示物のうちの部分集合のみを用い、続いて次第に追加の指示物を導入することによって、空間的な組織化を達成することができる。
【0174】
作業力( Workforce )
処理のために1対の指示物が選択されるとき、その対に関連付けられたさまざまな統計値(すなわちb及びμ’)がそれらの幾何学的表現に対して有効に生成される。以下に示されるように、統計値を評価するための多数の代替の方法が存在し、部分的方法のうちのいくつかは、指示物の各可能な対のための追加のメモリと処理を必要とする。
【0175】
本明細書の目的のために、ある対に関連付けられた統計値は、勾配降下法のアルゴリズムに利用可能な、1個の“作業力のユニット”と呼ばれる。追加のメモリ及び処理を必要としない簡単なユニットは、アルゴリズムの複雑さに影響を与えない。統計値を計算するための資源を必要とする実装に対して、所定の影響が存在し、またそのような場合には、可能な対の合計の個数よりも少ないユニットを有するように考慮することは意味がある。
【0176】
完全な作業力
各対に関して1個のユニットを有する作業力は、完全な作業力と呼ばれる。n個のセンサにわたる完全な作用力に対して必要とされるユニットの個数wは次式で表される。
【0177】
【数31】
【0178】
この例では、各指示物はn−1個のユニットと関連付けられている。完全な作業力は、ユニットの統計値を保持するための処理の要件が存在しないとき、又は指示物の個数が少ないときに有用である。各ユニットを保持するための処理が一定であるときは、各反復の複雑さはO(n2)である。
【0179】
サンプリングされた作業力
b及びμ’を取得するための技術のうちのいくつかが追加の処理及びメモリを必要とするならば、このとき、完全な作業力よりも少ない作業力を用いる技術が考慮される。作業力が可能な対の母集団の全体にてなるとき、統計値には有意な量の冗長度が存在する。原則として、ある指示物は、2次元の幾何学的表現においてその正しい位置を決定するために3つのユニットを必要とする。実際には、指示物毎に3つのユニットではよい結果をもたらしそうにないが、固定された複数n個に作業力を制限することが、特定のタスクに対しては適当な結果を提供することがある。
【0180】
母集団の部分集合である作業力は、サンプリングされた作業力と呼ばれる。作業力中のユニットの個数がwであるとき、指示物毎のユニットの平均の個数は2w/nであり、これは作業力の次数と呼ばれる。完全な作業力は次数n−1になる。
【0181】
サンプリングされた作業力の利点は、一定の次数の作業力(それは次数n−1よりもずっと小さい)を有することによって、空間及び時間の複雑さを低減することにある。しかしながら、所定の利得は、実際のメモリ及び処理がユニットを保持するために必要とされるときのみに達成される。bに対する瞬間の値が用いられるとき、このことはあてはまらない。
【0182】
サンプリングされた作業力を実装するために、作業力のユニットが特定の指示物の対にどのように割り当てられるべきかを考察することが必要である。相対的に簡単なアプローチは、母集団のランダムなサンプルに対して作業力を割り当てることである。サンプリングされた作業力を割り当てるために、さまざまな方法(レジーム)が存在してもよい。ランダムにサンプリングされた作業力から出発して、上記作業力が、次に、新しいセンサの対に関して臨時に再割り当てされたユニットによって展開されることは、1つの例である。
【0183】
サンプリングされた作業力を展開すること
複数のパラメータの感度の解析とab曲線の経験的な研究とから、小さな値のbは、大きな値のbよりも信頼性があるということが注意される必要がある。信頼できないユニットを除去するために作業力を展開するためにサンプリングされた作業力を用いるとき、ある機会が生じる。
【0184】
好ましい実施形態では、作業力を展開するための基礎となる部分的方法は、以下のステップを含む。
1)(ロケータi及びjとともに)作業力のユニットuを選択する。
2)勾配降下式に従ってi及びjの位置を変更する。
3)確率pで、uを新しい指示物の対に再割り当てする。
4)1に進む。
【0185】
異なる展開方法は、確率pと、uを再割り当てする方法とに影響する。
【0186】
作業力を展開するときに好ましいアプローチは、より小さく、bに対してより信頼性の高い対を選好することにある。このアプローチを適用すると、pに対する以下の式が定式化される。
【0187】
【数32】
【0188】
所定のユニットの統計値bが増大するとき、上記ユニットが再割り当てされる確率もまた増大する。パラメータkbreakは、大きなbのユニットが再割り当てされる見込みに影響する。図29は、小さいbの値に対する作業力の選好に、このことがどのように影響するかを示している。
【0189】
ユニットが移動されるべきであるといったん決定されると、それを再割り当てする方法についての問題が残る。あるユニットを、単に、ランダムに選択されたロケータの対に再割り当てすることは、小さいbの値を選好する原則を無視する。好ましくは、すべての可能な対が走査され、bに対して小さな値を有する対が選択される必要がある。しかしながら、このアプローチは多くの複雑化の要因を有する。
【0190】
第1に、そのような探索に係る計算費用が存在する。第2に、より重要なことには、bを評価することに係る問題が存在する。サンプリングされた作業力の使用は、もっぱらbの評価を目的としている計算費用を低減することを意図している。ユニットを移動することが、すべての可能な対に関してbが計算されることを必要とするならば、計算の複雑性を低下させることから生じるいかなる利点も失われることがある。
【0191】
好ましい実施形態において実装された、これらの問題を克服するための1つのアプローチは、可能な対の小さなランダムサンプルを考察することにある。このとき、bの指示器としてgを用いることは、最低のgを有する対にユニットを割り当てる。あるサンプルを取得することは、すべての可能な対をチェックする必要性を取り除き、bを指示するためにgを用いることは、bを累積するために必要な時間を取り除く。
【0192】
最初は、幾何学的表現が複数の指示物の実際の位置に類似していることはありそうにないので、gがbのよい近似であるということはありそうにない。この例では、gの移動に基づくことは、ランダムに移動することよりもよくないことがある。しかしながら、幾何学的表現が改善するとき、gとbの間にほぼ単調に増大する関係が存在する。このことは、aとbの間の単調に増大する関係の結果として生じる。移動するサンプルのサイズktriesが1であるとき、ユニットが再割り当てされる方法についての選好は存在しない。このことはユニットをランダムに再割り当てすることと等価である。ktriesが増大するとき、移動は、小さい値のgを有する対を選好する。
【0193】
幾何学的表現に対する調整を実行するためのユニットの選択
幾何学的表現に対する調整を実行するために、作業力における複数のユニットがどのように選択されるかについて考えると、3つの可能なアプローチ、(1)線形の順序、(2)一様にランダムな順序、及び(3)偏ったランダムな順序が調査される。
【0194】
線形の順序は相対的に簡単である。作業力における複数のユニットは単に列挙され、反復処理が開始される。このことは、すべてのユニットが等しく処理されることを保証するという利点を有するが、次のユニットの追跡を保持するための動作メモリを必要とするという不利益を有し、不自然な、反復的な順序付けを必要とする。
【0195】
線形の順序に対する変形例は、毎回ユニットをランダムに選択することであり、最も基本的な選択の分布は、すべてのユニットを一様に取り扱う。一様な、ランダムなアジェンダは、どの1度においても1つの動作ユニットのみが幾何学的配置を調整することができる、確率的な並列処理をシミュレーションする。
【0196】
複数のユニットが作業力からランダムに選択されることが可能であるならば、選択を何らかの方法で偏らせることが有用であるときがある。1つの可能な偏りは、小さなbを有するユニットに向かうものである。偏った、ランダムなアジェンダは、複数のユニットがメモリを割り当てられていないところにおける(例えば、累積されたb値ではなくて瞬間のb値を用いる)完全な作業力に対して有用なことがある。
【0197】
偏った、ランダムなサンプルは、作業力を展開するための代替のアプローチである。ランダムなアジェンダは、ユニットの移動を偏らせることと同様の方法で(すなわち、ktriesと同様のパラメータを用いて)偏らされることが可能である。
【0198】
bを決定する
勾配降下アルゴリズムを実行するとき、指示物の対i及びjに対する実際の距離ai,jが評価される必要がある。このことは、上記対に関してbi,jを決定するためのアルゴリズムを必要とする。
【0199】
好ましい実施形態では、値bi,jは信号iとjの間のふるまいの差分であり、それは、ai,jが推定されることが可能な差分の期待値μに対してbi,jを比較した結果として存在する。
【0200】
bi,jを決定するための特定のアプローチは、信号の瞬間の値における差分を取得するものである。そのようなアプローチに対する暗黙の仮定は、幾何学的表現に対する全体の効果が、ai,jの値を平均化する効果を有するというものである。このことは、以下の四角形(square)が交換可能であることを仮定する。
【0201】
【数33】
【0202】
この四角形において、
【数34】
は、2つの信号間の、測定された瞬間の差分を表す。垂直の矢印は、数27を用いた関数を表す。
【0203】
この四角形が交換しないことを示すのは、相対的に簡単なタスクである。ab曲線の形状は、瞬間的な
【数35】
がbより大きくなるように変化するとき、
【数36】
がbより小さくなるように変化する場合と比較して、a’に対して不均衡に大きな効果が存在するであろうことを示す。しかしながら、上記四角形が明らかに交換しないという事実にも関わらず、そのような簡単なアプローチを用いることから、おどろくほどよい結果が得られる。
【0204】
瞬間の値から累積された値に移ることは、余分な記憶と処理の時間を必要とする。bを累積するための簡単な方法は、指数関数的に減衰する平均を用いる。時刻tにおける平均値は、次式を用いて計算されることが可能である。
【0205】
【数37】
【0206】
ここで、γは減衰率であり、
【数38】
は時刻tにおける瞬間の差分である。
【0207】
処理の途中で平均値が初期化された部分を必要とするとき、b0に対する適当な値を選択することは重要である。好ましい実施形態では、b0は、1−a’/gを結果的にゼロに等しくする値に設定される。すなわち、アルゴリズムが、幾何学的表現をどのように変化させるかを決定するためにbを用いるとき、変化は存在しない。bがその評価された値を累積するとき、幾何学的表現に対するそれの効果は、より重要になる。
【0208】
幾何学的表現に対する変化は、g=a’のときゼロになる。
【0209】
【数39】
【0210】
ゆえに、b0は次式を用いて設定される必要がある。
【0211】
【数40】
【0212】
μを決定する
値μは2つの信号間のふるまいの差分の期待値を測定する統計値である。システムはμを評価するためにパラメータμ’を用いる。それは、実際の距離の推定値a’において到達することが可能な数27を用いて、対又は複数のセンサに係るbに対してμ’を比較することによる。複数の値の分布が信号i及びjに対して知られているときは、μi,jは直接に決定されることが可能である。値vの確率がそれぞれpi(v)及びpj(v)であるときは、μi,jは次式のように表されることが可能である。
【0213】
【数41】
【0214】
いくつかのシステムでは、各信号に対する分布を収集することが可能である。これは、少数の離散的な値を報告する信号に対して特に魅力的なオプションである。各信号iに対して、pi、vが値vを測定する信号iの確率であるように、ベクトルpiが必要とされる。
【0215】
この観点で確率を評価するために周波数データを累積することは、困難なことがある。しかしながら、分布は、指数関数的に減衰する平均と同様の、時間について一様な(time−homogenous)方法で累積されることが可能である。以下のアルゴリズムは、各確率をγのファクタによって減衰させる。好ましい実施形態において、減衰された合計の量は、現在の信号値に係る確率に対して加算される。この方法では、所定の確率密度関数のもとでの領域は保存される。初期の分布は一様であってもよく、この場合、pi、vは、rが可能な信号値の個数であるものとして、1/rに初期化される。
【0216】
減衰率γを用いると、piに対する更新アルゴリズムは次のようになる。
1)各信号iに対して、
1.1)合計の減衰量を0に設定する。
1.2)各値vに対して、
1.2.1)減衰をγpi、vに設定する。
1.2.2)pi、vを、pi、v−減衰量に設定する。
1.2.3)合計量を、合計量+減衰量に設定する。
1.3)vを、信号iの現在の値とする。
1.4)pi、vを、pi、v+合計量に設定する。
【0217】
複数の値は0とr−1との間で一様に分布されているということが知られているとき、μを計算することは次式のように簡単化される。
【0218】
【数42】
【0219】
この近似は、大きな値のrに対して成立し、過小評価はしない。一般に、一様な(αからβまでの)離散分布の対に関する差分の期待値は、次式によって与えられる。
【0220】
【数43】
【0221】
実数値を報告する信号に対しては、数42の等価物は、pi(v)及びpj(v)が複数のセンサに対する確率密度関数であることを必要とする。従って、この式は次式のように表されることが可能である。
【0222】
【数44】
【0223】
離散信号と連続信号の両方に対する分布は、複数の値を複数の範囲のグループに分類し、次いで各範囲の中間点に対して数42を用いることによって近似されることが可能である。最も基本的な場合にはただ2つの範囲のみが存在し、一方は最小値から何らかのしきい値までであり、他方は上記しきい値から最大値までである。このことは、2値ビットマップとしての画像の表現と同様である。当然ながら、そのような簡単化の品質は、しきい値の選択に大きく依存する。
【0224】
αとβの間に実数値が一様に分布されているとき、μは次式のように表されることが可能な直接的な解を有する。
【0225】
【数45】
【0226】
数45はまた、複数の値が正規分布しているということが知られているとき、扱いやすくなる。各センサiに対して平均値viと標準偏差値siが与えられると、正規分布の確率密度関数は次式のように表されることが可能である。
【0227】
【数46】
【0228】
積分変数x及びyのzスコアを考慮することによって、上式は次式のように簡単化されることが可能である。
【0229】
【数47】
【0230】
問題における対称性は、零点(zero point)からの1つの信号に係る差分の期待値を考慮することによって、上式がさらに簡単化されることを可能にする。この信号は、次式によって与えられる平均値vと標準偏差値sを有する。
【0231】
【数48】
【数49】
【0232】
従って、われわれは次式を得る。
【0233】
【数50】
【0234】
誤差関数Erf(x)は、ガウス分布の積分として定義される。
【0235】
【数51】
【0236】
この積分の解は、次式によって近似されることが可能である。
【0237】
【数52】
【0238】
この積分の正確な近似を生成するための他の方法も存在するが、この近似を用いることによって、μi,jは次式のように表されることが可能である。
【0239】
【数53】
【0240】
この近似は、それがμを0.025vよりも過大評価することなく、それを0.095vよりも過小評価することもないので、好ましい実施形態において用いられる。
【0241】
本発明に係る方法はパラメータμ’に対して敏感であり、評価値を提供するために上のさまざまな定式化が用いられることが可能である。各定式化は、複数の信号について所定の仮定をして、何らかの処理パワー及びメモリを消費する。複数の信号の範囲のみが知られているときに、相対的に安全なアプローチは、μ’を複数の値の間における最大の可能な差分に設定するものであるということが注意されるべきである。この例では、近似は常に過大評価するであろうが、他のいかなる情報も存在しないとき、このことは、μ’を過小評価する危険をおかすよりも好ましいことがある。
【0242】
従って、μ’を取得するための多数の可能な部分的方法が存在する。特定の状況に対する部分的方法の正確な選択は、複数の指示物の環境と、利用可能な計算パワーと、結果に必要とされる精度とに係る、システムの設計者が有する先験的な知識のレベルに依存する。さまざまな部分的方法を用いることの利益及び不利益は表1にまとめられている。
【0243】
【表1】
【0244】
柔らかいbの限界と硬いbの限界
大きなbの値は小さい値よりも信頼性が低いことを考慮すると、大きなbを有するユニットの有効性を低下させることは有用であることがある。小さなbの値を選好するための1つの方法が作業力を展開するものであるということが、以前に注意された。このアプローチは完全な作業力に対しては可能ではないが、1つの代替例は、bに従うユニットの有効性を制限するものである。
【0245】
bの値がμ’よりも大きいときはいつでも、数27は計算不可能である。結果として、特定のユニットは有効ではない。このことは、b/μ’がkcutよりも大きいときにはいつでもそのユニットによって幾何学的表現に対する調整がされないように、硬いカットオフ値kcutを提供することによって拡張可能である。
【0246】
暗黙のうちに、kcutに対するデフォルト値は1である。1よい小さいいかなる値も、有効な作業力を低下させる。
【0247】
b値に対する硬いカットオフを有するよりはむしろ、bの値が増大するときに複数のロケータの位置が変更される範囲が減少されるように、所定の柔軟性ファクタが勾配降下アルゴリズムに含まれることが可能である。好ましい実施形態では、柔軟性を決定するために以下の関係式が用いられる。
【0248】
【数54】
【0249】
この特定の関係は、作業力を展開するための数33のそれと同様である。柔軟性は、好ましい実施形態の勾配降下アルゴリズムに以下の方法で組み込まれる。
1)指示物の対i及びjを選択する。
2)上記対に関してb、μ’及びgを確認する。
3)b及びμ’を用いてa’を導出する。
4)ファクタ=k(1−a’/g)(1/(1+ksoftb/μ’))を計算する。
5)幾何学的配置における各次元xに対して、
5.1)h=(xj−xi)ファクタを計算する。
5.2)xiをxi+hに設定する。
5.3)xjをxj−hに設定する。
6)1に進む。
【0250】
他のヒルクライミング法の定式化
勾配降下アルゴリズムは単に1つのタイプのヒルクライミング法アルゴリズムであるにすぎず、gを用いてaを近似するために他の最適化アルゴリズムが動作してもよいということが、当業者によって認識されるだろう。好ましい実施形態の勾配降下アルゴリズムにおける重要なファクタは、hのファクタである、すなわち次のものである。
【0251】
【数55】
【0252】
g>a’であるとき、数55によって表されるファクタは正であり、上記ファクタはロケータを互いに接近するように移動させる。逆に、g<a’であるとき、このファクタは負であり、上記ファクタはそれらをさらに離れるように移動させる。これは、複数のロケータに対して働く力として概念化されることが可能である。
【0253】
この式は、ある非対称な特性を有する。a’とgの間の与えられた差分に対して、複数のロケータを押して離す概念的な力は、そうではなくてそれらを引きつける概念的な力よりも強い。
【0254】
他のアルゴリズムも考えられ、表2にまとめられている。
【0255】
【表2】
――――――――――――――――――――――――――――――――――――
【数56】
この定式化は、所定のユニットに係る概念的な斥力と引力の間に対称性を生成する。上記ファクタの自然対数は、a’とgの間の差分に対する比例項(proportional)よりも小さい概念的な力を結果的にもたらす。
――――――――――――――――――――――――――――――――――――
【数57】
この定式化は、所定のユニットに係る概念的な斥力と引力の間に対称性を生成する。この力は、a’とgの間の差分に比例する。
――――――――――――――――――――――――――――――――――――
【数58】
a’とgの間の与えられた差分に対して、a’の、複数のロケータを押して離す概念的な力は、そうではなくてそれらを引きつける概念的な力よりも弱い。
――――――――――――――――――――――――――――――――――――
【0256】
概念的方法のまとめ
本発明に係る方法を実装するときに、多数の考慮すべきことがらが存在し、以下のものを含む。
・幾何学的表現の次元数、
・処理されるべき指示物の母集団と、この観点における任意の変化、
・bを決定するための部分的方法、
・μ’を決定するための部分的方法、
・b又はμ’の誤差を改善するために硬い限界又は柔らかい限界が用いられるか否かと、用いられるならば、この観点における複数のパラメータ、
・作業力が、指示物の対の完全な集合であるのか、あるいはサンプリングされた作業力であるのか、及び
・作業力がサンプリングされているならば、b又はμ’の誤差を改善するために作業力が展開されるか否かと、もし展開されるならば、この観点における複数の展開パラメータ。
【0257】
複数の値のセンサ
いくつかの場合には、各指示物は、各タイプに対して所定の信号値を提供して、複数の別個のタイプの信号を提供してもよい。3つのカラータイプに対して別個の画素が存在するカラーCCDの場合を考えよ。本発明のこの実施形態では、そのような“複数の値の信号”は多数の方法で処理されることが可能である。
1)各個別のタイプの信号は、個別の指示物に関連付けられているように取り扱われることが可能であり、各タイプに対して幾何学的表現が提供されている。
2)各タイプの信号に対して別個のロケータが提供され、次いで、上記複数の別個のロケータは幾何学的に結合されて単一のロケータを生成する。
3)複数の別個のタイプは結合され、単一の信号値として取り扱われる。
【0258】
モーメント( Momentum )
モーメントを含むことの背後に存在する動機はニューラルネットワークに対するそれと同様である(ヘルツ、クローグ及びパルマー 1991年 123ページ)。小さな降下率とともに勾配降下法を用いることは、遅くなりうる。大きな降下率を用いるとき、複数の狭い谷(valleys)を含む誤差関数において、システムは発振することがある。モーメントを追加することは、変化ベクトルの一部を後続する変化に包含させることによって(図21を参照せよ)、パラメータ空間を通るロケータの経路に慣性を与える。モーメントを備えた勾配降下法に対する一般的な形式は次のものである。
【0259】
【数59】
【数60】
【0260】
ここで、ηはモーメントパラメータである。ηを0.2乃至0.8の範囲に設定することは一般的であるが、より複雑な技術は、式によって決定されたηを変化させ、共役勾配法の慣例(rubric)に従う。
【0261】
図21aは、モーメントなしの、誤差の谷を有する誤差関数にわたる経路を示す。図21bはモーメントを含む効果を示す。
【0262】
当該アルゴリズムにモーメントを包含させることは、実行された最後の変化を記憶するための余分な記憶装置を必要とする。確率的勾配降下法は複数のユニットに対して動作し、各ステップにおいて対に基づいて変化させるので、各ユニットがそれの以前の変化ベクトルHi,jを記憶することは直観的であると思われる。その場合、アルゴリズムは次のようになる。
1. (センサの対i及びjに対して)ユニットを選択する。
2. 共通のファクタφ=k(1−ai,j’/gi,j)を計算する。
3. 幾何学的配置における各次元xに対して、
3.1 h[x]i,jをηh[x]i,j+φ(xj−xi)に設定する。
3.2 xiをxi+h[x]i,jに設定する。
3.3 xjをxj−h[x]i,jに設定する。
4. 1に進む。
【0263】
しかしながら、このアルゴリズムは2つの欠点を有する。第1に、それは、各ユニットに対してHベクトルの記憶装置を必要とする。第2に、モーメントは、幾何学的配置においてセンサの表現を押すための慣性として理解されることが可能であるので、ユニットの特性ではなくて、センサ表現の特性として見なされるほうがよい。
【0264】
表現を中心とされたモーメントを実装するために、センサの表現された場所に対する最後の更新を記録するためのベクトルHiが存在する。その場合、アルゴリズムは次のようになる。
1. (センサの対i及びjに対して)ユニットを選択する。
2. 共通のファクタφ=k(1−ai,j’/gi,j)を計算する。
3. 幾何学的配置における各次元xに対して、
3.1 h[x]iをηh[x]i+φ(xj−xi)に設定する。
3.2 h[x]jをηh[x]j−φ(xj−xi)に設定する。
3.3 xiをxi+h[x]iに設定する。
3.4 xjをxj+h[x]jに設定する。
4. 1に進む。
【0265】
センサの個数はユニットの個数よりもずっと少ない。従って、センサに基づくモーメントは、モーメントがより効果的になることを可能にし、メモリを節約する。モーメントのこの概念が、ジグソー(JIGSAW)によって現在実装されている。
【0266】
本発明は、従来の方法と比較して、複数の指示物の空間的構造を表現するための代替のシステム及び方法を提供する。マシンビジョンの分野に適用されたとき、本発明は、ある画像が概念的な直交行列における複数の画素のリストによって記述される従来のディジタル画像記述には依存しない、システム及び方法を提供する。
【0267】
本発明はマシンビジョンにおけるアプリケーションには制限されない。任意のタイプの指示物に係る幾何学的表現が、本発明に従って組織化されることが可能である。
【0268】
ここで、複数のモータコマンドの幾何学的表現を提供し、本発明に従うことによって、センササブシステムに対してモータサブシステムを較正するためのアプリケーションに関連した、別の実施形態が説明される。
【0269】
以下の説明は、マシンビジョンシステムの実施形態に関連して与えられ、上記マシンビジョンシステムは、カメラに装着されたCCDアレーの形式の、複数のセンサのアレーを含み、上記マシンビジョンシステムにおいて、複数のモータコマンドは、カメラのパンとティルトを変化させ、従ってカメラを動かすために用いられる。
【0270】
図18は、本発明に係る実施形態を実装するための装置を組み込んだ装置構成を示す。この装置構成は、カメラ1とモータ装置2を含む。モータ装置2は、カメラ1のパン及びティルトを変化させるために配置されている。この実施形態では、上記装置構成は、カメラのCCDアレーからのビデオ信号を、プロセッサ4によるサンプリングの準備ができるまでバッファリングするための、フレームグラバ(frame grabber)3も含む。プロセッサ4は、本発明に係る方法のステップを実行するために適当にプログラミングされ、また、モータ装置2に対して複数のモータコマンドを提供する。制御ボックス5は、プロセッサの複数のモータコマンドを変換して、パン及びティルトモータ2を駆動する。
【0271】
モータ装置2によって実行されることが可能な複数のモータコマンドが存在する。特定のモータコマンドの実行は、カメラの注視(gaze)が、当該実行の直前の注視に対して変化されるように、カメラ1を動かす。モータコマンドは、一般に、時間にわたってほぼ安定である。モータコマンドの複数回の実行は、一般に、較正における小さなランダムな摂動とゆっくりとしたドリフトとを除いて、同様の方法で注視の方向に影響する。
【0272】
本発明によれば、センササブシステム(この実施形態では、カメラ1のCCDとフレームグラバ3によって表される)に対してモータサブシステム(この実施形態では、プロセッサ4、制御ボックス5及びモータ2によって表される)を較正するために、プロセッサ4は、幾何学的表現における複数のモータコマンドを表すようにプログラムされる。それは、任意の特定のモータコマンドの実行の前及び後の両方でCCDアレーから複数の信号を収集し、上記複数の信号を解析してセンサ空間の幾何学的表現においてモータコマンドロケータを位置決めすることによって、このことを実行する。
【0273】
図19は幾何学的表現10であり、複数の点20は複数のセンサロケータの位置を図式的に示している。一般にはここに図示されているよりもずっと多くのロケータが(標準的なCCDアレーに)存在するということが理解されよう。図2は例示を目的としてのみ存在する。
【0274】
本実施形態では、基準点Fが選択される。この場合では、上記基準点は、複数の画素を包囲する。次いで、当該方法は、幾何学的表現10内で、複数のモータコマンドロケータを位置決めしようとする。例えば、モータコマンドロケータAは、幾何学的表現10内のGAにおいて位置決めされて図示され、モータコマンドロケータBは、幾何学的表現10内の地点GBにおいて正しく位置決めされて図示されている。モータコマンドAの実行は、モータコマンドの実行前に地点GAで表された複数のセンサによって注視されていたものと同じ環境の領域において注視している基準点まで、センササブシステムを移動させる。モータコマンドBの実行に対しても同様である。
【0275】
幾何学的表現におけるモータコマンドのロケータは、図1乃至図17に関連して上述された本発明の実施形態と同様の方法で、基準点の近くのロケータに対するセンサと、もう1つのセンサのふるまいの差分を用いることによって位置決めされる。
【0276】
以下の議論は、この方法を、より数学的に詳細に扱う。処理されることが必要な多数の(一般には非常に多数の)指示物を取り扱うために、本発明は、特定の新規な処理技術を用いる。2つの異なるタイプの処理技術が、ここでは“実施形態1”及び“実施形態2”として説明される。以下の一般的な議論は両方にあてはまる。
【0277】
モータコマンドmが実行される毎に、システムは、実行の直前と直後に複数の信号値のサンプルを収集することができる。vi,tを、時刻tにおける信号iの値とする。start(m,k)を、モータコマンドmのk番目の実行に係る開始時刻とする。同様に、finish(m,k)を、モータコマンドmのk番目の実行に係る終了時刻とする。この表記を用いると、vi,start(m,k)は、モータコマンドmのk番目の実行に係る開始における信号iの値である。そして、vj,finish(m,k)は、モータコマンドmのk番目の実行に係る終了における信号jの値である。この記述は、当該方法が、センササブシステムから、世界の“前”の光景と“後”の光景を比較することを可能にする。
【0278】
幾何学的表現における地点φを考察する。モータコマンドロケータmが、φに関して、Gmにおいて正しく位置決めされているとき、mを実行することは、Gmの近くにおいて報告された知覚情報をφに移動させる。より正確には、mを実行することは、位置Giにおける知覚情報を、新しい位置Gj=Gi−Gm+φに移動させる。この事実を言いかえると、mが知覚情報をGiからGjに移動させるとき、mの正しい位置は、Gm=Gi−Gj+φになる。
【0279】
時間的冗長度に係る仮定は、φにおける新しい情報が、Gmの近くにおける古い情報と同じであるという高い確率を有することを含意する。すべての信号値が時刻start(m,k)において記録されることが可能なので、mのただ1回の実行から、Gmの実際の場所についてよい推定をすることが可能である。
【0280】
φは、モータサブシステムが較正される基準点を表す。
【0281】
地点φに対して値vφが計算されることが、当該方法によって必要とされる。この目的のために、Fを、φの近くにおける複数のセンサロケータの空でない部分集合であるとする。最も簡単な実施形態において、Fは、φに最も近接した1つである、ただ1つのセンサロケータを含む。|F|を1に設定する一方で、vφを評価するために複数のセンサロケータを用いるということで妥協する、発見的な簡単化を用いることができる。
【0282】
当該方法は、Fにおける複数のセンサロケータの値にわたって線形結合することによって、φにおける基準点の値の推定値vφを生成する。このことは、一般に次式で表される。
【0283】
【数61】
【0284】
値wjは、vjがvφの予測値となる可能性の基準(measure)である。当業者は、この定式化が、自然の空間的冗長度を好ましくは利用するということを理解するだろう。空間的冗長度は、空間中の1つの地点において検出された値が、空間中の異なる地点における未知の値に対する予測値として用いられることが可能であるということを意味する。空間的冗長度は、指数関数の関係を示すことが知られ、従って、wjの可能な定式化は次式のようになる。
【0285】
【数62】
【0286】
ここで、λは空間的冗長度の基準である。
【0287】
本明細書の目的のために、各実行kに対する、vi,start(m,k)とvj,finish(m,k)の間の相関係数として基準ri,j,mを定義することは有用である。時間的冗長度の結果として、テンソルrは、世界の一部がiによって検出され、その後にモータコマンドmの実行が続き、次いでjによって検出されることの尤度についての情報を提供する。
【0288】
ri,j,mに対する連続的に更新された値を提供するために、γのなめらかさ率とともに、指数関数的に重み付けされた、動く統計値が使用可能である。モータコマンドmに関連したこれらの統計値は、mが実行される毎に更新されることが可能である。従って、任意の時刻tにおいて、特定の値のrは、その最後に更新された値に基づくそれであり、それは形式的には次式のように定義されることが可能である。
【0289】
【数63】
【0290】
個別の値のrは、さまざまな収集された統計値の関数である。当業者は、相関係数が積率相関係数を用いて測定可能であるということを認識するだろう。この場合、r2は次式を用いて表されることが可能である。
【0291】
【数64】
【0292】
この場合、mの実行に続いて、数64において用いられるmに関連したすべての統計値は、次のようにインクリメントして更新されることが可能である。信号の統計値は次式を用いて更新される。
【0293】
【数65】
【数66】
【数67】
【数68】
【0294】
信号対の統計値は、信号の対i及びjに対して次式を用いて更新される。
【0295】
【数69】
【0296】
これらの統計値は、モータアクションの実行にわたって、2つの信号間のふるまいの差分に係る測定値を提供するために用いられることが可能である。
【0297】
実施形態1
任意の与えられた時刻において、あるロケータは、幾何学的表現の空間における位置と、信号値との両方を有する。信号値の履歴は、ロケータの位置を決定するときの手段になる。モータコマンドロケータは幾何学的表現における位置を有するが、それ自体で値を提供するものではない。
【0298】
しかしながら、時間的冗長度のおかげで、finish(m,k)におけるvφが、start(m,k)におけるモータコマンドmに対して、時間をさかのぼって割り当てられることが可能であると、仮定されていてもよい。実際に、モータコマンドmの実行と、それに続くvφの収集とは、それが値に対するセンサであるように、モータコマンドmの処理を可能にする。
【0299】
いったん、あるモータコマンドが所定の値を割り当てられ、ある種のセンサとして再定義されると、それは、それがセンサであるように、幾何学的表現において位置決めされることが可能である。そのような位置決めは、第1の実施形態に関連して上で議論された方法によって定義される。この方法の要約が以下に続く。
【0300】
1対の指示物がいくつかの方法のうちの1つによって選択される。上記方法のうちの1つはランダム選択である。それらの信号間のふるまいの差分bが計算される(例えば、上で特定されたように、b=1−r)。ふるまいの差分から、指示物間の推定された実際の距離である新しい値a’が、次の形の式を用いて計算される。
【0301】
【数70】
【0302】
ここで、λ’は、複数の信号における空間的冗長度に係る評価された測定値である。この評価された測定値は、上で議論された方法によって構成された幾何学的表現のスケーリングを管理する。
【0303】
いったんa’が計算されると、2つのロケータの位置は、それらの間の幾何学的距離がa’に近づくように調整されることが可能である。ロケータ位置の誤差を最小化しようとする最適化処理において実行される、多くのそのような調整の結果は、複数の指示物の実際の位置に係る空間的にコヒーレントな幾何学的表現である。
【0304】
当業者には、所定の値を備えたモータコマンドが、当該方法におけるセンサについて必要とされるすべてのことを実行できるということが見てとれる。従って、割り当てられた複数の値を備えた複数のモータコマンドの集合と、複数のセンサの集合とは、上で議論された方法によって、複数のロケータの単一の母集団として表されることが可能である。複数のセンサロケータは、最初に、空間的にコヒーレントである必要はない。複数のモータコマンドロケータの組織化は、複数のセンサロケータの組織化と並列に処理されることが可能である。
【0305】
M個のモータコマンドをN個のセンサに対して較正することに係る、時間と空間の両方に対する計算の複雑性は、O(M+N)である。ゆえに、これは複雑さの低いアルゴリズムである。
【0306】
複数のロケータを位置決めするために動作する2つの別個の処理が存在する。最初の処理は、統計値を収集してbを生成し、従って複数のロケータの対に関するa’を生成する。第2の処理は、ロケータ間の距離gが対に関するa’に比例するように、複数のロケータの位置を最適化するために動作する。本発明の方法によって、1対のロケータは“ユニット”と呼ばれ、複数のすべてのユニットは“作業力”と呼ばれる。作業力が定義されるとき、1つのセンサロケータと1つのモータロケータを含む複数のユニットが、好ましくは含まれる。第1の実施形態に関連して上で議論されたことは、複数のロケータの位置を最適化するための処理について記述している。
【0307】
当業者は、1つのロケータがモータコマンドである、あるユニットに対するb値が、そのモータコマンドの実行の後でのみ更新可能であるということを理解するだろう。一般性を失うことなく、時刻t−1において開始し、時刻tにおいて終了した最新のモータコマンドmが定義可能である。特定の実施形態では、mに関連した複数のユニットは、以下のステップを用いて更新されることが可能である。
【0308】
【表3】
――――――――――――――――――――――――――――――――――――
すべてのセンサ信号値を記録する。すなわち、すべてのiに対して、vi,t−1を、vi,tとする
(vi,tを更新する)モータコマンドmを実行する
中心φを有する、複数のセンサロケータの集合Fを取得する
sumを0とする
Fにおけるすべてのセンサロケータjに対して
sumを、sum+vj,t×exp(−λ’×dist(Gi,φ))とする
終了(End for)
vφを、sum/|F|とする
mに対するロケータを含む、すべてのユニットuに対して
iを、uに含まれるセンサロケータとする
dを、|vi,t−1−vφ|とする
buを、(1−γ)×bu+γ×dとする
終了(End for)
多数のユニットuに対して
a’uを、−ln(1−bu)/λ’とする
guがa’uに近づくように、uの複数のロケータの位置を調整する
終了(End for)
開始から繰り返す
――――――――――――――――――――――――――――――――――――
【0309】
実施形態2
上で、モータコマンドmがGiからGjに知覚情報を動かすとき、mのロケータは正しい位置Gm=Gi−Gj+φを有するということが注意された。さらに、測定値ri,j,mは、各実行kに対するvi,start(m,k)とvj,finish(m,k)の間の相関係数として定義された。当業者は、センサiにおける情報がmの結果としてセンサjに移動される確率の評価値を推定するためにri,j,mが使用可能であるので、Gmは、幾何学的表現におけるすべての可能なセンサロケータにわたる重み付けられた平均における重みとしてrを用いて評価可能であるということを理解するだろう。このことは次式のように定式化される。
【0310】
【数71】
【0311】
提示されたこの式を用いることは、計算的に費用がかかる。M個のモータコマンドとN個のセンサが存在するとき、rの次元数はN×N×Mになる。センサのすべての対に関して、可能なモータコマンド毎に、システムは母集団の統計値rを収集する必要がある。
【0312】
いかなる場合でも、以下の発見的な近似法は非常に優れた結果をもたらすことができ、本願明細書の一部を形成する。
【0313】
最初の簡単化は、相関係数に対する代用物として、差分の期待値を用いることにある。これは、計算的には相関係数よりも安価であるが、経験的な結果は、それが当該タスクのために極めて適切であることを示している。d’i,j,m,kを、モータコマンドmのk番目の実行に続く、信号i及びjの間の指数関数的に減衰する差分の期待値とする。相関テンソルは、次式を用いて近似可能である。
【0314】
【数72】
【0315】
ここで、μは適当なスケーリング定数である。d’を更新するための式は、単に、次式になる。
【0316】
【数73】
【0317】
このことは統計値の収集を簡単化するが、全体の複雑性はまだO(N2M)である。当業者は、提示された問題が、(φを中心とする)基準点への情報の伝達に関係するということに注意するだろう。従って、φの近くのセンサロケータは、モータコマンドの実行の後で特定の関心を持たれる。上述のように、Fは、φの近くにおける複数のセンサロケータの部分集合として定義された。ある実行の完了におけるF中の複数のセンサロケータのみを考慮することによって、rの次元数はN×|F|×Mまで減少されることが可能である。従って、モータコマンドロケータmに対する場所の期待値は、次式のようになる。
【0318】
【数74】
【0319】
ここで、Sは、複数のセンサロケータの集合全体であり、Fは、複数のロケータの基準点の部分集合である。
【0320】
数74から、測定値ri,mを、各実行kに対する、vi,start(m,k)とvφ,finish(m,k)の間の相関係数として定義することが可能である。次いで、上のように偏りが続き、次式を用いて、モータコマンドロケータmの場所の評価値に達する。
【0321】
【数75】
【0322】
特定の実施形態では、基準点の部分集合Fを用いた簡単化とくみ合わされた、幾何学的表現の端部(edges)の効果は、数75によって生成される評価値に歪みをもたらすことがある。その理由は、簡単化がよい結果をもたらすことを可能にするまさに空間的冗長度がまた、Giとmに対する正しい場所との間で距離が増大するときに、相関係数ri,mのグレード分けされた値を生成するからである。幾何学的表現の端部における勾配の切り捨て(truncation)とくみ合わされた、相関関数の勾配は、Gmがその正しい場所よりも端部から離れて配置されるように、数75における重み付けられた平均に歪みを生じさせることがある。
【0323】
好ましい実施形態は、ここで記述された2つの技術のいずれかを用いて、この歪みを克服することができる。第1の技術は、Gmの計算から、何らかのしきい値よりも小さいr2 i,mの値を有するすべてのセンサロケータを放棄する。上記しきい値は、端部の効果が計算から除去されるように選択されることが可能である。極端な場合には、特定のモータコマンドロケータmに対する最高の値のr2 i,mを有するセンサロケータiのみが、mの場所を提供することを可能にするように、上記しきい値は高く設定され、Gmの評価値は次式のように減縮される。
【0324】
【数76】
【0325】
第2の技術は、r2とモデル関数との間の誤差の最小化を用いて、場所Gmを発見する。この技術に対して、当該方法は、パラメータ関数fκ:RD→Rのモデルを仮定し、ここで、Dは幾何学的表現の次元数であり、κは同じ次元数のベクトルである。fには、本願明細書の目的にとっては無視可能であるが誤差最小化方法に利用可能な、他の自由なパラメータが存在してもよい。fκの拘束条件は、κとXとの間の距離‖X−κ‖が増大するときfκ(X)が単調減少し、‖X−κ‖=‖Y−κ‖であるときfκ(X)=fκ(Y)であるということにある。従って、fκは、位置κ上に中心を有する山状(hill−like)関数を定義する。回帰(regression)のような最適化手段を用いると、パラメータκの値は、特定のモータコマンドmに対して、すべてのセンサロケータiにわたってr2 i,mとfκ(Gi)との間の誤差の測定値を最小化するということが見出だされうる。誤差の測定値の1つの例は、2乗誤差の総和である。
【0326】
【数77】
【0327】
次いで、モータコマンドロケータmの位置が、誤差を最小化するパラメータκの値に対して、Gm=κを満たすように設定されることが可能である。すなわち、山状関数fκは、mに対する相関係数の統計値に一致する。
【0328】
モータコマンドロケータmを位置決めするために、システムは、モータコマンドの実行がセンサiに存在する情報を基準点に移動させることに係る期待値の測定値pm,iを有することができる。すべてのセンサに対するmに関する測定値の集合が与えられたとき、pm,iが高いセンサロケータの近くに、ロケータmを配置することが可能である。当該方法は、各m及びiに対してpm,iをを収集するステップと、これらの値に基づいて幾何学的表現においてロケータmを位置決めするステップとを提供する。従って、当該方法は、すべてのモータコマンドに対して、信頼性のある幾何学的表現を構成する。
【0329】
一般性を失うことなく、時刻t−1において開始し、時刻tにおいて終了した最新のモータコマンドmが定義可能である。当該方法は、Fにわたって総和を計算することによって、モータコマンドmがセンサロケータiから地点φに知覚情報を動かす確率に係る指示器に対して、評価値p’m,i,tを構成する。上記総和の各項は、基準点のセンサロケータからφへの距離の単調減少関数によって重み付けされることができる。数62の重み付け関数を用いて、上記測定値は次式のように定式化される。
【0330】
【数78】
【0331】
ロケータmを位置決めするためにp’m,i,tが用いられることを可能にする冗長度は、一般には、モータコマンドmの何回かの実行の後では明らかになる。従って、当該方法は、多数の試行に対する平均を取得することができる。連続的な較正の原理について、当該方法は、指数関数的に重み付けされた動く平均を用いることができる。pm,iに対する更新式は次式のようになる。
【0332】
【数79】
【0333】
モータコマンドmに対してpm,iを更新した後で、ロケータは、それがより大きなpm,iを有する複数のセンサロケータに接近するように、位置変更されることが可能である。当業者は、一般に、複数のセンサの実際の配置が動的であってもよいということを認識するだろう。この場合、すべてのモータコマンドロケータは、センサロケータが位置変更されたときはいつでも、位置変更されることが可能である。
【0334】
ロケータmを位置変更するための簡単な方法は、最初に、pm,iの範囲に基づいて次のしきい値を確立する。
【0335】
【数80】
【0336】
ここで、θは選択された定数であり、好ましくは0乃至1の範囲に存在する。
【0337】
pthreshold,mはカットオフ値を提供することができ、上記カットオフ値よりも小さいとき、pm,iは無視される。次いで、mの位置は、pm,i>pthreshold,であるすべてのセンサロケータの、重み付けられた平均として設定されることが可能である。
【0338】
【数81】
【0339】
特定の実施形態では、当該方法は以下のステップを用いて記述されることが可能である。
【0340】
【表4】
――――――――――――――――――――――――――――――――――――
すべてのセンサ信号値を記録する。すなわち、すべてのiに対して、vi,t−1を、vi,tとする
(vi,tを更新する)モータコマンドmを実行する
中心φを有する、複数のセンサロケータの集合Fを取得する
すべてのセンサロケータiに対して
sumを0とする
Fにおけるすべてのセンサロケータjに対して
sumを、sum−|vi,t−1−vi,t|
×exp(−λ’×dist(Gi,φ))とする
終了(End for)
pm,iを、(1−γ)×sum−γ×pm,iとする
終了(End for)
threshold(しきい値)を、Mini(pm,i)
+θ(Maxi(pm,i)−Mini(pm,i))とする
sumを0とする
Gmを、0とする
すべてのセンサロケータiに対して
wを、pm,i−thresholdとする
w>0であるならば、そのとき
Gmを、Gm+w×Giとする
sumを、sum+wとする
終了(End if)
終了(End for)
Gmを、Gm/sumとする
開始から繰り返す
――――――――――――――――――――――――――――――――――――
【0341】
まとめ
以上説明された方法は、より高い次元数の空間に対しても同様にうまく適用される。例えば、センサ装置から深度を抽出する手段(例えば、立体視ビジョンを用いた2つのカメラ、又はレーザ距離測定器)が与えられているときは、幾何学的表現は、3次元空間において構成されることが可能である。上述の実施形態は、センササブシステムと同じ空間に対してモータサブシステムを較正したので、説明された方法は、焦点距離、ズーム、又は検出装置の物理的移動を変化させるような、深度が影響するモータコマンドを、同様にうまく較正することができる。
【0342】
要約すると、以上説明された実施形態は、1つ以上の装置から導出されるセンサ領域に対して複数のモータコマンドを連続的で、自動的に較正するための代替のシステム及び方法を提供する。アクティブマシンビジョンの分野に適用されたとき、本発明は、ビジョンサブシステムによって受容される視野に対するシステムの注視に影響する複数のモータコマンドを較正するための技術者の努力に依存しないシステム及び方法を提供する。
【0343】
以上の説明では、マシンビジョンシステムに関連した、本発明に係る実施形態が記述された。センササブシステムと関連付けられたいかなるタイプのモータサブシステムも、較正のために本発明を利用できるということが理解されるだろう。本発明は、センササブシステムがマシンビジョンのサブシステムである構成には制限されない。センサシステムは、任意の情報を取得するためのいかなるセンサシステムであってもよい。例えば、それは、ソナーサブシステム又はレーダサブシステムを含むことができる。
【0344】
本発明の実施形態は、ある領域の監視制御においてロボットを利用して制御される多数の無人カメラを有することが必要とされる、分散された監視制御システムを備えたシステムに対して有用に適用されることが可能である。これらは、セキュリティーのシステムを含むことができる。それらはまた、遠隔の領域における監視制御のために設計されたロボットを含むシステムも含むことができる。
【0345】
本発明はまた、複数のセンササブシステムを制御することに用いられてもよい。例えば、ロボットは、複数のセンサシステムを必要とすることがある。それは、バランスを保持したり、又はある物体に対するロボットの部分の接触を制御したりするための圧力センササブシステムと、音響センサに指示するための音響サブシステムと、視覚センサに指示するための視覚サブシステムとを必要としてもよい。これらはすべて、本発明の実施形態に従って制御されることが可能である。
【0346】
本発明に従って、ロボット又は他の装置のための複数のセンササブシステムの制御を実装するために、複数のオンボードプロセッサが利用されてもよい。
【0347】
本発明は、任意のセンササブシステムと関連付けられた複数のモータサブシステムに適用されることが可能である。センササブシステムは、任意の効果を検出するためのものであってもよい。以下に続くものは、検出されることが可能な例示の効果のリストであり、これらの効果に対して本発明が利用されることが可能である。このリストは、それに制限するものではない。
【0348】
視覚、音声、触覚圧力、温度、気圧、匂い、ソナー、レーザ距離測定器、水圧、乱流(turbulence)、人工的に生成された検出データ、湿度、化学的成分、材料の密度、電波、磁場、地震活動、遺伝子サンプル、言語パターン、人工統計データ、すべての気象データ、金融取引パターン、放射レベル。
【0349】
本発明は、任意のタイプの指示物に対する幾何学的表現を提供することを可能にするために適用可能であり、視覚センサに制限されず、また、実際にセンサに制限されるものではない。
【0350】
例えば、複数の指示物がまったくセンサではなく、実際に、何らかの空間的関係を有するデータであるところにおいて、本発明は適用可能である。例えば、田舎設けられた気象観測所からの環境の状況についてのデータは、本発明の方法によって用いられ、気象観測所の位置を決定することができる。この場合には、気象観測所からのデータは、本発明によって必要とされる“信号”である。
【0351】
本発明は、任意の空間的関係を有する任意のデータに対するデータマイニングにおいて適用されることが可能である。それは、データにおける、予期せざる(unsuspected)不純物を示すために用いられることが可能である。
【0352】
さらにもう1つのアプリケーションは、生物的システムにある。医学技術は、外傷を受けた後の、視神経の組織化された再生を促進する方法をまだ発見していない。補綴治療はいまだ存在していないので、このことは、視神経に損傷を受けた人が、失明の宣告を受けるということを意味している。本発明は、理想的には、数百万個の神経が脳に再び接続し、目の網膜によって受容された画像のコピーを伝送するように、それら数百万個の神経の入力(これは本発明によって必要とされる“信号”として利用される)を再組織化することに適している。ゆえに、本発明は、盲人に補綴された視力を提供するための潜在的な能力を有する。
【0353】
さらにもう1つのアプリケーションは、分散された監視制御にある。監視制御システムはインターネットによってリンクされ、もはや、局地的なセキュリティのパトロールの限界には向かないので、複数のカメラ及びパン−ティルト装置のような構成要素が移動され、調整され、置き換えられ、又はさもなければ変更されたときであっても、これらのシステムが動作可能のままであるように、順応性があり、かつそれ自体で較正するこれらのシステムに対する必要性が存在する。目標追跡及び移動追跡を用いるシステムは、連続的な較正において特に必要とされている。このことは、従来の方法を用いたときは、センサ装置を制御するシステムの装置が大きな距離で物理的に離されていることがあるので不可能である。
【0354】
本発明は、カメラの視野におけるいかなる移動もカメラの対応する位置変更によって正しく一致されるように、カメラの視野及びパン−ティルトモータの制御が連続的に統合的に調整(integrate)されることを保証できる。
【0355】
本発明はまた、ロボットにおけるアプリケーションも有する。
【0356】
例えば、玩具のロボットに対しては、低価格であり、野外における故障のない動作と、生きているようなふるまいとが、好ましい属性である。本発明は、これらの属性を有するロボットを実現するために利用可能である。
【0357】
他のタイプのロボット(すなわち玩具ではないロボット)は、動的な環境においてますます展開されるようになり、ここでは、自律性(独立して動作する能力)と順応性(変化を効果的に処理する能力)とが、正確さや反復可能性よりも重要になっている。新しい世代のロボットは、人間を送りこむには、極端(prohibitively)に困難で、危険でかつ高価な領域において動作することができる。本発明は、そのようなロボットの自律性と順応性を促進するために使用可能である。
【0358】
本発明はまた、画像処理においても広範囲のアプリケーションを有する。本発明は、画像を構成するプラットフォームを提供するので、標準的な画像処理ソリューションのために予め処理されることが可能である。標準的な画像入力が利用可能でないとき、複数のカメラが自動的な統合化を必要としているとき、画像のフォーマットが既知のモデルに対して照合することを必要としているときには、標準的な方法は、本発明の方法によってサポートされない限り動作することができない。画像処理において本発明が特に適する領域は、次のものである。
・当該画像が複数のソース(又はカメラ)から構成される必要があるとき
・データが、2次元の画像平面よりも複雑であるとき
・データの空間的なサンプリングが、予知できない歪み及び画像を生じさせるとき
【0359】
広く記載された本発明の精神又は範囲から離れることなく、特定の実施形態で示された本発明に対して多数の変形物及び/又は変更物が作成可能であるということが、当業者には理解されるだろう。ゆえに、本実施形態は、すべて、例示として考慮されるべきであり、制限するものではない。
【図面の簡単な説明】
【図1a】初期の幾何学的配置、本発明に係る実施形態によって処理された幾何学的配置、原画像をそれぞれ表す図のうち、初期の幾何学的配置を表す図である。
【図1b】初期の幾何学的配置、本発明に係る実施形態によって処理された幾何学的配置、原画像をそれぞれ表す図のうち、本発明に係る実施形態によって処理された幾何学的配置を表す図である。
【図1c】初期の幾何学的配置、本発明に係る実施形態によって処理された幾何学的配置、原画像をそれぞれ表す図のうち、原画像を表す図である。
【図2】ab関係と、パラメータμ’の不正確な設定の効果とを表す図である。
【図3】パラメータμ’の過大な設定及び過小な設定の効果を示す図である。
【図4】いかなるスケーリングファクタkも無視した、パラメータμ’の過大な設定及び過小な設定の効果を示す図である。
【図5a】画像のコントラストを変化させることがab関係におけるμにどのように影響を与えるかについて表す図である。
【図5b】画像のコントラストを変化させることがab関係におけるμにどのように影響を与えるかについて表す図である。
【図5c】画像のコントラストを変化させることがab関係におけるμにどのように影響を与えるかについて表す図である。
【図5d】画像のコントラストを変化させることがab関係におけるμにどのように影響を与えるかについて表す図である。
【図6a】画像をぼやけさせることがどのようにλを減少させ、ab関係を平滑化する効果をどのように有するかについて表す図である。
【図6b】画像をぼやけさせることがどのようにλを減少させ、ab関係を平滑化する効果をどのように有するかについて表す図である。
【図6c】画像をぼやけさせることがどのようにλを減少させ、ab関係を平滑化する効果をどのように有するかについて表す図である。
【図6d】画像をぼやけさせることがどのようにλを減少させ、ab関係を平滑化する効果をどのように有するかについて表す図である。
【図7a】センサスケールの解像度を減少させる効果を表す図である。
【図7b】センサスケールの解像度を減少させる効果を表す図である。
【図7c】センサスケールの解像度を減少させる効果を表す図である。
【図8】図7cの画像に関してディザリングする効果を示す図である。
【図9】ab関係においてなめらかな勾配を生成する画像における、長いなめらかな勾配の効果を示す図である。
【図10】一定の局所的な平均値を有する画像における標準偏差を示す図である。
【図11a】解像度の変化からの効果の結果的な欠如を示す図である。
【図11b】解像度の変化からの効果の結果的な欠如を示す図である。
【図12a】ab関係に対する不均衡なスケーリングの効果を示す図である。
【図12b】ab関係に対する不均衡なスケーリングの効果を示す図である。
【図13】可能なユニットの再割り当て確率を、ふるまいの差分の関数として示す図である。
【図14a】包含されていない複数の矩形(uncontained rectangles)に係る画像と、展開する幾何学的配置(developing geometries)を通過した複数のテスト画像の外観とを表す一連の図である。
【図14b】包含されていない複数の矩形に係る画像と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図14c】包含されていない複数の矩形に係る画像と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図14d】包含されていない複数の矩形に係る画像と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図14e】包含されていない複数の矩形に係る画像と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図14f】包含されていない複数の矩形に係る画像と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図14g】包含されていない複数の矩形に係る画像と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図14h】包含されていない複数の矩形に係る画像と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図15a】活性化の波(activation waves)に係る複数の画像(幅=50)と、展開する幾何学的配置(developing geometries)を通過した複数のテスト画像の外観とを表す一連の図である。
【図15b】活性化の波に係る複数の画像(幅=50)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図15c】活性化の波に係る複数の画像(幅=50)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図15d】活性化の波に係る複数の画像(幅=50)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図15e】活性化の波に係る複数の画像(幅=50)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図15f】活性化の波に係る複数の画像(幅=50)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図15g】活性化の波に係る複数の画像(幅=50)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図15h】活性化の波に係る複数の画像(幅=50)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図16】“ねじれ(twist)”が除去された画像を表す図である。
【図17a】活性化の波(activation waves)に係る複数の画像(幅=128)と、展開する幾何学的配置(developing geometries)を通過した複数のテスト画像の外観とを表す一連の図である。
【図17b】活性化の波に係る複数の画像(幅=128)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図17c】活性化の波に係る複数の画像(幅=128)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図17d】活性化の波に係る複数の画像(幅=128)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図17e】活性化の波に係る複数の画像(幅=128)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図17f】活性化の波に係る複数の画像(幅=128)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図17g】活性化の波に係る複数の画像(幅=128)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図17h】活性化の波に係る複数の画像(幅=128)と、展開する幾何学的配置を通過した複数のテスト画像の外観とを表す一連の図である。
【図18】本発明の別の実施形態に従う、複数のモータコマンドの較正に係る方法を実装するための装置を組み込んだシステムの概略的なブロック図である。
【図19】センサ空間内で複数のモータコマンドを位置決めすることを説明するためにセンサ空間を概略的に表す図である。
【図20a】本発明の実施形態に係る方法におけるステップを説明するセンサ空間を概略的に示す別の図である。
【図20b】本発明の実施形態に係る方法におけるステップを説明するセンサ空間を概略的に示す別の図である。
【図21a】ロケータに対するモーメントの適用を示す図である。
【図21b】ロケータに対するモーメントの適用を示す図である。
【図22】本発明の実施形態に係るマシンビジョンシステムのブロック図である。
【符号の説明】
1…カメラ、
2…モータ装置、
3…フレームグラバ、
4…プロセッサ、
5…制御ボックス、
10…幾何学的表現、
20…センサロケータの位置、
500…CCDカメラ、
501…計算装置。
Claims (132)
- 複数の指示物から複数の信号を取得するステップと、上記複数の信号を利用して上記複数の指示物の幾何学的表現を提供するステップとを備えた、空間における複数の指示物の幾何学的表現を生成する方法。
- 上記複数の信号を取得するステップは、上記複数の指示物に関連付けられた複数のセンサから複数の信号を取得するステップを含む請求項1記載の方法。
- 上記複数の信号を利用するステップは、空間的冗長度に従って、上記複数の指示物からの複数の信号の差分が、上記複数の指示物間の実際の距離を含意することを仮定するステップを含む請求項1又は2記載の方法。
- 上記複数の信号を利用するステップは、上記複数の信号の差分が、単調増加関数によって、上記複数の指示物間の実際の距離に関連することを仮定するステップを含む請求項3記載の方法。
- 上記複数の信号を利用して上記複数の指示物の幾何学的表現を提供するステップは、上記複数の信号の差分(b)が、上記関連付けられた複数の指示物間の実際の距離(a)を含意することを仮定するステップと、上記信号の差分(b)を利用して、上記幾何学的表現を構成する複数のロケータに対する幾何学的距離(g)を決定するステップとを含み、上記幾何学的距離(g)は上記実際の距離(a)の関数である請求項4記載の方法。
- 上記複数の信号を利用するステップは、上記複数の指示物の幾何学的表現における誤差(ε)を定量化するステップと、εを減少させるために、上記ロケータ間の幾何学的距離(g)を変化させることによって複数のロケータの位置を変更するステップとをさらに備えた請求項5記載の方法。
- 上記複数の信号を利用して上記複数の指示物の幾何学的表現を提供するステップは、請求項6の方法に係るステップを周期的に反復するステップを含む請求項6記載の方法。
- 上記複数の信号を利用して上記複数の指示物の幾何学的表現を提供するステップは、請求項6の方法に係るステップを連続的に反復するステップを含む請求項6記載の方法。
- 上記複数のロケータの位置を変更するステップは、複数の指示物の可能な母集団をサンプリングするステップと、上記サンプリングされた複数の指示物に対応する上記複数のロケータの位置を変更するステップとを含む請求項6、7又は8記載の方法。
- 上記複数の指示物の可能な母集団をサンプリングするステップは、複数の指示物のすべての可能な部分の集合から指示物の複数の対をサンプリングするステップを含む請求項9記載の方法。
- 指示物の各対は所定のユニットを備え、利用される複数のユニットは作業力を備え、上記複数の信号を利用するステップは、上記複数の指示物の幾何学的表現を提供するために複数の信号を提供するために用いられるべき作業力のサイズを決定するステップをさらに備えた請求項10記載の方法。
- 上記作業力のサイズを決定するステップは、上記作業力が、指示物の各可能な対に関して1つのユニットが存在する、完全な作業力になることを決定するステップを含む請求項11記載の方法。
- 上記作業力のサイズを決定するステップは、上記作業力が、ユニットの個数は指示物のすべての可能な対の個数よりも少ない、不完全な作業力になることを決定するステップを含む請求項11記載の方法。
- 上記作業力は、指示物の複数の対の順序付けられた選択によって構成される請求項13記載の方法。
- 上記作業力は、指示物の複数の対の複数のランダムなサンプルから構成される請求項13記載の方法。
- 上記作業力は指示物の複数の対の複数のサンプルから構成され、上記複数のサンプルは、上記複数の指示物の幾何学的表現に影響するそれらの有用性に従って選択される請求項14又は15記載の方法。
- 上記作業力に含まれるべき指示物の複数の対を、それらの有用性に基づいて展開する方法で再選択するステップをさらに備えた請求項16記載の方法。
- ユニットは高い有用性を有すると見なされ、ゆえに、上記ユニットの信号の差分b又は幾何学的距離gが相対的に小さいとき、選択される可能性がより高い請求項17記載の方法。
- ユニットは低い有用性を有すると見なされ、ゆえに、上記ユニットの信号の差分b又は幾何学的距離gが相対的に大きいとき、選択から除かれる可能性がより高い請求項18又は19記載の方法。
- 上記複数の信号を利用するステップは、ユニットの複数の信号の差分(b)についての履歴情報を記憶するステップをさらに備えた請求項11乃至19のうちの任意の1つに記載の方法。
- 上記信号の複数の差分(b)を利用して複数のロケータに対する幾何学的距離(g)を決定するステップは、上記履歴情報を利用するステップを含む請求項20記載の方法。
- 上記複数のロケータの位置を変更するステップは、ヒルクライミング法アルゴリズムの方法によって実現される請求項8乃至21のうちの任意の1つに記載の方法。
- 上記利用されるヒルクライミング法アルゴリズムは勾配降下法である請求項22記載の方法。
- 上記複数の信号を利用するステップは、信号間に相関が存在しないところにおいて、指示物の対からの信号間のふるまいの差分の期待値に係る測定値である、統計値μを決定するステップをさらに備えた請求項5乃至23のうちの任意の1つに記載の方法。
- μよりも大きい信号の差分(b)の値は利用されない請求項24記載の方法。
- μの値に近いか又はμの値である信号の差分(b)の値は利用されない請求項24又は25記載の方法。
- 上記統計値μを決定するステップは、指示物の対に関してか、又は複数の指示物のすべての可能な対のうちの部分集合に対してμを決定するステップを含む請求項24乃至26のうちの任意の1つに記載の方法。
- 上記統計値μを決定するステップは、複数の指示物のすべての可能な対に関してμを決定するステップを含む請求項24乃至26のうちの任意の1つに記載の方法。
- 各指示物は複数の別個のタイプの信号を提供し、各タイプに対して信号値を提供する、先行する請求項のうちの任意の1つに記載の方法。
- 各別個のタイプの信号は、別個の指示物に対して関連付けられるように取り扱われ、各タイプに対して所定の幾何学的表現が提供される請求項29記載の方法。
- 各タイプの信号に対して別個のロケータが提供され、次いで、上記複数の別個のロケータは幾何学的に結合されて単一のロケータを生成する請求項30記載の方法。
- 上記複数の別個のタイプは、単一の信号値として結合されて取り扱われる請求項31記載の方法。
- 上記複数の指示物のn次元空間に対して、上記信号を利用する方法は、上記幾何学的表現を組織化するためのn+m次元空間を提供するステップを備えた、先行する請求項のうちの任意の1つに記載の方法。
- 上記複数の指示物のn次元空間に対して、上記信号を利用する方法は、上記幾何学的表現のためのn−m次元空間を提供するステップを備えた請求項1乃至32のうちの任意の1つに記載の方法。
- 上記幾何学的表現をn次元に後で削減するステップをさらに備えた請求項33記載の方法。
- 上記複数のロケータの位置を変更するステップは、上記幾何学的表現内で複数のロケータのモーメントを決定するステップと、上記モーメントに依存して上記複数のロケータの位置を変更するステップとを含む請求項8乃至36のうちの任意の1つに記載の方法。
- 上記複数の指示物は上記複数のセンサである請求項2乃至36のうちの任意の1つに記載の方法。
- 上記複数の指示物は上記複数のセンサによって測定される複数のソースである請求項2乃至36のうちの任意の1つに記載の方法。
- 上記複数のセンサは、光センサ、圧力センサ、音センサ、熱センサ、動きセンサ、赤外線センサ、張力センサ、放射センサ、ソナー、距離測定器、化学センサ、物理センサ、電磁センサ、たんぱく質センサ、及び分子センサのうちの1つのタイプ又はそれよりも多くのタイプである請求項37又は38記載の方法。
- 上記複数の指示物はデータの複数のソースである請求項1乃至36のうちの任意の1つに記載の方法。
- 上記データの複数のソースはデータベースから提供される請求項40記載の方法。
- 上記複数の指示物は、非物理的な領域に関連するデータの複数のソースである請求項40又は41記載の方法。
- 上記複数の指示物は、モータサブシステムに対する複数のモータコマンドに関連付けられている請求項1乃至36のうちの任意の1つに記載の方法。
- 上記複数の指示物は生物的なニューロンである請求項1乃至36のうちの任意の1つに記載の方法。
- 上記幾何学的表現を提供するステップは、複数のセンサの幾何学的表現を提供するステップと、上記複数のセンサの幾何学的表現と結合された上記複数のモータコマンドの幾何学的表現を提供するステップとを含む請求項43記載の方法。
- 上記複数のセンサの幾何学的表現は、請求項2乃至36のうちの任意の1つの方法に従って提供される請求項45記載の方法。
- モータサブシステム及びセンササブシステムを含むシステムにおける、上記センササブシステムによって提供される幾何学的表現におけるモータコマンドと関連付けられた位置の表現を提供するステップを備えた、上記モータサブシステムを上記センササブシステムに対して較正する方法。
- 上記モータコマンドは上記幾何学的表現におけるロケータによって表された請求項47記載の方法。
- 上記モータコマンドの位置の表現を提供するステップは、上記モータコマンドの実行の前及び後で上記センササブシステムの複数のセンサからの信号を収集するステップと、上記複数の信号を解析して、実行された上記モータコマンドと上記センササブシステムによる幾何学的表現との間の空間的関係に関する情報を提供するステップとを含む請求項47又は請求項48記載の方法。
- 上記モータサブシステムには複数のモータコマンドが利用可能であって、上記較正の方法は複数のモータコマンドに対して実行される請求項48又は請求項49記載の方法。
- 上記較正の方法はすべてのモータコマンドに対して実行される請求項50記載の方法。
- 上記モータコマンドのロケータを位置決めするステップは、モータコマンドの実行前に第1のセンサからの複数の信号を収集し、モータコマンドの実行後に第2のセンサからの複数の信号を収集するステップと、上記複数の信号を解析して、実行された上記モータコマンドと幾何学的表現との間の空間的関係に関する情報を取得するステップとを含む請求項47乃至51のうちの任意の1つに記載の方法。
- 上記複数の信号を解析するステップは、上記幾何学的表現内に基準点を定義するステップと、上記基準点における、又は上記基準点の近くの第2のセンサを選択するステップとをさらに含む請求項47乃至52のうちの任意の1つに記載の方法。
- 上記第2のセンサを選択するステップは、複数の第2のセンサを選択するステップと、上記複数の第2のセンサからふるまいの情報を収集するステップとを含む請求項53記載の方法。
- 上記基準点は、上記複数の第2のセンサからの信号値の平均値に基づいて決定された値を提供され、上記基準点に提供された値は、上記幾何学的表現を提供する目的のための信号値として取り扱われる請求項54記載の方法。
- 上記平均値は、上記基準点に対する上記複数の第2のセンサの近さに従って重み付けされた、重み付け平均値である請求項55記載の方法。
- 上記複数のセンサによって提供された複数の信号を解析し、上記複数の信号から上記複数のセンサの位置を推定することによって、上記複数のセンサの幾何学的表現を決定するステップをさらに備えた請求項47乃至56のうちの任意の1つに記載の方法。
- 上記第1のセンサロケータに対して、上記モータコマンドロケータの位置を変更するステップをさらに備えた請求項54乃至57のうちの任意の1つに記載の方法。
- 上記モータコマンドロケータに対して、上記第1のセンサロケータの位置を変更するステップをさらに備えた請求項58記載の方法。
- 上記第1のセンサ及び上記第2のセンサからの信号に関連した履歴情報を記憶するステップを備えた請求項53乃至59のうちの任意の1つに記載の方法。
- 上記履歴情報を更新するステップをさらに備えた請求項60記載の方法。
- 上記モータコマンドロケータは、上記第2のセンサに対して最小の信号の差分を有する上記第1のセンサロケータのロケータの場所に位置決めされる請求項60又は61記載の方法。
- 当該方法は、上記モータコマンドに対する較正を周期的な基準で反復するステップをさらに含む請求項47乃至62のうちの任意の1つに記載の方法。
- 当該方法は、上記モータコマンドの実行毎に上記較正を反復するステップを備えた請求項47乃至62のうちの任意の1つに記載の方法。
- 上記各モータコマンドのロケータを位置決めするステップは、上記モータコマンドを複数の部分的なモータコマンドに分割するステップと、上記幾何学的表現において、上記複数の部分的なモータコマンドのそれぞれに対するロケータを位置決めするステップとを含む請求項46乃至64のうちの任意の1つに記載の方法。
- 複数の指示物から複数の信号を取得する手段と、上記複数の信号を利用して上記複数の指示物の幾何学的表現を提供する手段とを備えた、空間における複数の指示物の幾何学的表現を生成する装置。
- 上記複数の信号を取得する手段は、上記複数の指示物に関連付けられた複数のセンサを含む請求項66記載の装置。
- 上記複数の信号を利用する手段は、空間的冗長度に従って、上記複数の指示物からの複数の信号の差分が、上記複数の指示物間の実際の距離を含意することを仮定するように構成された請求項66又は67記載の装置。
- 上記複数の信号を利用する手段は、上記複数の信号の差分が、単調増加関数によって、上記複数の指示物間の実際の距離に関連すると仮定するように構成された請求項68記載の装置。
- 上記複数の信号を利用して上記複数の指示物の幾何学的表現を提供する手段は、上記複数の信号の差分(b)が、上記関連付けられた複数の指示物間の実際の距離(a)を含意すると仮定するように構成され、上記信号の差分(b)を利用して、上記幾何学的表現を構成する複数のロケータに対する幾何学的距離(g)を決定するように構成され、上記幾何学的距離(g)は上記実際の距離(a)の関数である請求項64記載の装置。
- 上記複数の信号を利用する手段は、上記複数の指示物の幾何学的表現における誤差(ε)を定量化し、εを減少させるために、上記ロケータ間の幾何学的距離(g)を変化させることによって複数のロケータの位置を変更するように構成された請求項70記載の装置。
- 上記複数の信号を利用する手段は、周期的に、上記誤差(ε)を定量化して、上記複数のロケータの位置を変更するように構成された請求項71記載の装置。
- 上記複数の信号を利用して上記複数の指示物の幾何学的表現を提供する手段は、連続的に、上記誤差(ε)を定量化して、上記複数のロケータの位置を変更するように構成された請求項71記載の装置。
- 上記複数の信号を利用する手段は、複数の指示物の可能な母集団をサンプリングし、上記サンプリングされた複数の指示物に対応する上記複数のロケータの位置を変更するように構成された請求項71、72又は73記載の装置。
- 上記複数の信号を利用する手段は、複数の指示物のすべての可能な部分の集合から指示物の複数の対をサンプリングするように構成された請求項74記載の装置。
- 指示物の各対は所定のユニットを備え、利用される複数のユニットは作業力を備え、上記複数の信号を利用する手段は、上記複数の指示物の幾何学的表現を提供するために複数の信号を提供するために用いられるべき作業力のサイズを決定するように構成された請求項75記載の装置。
- 上記複数の信号を利用する手段は、上記作業力が、指示物の各可能な対に関して1つのユニットが存在する、完全な作業力になることを決定するように構成された請求項76記載の装置。
- 上記複数の信号を利用する手段は、上記作業力が、ユニットの個数は指示物のすべての可能な対の個数よりも少ない、不完全な作業力になることを決定するように構成された請求項76記載の装置。
- 上記作業力は、指示物の複数の対の順序付けられた選択によって構成される請求項78記載の装置。
- 上記作業力は、指示物の複数の対の複数のランダムなサンプルから構成される請求項78記載の装置。
- 上記作業力は指示物の複数の対の複数のサンプルから構成され、上記複数のサンプルは、上記複数の指示物の幾何学的表現に影響するそれらの有用性に従って選択される請求項79又は80記載の装置。
- 上記複数の信号を利用する手段は、上記作業力に含まれるべき指示物の複数の対を、それらの有用性に基づいて展開する方法で再選択するように構成された請求項81記載の装置。
- ユニットは高い有用性を有すると見なされ、ゆえに、上記ユニットの信号の差分b又は幾何学的距離gが相対的に小さいとき、選択される可能性がより高い請求項82記載の装置。
- ユニットは低い有用性を有すると見なされ、ゆえに、上記ユニットの信号の差分b又は幾何学的距離gが相対的に大きいとき、選択から除かれる可能性がより高い請求項17又は18記載の装置。
- 上記複数の信号を利用する手段は、ユニットの複数の信号の差分(b)についての履歴情報を記憶するように構成された請求項76乃至84のうちの任意の1つに記載の装置。
- 上記信号の複数の差分(b)を利用して複数のロケータに対する幾何学的距離(g)を決定する手段は、上記履歴情報を利用するように構成された請求項85記載の装置。
- 上記複数の信号を利用する手段は、ヒルクライミング法アルゴリズムを適用するように構成された請求項73乃至86のうちの任意の1つに記載の装置。
- 上記利用されるヒルクライミング法アルゴリズムは勾配降下法である請求項87記載の装置。
- 上記複数の信号を利用する手段は、信号間に相関が存在しないところにおいて、指示物の対からの信号間の差分の期待値に係る測定値である、統計値μを決定するように構成された請求項70乃至88のうちの任意の1つに記載の装置。
- μよりも大きい信号の差分(b)の値は利用されない請求項89記載の装置。
- μの値に近いか又はμの値である信号の差分(b)の値は利用されない請求項89又は90記載の装置。
- 上記複数の信号を利用する手段は、指示物の対に関してか、又は複数の指示物のすべての可能な対のうちの部分集合に対してμを決定するように構成された請求項89乃至91のうちの任意の1つに記載の装置。
- 上記複数の信号を利用する手段は、複数の指示物のすべての可能な対に関してμを決定するように構成された請求項89乃至91のうちの任意の1つに記載の装置。
- 各指示物は複数の別個のタイプの信号を提供し、上記複数の信号を取得する手段は、各タイプに対して信号値を取得するように構成された請求項66乃至93のうちの任意の1つに記載の装置。
- 上記複数の信号を利用する手段は、各別個のタイプの信号が、別個の指示物に対して関連付けられるように取り扱われ、各タイプに対して提供される所定の幾何学的表現を提供するように構成された請求項94記載の装置。
- 上記複数の信号を利用する手段は、各タイプの信号に対して別個のロケータを提供し、上記複数の別個のロケータを幾何学的に結合して単一のロケータを生成するように構成された請求項94記載の装置。
- 上記複数の信号を利用する手段は、上記複数の別個のタイプを結合して、それらを単一の信号値として取り扱うように構成された請求項94記載の装置。
- 上記複数の指示物のn次元空間に対して、上記信号を利用する手段は、上記幾何学的表現を組織化するためのn+m次元空間を提供するように構成された請求項66乃至97のうちの任意の1つに記載の装置。
- 上記複数の指示物のn次元空間に対して、上記信号を利用する手段は、上記幾何学的表現のためのn−m次元空間を提供するように構成された請求項66乃至97のうちの任意の1つに記載の装置。
- 上記複数の信号を利用する手段は、上記幾何学的表現をn次元に後で削減するように構成された請求項98記載の装置。
- 上記複数の信号を利用する手段は、上記幾何学的表現内で複数のロケータのモーメントを決定し、上記モーメントに依存して上記複数のロケータの位置を変更するように構成された請求項73乃至100のうちの任意の1つに記載の装置。
- 上記複数の指示物は上記複数のセンサである請求項67乃至101のうちの任意の1つに記載の装置。
- 上記複数の指示物は上記複数のセンサによって測定される複数のソースである請求項67乃至101のうちの任意の1つに記載の装置。
- 上記複数のセンサは、光センサ、圧力センサ、音センサ、熱センサ、動きセンサ、赤外線センサ、張力センサ、放射センサ、ソナー、距離測定器、化学センサ、物理センサ、電磁センサ、たんぱく質センサ、及び分子センサのうちの1つのタイプ又はそれよりも多くのタイプである請求項102又は103記載の装置。
- 上記複数の指示物はデータの複数のソースである請求項66乃至101のうちの任意の1つに記載の装置。
- 上記データの複数のソースはデータベースから提供される請求項105記載の装置。
- 上記複数の指示物は、非物理的な領域に関連するデータの複数のソースである請求項105又は106記載の装置。
- 上記複数の指示物は、モータサブシステムに対する複数のモータコマンドに関連付けられている請求項66乃至101のうちの任意の1つに記載の装置。
- 上記複数の指示物は生物的なニューロンである請求項66乃至101のうちの任意の1つに記載の装置。
- 上記複数の信号を利用する手段は、複数のセンサの幾何学的表現を提供し、上記複数のセンサの幾何学的表現と結合された上記複数のモータコマンドの幾何学的表現を提供するように構成された請求項108記載の装置。
- モータサブシステム及びセンササブシステムと、上記センササブシステムによって提供される幾何学的表現におけるモータコマンドと関連付けられた位置の表現を提供するように構成された、上記モータサブシステムを上記センササブシステムに対して較正する手段とを備えたシステム。
- 上記モータコマンドは上記幾何学的表現におけるロケータによって表された請求項111記載のシステム。
- 上記較正する手段は、上記モータコマンドの実行の前及び後で上記センササブシステムの複数のセンサからの信号を収集し、上記複数の信号を解析して、実行された上記モータコマンドと上記センササブシステムによる幾何学的表現との間の空間的関係に関する情報を提供するように構成された請求項111又は請求項112記載のシステム。
- 上記モータサブシステムには複数のモータコマンドが利用可能であって、上記較正する手段は複数のモータコマンドに対して較正するように構成された請求項112又は請求項113記載のシステム。
- 上記較正する手段は、上記幾何学的表現内に基準点を定義し、上記基準点における、又は上記基準点の近くの第2のセンサを選択するように構成された請求項111乃至114のうちの任意の1つに記載のシステム。
- 上記較正する手段は、複数の第2のセンサを選択し、上記複数の第2のセンサから信号を収集するように構成された請求項115記載のシステム。
- 上記基準点は、上記複数の第2のセンサからの信号値の平均値に基づいて決定された値を提供され、上記基準点に提供された値は、上記幾何学的表現を提供する目的のための信号値として取り扱われる請求項116記載のシステム。
- 上記平均値は、上記基準点に対する上記複数の第2のセンサの近さに従って重み付けされた、重み付け平均値である請求項117記載のシステム。
- 上記較正する手段は、上記複数のセンサによって提供された複数の信号を解析し、上記複数の信号から上記複数のセンサの位置を推定することによって、上記複数のセンサの幾何学的表現を決定するように構成された請求項111乃至118のうちの任意の1つに記載のシステム。
- 上記較正する手段は、上記第1のセンサロケータに対して、上記モータコマンドロケータの位置を変更するように構成された請求項117乃至119のうちの任意の1つに記載のシステム。
- 上記較正する手段は、上記モータコマンドロケータに対して、上記第1のセンサロケータの位置を変更するように構成された請求項120記載のシステム。
- 上記較正する手段は、上記第1のセンサ及び上記第2のセンサからの信号に関連した履歴情報を記憶するように構成された請求項115乃至121のうちの任意の1つに記載のシステム。
- 上記較正する手段は、上記履歴情報を更新するように構成された請求項122記載のシステム。
- 上記較正する手段は、上記第2のセンサに対して最小の信号の差分を有する上記第1のセンサロケータのロケータの場所に、上記モータコマンドロケータを位置決めするように構成された請求項122又は123記載のシステム。
- 上記較正する手段は、上記モータコマンドに対する較正を周期的な基準で反復するように構成された請求項111乃至124のうちの任意の1つに記載のシステム。
- 上記較正する手段は、上記モータコマンドの実行毎に上記較正を反復するように構成された請求項111乃至124のうちの任意の1つに記載のシステム。
- 上記較正する手段は、上記モータコマンドを複数の部分的なモータコマンドに分割し、上記幾何学的表現において、上記複数の部分的なモータコマンドのそれぞれに対するロケータを位置決めするように構成された請求項110乃至126のうちの任意の1つに記載のシステム。
- 請求項111乃至127のうちの任意の1つに基づくシステムを備えた、モバイルロボット装置。
- 計算装置にロードされたときに、上記計算装置を制御して請求項1乃至46のうちの任意の1つの方法を実現するように構成されたコンピュータプログラム。
- 請求項129記載のコンピュータプログラムを提供するコンピュータが読み取り可能な媒体。
- 計算装置にロードされたときに、上記計算装置を制御して請求項47乃至65のうちの任意の1つに係る方法を実現するように構成されたコンピュータプログラム。
- 請求項131記載のコンピュータプログラムを提供するコンピュータが読み取り可能な媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AUPR1129A AUPR112900A0 (en) | 2000-10-30 | 2000-10-30 | A system and method of unsupervised construction of spatial representations |
AUPR6616A AUPR661601A0 (en) | 2001-07-27 | 2001-07-27 | Apparatus and method for calibration of system motor commands |
PCT/AU2001/001392 WO2002037419A1 (en) | 2000-10-30 | 2001-10-30 | Apparatus and method for the construction of spatial representations |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004512541A true JP2004512541A (ja) | 2004-04-22 |
JP2004512541A5 JP2004512541A5 (ja) | 2005-12-22 |
Family
ID=25646494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002540090A Pending JP2004512541A (ja) | 2000-10-30 | 2001-10-30 | 空間表現の構成のための装置及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7483571B2 (ja) |
EP (1) | EP1336162A4 (ja) |
JP (1) | JP2004512541A (ja) |
AU (1) | AU1364902A (ja) |
WO (1) | WO2002037419A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004040390A1 (de) * | 2002-10-23 | 2004-05-13 | Siemens Aktiengesellschaft | Verfahren und anordnung sowie computerprogramm mit programmcode-mitteln und computerprogramm-produkt zur bildung einer graphenstruktur zur beschreibung einer fläche mit einer freifläche und einer belegtfläche |
JP4703206B2 (ja) * | 2004-05-31 | 2011-06-15 | 東芝モバイルディスプレイ株式会社 | 画像取込機能付き表示装置 |
US8068660B2 (en) * | 2008-05-27 | 2011-11-29 | National Instruments Corporation | Characterizing vision systems |
US9613180B1 (en) * | 2011-06-02 | 2017-04-04 | Hrl Laboratories, Llc | Robotic control device and method for manipulating a hand-held tool |
US9883163B2 (en) * | 2012-01-09 | 2018-01-30 | Disney Enterprises, Inc. | Method and system for determining camera parameters from a long range gradient based on alignment differences in non-point image landmarks |
CN106174830A (zh) * | 2016-06-30 | 2016-12-07 | 西安工程大学 | 基于机器视觉的服装尺寸自动测量系统及其测量方法 |
US20180307729A1 (en) * | 2017-04-24 | 2018-10-25 | Here Global B.V. | Method and apparatus for detecting a quality weather provider, weather station, or weather report |
CN110324528A (zh) * | 2018-03-28 | 2019-10-11 | 富泰华工业(深圳)有限公司 | 摄像装置、影像处理系统及方法 |
CN114888795B (zh) * | 2022-04-25 | 2023-08-18 | 重庆市科学技术研究院 | 未来教学空间场景建模与认知理解方法及系统 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3840586A (en) * | 1972-09-11 | 1974-10-08 | Sankyo Organic Chem Co Ltd | Process for producing beta-mercapto-propionic ester |
US4764944A (en) * | 1986-06-18 | 1988-08-16 | University Of Florida | Methods for positioning an internal portion of a body relative to an extracorporeal referent |
US4998005A (en) | 1989-05-15 | 1991-03-05 | General Electric Company | Machine vision system |
US5063604A (en) * | 1989-11-08 | 1991-11-05 | Transitions Research Corporation | Method and means for recognizing patterns represented in logarithmic polar coordinates |
JP2873338B2 (ja) * | 1991-09-17 | 1999-03-24 | 富士通株式会社 | 動物体認識装置 |
US5525901A (en) * | 1993-02-02 | 1996-06-11 | Beaudreau Electric, Inc. | Sensor systems for monitoring and measuring angular position in two or three axes |
NO302055B1 (no) * | 1993-05-24 | 1998-01-12 | Metronor As | Fremgangsmåte og system for geometrimåling |
US5497188A (en) * | 1993-07-06 | 1996-03-05 | Kaye; Perry | Method for virtualizing an environment |
US5875264A (en) * | 1993-12-03 | 1999-02-23 | Kaman Sciences Corporation | Pixel hashing image recognition system |
US6195122B1 (en) * | 1995-01-31 | 2001-02-27 | Robert Vincent | Spatial referenced photography |
JP3094872B2 (ja) * | 1995-10-20 | 2000-10-03 | トヨタ自動車株式会社 | ハイブリッド車用制御装置 |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
AU3024999A (en) | 1998-03-25 | 1999-10-18 | Crisplant A/S | An optical sensor system for incorporation in a conveyor system and a method fordetermining the geometry and/or angular position of a moving object |
US6130705A (en) * | 1998-07-10 | 2000-10-10 | Recon/Optical, Inc. | Autonomous electro-optical framing camera system with constant ground resolution, unmanned airborne vehicle therefor, and methods of use |
JP4292679B2 (ja) * | 1999-05-10 | 2009-07-08 | コニカミノルタホールディングス株式会社 | 固体撮像装置 |
DE60039002D1 (de) * | 1999-05-17 | 2008-07-10 | Nippon Telegraph & Telephone | Gerät und Verfahren zur Oberflächenmustererkennung |
CA2309008C (en) * | 1999-05-24 | 2007-07-17 | Richard Mcbain | High speed laser triangulation measurements of shape and thickness |
US6133826A (en) * | 1999-12-07 | 2000-10-17 | Motorola, Inc. | Method and apparatus for detecting objects |
-
2001
- 2001-10-30 US US10/168,922 patent/US7483571B2/en not_active Expired - Fee Related
- 2001-10-30 JP JP2002540090A patent/JP2004512541A/ja active Pending
- 2001-10-30 EP EP01981948A patent/EP1336162A4/en not_active Withdrawn
- 2001-10-30 AU AU13649/02A patent/AU1364902A/en not_active Abandoned
- 2001-10-30 WO PCT/AU2001/001392 patent/WO2002037419A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US7483571B2 (en) | 2009-01-27 |
EP1336162A1 (en) | 2003-08-20 |
WO2002037419A1 (en) | 2002-05-10 |
WO2002037419A8 (en) | 2002-10-03 |
EP1336162A4 (en) | 2008-10-08 |
US20030179922A1 (en) | 2003-09-25 |
AU1364902A (en) | 2002-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8754963B2 (en) | Processing images having different focus | |
US10327633B2 (en) | Computational array camera with dynamic illumination for eye tracking | |
EP3817360A1 (en) | Method for tracking target in panoramic video, and panoramic camera | |
KR101323056B1 (ko) | 여러 종류의 입력을 이용한 사람의 식별 방법 및 시스템 | |
Caves et al. | Quantitative comparison of the performance of SAR segmentation algorithms | |
Clarke et al. | Deriving an appropriate baseline for describing fixation behaviour | |
CN112106107A (zh) | 显微镜切片图像的聚焦加权的机器学习分类器误差预测 | |
JP5011307B2 (ja) | デジタル画像内のストリークを検出する方法 | |
US20070237359A1 (en) | Method and apparatus for adaptive mean shift tracking | |
KR101308347B1 (ko) | 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법 | |
Rajashekar et al. | Point-of-gaze analysis reveals visual search strategies | |
JP2004512541A (ja) | 空間表現の構成のための装置及び方法 | |
CN106031148A (zh) | 成像设备,成像设备中自动对焦的方法以及对应计算机程序 | |
KR101938361B1 (ko) | X선 영상 내 체형 윤곽선 기반의 골격 상태 예측방법 및 프로그램 | |
Kolibal et al. | Fractal image error analysis | |
KR101863648B1 (ko) | 척추 측만 정도 측정 장치 및 방법 | |
JP4012200B2 (ja) | オブジェクト検出方法、装置、及びプログラム | |
US11200710B2 (en) | Device and method for PET image reconstruction | |
AU2006207861A1 (en) | Apparatus and method for the construction of spatial representations | |
EP3637369A1 (en) | Deep learning-based kernel selection for scatter correction in x-ray imaging | |
Champagnat et al. | Tomographic PIV: particles vs blobs | |
JP7146088B2 (ja) | 画像処理装置及び画像処理方法 | |
Haucke et al. | Overcoming the distance estimation bottleneck in camera trap distance sampling | |
Tversky et al. | Optimal sensor design for estimating local velocity in natural environments | |
Carbone et al. | Learning Saliency. An ICA based model using Bernoulli mixtures. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040914 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040914 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20070619 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070911 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20071211 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20071218 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080111 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080121 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080212 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080311 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081224 |