JP2001508209A

JP2001508209A - 対象の図心を求める方法およびシステム

Info

Publication number: JP2001508209A
Application number: JP53081098A
Authority: JP
Inventors: ヨセフソン，ソルレイフ; フリッド，ゲーラン
Original assignee: クオリシスエービー
Priority date: 1997-01-13
Filing date: 1998-01-13
Publication date: 2001-06-19
Also published as: SE9700065D0; EP1008105A1; SE512426C2; SE9700065L; WO1998030976A1; AU5685098A

Abstract

(57)【要約】物体（１１）についての少なくとも１次元のデータ、特に、再生される像の画素データを含む信号を生成するセンサ（１５）上に再生される前記物体の前記像（１６）の図心（centroid）座標に関するデータ、を決定する方法およびシステム（アレンジメント）。該方法は、前記信号を補間して、前記像の一部を表す区画の長さ（ｌ_k）の中心（）を算出すること；および前記区画の長さ（ｌ_k）のｎ乗と各区画の中心点との積の総和を各区画の長さ（ｌ_k）のｎ乗の総和で割ることにより図心座標（ｘ'）を決定するために、算出した前記中心（）および前記長さ（ｌ_k）を用いることを含む。

Description

【発明の詳細な説明】対象の図心を求める方法およびシステム［技術分野］本発明は、物体についての少なくとも１次元のデータ、特に、再生される像の画素データを含む信号を生成するセンサ上に再生される前記物体の前記像の図心（ centroid）座標に関するデータ、を決定する方法およびシステム（アレンジメント）に関する。［背景技術］動き解析は、例えば人や動物のバイオメカニクス（生体力学）またはロボット・アームの動きなどを解析するためにカメラ装置とコンピュータ支援を用いる周知の方法である。簡単なシステムでは、分析しようとする物体に複数のマーカーを付ける。以前は、このようなマーカーを付けた物体を、まず撮影してから、手作業で分析し、デジタル化してマーカーの正しい位置を決定していたが、これは、時間のかかる作業である。現在は、いわゆるＣＣＤセンサを備えたカメラを用いる。ＣＣＤセンサは、一種の光センサで、一般に、必要な光学素子と組み合わせて配置される。ＣＣＤセンサは、１またはそれ以上の色に対して、行列として配列された（即ち、ＸＹ座標系に配列された）電荷結合センサ（以降、ＣＣＤ画素と称する）の列から成り、Ｘ個からなる各行をＹ方向に走査することにより(前記の光学素子から)そのＣＣＤセンサに投射される光を変換して、テレビ（ビデオ）信号を生成する。こうすることにより、この信号を種々の方法で分析して、その物体に付けたマーカーの位置を検出することができる。米国特許第5,077,294号には、動き解析システムの説明がある。このシステムでは、カメラを用いて、表面に照らされるマーカーを付けた物体の像を各々が複数の映像の線からなる複数の映像枠へと変換する。映像枠を構成する映像の線（映像線と称する）は、それぞれ複数の画素から成る。次に、像処理装置を用いて、各映像線を受け取り、各映像線におけるマーカーの有無を検出する。これは、各画素の強度を閾値と比較し、画素の強度値が閾値を超える場合、これを示すことにより行う。次に、画素の強度値と閾値との差を表すオフセット値を、検出されたマーカーに対する現在の総強度値に加算する。オフセット値は、各マーカーにおける各画素に対する瞬時値を走査線におけるその画素の位置に基づいて計算することになる。このように計算される瞬間線分値が、現在検出されているマーカーに対する強度値の現在の総計に加算されるのである。各映像線における各マーカーの一連の画素の各々に対する強度値と現在の総計とが、信号プロセッサに渡される。信号プロセッサは、受け取った強度値と現在の総計とをマーカー毎に分類し、グループの値を用いて各マーカーに対する重心の値を計算する。しかしながら、この発明は、高速計算という課題には対処しているが、高解像度用途における精度に欠ける。このことは、寸法の小さなマーカーを用いる場合、特に問題となる。［発明の開示］本発明の目的は、以上の問題を克服し、費用をかけずに情報収集するのに用いるもので、マーカー（好ましくはほぼ円形のマーカー）の中心を簡単なカメラの資源を用いて実時間で高速計算する新奇な方法を提供することである。前記の目的を達成するため、前記のビデオ信号を補間し、前記像の一部分を表す区画の長さの中心を計算し、さらに算出した中心および前記の長さを用いて、各区画の長さのｎ乗と区画の中心点との積の総ての区画に対する総和を各区画の長さのｎ乗の総和で割ることにより物体の中心座標を決定することを特徴とする方法を用いる。前記のビデオ信号を補間するステップ、前記像の一部分を表す区画の長さを計算するステップ、及び算出した長さを用いて、総ての長さの和を求めることにより前記像の面積を算出するステップを特徴とする方法によって、もう１つのパラメータを決定する。また、本発明は、物体に対する少なくとも１次元のデータを決定するシステム（アレンジメント）に関し、本システムは、前記物体の像のデータを収集する手段、再生像用の画素データを含むデジタル信号を生成する変換手段、画素信号のレベルと閾値との間の差を生成する比較ユニット、前記像の一部を表す各区分の長さに対する中心点を算出する計算ユニット、および前記再生像の中心座標、面積、半径の少なくとも１つを計算する手段を備える。本発明の他の効果を有する実施例は、従属請求項に記載する。［図面の簡単な説明］以降、添付図面を参照して本発明を説明する。図１は、本発明による簡単な動き解析システムの略図である。図２は、図１によるカメラの主要な機能に関するブロック図である。図３は、本発明によるシステムにおいて用いられるほぼ球形のマーカーの例を示す。図４は、本発明によって処理されるアナログ信号およびデジタル信号を示す図である。図５は、本発明によりデジタル化されたマーカーをとおる略断面図である。図６は、本発明によるシステムで用いられる好ましいカメラのデータの流れを示す略図である。図７は、円形度を検査するためのマーカー像の略図である。［発明を実施するための最良の形態］基本原理類似のシステムでは、基本的に、カメラからの通常のビデオ信号を入力として用いる。この信号を基に、光の強度に基づいてマーカーが背景から分離され、このマーカーのＸＹ座標が計算される。目的は、マーカーの動きを可能な限り正確に測定することである。即ち、有限個の点の集合からなるビデオ信号の結果である不正確さを最小にすることである。ビデオ信号は、多数の線からなり、これらの線は、順次走査されたものである。マーカーにより１つの像が生成されるが、この像は、１またはそれ以上の線に渡って存在することになる。比較器により、１本の線上のマーカー部分の開始と終了を決定することができる。１本の線上のマーカーの像を区画と呼ぶことにする。線の開始から区画の開始（Ｘ_s）までの時間、および線の開始から区画の終了（Ｘ_e）までの時間を計測する。これら２つの時間の平均値は、その区画の水平方向（線が水平である場合）の空間的位置の尺度であり、一方、その線のシリアル番号（Ｓ）は、その区画の垂直方向の位置の尺度である。よって、区画の長さ（１）は、Ｘ_e−Ｘ_sである。マーカーのＸＹ座標（Ｘ_m、Ｘ_m）は、それぞれ次の式（１）および（２）により得られる。ただし、Σ記号は、そのマーカーの像の要素である総ての区画について総和を取ることを示す。以上の事柄は、類似の信号に応用可能である。デジタル検出器からの映像点が線形以外のオーダーに転送される場合も、類似の計算を行うことができる。そうすることで、同じマーカーの要素である総ての像要素に対して中心点が計算される。まず、像要素を総て線に変換して、次に前記の類似の場合として計算を行うことができる。時刻Ｘ_sおよびＸ_eは、（画素の値を水平方向に走査する場合は、）発信器に接続された電子計数器によって計測することができる。計数器は、線の開始時に始動し、区画の開始および終了に達した時に読み出される。問題は、技術的かつ経済的な理由から、発信器の周波数が制限されることである。デジタルの場合、この問題は、像の要素を必要なだけ小さくできないということになる。同様の場合、この問題を克服するためには、ビデオ信号を供給した比較器を備え、これで積分器を始動して線形の電位傾斜を発生させ、時刻Ｘ_sに電位Ｖａから開始して電位Ｖｂに至るようにすればよい。電位の傾斜は、計数器が２つの値の間で変化するときに、標本化されて計測される。傾斜が所定の閾値を通る時刻を算出し、時刻Ｘ_ssを決定するのに使用する。Ｘ_sとＸ_ssとの差は、一定であり得、積分器と比較器の遅延とによって決定される。電位の傾斜上の少なくとも２点を計測すれば、計数器が変化する時刻の傾斜上の測定点から、時刻Ｘ_ssは容易に計算することができる。例えば、２つの電圧Ｖ₁およびＶ₂が時刻ｔ₁およびｔ₂にそれぞれ計測され、且つＶ₀がＶ₁とＶ₂の間である場合、Ｘ_ssは、次の式によって補間される。時刻Ｘ_eも同様に計測される。実施例では、計算を簡単にするため、線形の傾斜を用いるが、その他の曲線を用いても良い。実施態様の詳細図１に、本発明による簡単なシステムを示す。本システムは、分析するべき対象（この場合は、人体１２）に向けた少なくとも１つのカメラ１０及び対象１２に付けた少なくとも１つのマーカー１１を含む。カメラ１０から受信した信号をさらに処理するために、カメラ１０は、コンピュータ装置１３に接続しても良い。以降、赤外線領域で動作するシステムの実施例を述べることとする。即ち、カメラは、赤外線を放射する対象または物体を「見る」ものとする。反射性の表面を有するほぼ球形のマーカー２５の例を図３に示す。カメラ１０は、赤外線を放射する手段を備えても良い。放射された赤外線はマーカー２５で反射される。マーカーを特別な設計にすることにより、異なる角度からのカメラが円形を捕らえて正確な位置測定が可能となる。この実施例では、カメラ１０は、前記とほぼ同様に動作するＣＣＤユニットを備えている。図２のブロック図は、本発明による方法を実施するように意図されたカメラ１０の主要な部分を概略的に示す。カメラ１０は、マーキングデバイス１１の像１６をＣＣＤユニット１５に投影するレンズまたはその他の集光手段（図示せず）のような光学素子１４を含む。ＣＣＤユニット１５の表面が走査されると、画素情報を含む像信号が、変換手段１７によって適切なビデオ信号へと変換され、ＣＣＤユニット内に集積される。そして、像の線を表すビデオ信号が、処理ユニット１８へとシリアルまたはパラレルに送られる。処理ユニット１８は、受信したビデオ信号を例えばＡ／Ｄ変換ユニット１９を用いてデジタル化する。また、ビデオ信号は、ユニット１７でデジタル化してもよい。処理ユニット１８は、これを制御する命令集合を収容するメモリユニット（図示せず）に接続しても良い。前記の「基本原理」の部分に関して言えば、像の要素を複数行に配列し、例えば低域通過フィルタにより何らかの連続信号を与えるようにしてもよい。そうすれば、この連続信号を前記の類似の信号として処理することができる。しかし、好ましい実施例としては、像の各要素を個別に計測し、基本原理の部分と同様に、閾値Ｔを何時通るかを判断して、計測値から値を補間するのが良い。この場合、前記の積分器および比較器は除去する。デジタル信号およびビデオ信号を参照記号ＤおよびＡでそれぞれ表すグラフを図４に示す。図の座標軸は、電圧レベルとデジタルまたはビデオ信号の画素数とを表す。再び図２において、デジタル化された信号は、次に比較器２０に渡される。比較器２０は、所定の閾値Ｔに関する個々の標本値を補間する。閾値Ｔは、ビデオレベルとも言い、メモリユニット２１から得ることができる。上述のように、目的は、信号の振幅が何時、閾値Ｔを通るかを決定することである。各通過により、各区画の開始および終了の座標が高解像度で表される。解像度は、１行の画素数の約３０倍まで可能である。計算ユニット２２は、次の計算を実行する。ただし、Ｖ₁およびＶ₂は、先行する画素と後続の画素の信号レベルであり、比較器２０から受け取る。ここで、式（４）は、式（３）の特殊な場合と見なすことができる。画素（ピクセル）番号は、計数器（図示せず）から得ることができる。使用される部品によって、レベルＶ₁およびＶ₂を１０ビットの解像度で計測することができ、画素番号（最上位ビット）が９ビットで、(Ｔ-Ｖ₁)/(Ｖ₂-Ｖ₁)が７ビットである。この時、計算ユニット２２は、メモリユニット２３に格納されている前の値によって、次の式（５）を用いて、マーカーの中心点ｘ'を計算する。ここで、１_kは、図５における区画ｋ（即ち、Ｘ_ek−Ｘ_sk）の長さ、Ｓは、像の要素のシリアル番号、この場合、デジタルの場合は、式（１）および（２）は、式（５）および（６）でそれぞれ置き換えることができる。しかし、式（１）および（２）だけでは、望ましい正確な値を得ることはできない。より正確、安定かつ高解像度のｘ' を得るために、長さｌ_kのｎ乗を算出する。好まし実施例では、ｌ_kの二乗（即ち、ｎ＝２）を計算する。図５は、図３によるマーカーのデジタル化２次元像２６を概略的に示す。ｌ_k の二乗を計算するのは、一層正確な値を得るためであり、特に円形の像においては、像の中心領域から区画が離れるほど、区画の長さ（即ち、ｌ_k-1、ｌ_k、ｌ_k+ ₁ ）が急速に長くなるためである。「より良い安定性」とは、Ｘ_eおよびＸ_sの測定における僅かな不正確さ及び考えられる丸め誤差が、結果にあまり影響を及ぼさないことを意味する。定数ｎは、整数である必要はない。マーカーにおける区画の数がほとんどない場合、垂直方向（ｙ' ）の精度の改善は、ビデオ信号に対して顕著になる。更なる計算のため、長さｌ_kは、メモリユニット２３に記憶しても良い。例えば、像の面積Ａは、面積用の式Ａ≒Σｌ_kを用いて計算できる。円形のマーカーに対しては、Ａ＝πｒ²を用いて、式（７）が得られるので、これにより半径を計算することができる。これは、計算ユニット２２で計算できる。以上の結果は、インタフェース部２４に送られ、さらにコンピュータ装置１３に送られる。コンピュータ装置１３では、シミュレーション、位置決定およびその他の用途のために、算出された値ｘ'およびｒを用いて、画面上にマーカーの位置を示すことができる。カメラ１０の好まし実施例におけるデータの流れを図６に示す。図６において、前記のように機能する要素は、同様の表示番号で示してある。カメラ１０は、カメラ・ケースのレンズ開口を取り巻く赤外線フラッシュなどの光源２７を備えている。ＣＣＤセンサ１５は、レンズ１４の光路上に配置される。ＣＣＤからの信号は、ビデオ処理装置２８に与えられる。装置２８は、ＣＣＤセンサ１５からのビデオ信号を処理した後、処理した信号をＡ／Ｄ変換ユニット１９に渡す。タイミングの同期を取るため、ＣＣＤセンサ１５、ビデオ処理装置２８およびＡ／Ｄ変換ユニット１９は、タイミング制御装置２９から出力される共通のタイミング信号によって同期をとる。タイミング制御装置２９は、例えば発振器および計数器を含む。Ａ／Ｄ変換ユニット１９からの結果は、メモリユニット３０（好ましくは、ＦＩＦＯ（先入れ先出し）メモリ）に与えられる。先行するデータを供給するために、レジスタ３１を配置する。比較器２０により、書込み信号を発生させ、像要素の変換の度に好ましくは２つの画素値をメモリユニット３０に格納する。さらに、画素数および像線（走査線）の行番号が、タイミング制御装置２９の計数器によって与えられる。次に、メモリユニット３０に格納されたデータは、処理装置３２により、例えば前記のような中心の計算に用いられる。さらに、動作命令を格納する命令集合メモリユニット３３、処理済みのデータを格納するデータメモリユニット３４および処理済みのデータを例えばコンピュータに転送するための通信装置３５も配置されている。ほぼ円形または球形のマーカーを用いた場合、正しい計算のためには、システムは、「円形度」検査を実行して、この検査に合格した像のみを分析するようにする。本発明による円形度検査は、同様の検査または手続きを必要とする他の如何なる用途に用いても良い。図７は、マーカー像の区画を例示する図である。図７において、第一段階では、マーカーのデジタル像の対象性を検査して、総ての区画をちょうど取り囲む長方形が正方形であるかどうか、即ち、次式を満たすかどうかを調べる。ただし、Δは、許容可能な差である。第２段階では、前記の正方形の面積と総ての区画の面積との商を調節する。この商は、区画全体が円を形成する場合に、理想的な値である４／πとなる。この時、次の式が成立する。次に、区画の対象性を検査する。この場合、マーカーの中心の座標Ｘ_mおよびＹ_m を計算し、各区画の例えばｘ方向の中心がＸ_mから逸脱しない（即ち、総ての区画がＸ_mを中心に対象に配置される）ように、調節する。如何なる可能なずれも、例えばｘ方向にマーカーの大きさにまで調節することが好ましい。したがって、区画全体が次の式を満たさなければならない。好ましい実施例を図示して説明したが、本発明は、この実施例に限定されず、請求の範囲内において種々の変形および修正が為され得る。処理ユニット１８は、カメラ１０または周辺装置と一体化することができる。処理ユニット１８における装置数およびそれらの機能も変えることができる。［産業上の利用分野］さらに、本システムは、ＣＣＤセンサを用いるカメラに限らない。カメラからのビデオ信号は、走査装置において、図心算出のためにマーカーの位置を追跡し判定するのに用いることができる。さらに、マーカーの形状は、応用分野によって変えることができる。ロボットシステムにおいては、例えば台形型のマーカーを用いても良い。参照符号リスト１０カメラユニット１１マーカー１２物体１３コンピュータ１４レンズ１５ＣＣＤユニット１６像１７変換ユニット１８処理ユニット１９Ａ／Ｄ変換ユニット２０比較器２１メモリユニット２２計算ユニット２３メモリユニット２４インタフェースユニット２５マーカー２６マーカー像２７光源２８ビデオ処理ユニット２９タイミング制御ユニット３０ＦＩＦＯメモリユニット３１レジスタ３２処理ユニット３３プログラムメモリ３４データメモリ３５通信ユニット

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，ＭＷ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＵ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ

Claims

【特許請求の範囲】（１）物体（１１）に対する少なくとも１次元のデータ、特に、センサ（１５）上に再生される前記物体の像の図心座標に関するデータを決定する方法であって、前記センサは前記の再生された像（１６）に対する画素データを含む信号を生成し、以下の特徴を有する方法前記信号を補間して、前記像の一部を表す区画の長さ（前記区画の長さ（ｌ_k）のｎ乗と各区画の中心点との積の総和を各区画の長さ（ｌ_k）のｎ乗の総和で割ることにより図心座標（ｘ'）を決定するために、算出した前記中心（（２）前記のｎが２である請求項１記載の方法。（ここで、Ｔは所定の閾値であり、Ｖ₁およびＶ₂はそれぞれ先行する画素および後続の画素の信号レベルであり、ｐはｍ番目の画素の番号である）を用いて算出することを特徴とする請求項１または２記載の方法。（４）物体（１１）に対する少なくとも１次元のデータ、特に、センサ（１５）上に再生される前記物体の像の面積を決定する方法であり、前記センサは前記の再生された像（１６）に対する画素データを含む信号を生成し、下記を特徴とする方法前記信号を補間して、前記像の一部を表す区画の長さ（ｌ_k）を算出すること；および総ての前記長さ（ｌ_k）の総和を用いて該像の面積（Ａ）を決定するために、算出された前記長さ（ｌ_k）を用いること。（５）前記像の半径（ｒ）を次の式：（ここで、ｌ_kは区画ｋの算出された長さである）を用いて算出することを特徴とする請求項４記載の方法。（６）前記方法が、該マーカー（１１）の円形度を検査する方法をさらに含むことを特徴とする請求項１〜５の何れか１項に記載の方法。（７）請求項６記載のマーカーの円形度を検査する方法であって、総ての区画をちょうど取り囲む四角形が正方形であるか否かを検出するために、マーカーの像を検査すること；及び／又は前記正方形の面積と総ての区画の面積との商を算出し、前記区画が円を形成する場合、前記商が理想的な値である４／πに等しくなること；及び／又はマーカーの像の中心点（Ｘ_m，Ｙ_m）を算出することによって区画の対象性を検査し、および、各区画の中心が該中心点から逸脱しない、即ち、総ての区画が前記中心点を中心に対象に配置されるとうに調節すること；を特徴とする請求項６記載のマーカーの円形度を検査する方法。（８）物体（１１）に対する少なくとも１次元のデータを決定するシステムであり、前記物体に対する像のデータを収集する手段（１５）；前記再生された像（１６）の画素データを含むデジタル信号を生成する変換手段（１９）；閾値（Ｔ）を通過する時点を発生する比較ユニット（２０）；を計算し、さらに前記像の図心座標（ｘ'）及び／又は面積及び／又は半径を計算する計算ユニット（２２）、を備えることを特徴とするシステム。（９）前記の像データ収集手段（１５）、前記変換手段（１９）、比較ユニット（２０）および計算ユニット（２２）が、カメラユニット（１０）内に配置された請求項８記載のシステム。（１０）前記ビデオ信号と、像の線及び／又は画素の計数値とを同期させるために、タイミング・ユニット（３９）が配置されていることを特徴とする請求項８または９記載のシステム。