JP2004348659A

JP2004348659A - 被写体形状認識システム及び方法並びに被写体形状認識用プログラム、当該プログラムを記憶した記憶媒体

Info

Publication number: JP2004348659A
Application number: JP2003147882A
Authority: JP
Inventors: Hitoshi Kubota; 整久保田; Katsuichi Ono; 勝一小野; Hideo Saito; 英雄斎藤
Original assignee: Keio University; Suzuki Motor Corp
Current assignee: Keio University; Suzuki Motor Corp
Priority date: 2003-05-26
Filing date: 2003-05-26
Publication date: 2004-12-09

Abstract

【課題】薄板状の柔軟物体の形状を短時間で認識する。
【解決手段】画像取得手段にて取得した被写体の画像データと、修正した三次元モデルデータとの形状を比較して、被写体形状１を認識するシステムであって、三次元モデルデータを、被写体上にあらかじめ設定された複数の節点１１と、これら節点のうち隣り合う節点を相互に接続するあらかじめ定められた長さを有するリンク１２と、各節点から被写体の外縁に向かってリンクとは所定の角度を有して延びるあらかじめ定められた長さを有するサブリンク１３と、により構成すると共に、三次元モデルデータの節点とリンクとサブリンクとの各要素に基づいて当該三次元モデルデータを修正する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
本発明は、被写体形状認識システムにかかり、特に、薄板状の柔軟部材を被写体として、当該部材の三次元形状を認識するシステムに関する。また、被写体形状認識方法及び被写体形状認識用プログラムに関する。
【０００２】
【従来の技術】
従来より、カメラにて被写体を撮影して当該被写体の画像データをコンピュータ取り込み、当該画像データをコンピュータにて処理することにより、被写体の三次元形状を認識するシステムが開発されている。その一例を、図１８乃至図１９を参照して説明する。図１８は、従来システムにおける認識手法を示すフローチャートである。図１９は、従来例における三次元モデルデータの一例を示す図である。
【０００３】
一般的に、被写体形状認識システムとしては、被写体となる物体の画像を取り込むカメラ（画像取得手段）と、取り込んだ画像データを処理するプログラムが組み込まれたコンピュータと、を備えている。そして、コンピュータには被写体の形状データと比較されるモデルデータがあらかじめ記憶されており、かかるモデルデータとのマッチングにより、被写体の形状を認識するという手法を採っている。以下、これを詳述する。
【０００４】
まず、カメラにて対象物体を撮影し、かかる対象物体の画像データがコンピュータに転送されて記憶される（ステップＳ１０１）。そして、コンピュータでは、取り込んだ画像データのノイズを処理するなど前処理（ステップＳ１０２）を施した後に、被写体の形状の特徴を表すデータを抽出する（ステップＳ１０３）。例えば、端点や輪郭線などの特徴量を抽出する。
【０００５】
続いて、基準となるモデルデータを読み出し（ステップＳ１０４）、当該モデルデータと、抽出した被写体の特徴量とを比較する（ステップＳ１０５）。このとき、被写体の特徴量とモデルデータのものとの一致度を評価し、その評価値があらかじめ定められたコンピュータの記憶部に記憶されているしきい値以下であるか否かを判断する（ステップＳ１０６）。なお、この場合における評価値は、当該値が小さいほど一致していることを表すものとする。
【０００６】
そして、評価値がしきい値以下であれば（ステップＳ１０６にて肯定判断）、そのモデル形状を被写体の形状として認識する（ステップＳ１０８）。一方、評価値がしきい値よりも大きい場合には（ステップＳ１０６にて否定判断）、モデルデータの修正を行う（ステップＳ１０７）。なお、この事例では、評価値がしきい値以下であるときのモデルデータを被写体形状として認識する場合を例示したが、判断手法の一例に過ぎず、これに限定されない。
【０００７】
この際、モデルデータはその形状を表すために多くのパラメータが設定されているが、これらパラメータを最適化することにより、被写体の画像データに近似するようにする。パラメータは、例えば、図１９に示すように、モデルデータである対象物体Ｓをメッシュ形状で表した際の各節点座標である。従って、上述したモデルデータの修正とは、例えば、節点の位置を移動するなどして、モデルデータの位置・姿勢ばかりでなく、形状自体の変形を行うこともある。
【０００８】
なお、上述したような対象物体の形状を認識するシステム及び手法は、特許文献１にも開示されている。
【０００９】
【特許文献１】
特開２０００−１９４８５９号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来例に示す認識手法では、対象物体が薄板状の柔軟物体であると、以下のような不都合がある。まず、被写体が薄板形状、例えば、紙状である場合では、特に湾曲やねじれなどの変形があり、上述したように特徴量を端点や輪郭線などとすると、当該特徴量の抽出及びモデルデータとのマッチングが困難となる。
【００１１】
また、被写体が薄板状であるか否かに関わらず、モデルデータを図１９に示すようにメッシュ形状にて表すとすると、パラメータである節点の個数が多く、モデルデータの最適化に時間がかかるという問題も生じる。
【００１２】
さらには、対象物体（被写体）が薄板状であるため、変形が視線方向すなわちカメラの撮影方向と一致した場合には、被写体が線状に見えるだけであって、物体の形状認識を精度よく行うことが困難となる。
【００１３】
【発明の目的】
本発明は、上記従来例の有する不都合を改善し、特に、薄板状の柔軟物体の形状を短時間で認識することができる被写体形状認識システムを提供することをその目的とする。また、認識精度の向上をも図る。
【００１４】
【課題を解決するための手段】
そこで、本発明では、被写体となる物体を撮影する画像取得手段と、取得した画像データを記憶部に記憶して演算処理するコンピュータとを備え、被写体の形状を認識するシステムであって、このコンピュータが、当該コンピュータの記憶部に記憶された被写体の三次元モデルデータを読み出して当該三次元モデルデータの形状を修正すると共に当該修正後の三次元モデルデータを記憶部に記憶するモデルデータ修正機能と、三次元モデルデータと画像取得手段にて取得した被写体の画像データとの形状を比較して算出した比較結果データとこのときの三次元モデルデータとを記憶部に記憶する形状比較機能と、比較結果データが記憶部にあらかじめ記憶された判断基準を満たすか否か判断して当該判断基準を満たすときの三次元モデルデータを被写体の画像取得時における形状として認識する形状認識機能と、を備え、三次元モデルデータを、被写体上にあらかじめ設定された複数の節点と、これら節点のうち隣り合う節点を相互に接続するあらかじめ定められた長さを有するリンクと、各節点から被写体の外縁に向かってリンクとは所定の角度を有して延びるあらかじめ定められた長さを有するサブリンクと、により構成すると共に、形状修正機能は、三次元モデルデータの節点とリンクとサブリンクとの各要素に基づいて当該三次元モデルデータを修正する、という構成を採っている。
【００１５】
このような構成にすることにより、まず、コンピュータの記憶部には、被写体を節点、リンク、サブリンクとにより構成してモデル化した三次元モデルデータが記憶されている。そして、画像取得手段にて被写体の映像を取得した後に、この取り込んだ画像データ内における被写体自体の形状と三次元モデルデータとが比較されて、そのときの比較結果データ及び三次元モデルデータ自体が記憶部に記憶される。続いて、三次元モデルデータの形状が、構成要素のパラメータを変更することで修正される。そして、上記同様に、修正された三次元モデルデータと取り込んだ被写体の画像データ内の被写体形状とが比較され、比較結果データと修正された三次元モデルデータが記憶される。このとき、モデルデータは、節点、リンク、サブリンクとにより構成されているので、これらに関するデータのみを修正することで三次元モデルデータの形状を変更することができる。
【００１６】
その後、上記モデルデータの修正処理及び比較処理が所定の回数繰り返えされる。そして、算出された総ての比較結果データを調べ、これらのうち、あらかじめコンピュータの記憶部に記憶した判断基準を満たしているときの三次元モデルデータを記憶部から読み出して、当該三次元モデルデータを被写体の画像取得時における形状として認識する。なお、比較結果データがあらかじめ定めた判断基準を満たしているか否かは、比較結果データを算出した直後に行い、当該判断基準を満たした段階で修正処理を止め、形状を認識してもよい。
【００１７】
以上により、従来より行われている多くの節点にて表されるメッシュデータの形状修正とは異なり、節点、リンク、サブリンクと、これらに関するデータをパラメータとすることで三次元モデルデータの形状を変形することができ、より少ないパラメータの変更でこれを実行することができる。このため、演算処理量の減少により、演算装置であるコンピュータの処理負担の減少を図り、被写体の形状認識処理の高速化を図ることができる。また、被写体の三次元モデルデータを、複数の節点、隣り合う節点を接続するリンク、各節点からリンクと所定の角度を成して被写体自体の外縁に向かって延びるサブリンクとにより表すことで、被写体が薄板状の物体である場合には、これらの要素で被写体の形状をより正確に表現することができる。
【００１８】
また、形状修正機能は、リンクが接続された一方の節点を回転中心とする当該リンクの回転角度と、当該サブリンクが接続された節点を回転中心とする当該サブリンクの回転角度と、をそれぞれ変更パラメータとしてその値を変更することによりモデルデータの形状を修正する、という構成であると望ましい。
【００１９】
さらに、形状修正機能は、三次元モデルデータのあらかじめ定められた節点の三次元座標をも変更パラメータとしてその値を変更することによりモデルデータの形状を修正する、という構成であってもよい。
【００２０】
そして、上記のように変更パラメータの値を変更する際に、形状修正機能は、各変更パラメータの変更割合である、あらかじめ定められたパラメータ毎の重みデータに応じて変更する、という構成としてもよい。
【００２１】
これにより、２つの要素におけるパラメータのみを修正することで三次元モデルデータを変形することができるため、より短時間にて認識処理を実現することができる。特に、上述したようにパラメータを設定することによって、被写体の湾曲及びねじりを表現することができるため、少ないパラメータであっても被写体のあらゆる形状に対応することができ、形状認識精度も維持することができる。また、各変更パラメータの変更度合を被写体の特性に応じてあらかじめ設定しておくことにより、形状が変形しやすい方向の変更パラメータを大きく変更するという設定も可能であり、より修正処理の高速化を図ることができる。さらには、被写体の位置が固定されていない場合には、三次元モデルデータの一つの節点の位置をパラメータとすることにより、当該三次元モデルデータの位置を移動して被写体の形状に合わせることが可能となり、さらなる認識処理の高速化を図ることができる。
【００２２】
また、形状比較機能は、被写体の画像データと三次元モデルデータとの各対応座標においてそれぞれ物体の形状が存在するか否かを判断すると共に、全ての対応座標における一致点あるいは相違点の数に基づいて被写体の画像データと三次元モデルデータとの形状を比較して比較結果データを算出する、という構成であってもよい。同様に、一致点あるいは相違点の数を被写体の画像データから算出した当該被写体の面積で除算した値に基づいて被写体の画像データと三次元モデルデータとの形状を比較してもよい。
【００２３】
これにより、被写体形状の認識を、画像データと三次元モデルデータとの各対応画素における一致点、相違点の数に応じて行うため、簡易なアルゴリズムにて認識処理を実現でき、高速に、かつ高精度な認識結果を得ることができる。特に、一致あるいは相違する画素数を被写体の画像データから求めた当該被写体面積で割ることで、比較結果データを正規化でき、当該被写体の認識精度の撮影角度による影響を抑制することができる。
【００２４】
また、コンピュータが有する各機能は、節点毎に作動するよう構成してもよい。これにより、各節点毎では変更パラメータの数が少なくなるため、より少ない設計変数で最適化を行うことができ、認識処理の迅速化及び高精度化を図ることができる。
【００２５】
さらには、画像取得手段を複数設置すると共に、コンピュータが備える各機能が、各画像取得手段毎に取得した各画像データそれぞれに対して作動し、形状認識機能は、各画像データ毎の形状比較機能による比較結果データのうち、記憶部に記憶された判断基準に対して最も適切な比較結果が得られたと判断した三次元モデルデータを被写体の形状として認識する、という構成としてもよい。これにより、撮影角度によっては、被写体の形状を適切に認識できない場合も生じるが、同時に２方向以上から撮影することで、適切な形状認識結果を得ることができる。
【００２６】
また、本発明では、コンピュータの指令により画像取得手段にて被写体となる物体を撮影して当該被写体の画像データをコンピュータの記憶部に記憶する被写体画像取込工程と、この被写体画像取込工程の後に、コンピュータが記憶部に記憶された被写体の三次元モデルデータと画像取得手段にて取得した被写体の画像データとを比較して算出した比較結果データとこのときの三次元モデルデータとを記憶部に記憶する形状比較工程と、コンピュータが形状比較工程による比較結果データが記憶部にあらかじめ記憶された判断基準を満たすか否か判断して当該判断基準を満たしている場合にその時点における三次元モデルデータを被写体の画像取得時における形状としてコンピュータが認識する形状認識工程と、を備えると共に、形状比較工程と形状認識工程との間に、コンピュータが形状比較工程による比較結果データが判断基準を満たしていない場合に、記憶部に記憶された被写体の三次元モデルデータを読み出して当該三次元モデルデータを修正すると共に当該修正後の三次元モデルデータを記憶部に記憶するモデルデータ修正工程を備え、このモデルデータ修正工程が、被写体上にあらかじめ設定された複数の節点と、これら節点のうち隣り合う節点を相互に接続するあらかじめ定められた長さを有するリンクと、各節点から被写体の外縁に向かってリンクとは所定の角度を有して延びるあらかじめ定められた長さを有するサブリンクと、により構成された三次元モデルデータの形状を、節点とリンクとサブリンクとの各要素に基づいて修正する、という被写体形状認識方法をも提供している。
【００２７】
また、同様に、コンピュータの指令により画像取得手段にて被写体となる物体を撮影して当該被写体の画像データをコンピュータの記憶部に記憶する被写体画像取込工程と、この被写体画像取込工程の後に、コンピュータが記憶部に記憶された被写体の三次元モデルデータを読み出して当該三次元モデルデータの形状を修正すると共に当該修正後の三次元モデルデータを記憶部に記憶するモデルデータ修正工程と、三次元モデルデータと画像取得手段にて取得した被写体の画像データとの形状を比較してこの比較結果データとこのときの三次元モデルデータとを記憶部に記憶する形状比較工程と、を備えると共に、モデルデータ修正工程と形状比較工程とを所定回数繰り返した後に、コンピュータが形状比較工程による比較結果データが記憶部にあらかじめ記憶された判断基準を満たすか否かを判断して当該判断基準を満たすときの三次元モデルデータを被写体の画像取得時における形状として認識する形状認識工程を備え、モデルデータ修正工程が、被写体上にあらかじめ設定された複数の節点と、これら節点のうち隣り合う節点を相互に接続するあらかじめ定められた長さを有するリンクと、各節点から被写体の外縁に向かってリンクとは所定の角度を有して延びるあらかじめ定められた長さを有するサブリンクと、により構成された三次元モデルデータの形状を、節点とリンクとサブリンクとの各要素に基づいて修正する、被写体形状認識方法をも提供している。
【００２８】
さらには、コンピュータに、画像取得手段を介して被写体となる物体を撮影し当該被写体の画像データをコンピュータの記憶部に記憶する被写体画像取込機能と、記憶部に記憶された被写体の三次元モデルデータを読み出して当該三次元モデルデータの形状を修正すると共に当該修正後の三次元モデルデータを記憶部に記憶するモデルデータ修正機能と、三次元モデルデータと画像取得手段にて取得した被写体の画像データとの形状を比較して算出した比較結果データとこのときの三次元モデルデータとを記憶部に記憶する形状比較機能と、この比較結果データが記憶部にあらかじめ記憶された判断基準を満たすか否か判断して当該判断基準を満たすときの三次元モデルデータを被写体の画像取得時における形状として認識する形状認識機能と、を実現させるためのプログラムであって、モデルデータ修正機能が、被写体上にあらかじめ設定された複数の節点と、これら節点のうち隣り合う節点を相互に接続するあらかじめ定められた長さを有するリンクと、各節点から被写体の外縁に向かってリンクとは所定の角度を有して延びるあらかじめ定められた長さを有するサブリンクと、により構成された三次元モデルデータの形状を、節点とリンクとサブリンクとの各要素に基づいて修正する、被写体形状認識用プログラム、及び、当該プログラムを記憶した記憶媒体をも提供している。
【００２９】
このようにしても、上記同様の作用、効果を得ることができ、上述した目的を達成することができる。
【００３０】
【発明の実施の形態】
〈第１の実施形態〉
以下、本発明の第１の実施形態について、図１乃至図１４を参照して説明する。図１は、本発明の構成を示すブロック図である。図２は、本発明の構成要素であるコンピュータの構成を示す機能ブロック図である。図３は、被写体の取得画像の様子を示す説明図である。図４は、被写体の三次元モデルデータを示す模式図である。図５は、被写体の三次元モデルデータの変更パラメータを示す説明図である。図６は、三次元モデルデータから二次元モデル画像を生成する際の様子を示す説明図である。図７乃至図８は、取得した被写体の画像データと三次元モデルデータから生成したモデル画像とを比較した際の様子を示す説明図である。図９乃至１１は、本発明の動作を示すフローチャートである。図１２乃至図１４は、本発明の応用例を示す図である。
【００３１】
（全体構成）
本発明である被写体形状認識システムは、図１に示すように、被写体１となる物体を撮影する画像取得手段２と、取得した画像データを処理するコンピュータ３とを備えている。そして、このコンピュータ３にて、撮影した被写体１の形状を認識するというものである。
【００３２】
（被写体）
本発明において形状を認識する物体である被写体１は、薄板状の柔軟物体である。例えば、略長方形状の紙部材である。このように、被写体１は薄板状であるため、湾曲やねじれを伴う変形が生じるが、それをも考慮して被写体１の形状を認識しようとするものである。ここで、本実施形態においては、被写体１の変形を、主に「湾曲」と「ねじれ」という用語を用いて表現する。具体的には、略長方形の薄板部材である被写体１にて、長辺方向に向かって波を打つ形状に変形している状態を「湾曲」と呼び、被写体１の中心線を軸に回転する変形を「ねじれ」と呼ぶ。なお、その形状を認識する際に、厚みをほとんど考慮しないこととする。
【００３３】
（画像取得手段）
画像取得手段２は、ＣＣＤカメラといったの静止画を撮影するカメラ２である。このカメラ２は、後述するように、コンピュータ３に所定のインタフェースを介して接続されている。そして、画像の取得タイミングがコンピュータ３にて制御され、取り込んだ画像データをコンピュータ３に送信する。なお、カメラ２は動画を撮影し、その内の１コマをコンピュータ３に送信してもよい。さらには、動画データをコンピュータ３に送信してもよく、かかる場合には、コンピュータ内にてその内の１コマが取り出され、後述する形状認識処理に用いられる。また、本実施形態ではカメラ２が一台備わっている場合を例示したが、これに限定されるものではない。そして、上記ＣＣＤカメラは画像取得手段２の一例であって、これに限定されるものではない。
【００３４】
（コンピュータ）
コンピュータ３は、演算処理を行うＣＰＵ４と、処理データを一次保持するメインメモリ（主記憶部）５と、あらかじめ処理に必要なデータ及び形状認識処理を実現するプログラムなどを記憶しておくハードディスク（外部記憶装置）６と、被写体１形状の認識結果を利用する機器（図示せず）への通信インタフェース７と、モニタ８といった出力手段と、キーボード及びマウス９といった入力手段とを備えている。そして、このコンピュータ３にて被写体１の形状を認識する処理が実行される。このため、当該コンピュータ３には、種々の機能が備えられており、種々のデータが記憶されている。これを以下に詳述する。
【００３５】
コンピュータ３のＣＰＵ４は、以下の処理部を備えている。すなわち、以下に示す処理を実現するためのプログラムがあらかじめハードディスク６などの記憶媒体に記憶されており、これがＣＰＵ４にて実行されて当該ＣＰＵ４に各処理機能が組み込まれることで、当該ＣＰＵ４が各処理部として作動することとなる。なお、上記プログラムは、ハードディスク６などのあらかじめコンピュータ３内の記憶手段に記憶されていることに限定されず、コンピュータ３がＣＤ−ＲＯＭなどの可搬媒体から読み出したり、ネットワーク上の他のコンピュータからダウンロードすることにより、当該コンピュータ３のＣＰＵ４に組み込んでもよい。
【００３６】
ここで、被写体形状認識プログラムは、例えば、以下に説明するように、コンピュータ３の動作を制御するプログラムである。すなわち、コンピュータ３の指令によりカメラ２を介して被写体１となる物体を撮影し当該被写体の画像データをコンピュータ３のメインメモリ５に記憶する被写体画像取込処理と、ハードディスク６に記憶された被写体１の三次元モデルデータを読み出して当該三次元モデルデータの形状を修正すると共に当該修正後の三次元モデルデータをメインメモリ５あるいはハードディスク６に記憶するモデルデータ修正処理と、三次元モデルデータとカメラ２にて取得した被写体１の画像データとの形状を比較して算出した比較結果データとこのときの三次元モデルデータとをメインメモリ５に記憶する形状比較処理と、この比較結果データがハードディスク６にあらかじめ記憶された判断基準を満たすか否か判断して当該判断基準を満たすときの三次元モデルデータを被写体１の画像取得時における形状として認識する形状認識処理と、を実行するようコンピュータ３の動作を制御し、特に、三次元モデルデータの形状を、節点とリンクとサブリンクとの各要素に基づいて修正するよう、コンピュータの動作を制御する被写体形状認識用プログラムである。
【００３７】
上記プログラムがコンピュータ３に組み込まれ、ＣＰＵ４に構築される各処理部の内容を、図２を参照して説明する。
【００３８】
この図に示すように、ＣＰＵ４には、上述したカメラ２にて撮影した被写体１の画像データを取得する画像入力部４１と、取得した画像データに基づいて被写体１の形状を認識処理するための前処理を施す画像前処理部４２と、ハードディスク６などの記憶装置から被写体１の三次元モデルデータを読み出すモデルデータ読出部４３と、読み出したあるいは修正した三次元モデルデータを二次元の画像データに変換するモデル画像生成部４４と、撮影した被写体１の画像データと三次元モデルデータから生成したモデル画像データとの一致度を評価する評価関数値計算部４５と、が備えられている。
【００３９】
また、上記評価関数値計算部４５で評価が所定の基準を満たさない場合はもちろんのこと、当該基準を満たしているか否かの判断を後に行う場合に、三次元モデルデータを修正するモデルデータ修正部４６と、修正処理によりモデルデータ自体を変形するモデルデータ変形部４７と、さらには、算出した評価関数値が所定の基準を満たしている場合にそのときの三次元モデルデータを被写体の形状と認識して、その結果に基づいて所定のデータを出力する出力部４８と、が備えられている。以下、各処理部４１〜４８の機能について説明すると同時に、ハードディスク６などに記憶されているデータも説明する。
【００４０】
画像入力部４１は、上述したカメラ２にて撮影した映像を、ディジタルデータに変換してコンピュータ３内に取り込む。その一例を図３（ａ），（ｂ）を参照して説明する。なお、実際に被写体１を撮影した映像であってコンピュータ３内に取り込まれたデータを、単に画像データと呼ぶ。
【００４１】
まず、カメラ２にて被写体１を中心として画像を取り込むと、図３（ａ）に示すような濃淡画像データが得られる。そして、これを画像入力部４１にて、画像データ中の各画素毎の濃淡値（２^ｔ階調）を調べ、その値を各画素毎に記憶することで画像データが得られる。例えば、本実施形態では、カメラ１の解像度を横６４０ドット（ｍ＝６４０）×縦４８０ドット（ｎ＝４８０）とし、濃淡値は２５６（＝２^８）階調（０〜２５５）としている。そして、濃淡値は、０が黒であり、２５５が白である。
【００４２】
画像前処理部４２では、後に被写体１の形状認識のための前処理が施される。具体的には、図３（ａ），（ｂ）に示す画像データに対して、ノイズ除去処理を行い、あらかじめ定められたしきい値や画像データ内の濃淡値のヒストグラムなどから定めたしきい値にて二値化処理を行う。例えば、図３（ａ）に示すように、被写体１の色が白色である場合には、ヒストグラムにて白色を表す濃淡値（２５５）付近に分布が集中する箇所が形成されるので、その集中した分布の麓付近の小さい方の値をしきい値として設定する。これにより、被写体１部分と背景部分とを効率よく区別することができる。そして、例えば、二値化の際に白黒の値を反転して表示すると、図３（ｃ）に示すように、シルエット画像を得ることができる。なお、二値化処理の際のしきい値は、あらかじめ設定されているものや、上述のように算出されたものに限定されない。
【００４３】
但し、二値化の際に適切なしきい値を設定した場合であっても、被写体１以外の背景画像中の物体自体が、反射光の関係で被写体１同様にシルエットとして画像中に残ってしまう場合がある。このため、二値化処理後にラベリング処理を行い、被写体１のシルエットと他の物体によるシルエットとを区別し、例えば、最も大きな面積を有するシルエットを被写体１のものと認識して、他のシルエットを削除する処理を行うとよい。また、その後は、図３（ｃ）に示すように処理した被写体１の画像データを、メインメモリ５などに一時的に保持しておく。
【００４４】
モデルデータ読出部４３は、ハードディスク６のモデルデータ記憶部６１にあらかじめ記憶されている被写体１の三次元モデルデータをメインメモリ５に読み出す。この被写体１の三次元モデルデータは、被写体１が何ら変形していない状態における形状を表すデータである。特に、本実施形態における被写体１は、図４（ａ）に示すように略長方形状の薄板状部材であるので、図４（ｂ）に示すようにモデル化したものが被写体１の三次元モデルデータである。
【００４５】
図４（ｂ）を参照して、被写体の三次元モデルデータについて詳述する。本発明では、薄板状の柔軟部材をモデル化する際に、複数の節点１１と、各節点１１を接続するリンク１２と、このリンク１２と直交して各節点上を通るサブリンク１３とにより表現している。具体的には、節点１１は、略長方形である被写体１の長辺方向に沿った中心線上に、均等の間隔で設定されている。図４（ｂ）に示す例では、両端部に設定されたものを含む５つの節点１１が設定されている。また、リンク１２は、各節点１１を接続する線として設定されている。図４（ｂ）に示す例では、節点１１が被写体１の中心線上に位置しているので、リンク１２も中心線上に位置して設定されている。そして、節点１１の間隔が均等であることから、各節点間に位置する４つのリンク１２の長さも総てが同一の長さである。さらには、上記リンク１２に直交する線として、各節点１１上にサブリンク１３が設定されている。このサブリンク１３は、長方形状である被写体１の短辺と平行に設定されており、正確には、両端部では短辺と一致している。従って、総てのサブリンク１３の長さは同一の長さであり、各サブリンク１３の両端は長辺の外縁に到達している。そして、その数は節点１１の数を同じく５つである。
【００４６】
ここで、説明の都合上、モデルデータ修正部４６及びモデルデータ変形部４７について、モデル画像生成部４４及び評価関数値計算部４５に先だって説明する。モデルデータ修正部４６及びモデルデータ変更部４７は、後述する評価関数値計算部４５よる評価関数値があらかじめ定められた許容評価関数値を満たさない場合に、被写体１の三次元モデルデータを修正及び変更処理する。但し、後述する応用例については、上記評価関数値に対する判断を後に行うため、算出した評価関数値の値に関係なく、被写体１の三次元モデルデータの修正及び変更処理を行う。
【００４７】
モデルデータ修正部４６では、図４（ｂ）に示す三次元モデルデータのパラメータを修正する。すなわち、以下に示す変更パラメータの修正値を算出する。ここで、三次元モデルデータのパラメータは、各節点１１におけるリンク１１の回転角（θｘ，θｚ）と、サブリンク１２の回転角（θｙ）である。つまり、１つのジョイントに対するパラメータは（θｘ，θｙ，θｚ）の３つである。
【００４８】
具体的に、モデルデータの修正方法を図５を参照して説明する。まず、図５（ａ）に示すように、図４（ｂ）に示すモデルデータの節点１１を、それぞれＰ_０，Ｐ_１，Ｐ_２，・・・，Ｐ_ｎと設定する。そして、これらの間を接続するリンク１２を、それぞれＬ_１，Ｌ_２，・・・，Ｌ_ｎと設定する。すなわち、節点Ｐ_０からＰ_１に延びるリンクをＬ_１と、節点Ｐ_１からＰ_２に延びるリンクをＬ_２と設定する。そして、上記リンクＬ_１，Ｌ_２，・・・，Ｌ_ｎの一方の端点Ｐ_０，Ｐ_１，Ｐ_２，・・・，Ｐ_ｎをそれぞれ回転中心として、当該回転中心となる節点におけるＹＺ平面上のＹ軸に対する回転角度をθｘ_１，θｘ_２，・・・，θｘ_ｎを変更することによりモデルデータを修正する（図５（ａ）参照）。同様に、各節点におけるＸＹ平面上のＸ軸に対する回転角度θｚ_１，θｚ_２，・・・，θｚ_ｎも変更して修正する（図５（ｃ）参照）。このようにして各リンクの角度を変更することで、被写体１の「湾曲」に関する変形を表すことができる。
【００４９】
また、変更パラメータには、各サブリンク１３の回転角度も含まれている。すなわち、図５（ｂ）に示すように、各節点におけるサブリンクＳＬ_１，ＳＬ_２，・・・，ＳＬ_ｎの当該節点Ｐ_０，Ｐ_１，Ｐ_２，・・・，Ｐ_ｎを回転中心として、当該回転中心となる節点におけるＸＺ平面上のＸ軸に対する回転角度θｙ_１，θｙ_２，・・・，θｙ_ｎを変更パラメータとして設定する。従って、これらを変更することにより、三次元モデルデータを修正することができる。すなわち、各サブリンクの回転角度を変更することで、被写体１の「ねじれ」に関する変形を表すことができる。
【００５０】
そして、被写体１は薄板状の部材であるため、上記パラメータを変更して「湾曲」と「ねじれ」の変形を加えることで、ほとんどの形状に対応することができる。
【００５１】
なお、本実施形態では、被写体１の位置が固定されており、常に取り込み画像のほぼ同一箇所に撮影されるように設定してある。例えば、被写体１の端点である節点Ｐ_０及びサブリンクＳＬ_０の値が固定されている。ちなみに、被写体の位置が固定されていない場合においては後述する。
【００５２】
また、上記パラメータの修正値は、例えば、あらかじめオペレータにて設定された値毎に段階的に変更される。一例としては、各パラメータが２°ずつ変更される。ただし、変更パラメータの修正方法は、これに限定されるものではない。
【００５３】
そして、３つの値の変更の割合、すなわち、いかなるパラメータの変形量を最も大きくするか、などについては、あらかじめ被写体の特性に応じて、その重みデータをコンピュータに記憶しておき、かかる値に応じてパラメータの値が修正される。例えば、被写体１が、ねじれ方向に変形しづらく、湾曲方向には変形しやすい場合には、各リンクの変更パラメータである（θｘ，θｚ）の重みを大きく設定しておく。すると、一度の修正において、ねじれ方向への変形を表すパラメータθｙよりも、θｘ，θｚの方がその修正量が大きくなる。
【００５４】
そして、上述したようにモデルデータ修正部４６にて、変更パラメータを修正し、実際に変更した変更パラメータ値を用いた三次元モデルデータがモデルデータ変形部４７にて生成される。その模式図を、図５（ｄ）に示す。このようにして、実際にカメラ２にて取り込んだ被写体１の画像データと比較される修正後の三次元モデルデータが生成されるが、ここままではモデルデータが三次元データであるのに対して、被写体１の画像データは二次元データであるため、比較が困難となる。このため、モデル画像生成部４４にて、修正した三次元モデルデータを二次元画像データに変換する。なお、この際に、モデルデータ修正部４６にて修正された三次元モデルデータ自体は、メインメモリ５上にあるいはハードディスク６に記憶される。そして、この記憶された三次元モデルデータは、後にさらに修正が必要な場合に用いられる。
【００５５】
モデル画像生成部４４は、具体的には、以下のようにしてモデル画像を生成する。なお、このモデル画像生成部４４は、モデルデータ修正部４６及びモデルデータ変形部４７にて修正された三次元モデルデータばかりでなく、あらかじめコンピュータのハードディスク６（モデルデータ記憶部６１）に記憶されている初期の三次元モデルデータの二次元画像をも生成する。
【００５６】
まず、コンピュータのハードディスク６には、あらかじめ設定されたカメラパラメータが記憶されている（カメラパラメータ記憶部６２）。このカメラパラメータは、あらかじめカメラキャリブレーションを行うことにより算出された、各カメラのイメージ座標系（二次元座標系）と三次元座標系とを対応付ける変換行列である。なお、カメラキャリブレーションについては、一般的に用いられているため（下記文献参照）、その詳細な説明は省略する。例えば、三次元座標系上の点とイメージ座標系上の点との対応を最低６点以上定め、最小二乗法によりカメラパラメータを求める。
【００５７】
カメラキャリブレーションに関する文献：
Ｒ．Ｙ．Ｔｓａｉ，「ＡｎＥｆｆｉｃｉｅｎｔａｎｄＡｃｃｕｒａｔｅＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎＴｅｃｈｎｉｑｕｅｆｏｒ３ＤＭａｃｈｉｎｅＶｉｓｉｏｎ」，ＩＥＥＥＣＶＰＲ，１９８６，ｐｐ．３６４−３７４
【００５８】
そして、上記カメラパラメータを用いた二次元画像データの生成方法を、図６を参照して説明する。まず、モデルデータ変形部４７にて変形された図５（ｄ）に示す三次元モデルデータの各サブリンクの端点を、モデル周囲の点としてその座標を算出する。具体的には、上述した基準節点Ｐ_０及び変更パラメータ（θｘ，θｙ，θｚ）を用いて各点の三次元座標を算出する。その模式図を図６（ａ）に示す。
【００５９】
続いて、カメラキャリブレーションで求めたカメラパラメータをカメラパラメータ記憶部６２から読み出し、このカメラパラメータを用いて各点の三次元座標値をイメージ座標系（二次元画像データ）に変換する。変換後は、モデル画像上に投影する（図６（ｂ）参照）。その後、各点を連結して内部を塗りつぶし、モデル画像を生成する（図６（ｃ）参照）。
【００６０】
上述のようにして生成されたモデル画像データと、撮影した被写体１の画像データとの一致度（近似度）を評価関数値計算部４５にて評価する。すなわち、評価関数値計算部４５は、あらかじめコンピュータ３内に記憶された被写体１の三次元モデルデータあるいは修正後の被写体１の三次元モデルデータと、カメラ２にて取得した被写体１の画像データと形状を比較して、比較結果データである評価関数値を算出する形状比較機能として機能する。
【００６１】
この評価関数値計算部４５による処理を具体的に説明すると、まず、被写体１の画像データとモデル画像データとの各対応画素の排他的論理和を算出する。図７（ａ）に被写体の実際の画像データを、図７（ｂ）にモデル画像データを示すが、二値化しているため、それぞれ物体が存在する箇所のみが黒く塗りつぶされた状態となっている。すなわち、物体が存在する画素の濃淡値は０であり、その他の画素の濃淡値は２５５である。
【００６２】
そして、画面全体において、各対応画素毎に当該画素の濃淡値が一致しているか否かを調べ、相違している画素の数Ｓを加算する。すなわち、以下の式にて相違している画素数Ｓを算出する。
【００６３】
【数１】

【００６４】
【数２】

ｆ（ｕ，ｖ）：対象物体の画像の画素値
ｇ（ｕ，ｖ）：モデルの画像の画素値
【００６５】
また、このとき、一致している画素には濃淡値「０」を、相違している画素には濃淡値「２５５」を設定し、これを画像化したものを図７（ｃ）に示す。
【００６６】
そして、評価関数値計算部４５は、上記相違する画素の合計数Ｓを、被写体の画像の面積で除算し、正規化した値Ｓ’を算出する。そして、この値Ｓ’を評価関数値とする。
【００６７】
【数３】

Ｒｆ：実物の面積（画素数の合計）
【００６８】
そして、算出した評価関数値Ｓ’と、このときの三次元モデルデータとを対応付けて、メインメモリ５あるいはハードディスク６に記憶しておく。これは、このときに算出された評価関数値Ｓ’が、後述するようあらかじめ設定された判断基準を満たす場合には、かかる場合の三次元モデルデータを被写体１の形状として認識するためである。
【００６９】
このように、相違点の合計数を分子としていることから、評価関数値Ｓ’の値が小さければ小さいほど、被写体の形状と三次元モデルデータの形状とが近似していることとなる。従って、被写体１の形状と三次元モデルデータとがほぼ一致していると判断できる値を上記判断基準データとして、すなわち、被写体形状と一致すると許容できる値（許容評価関数値）をあらかじめ設定し、許容評価関数値としてハードディスク６に記憶しておく（許容評価関数値記憶部６３）。但し、評価関数値と比較される判断基準は、上記しきい値のようなあらかじめ設定された値に関するデータであることに限定されず、後述するように、算出された評価関数値のうち最も小さい値を選択するというアルゴリズムにて表される基準であってもよい。
【００７０】
そして、評価関数値計算部４５にて、上記算出したＳ’が記憶されている許容評価関数値以下であるか否かを調べ、許容値以下である場合には、その旨の信号を出力部４８に伝達する。一方、許容値よりも大きい場合には、上述したモデルデータ修正部４６に対してその旨の情報を伝達する。すると、モデルデータ修正部４６では、上述したように三次元モデルデータの修正処理が実現される。すなわち、モデルデータ修正部４６は、主に、評価関数値計算部４５による計算結果Ｓ’があらかじめ定められた判断基準である許容評価関数値を満たしていない場合に、三次元モデルデータを修正するモデルデータ修正機能として作動する。
【００７１】
なお、出力部４８では、上記信号を受信した際に、三次元モデルデータの形状を被写体の形状と認識する。すなわち、この出力部４８は、上記評価関数値計算部４５による計算結果Ｓ’があらかじめ定められた判断基準である許容評価関数値を満たしている場合にその時点における三次元モデルデータを被写体の画像取得時における形状として認識する形状認識機能として作動する。そして、出力部４８は、さらに、被写体の形状と認識した三次元モデルデータの三次元画像あるいは二次元画像をモニタ８に出力したり、あるいは、後述する応用例に示すように、被写体１に対して作動するロボットアームなどの外部機器１０に、かかる形状情報を送信する（図２参照）。
【００７２】
なお、上記モデルデータ修正部４６におけるモデルデータの修正処理は、評価関数値Ｓ’が、あらかじめ設定された許容評価関数値以下になるまで繰り返される。すなわち、図２に示すモデル画像生成部４４、評価関数値計算部４５、モデルデータ修正部４６、モデルデータ変形部４７における処理は、三次元モデルデータが被写体の画像データに近似するまで繰り返されることとなる。
【００７３】
ここで、評価関数値の判断基準が、ある設定値ではなく、例えば、最小値を選択するといったアルゴリズムである場合には、上述した変更パラメータ（θｘ，θｙ，θｚ）を変更し、それぞれ評価関数値が算出され、そのうちの最も小さい値が選択されることとなる。このときには、パラメータの設定が、非線形の最適化の問題となる。本実施形態では、このような非線形の最適化問題を解くために、滑降シンプレックス法を用いることとする。滑降シンプレックス法に関しては、以下の文献に記載されている。
【００７４】
文献：Ｎｅｌｄｅｒ，Ｊ．Ａ．，ａｎｄＭｅａｄ，Ｒ．１９６５，ＣｏｍｐｕｔｅｒＪｏｕｒｎａｌ，ｖｏｌ．７，ｐ．３０８
なお、後述する動作説明時に、その処理の流れを説明する。
【００７５】
そして、例えば、図４（ｂ）に示す三次元モデルデータの場合には、対象物体の一端が固定されており、節点の個数が４個であるので、設計変数（変更パラメータ）は１２個となる。これは、各リンク毎に変数である２つの回転角があり、当該リンクが４本あるため、まず８個。そして、サブリンクが４本あるため、その回転角で４個。合計１２個である。また、このような設計変数が１２個ある場合には、シンプレックス（頂点）は１３個となる。かかる場合における最適化の例を図８に示す。図８（ａ）は被写体の実際の画像であり、かかる画像に対して全パラメータを同時に最適化する。そして、図８（ｂ）に、被写体の画像データと三次元画像データとの排他的論理和を取ったときの画像を示す。この図に示す黒く塗りつぶされた箇所は相違する画素であるが、ほぼ一致した三次元モデルデータを得ることができる。
【００７６】
（動作）
次に、本システムの動作について、図９乃至図１１のフローチャートを参照して説明する。図９は、コンピュータによる被写体の取り込み、及び、取り込み画像の前処理の様子を示し、図１０は、被写体の画像データとモデルデータとを比較して、被写体の形状を認識する処理を示す。図１１は、具体的に、モデルデータを最適化する際の処理手法を示す。なお、この動作説明では、評価関数値の判断を許容評価関数値を用いて行う場合と、最小値となる値を選択する場合と、に分けて説明する。
【００７７】
はじめに、動作の概略を説明する。まず、評価関数値の判断を評価関数値を用いて行う場合には、コンピュータ３の指令によりカメラ２にて被写体１となる物体を撮影して当該被写体１の画像データをコンピュータ３のメインメモリ５に記憶する被写体画像取込工程と、この被写体画像取込工程の後に、コンピュータ３がハードディスク６に記憶された被写体１の三次元モデルデータとカメラ２にて取得した被写体１の画像データとを比較して算出した比較結果データとこのときの三次元モデルデータとをメインメモリ５あるいはハードディスク６に記憶する形状比較工程と、コンピュータ３が形状比較工程による比較結果データがハードディスク６にあらかじめ記憶された判断基準を満たすか否か判断して当該判断基準を満たしている場合にその時点における三次元モデルデータを被写体１の画像取得時における形状として認識する形状認識工程と、が行われ、さらに、形状比較工程と形状認識工程との間に、コンピュータ３が形状比較工程による比較結果データが判断基準を満たしていない場合に、メインメモリ５あるいはハードディスク６に記憶された被写体の１三次元モデルデータを読み出して当該三次元モデルデータを修正すると共に当該修正後の三次元モデルデータをメインメモリ５あるいはハードディスク６に記憶するモデルデータ修正工程が行われる。特に、モデルデータ修正工程は、三次元モデルデータの形状を、節点とリンクとサブリンクとの各要素に基づいて修正する。このような手順にて被写体１の形状認識が行われる。
【００７８】
また、評価関数値が最小値となる値を選択する場合には、コンピュータ３の指令によりカメラ２にて被写体１となる物体を撮影して当該被写体１の画像データをコンピュータ３のメインメモリ５に記憶する被写体画像取込工程が行われ、この被写体画像取込工程の後に、コンピュータ３がメインメモリ５やハードディスク６に記憶された被写体１の三次元モデルデータを読み出して当該三次元モデルデータの形状を修正すると共に当該修正後の三次元モデルデータをメインメモリ５やハードディスク６記憶部に記憶するモデルデータ修正工程と、三次元モデルデータと２にて取得した被写体１の画像データとの形状を比較してこの比較結果データとこのときの三次元モデルデータとをメインメモリ６に記憶する形状比較工程と、が行われる。さらに、モデルデータ修正工程と形状比較工程とを所定回数繰り返した後に、コンピュータ３が形状比較工程による比較結果データがハードディスク６にあらかじめ記憶された判断基準を満たすか否かを判断して当該判断基準を満たすときの三次元モデルデータを被写体の画像取得時における形状として認識する形状認識工程が行われる。このような手順にて被写体１の形状認識が行われる。
【００７９】
以下、具体的に、評価関数値の判断を許容評価関数値を用いて行う場合の動作を説明する。まず、コンピュータ３の指令によりカメラ２にて被写体１を撮影し、画像データをコンピュータ３に取り込む（ステップＳ１）。このとき、被写体１が画面上のほぼ中央に位置するよう、あらかじめカメラ２の位置を設定して画像を取り込む。そして、取り込んだ画像データに対して、コンピュータ３内のメインメモリ５（具体的には、画像処理用のフレームメモリ）上にて、前処理が行われる。その内容は、ノイズを除去し（ステップＳ２）、あらかじめ被写体１の色などを考慮して設定されコンピュータ３に記憶されているしきい値、あるいは、画像の特性から算出したしきい値を用いて二値化する（ステップＳ３）。その後、ラベリングにて、画面上の中央付近にあるもっとも大きな物体を、被写体として設定する（ステップＳ４）。そして、被写体の画像データを、メインメモリ５に記憶して保存しておく（ステップＳ５）。
【００８０】
続いて、ハードディスク６に記憶されている三次元モデルデータをメインメモリ５に読み出し（ステップＳ１１）、まず、初期状態の三次元モデルデータにおける二次元のモデル画像データを生成する（ステップＳ１２）。ここで、メインメモリ５から一時保存した被写体の画像データを読み出し、この被写体画像データと、上記生成したモデル画像データとが近似しているか否かを評価する評価関数値を算出する（ステップＳ１３）。すなわち、上述したように、被写体画像データとモデル画像データとの排他的論理和の合計数を、被写体画像の面積で除算して正規化した値を算出する。ここで、被写体画像の面積は、例えば二値化した画像データ（図３（ｃ）参照）から、当該被写体の形状に相当する部分の画素数を合計することにより求める。従って、かかる処理が上述した前処理の段階（例えば、図９のステップＳ４の後）に行われ、算出された面積値がメインメモリなどに記憶される。
【００８１】
続いて、ハードディスク６からあらかじめ設定してある許容評価関数値を読み出し、この許容評価関数値と算出した評価関数値とを比較する（ステップＳ１４）。そして、評価関数値が許容評価関数値以下であれば（ステップＳ１４で肯定判断）、このときの三次元モデルデータを被写体の形状として認識し（ステップＳ１６）、その座標を算出するなど、用途に応じた処理を行う。一方、算出した評価関数値が許容評価関数値よりも大きい場合には（ステップＳ１４にて否定判断）、三次元モデルデータの修正を行い（ステップＳ１５）、修正したモデルデータにて再度評価を行う（ステップＳ１２〜Ｓ１４）。このとき、修正したモデルデータをメインメモリやハードディスクに記憶しておくことで、以前の修正データからさらに修正することができ、修正処理の効率化を図ることができる。このようにして、三次元モデルデータが実際に撮影した被写体の画像データと近似するまで、処理を繰り返し、モデルデータの最適化を行う。
【００８２】
ここで、上記記載では、三次元モデルデータの最適化処理（ステップＳ１２〜ステップＳ１５の繰り返し）の一例として滑降シンプレックス法を例示したが、それを用いたときの処理を図１１のフローチャートを参照して説明する。すなわち、判断基準として許容評価関数値を用いずに、算出した評価関数値が最小となるときの三次元モデルデータを被写体１の形状として認識するよう処理する場合について、具体的な動作を説明する。
【００８３】
まず、（Ｎ＋１）個の各シンプレックス（頂点）のＮ個の設計変数の値を、乱数で初期化する（ステップＳ２１）。そして、（Ｎ＋１）個の各頂点の評価関数値を計算する（ステップＳ２２）。
【００８４】
続いて、（Ｎ＋１）個の各頂点の評価関数値が、小さくなるよう設計変数である変更パラメータの値を変更していく（ステップＳ２３）。このとき、算出した評価関数値と、変更パラメータの値すなわちモデルデータ自体とを、メインメモリやハードディスクに記憶しておく。そして、上記処理を、収束条件に関する値がしきい値以下となるまで繰り返す（ステップＳ２４）。ここで、上記収束条件に関する値を、例えば、Ｎ＋１個のシンプレックスのうち最良の評価関数値と最悪の評価関数値との比に関する値とし、以下に示す式（数４式あるいは数５式）を満たすまで上記処理を繰り返す。但し、以下の式は一例であって、これに限定されるものではない。
【００８５】
【数４】

【００８６】
【数５】

【００８７】
その後、これまでに算出した評価関数値のうち、最も小さい値となったものを選択し、そのときの設計変数、すなわち、三次元モデルデータを、実際の被写体の形状であると認識する（ステップＳ２５）。
【００８８】
ここで、上記パラメータに加えて、上記節点Ｐ_０，Ｐ_１，Ｐ_２，・・・，Ｐ_ｎのうち端点となる節点Ｐ_０の三次元座標をもモデルデータ修正部４６にて修正されるパラメータとしてもよい。さらにこれに加えて、当該節点Ｐ_０におけるサブリンク（図示しないが、符号ＳＬ_０で表すべきサブリンク）の当該節点Ｐ_０を回転中心とした回転角度をもパラメータとしてもよい。具体的な処理としては、上記節点Ｐ_０の座標や、サブリンクＳＬ_０の回転角度を修正するたびに評価関数値を算出して、被写体画像データとの比較を行う。そして、上記同様に、評価関数値が許容評価関数値以下となったとき、あるいは、最小値と取ったときの三次元モデルデータを、被写体の形状として認識する。かかる場合には、被写体の位置が固定されていない場合であっても、モデルデータ修正時に節点Ｐ_０座標を変更してかかる場合の評価関数値を算出することで、最適なモデルデータを設計することができる。
【００８９】
また、上記説明では、評価関数値Ｓ’として正規化した場合を例示したが、必ずしも正規化する必要はない。例えば、評価関数値を実際の撮影画像データとモデルデータとの差異点の数すなわち差異のある面積の値や、逆に一致する面積の値としてもよい。かかる場合には、許容評価関数値は、あらかじめ設定された許容できる面積値となる。
【００９０】
（応用例）
次に、本発明である被写体形状認識システムの応用例を、図１２乃至図１４を参照して説明する。図１２は、被写体形状認識システムを応用した離型紙取り除きシステムの概略を示す構成図である。図１３は、当該システムの動作状態を示す説明図である。図１４は、その動作を説明するフローチャートである。
【００９１】
まず、本応用例では、自動車などの部品となるウインドウガラス１１０の周囲に、のりなどで貼り付けられた当該ガラス保護用の離型紙１１１を自動的にロボットアーム１４０で取り除くというシステムである。具体的には、ウインドウガラス１１０が自動車組み立て工場のライン上を流れており、所定箇所において停止しているときに、コンピュータ１３０にて離型紙１１１の端部位置及び形状が認識されて、当該コンピュータ１３０が離型紙１１１の形状に対応してロボットアーム１４０を作動させて、離型紙１１１を把持して取り除くというものである。
【００９２】
（構成）
構成としては、上述同様に、コンピュータ１３０と、カメラ１２０とを備えており、コンピュータ１３０にてその動作を制御されるロボットアーム１４０が、当該コンピュータ１３０に通信インタフェース（図１にて符号７）を介して備えられている。
【００９３】
そして、カメラ１２０は、常に同一箇所を撮影するよう設置されており、具体的には、ウインドウガラス１１０がライン上を停止した際に、離型紙１１１の一端部が位置する箇所を撮影するよう配設されている。その撮影箇所の拡大図を、図１２の（Ａ）に示す。この図に示すように、ウインドウガラス１１０からはみ出ている離型紙１１１の端部付近は、紙部材であるため湾曲やうねりを伴ってあらゆる形状に変形している。この図に示す例であると、斜め上方に反り返るよう変形している。従って、かかる部分をロボットアームにて把持するためには、端部の形状を精度よく認識することが求められる。
【００９４】
このとき、ウインドウガラス１１０は、常にほぼ同一箇所に停止するため、離型紙１１１の端部付近であってウインドウガラス１１０に張り付いている箇所である当該ウインドウガラス１１０の外縁箇所（図１２で点線部分）は、カメラ１２０にて撮影する画面上で毎回ほぼ同一箇所となる。従って、この部分（図１２で点線部分）を固定端として、あらかじめその座標をコンピュータに記憶しておく。具体的には、点線部分の中央部が被写体の端点に位置する節点Ｐ_０との対応部分となり、点線自体が節点Ｐ_０を通るサブリンクＳＬ_０との対応部分となる。そして、ウインドウガラス１１０外部の部分に位置する離型紙１１１の先端部側が、他の節点などと対応する箇所となる。よって、離型紙１１１のウインドウガラス１１０から突出している部分の形状を、被写体形状として認識することとなる。
【００９５】
そして、コンピュータ１３０には、上述同様のプログラムが記憶されており、ＣＰＵに組み込まれることにより、上記機能を実現できる。このとき、離型紙１１１の端部付近であってウインドウガラス１１０に張り付いている箇所の座標は、あらかじめコンピュータ１３０内に記憶されているが、かかる座標よりもウインドウガラス側に位置する離型紙１１１の形状は無視するようプログラムにて設定されている。すなわち、二値化処理時には、ウインドウガラス１１０上に位置する箇所の画像情報は破棄するよう設定されている。
【００９６】
また、コンピュータ１３０には、認識した形状に関する情報に基づいてロボットアーム１４０を操作する機能が備えられている。すなわち、上述したように、三次元モデルデータを用いて離型紙１１１の形状を認識した後に、当該離型紙１１１が位置する箇所の座標を指定して、ロボットアームが離型紙１１１を把持するよう動作指令を出す。例えば、形状認識した離型紙１１１のほぼ中心箇所の座標を把持するよう、動作指令を出す。そして、離型紙１１１を把持した後は、図１３に示すように、離型紙１１１をウインドウガラス１１０から剥がすよう、ロボットアーム１４０を操作する指令を出す。
【００９７】
（動作）
このような動作を、図１４のフローチャートを参照して説明する。まず、所定箇所に移動して停止したウインドウガラス１１０の一部である離型紙１１１の端部付近の画像を、カメラ１２０にて取得する（ステップＳ３１）。そして、この画像データと、あらかじめコンピュータ内に記憶している三次元モデルデータとを用いて、上述したように離型紙１１１の先端部付近の形状を認識する（ステップＳ３２）。
【００９８】
その後、コンピュータ１３０は、撮影した離型紙１１１の形状であると認識された三次元モデルデータを用いて、ウインドウガラス１１０から突出している離型紙１１１の中心付近の座標を算出する（ステップＳ３４）。そして、この座標付近を把持するよう、ロボットアーム１２０に動作指令を出すと共に（ステップＳ３５）、離型紙１１１を把持した後に、当該離型紙１１１のウインドウガラス１１０への張り付け形状に沿って離型紙１１１を剥がすよう、動作指令を出す（ステップＳ３６）。
【００９９】
このようにすることにより、ライン上を流れるウインドウガラス１１０に張り付けられた離型紙１１１の端部の形状を自動的に認識し、この形状に合わせてロボットアーム１４０に当該離型紙１１１を把持するよう指令を出すため、変形しやすい紙部材であっても確実に把持することができ、作業効率の向上を図ることができる。
【０１００】
〈第２の実施形態〉
次に、本発明の第２の実施形態について、図１５乃至図１６を参照して説明する。図１５は、本実施形態における形状認識の様子を示す説明図である。図１６は、本実施形態における動作を示すフローチャートである。
【０１０１】
本実施形態においては、上述した第１の実施形態とほぼ同様の構成となっているが、被写体の形状認識処理が、各節点毎に行われる点で異なる。すなわち、三次元モデルデータを各節点毎に分割して、分割した各要素毎に、実際の被写体の画像データとの評価関数値を算出して、最適化を行うというものである。
【０１０２】
具体的に、図５（ａ）に示す符号を用いて説明すると、まずはじめに、節点Ｐ_０〜Ｐ_１間の要素のみの最適化を行うこととなる。すると、節点Ｐ_０は初期値として設定されており、また、当該節点Ｐ_０を通るサブリンクＳＬ_０も初期値として規定値となっているため、Ｐ_１に延びるリンクＬ_１の角度と、この節点におけるサブリンクＳＬ_１の角度といった３つのパラメータが最適化の設計変数となるだけである。従って、各要素の最適化処理の高速化を図ることができ、これを総ての節点に対して繰り返しても、処理の遅延とはならない。
【０１０３】
この処理の様子を、図１５及び図１６を参照して説明する。なお、画像取込処理や前処理、さらには、具体的な最適化処理などについては省略し、具体的な形状認識処理についてのみ説明する。
【０１０４】
形状認識処理になると、まず、各設定が初期化され、特に、節点を表すパラメータｉが０に初期化される（ステップＳ４１）。このとき、被写体の三次元モデルデータの節点数も読み出される。その後、ｉがインクリメントされ（ステップＳ４２）、ｉ＝１となる。
【０１０５】
そして、最初にｉ＝１の節点に対して、最適化処理が実現される（ステップＳ４３）。これは、ｉ＝０の節点（図５では、節点Ｐ_０）は端点であるため、処理の対象とはならないからである。具体的にｉ＝１の節点に対応する部分とは、図５では、被写体の端部にある節点Ｐ_０から隣にある節点Ｐ_１までの部分であり、当該節点Ｐ_１を通るサブリンクＳＬ_１を含む。従って、この部分の設計変数は、節点Ｐ_０〜Ｐ_１間のリンクＬ_１と、サブリンクＳＬ_１の３つであるため、滑降シンプレックス法による最適化では、シンプレックス（頂点）が４つとなる。
【０１０６】
このようにして最適化したときの様子を、図１５（ａ）に示す。この図は、上述した図８と同様に、実際の被写体の画像データと、三次元モデルデータを二次元化したモデル画像データとの排他的論理和を取ったときの図であり、相違点が黒くなるよう表示している。この図に示すように、節点Ｐ_０〜Ｐ_１間ではほぼ良好に形状認識が行われている。
【０１０７】
ある節点の最適化処理が行われると、現在の節点が三次元モデルデータ内で最終節点であるか否かが調べられる。具体的には、あらかじめ調べたモデルの総節点数から１を引いた値であるか否かを調べる（ステップＳ４４）。これは、モデルの両端部に節点があるため、１つ少なくカウントしなければならないためである。
【０１０８】
そして、最終節点でなければ（ステップＳ４４にて否定判断）、再度、ｉの値をインクリメントして、上述同様に、次の節点までの部分について、最適化処理を行う。このとき、次の節点Ｐ_ｉにおける最適化処理を行う前に、実際の被写体の画像データから事前に行った節点Ｐ_ｉ−１のモデル画像データの領域を消去する（ステップＳ４５）。このようにして部分毎に最適化処理した様子を、図１５（ｂ）〜図１５（ｅ）に示す。
【０１０９】
このようにすることにより、複数の節点が設定されている被写体の三次元モデルデータでは、多くの変更パラメータをほぼ同時期に修正しなければならず、最適化されるまで多くの処理時間を要することとなるが、本実施形態のようにパラメータ数を少数にした場合には、モデルの個々の部分の最適化にかかる時間は少なく、全体としても処理時間の短縮化を図ることができる。また、コンピュータにおける処理負担の軽減も図ることができる。
【０１１０】
〈第３の実施形態〉
次に、本発明の第３の実施形態について、図１７を参照して説明する。本実施形態における被写体形状認識システムは、上述した第１又は第２の実施形態とほぼ同様の構成を取っているが、画像取得手段であるカメラが２台備わっていることに特徴がある。これを詳述する。
【０１１１】
図１７の構成ブロック図に示すように、本実施形態におけるシステムは、被写体２１０を撮影する第１のカメラ２２１と、第２のカメラ２２２が備えられており、これらの動作はコンピュータ２３０にて制御される。そして、第１のカメラ２２１と第２のカメラ２２２は、被写体２１０に対して撮影角度が異なるよう、別の場所に配置されている。従って、各カメラ２２１，２２２にて取得した画像データ内の被写体２１０の形状は、それぞれ異なる形状にて撮影されることとなる。
【０１１２】
そして、これに伴い、コンピュータ２３０による処理も、上述した実施形態とは多少異なる。まず、コンピュータ２３０は、２つのカメラ２１０からほぼ同時に被写体２１０の画像データを取得し、各画像データ毎に上述した形状認識処理を行う。すなわち、前処理を施して、三次元モデルデータとの比較を行う。
【０１１３】
その後、コンピュータ２３０は、各カメラ毎に取得した画像データ毎に評価関数値を算出すると共に、そのときの三次元モデルデータも記憶しておくが、そのうち、最も評価関数値が小さいものの三次元モデルデータを、実際の被写体２１０の形状であると認識する。
【０１１４】
このようにすることにより、被写体の撮影角度によっては適切な形状認識を行えない場合があるが、２方向から被写体２１０の形状を取得して、それぞれの形状を認識することにより、より認識精度が増すこととなる。
【０１１５】
ここで、上記実施形態では画像取得手段であるカメラを２台設置した場合を例示したが、必ずしもこれに限定されない。さらに多くのカメラを備え、それぞれ取得した画像データのうち、最も適切に認識できるものを採用するようコンピュータが処理をしてもよい。
【０１１６】
また、このときの最適化処理を、上記第２の実施形態に示すよう三次元モデルデータを節点毎に分割した部分毎に行ってもよい。
【０１１７】
【発明の効果】
本発明は、以上のように構成され機能するので、これによると、三次元モデルデータを、節点とリンクとサブリンクとにより構成し、リンク及びサブリンクの回転角度を修正することにより三次元モデルデータを修正して、被写体の画像データと比較して当該被写体の形状を認識する、という構成を採っているため、従来より行われている多くの節点にて表されるメッシュデータの形状修正とは異なり、少ないパラメータの変更で三次元データの修正処理を実行することができ、演算装置であるコンピュータの処理負担の軽減を図り、被写体の形状認識処理の高速化を図ることができる、という従来にない優れた効果を有する。特に、本発明における被写体は薄板状の物体であるため、これらの要素によって被写体の変形を充分に表現することができることにより、当該被写体の形状をより正確に表現することができ、高い認識精度を維持することができる。
【０１１８】
また、各変更パラメータの変更割合を被写体の特性に応じてあらかじめ設定しておくことにより、形状が変形しやすい方向の変更パラメータを大きく変更するという設定も可能であり、より修正処理の高速化を図ることができる。さらには、被写体の位置が固定されていない場合には、三次元モデルデータの一つの節点の位置をパラメータとすることにより、当該三次元モデルデータの位置を移動して被写体の形状に合わせることが可能となり、さらなる認識処理の高速化を図ることができる。
【０１１９】
また、被写体形状の認識を、画像データと三次元モデルデータとの各対応画素における一致点、相違点の数に応じて行うため、簡易なアルゴリズムにて認識処理を実現でき、高速に、かつ高精度な認識結果を得ることができる。特に、一致あるいは相違する画素数を被写体の画像データによる面積で割ることで、比較結果データを正規化でき、当該被写体形状の認識精度に対する撮影角度の影響を軽減することができる。
【０１２０】
また、被写体の画像データと三次元モデルデータとの比較を、モデルデータの節点毎に行うよう構成することにより、変更パラメータの数が少なくなるため、より少ない設計変数で最適化を行うことができ、認識処理のさらなる迅速化及び高精度化を図ることができる。
【０１２１】
さらに、被写体を取り込むカメラを複数設置し、各画像データ毎の比較結果データのうち、最も適切な比較結果が得られたと判断した三次元モデルデータを被写体の形状として認識する、という構成にすることにより、撮影角度によっては、被写体の形状を適切に認識できない場合も生じるが、同時に２方向以上から撮影することで、適切な形状認識結果を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における構成を示すブロック図である。
【図２】図１に開示したコンピュータの構成を示す機能ブロック図である。
【図３】図３は、被写体の取得画像の様子を示す説明図である。図３（ａ）は、画像取得手段にて取り込んだ際の図を示し、図３（ｂ）は、ディジタルデータに変換してた際のデータ構成を示す模式図である。図３（ｃ）は、前処理を施して二値化した時の様子を示す図である。
【図４】図４は、被写体の三次元モデルデータを示す模式図である。図４（ａ）は、その斜視図を示し、図４（ｂ）は、モデル化した状態の斜視図を示す。
【図５】図５は、被写体の三次元モデルデータの変更パラメータを示す説明図である。図５（ａ）及び図５（ｃ）は、リンクの角度を示し、図５（ｃ）は、サブリンクの角度を示す。図５（ｄ）は、パラメータを修正して変形した三次元モデルデータの模式図を示す。
【図６】図６は、三次元モデルデータから二次元モデル画像を生成する際の様子を示す説明図である。図６（ａ）は、三次元モデルデータの外形を算出したときの模式図を示し、図６（ｂ），（ｃ）は、二次元画像データとして変換した時の図を示す。
【図７】図７は、取得した被写体の画像データと三次元モデルデータから生成したモデル画像とを比較した際の様子を示す説明図である。図７（ａ）は、被写体の実際の画像データを、図７（ｂ）は、モデル画像データを示し、図７（ｃ）は、これらの排他的論理和を算出したものを図形化したものを示す。
【図８】図８は、取得した被写体の画像データと三次元モデルデータから生成したモデル画像とを比較した際の様子を示す説明図である。図８（ａ）は被写体の実際の画像データであり、図８（ｂ）に、被写体の画像データと三次元画像データとの排他的論理和を取ったときの画像を示す。
【図９】第１の実施形態における動作を示すフローチャートであり、特に、被写体の画像データに対する形状認識処理の前に施す処理を示す。
【図１０】第１の実施形態における動作を示すフローチャートであり、特に、三次元モデルデータを用いて被写体の形状を認識する処理を示す。
【図１１】第１の実施形態における動作を示すフローチャートであり、特に、三次元モデルデータを最適化する際に滑降シンプレックス法を用いた場合の処理を示す。
【図１２】本発明である被写体形状認識システムを用いた応用システムの概略を示した構成図である。
【図１３】図１２に開示した応用システムの作動状況を示す説明図である。
【図１４】図１２に開示した応用にシステムの動作を示すフローチャートである。
【図１５】本発明の第２の実施形態における処理の様子を示す説明図である。
【図１６】本発明の第２の実施形態における動作を示すフローチャートである。
【図１７】本発明の第３の実施形態における構成を示すブロック図である。
【図１８】従来例における被写体形状の認識手法を示すフローチャートである。
【図１９】従来例におけるモデルデータの一例を示す図である。
【符号の説明】
１，２１０被写体
２，１２０カメラ（画像取得手段）
３，１３０，２３０コンピュータ
４ＣＰＵ（演算装置）
５メインメモリ（主記憶装置）
６ハードディスク（補助記憶装置）
７通信インタフェース
８モニタ（表示装置）
９キーボード・マウス（入力装置）
１１，Ｐ_０〜Ｐ_ｎ節点
１２，Ｌ_１〜Ｌ_ｎリンク
１３，ＳＬ_０〜ＳＬ_ｎサブリンク
１１０ウインドウガラス
１１１離型紙（被写体）
２２１第１のカメラ（画像取得手段）
２２２第２のカメラ（画像取得手段）

Claims

被写体となる物体を撮影する画像取得手段と、取得した画像データを記憶部に記憶して演算処理するコンピュータとを備え、前記被写体の形状を認識するシステムであって、
このコンピュータが、当該コンピュータの記憶部に記憶された前記被写体の三次元モデルデータを読み出して当該三次元モデルデータの形状を修正すると共に当該修正後の三次元モデルデータを前記記憶部に記憶するモデルデータ修正機能と、前記三次元モデルデータと前記画像取得手段にて取得した前記被写体の画像データとの形状を比較して算出した比較結果データとこのときの三次元モデルデータとを前記記憶部に記憶する形状比較機能と、前記比較結果データが前記記憶部にあらかじめ記憶された判断基準を満たすか否か判断して当該判断基準を満たすときの前記三次元モデルデータを前記被写体の画像取得時における形状として認識する形状認識機能と、を備え、
前記三次元モデルデータを、前記被写体上にあらかじめ設定された複数の節点と、これら節点のうち隣り合う節点を相互に接続するあらかじめ定められた長さを有するリンクと、前記各節点から前記被写体の外縁に向かって前記リンクとは所定の角度を有して延びるあらかじめ定められた長さを有するサブリンクと、により構成すると共に、
前記形状修正機能は、前記三次元モデルデータの節点とリンクとサブリンクとの各要素に基づいて当該三次元モデルデータを修正することを特徴とする被写体形状認識システム。
前記形状修正機能は、前記リンクが接続された一方の前記節点を回転中心とする当該リンクの回転角度と、当該サブリンクが接続された前記節点を回転中心とする当該サブリンクの回転角度と、をそれぞれ変更パラメータとしてその値を変更することによりモデルデータの形状を修正する、ことを特徴とする請求項１記載の被写体形状認識システム。
前記形状修正機能は、前記三次元モデルデータのあらかじめ定められた前記節点の三次元座標をも変更パラメータとしてその値を変更することによりモデルデータの形状を修正する、ことを特徴とする請求項２記載の被写体形状認識システム。
前記形状修正機能は、前記各変更パラメータの変更割合である、あらかじめ定められたパラメータ毎の重みデータに応じて変更する、ことを特徴とする請求項２又は３記載の被写体形状認識システム。
前記形状比較機能は、前記被写体の画像データと前記三次元モデルデータとの各対応座標においてそれぞれ物体の形状が存在するか否かを判断すると共に、全ての対応座標における一致点あるいは相違点の数に基づいて前記被写体の画像データと前記三次元モデルデータとの形状を比較して前記比較結果データを算出する、ことを特徴とする請求項１，２，３又は４記載の被写体形状認識システム。
前記形状比較機能は、前記被写体の画像データと前記三次元モデルデータとの各対応座標においてそれぞれ物体の形状が存在するか否かを判断すると共に、全ての対応座標における一致点あるいは相違点の数を前記被写体の画像データから算出した当該被写体の面積で除算した値に基づいて前記被写体の画像データと前記三次元モデルデータとの形状を比較して前記比較結果データを算出する、ことを特徴とする請求項１，２，３又は４記載の被写体形状認識システム。
前記コンピュータが有する各機能は、前記節点毎に作動することを特徴とする請求項１，２，３，４，５又は６記載の被写体形状認識システム。
前記画像取得手段を複数設置すると共に、
前記コンピュータが備える各機能が、前記各画像取得手段毎に取得した各画像データそれぞれに対して作動し、
前記形状認識機能は、前記各画像データ毎の前記形状比較機能による比較結果データのうち、前記記憶部に記憶された判断基準に対して最も適切な比較結果が得られたと判断した前記三次元モデルデータを前記被写体の形状として認識する、ことを特徴とする請求項１，２，３，４，５，６又は７記載の被写体形状認識システム。
コンピュータの指令により画像取得手段にて被写体となる物体を撮影して当該被写体の画像データを前記コンピュータの記憶部に記憶する被写体画像取込工程と、
この被写体画像取込工程の後に、前記コンピュータが前記記憶部に記憶された前記被写体の三次元モデルデータと前記画像取得手段にて取得した前記被写体の画像データとを比較して算出した比較結果データとこのときの三次元モデルデータとを前記記憶部に記憶する形状比較工程と、前記コンピュータが前記形状比較工程による比較結果データが前記記憶部にあらかじめ記憶された判断基準を満たすか否か判断して当該判断基準を満たしている場合にその時点における前記三次元モデルデータを前記被写体の画像取得時における形状として前記コンピュータが認識する形状認識工程と、を備えると共に、
前記形状比較工程と前記形状認識工程との間に、前記コンピュータが前記形状比較工程による比較結果データが前記判断基準を満たしていない場合に、前記記憶部に記憶された前記被写体の三次元モデルデータを読み出して当該三次元モデルデータを修正すると共に当該修正後の三次元モデルデータを前記記憶部に記憶するモデルデータ修正工程を備え、
このモデルデータ修正工程が、前記被写体上にあらかじめ設定された複数の節点と、これら節点のうち隣り合う節点を相互に接続するあらかじめ定められた長さを有するリンクと、前記各節点から前記被写体の外縁に向かって前記リンクとは所定の角度を有して延びるあらかじめ定められた長さを有するサブリンクと、により構成された前記三次元モデルデータの形状を、前記節点とリンクとサブリンクとの各要素に基づいて修正する、ことを特徴とする被写体形状認識方法。
コンピュータの指令により画像取得手段にて被写体となる物体を撮影して当該被写体の画像データを前記コンピュータの記憶部に記憶する被写体画像取込工程と、
この被写体画像取込工程の後に、前記コンピュータが前記記憶部に記憶された前記被写体の三次元モデルデータを読み出して当該三次元モデルデータの形状を修正すると共に当該修正後の三次元モデルデータを前記記憶部に記憶するモデルデータ修正工程と、前記三次元モデルデータと前記画像取得手段にて取得した前記被写体の画像データとの形状を比較して算出した比較結果データとこのときの三次元モデルデータとを前記記憶部に記憶する形状比較工程と、を備えると共に、
前記モデルデータ修正工程と前記形状比較工程とを所定回数繰り返した後に、前記コンピュータが前記形状比較工程による比較結果データが前記記憶部にあらかじめ記憶された判断基準を満たすか否かを判断して当該判断基準を満たすときの前記三次元モデルデータを前記被写体の画像取得時における形状として認識する形状認識工程を備え、
前記モデルデータ修正工程が、前記被写体上にあらかじめ設定された複数の節点と、これら節点のうち隣り合う節点を相互に接続するあらかじめ定められた長さを有するリンクと、前記各節点から前記被写体の外縁に向かって前記リンクとは所定の角度を有して延びるあらかじめ定められた長さを有するサブリンクと、により構成された前記三次元モデルデータの形状を、前記節点とリンクとサブリンクとの各要素に基づいて修正する、ことを特徴とする被写体形状認識方法。
コンピュータに、画像取得手段を介して被写体となる物体を撮影し当該被写体の画像データを前記コンピュータの記憶部に記憶する被写体画像取込機能と、前記記憶部に記憶された前記被写体の三次元モデルデータを読み出して当該三次元モデルデータの形状を修正すると共に当該修正後の三次元モデルデータを前記記憶部に記憶するモデルデータ修正機能と、前記三次元モデルデータと前記画像取得手段にて取得した前記被写体の画像データとの形状を比較して算出した比較結果データとこのときの三次元モデルデータとを前記記憶部に記憶する形状比較機能と、この比較結果データが前記記憶部にあらかじめ記憶された判断基準を満たすか否か判断して当該判断基準を満たすときの前記三次元モデルデータを前記被写体の画像取得時における形状として認識する形状認識機能と、を実現させるためのプログラムであって、
前記モデルデータ修正機能が、前記被写体上にあらかじめ設定された複数の節点と、これら節点のうち隣り合う節点を相互に接続するあらかじめ定められた長さを有するリンクと、前記各節点から前記被写体の外縁に向かって前記リンクとは所定の角度を有して延びるあらかじめ定められた長さを有するサブリンクと、により構成された前記三次元モデルデータの形状を、前記節点とリンクとサブリンクとの各要素に基づいて修正する、被写体形状認識用プログラム。
前記請求項１１記載の被写体形状認識用プログラムを記憶した記憶媒体。