JP2001092972A

JP2001092972A - 画像認識方法

Info

Publication number: JP2001092972A
Application number: JP27009299A
Authority: JP
Inventors: Mamoru Minami; 護見浪
Original assignee: CCS Inc
Current assignee: CCS Inc
Priority date: 1999-09-24
Filing date: 1999-09-24
Publication date: 2001-04-06
Also published as: US6668084B1

Abstract

(57)【要約】【課題】二値化処理を採用せずに、周辺環境の変動か
らくるノイズの影響を極力排除可能で、しかも応答性が
良く且つ認識精度の高い画像認識方法を提供する点にあ
る。【解決手段】本発明の画像認識方法は、対象物の形状
および輝度値分布をモデル化した探索モデルを画像デー
タとして記憶しておき、対象物を含む多階調画像データ
が入力すると（ステップ１）、この入力画像データの撮
像領域内に複数の探索モデルを分布させ（ステップ
２）、前記探索モデルの各々について対象物との相関を
示す適合度を算出し（ステップ３）、前記適合度に基づ
いて探索モデルを、並べ替え（ステップ５）、選択させ
（ステップ６）、交叉・再生させ（ステップ７）、突然
変異・再生させる（ステップ８）という遺伝的操作を実
行して、対象物の位置姿勢情報の最適解を探索するもの
である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データに含ま
れる対象物の位置姿勢を探索して識別し得る画像認識方
法に関するものである。

【０００２】

【従来の技術】従来から、画像データから特定の対象物
を識別する画像認識方法には種々のものが知られている
が、ＣＣＤカメラなどで撮像して得た多階調画像データ
（以下、生画像データと呼ぶ。）をメモリに格納し、こ
の生画像データを、対象物とこの対象物以外の背景画像
とに識別するため二値化処理した二値化画像を用いる方
法が一般的である。例えば、１画素が２５６階調の分解
能をもつＣＣＤでは、ＣＣＤに入力する画像光は２５６
階調のデジタル信号としてサンプリングされた後、閾値
と比較判定されて、２種類のデジタル信号（例えば、"
０"または"１"）に変換される。

【０００３】

【発明が解決しようとする課題】しかしながら、二値化
画像を用いた画像認識方法には以下に示す問題があっ
た。

【０００４】生画像中に対象物の影や鏡面反射光などが
含まれる場合、二値化処理の際に閾値の設定次第で対象
物の影や鏡面反射光などがノイズとなって増幅されてし
まい、対象物を誤認識する危険がある。例えば、図２３
に示すように作業台の上に置かれた四角形状の対象物を
ＣＣＤカメラ（１２８×１２８画素）で撮像した場合、
その生画像は図２４の立体グラフに示すような輝度値分
布を有するものとなる。図２４に示す生画像では、対象
物とこの対象物の右斜め下方に配置した壁と作業台との
輝度値分布の違いは明瞭に現れている。しかし、図２３
に示す生画像を二値化処理すると、図２５に示すような
二値化画像となり、壁の輝度値が対象物と同一レベルに
まで増幅されてしまいノイズとなった壁と対象物とを識
別することが難しくなる。

【０００５】そこで、ノイズ除去のために、二値化画像
に細線化処理などを施す方法があり、更に、二値化画像
に細線化処理を施した後に、骨格線の端点、分岐点およ
び長さ、骨格線同士の交差点や角度などを認識すること
により対象物の幾何学的特徴を抽出して対象物を識別す
るという画像認識方法もあるが、この種の方法は処理時
間が長大になるという欠点があった。また、前記ノイズ
の影響を減らすべく、予め２種類のレベル値を設定して
おき、これらレベル値間の画像信号のみを二値化処理す
る方法もあるが、レベル値の選択が難しく且つ長い処理
時間を要するため、リアルタイム性を要求される画像処
理には不向きであった。例えば、フィードバックループ
を採用したビジュアルサーボ機構では前記のような処理
方法を用いた場合、対象物の認識処理に時間がかかり過
ぎて、或る位置にいる移動対象物の認識処理を終了した
瞬間には、同移動対象物はすでに離れた位置に移動して
いることとなり、移動対象物を追跡するのが難しかっ
た。

【０００６】また、上記処理方法では、対象物が移動す
るにつれて移動対象物への照射条件や背景画像が変化す
るのに伴い、設定した閾値レベルが不適当なものとな
り、対象物の誤認識を引き起こすという欠点もある。こ
のような場合、条件変動に合わせて最適な閾値を再演算
しなければならないが、その最適な閾値決定が難しいう
え処理時間が長大になり易い。

【０００７】更に、ＣＣＤ撮像素子を用いる場合は、周
辺の温度環境に応じてＣＣＤの特性が変動し、すなわち
ＣＣＤの受光量に応じた蓄積電荷量が変動して出力画像
の輝度値が変わるので、一度設定した閾値レベルが不適
当なものとなる場合がある。このような場合は閾値を再
演算せねばならず、上記と同様に最適な閾値決定が難し
いうえ処理時間が長大になり易い。

【０００８】本発明が以上の実状に鑑み解決しようとす
るところは、（１）二値化処理を行うこと無く、照明条
件などの周辺環境の変動などからくるノイズや対象物の
輝度値変化に関わらず、対象物の位置および姿勢情報を
正確に求め得て、（２）更には、非常に高速に且つ確実
に対象物を認識し得るリアルタイム性の高い画像認識方
法を提供する点にある。

【０００９】

【課題を解決するための手段】前記課題を達成するため
に、本発明者らは、二値化処理をしない生画像データを
用いた画像処理方法を研究する中で、遺伝的アルゴリズ
ム（Genetic Algorithm手法、以下「ＧＡ手法」と呼
ぶ。）の手法に着目して鋭意研究した結果、本発明に到
達するに至った。

【００１０】本発明に係る画像認識方法は、予め対象物
の全部または一部の形状および輝度値分布をモデル化し
た探索モデルを画像データとして記憶し、対象物を含む
入力画像データを取得し、前記入力画像データの領域内
に探索モデルを分布させて、前記探索モデルの各々に当
該位置姿勢情報を個体情報として付与し、前記探索モデ
ルの各々に前記対象物との相関を示す関数値を求め、且
つ、前記関数値に基づく遺伝的アルゴリズム手法を用い
て探索モデルを進化させることにより前記入力画像デー
タの中から少なくとも対象物の位置情報の解を探索する
ことを特徴とするものである。すなわち、予め探索モデ
ルを用意しておき、前記入力画像データの領域内に複数
の探索モデルを分布させることで、対象物と重複する探
索モデルが発生する。そこで、前記入力画像データに含
まれる対象物と探索モデルとの相関関係を評価する関数
値（遺伝的アルゴリズムではこの関数値を「適合度」と
呼ぶ。以下、同じ。）を求めて探索モデルがどの程度に
対象物と重複するのかを評価し、この適合度に基づいた
ＧＡ手法により探索モデルを進化させ、淘汰された探索
モデルの位置情報および姿勢情報の解を当該対象物の位
置情報および姿勢情報となすことにより、当該対象物を
認識できる。よって、多階調の入力画像データそのもの
を用いた画像処理が可能となるので、従来の方法のよう
に二値化処理の際に輝度値の変動に伴い閾値の最適値か
らのズレによって生ずるノイズの増幅を招くことなく、
スムーズに画像処理を実行することができ、対象物の位
置情報および姿勢情報を正確に認識することが可能とな
る。

【００１１】ここで、前記入力画像データの領域内に複
数個の探索モデルを分布させる際、各探索モデルの位置
情報および姿勢情報をランダムに生成することにより、
探索モデルをランダムに分布させるのが好ましい。この
方法により入力画像データ全体を効率良く探索すること
が可能となる。

【００１２】また、前記関数値としては、具体的には、
探索モデルの内部領域における前記入力画像データの輝
度値から導出される値の総和を用いることができる。こ
の方法により、簡単で素早い計算により関数値を求める
ことができる。

【００１３】また、前記探索モデルの位置姿勢情報の進
化に制限条件を付し、前記入力画像データに含まれる対
象物の探索範囲を制限することも望ましい。この方法に
より、局所的な探索を非常に効率良く行うことができる
ため、対象物の認識処理時間が大幅に短縮される。

【００１４】そして、更に、進化の収束を待つこと無く
所望の制御タイミングで最も高い関数値を有する探索モ
デルを最適解とみなすことが、対象物を超高速に認識で
き、また移動対象物を追跡できるために好ましい。

【００１５】

【発明の実施の形態】図１は、本発明に係る画像認識装
置の一構成例を示す機能ブロック図である。本発明に係
る画像認識装置１は、撮像手段２により撮像して出力さ
れた多階調画像データ（以下、生画像データと呼ぶ。）
３を記憶する画像メモリ４と、予め対象物の形状および
輝度値分布をモデル化した探索モデルを作成する探索モ
デル作成部５と、生画像データ３の撮像領域内に複数の
探索モデルを分布させて、前記探索モデルの各々に当該
位置姿勢情報を付与する探索モデル分布手段６と、分布
した探索モデルの各々について遺伝的操作に基づく画像
処理を実行する遺伝的操作部７と、を備えて構成されて
おり、最終的に、生画像データに含まれる対象物の探索
結果を出力するものである。

【００１６】前記探索モデル作成部５は、対象物形状を
多角形や三次元形状などにモデル化する形状モデル化手
段５ａと、対象物の輝度値分布をモデル化する輝度値分
布モデル化手段５ｂと、を有しており、例えば、図２に
示す対象物たる魚８を識別したい場合は、その魚形状を
図示した三角形状９にモデル化し、その魚の輝度値分布
をその三角形内部やフレーム部分などに与えればよい。

【００１７】また、前記遺伝的操作部７は、生画像デー
タに含まれる対象物と分布させた探索モデルとの相関を
示す適合度を算出する適合度算出手段７ａと、前記適合
度に基づいて、探索モデルに優先度を付して並び替える
並び替え手段７ｂと、探索モデルを選択して生存させる
選択手段７ｃと、探索モデルの一組または複数組の位置
姿勢情報の一部を組み替えて交叉させる交叉手段７ｄ
と、探索モデルの位置姿勢情報の一部または全部をラン
ダムに変えて突然変異させる突然変異手段７ｅと、前記
の交叉または突然変異される以前の探索モデルを再生さ
せる再生手段７ｆと、を備えて構成されるものである。

【００１８】前記探索モデル分布手段６においては、図
３に例示されるように、探索モデルの重心位置（Ｘ_p，
Ｙ_p）と姿勢角度θとをランダムに設定することで、生
画像データの撮像領域内に複数の探索モデル１１ａ，１
１ｂ，１１ｃ，…がランダムに分布される。これによ
り、対象物である魚８と重複する探索モデル１１ｆ，１
１ｇが生ずるのである。

【００１９】次に、前記遺伝的操作部７の適合度算出手
段７ａにおいて、探索モデルの適合度を算出する方法の
一例を説明する。今、図４に示すように、対象物１２の
形状が四角形状であり、この対象物１２の中の画素に相
当する升目１２ａ，１２ｂ，１２ｃ，…に記した数字が
輝度値を表すものとする。また、前記対象物１２の探索
モデルとしては、その形状および輝度値分布を前記対象
物１２と同一にしたものを用いる。

【００２０】また、図５（ａ），（ｂ）に示すように輝
度値分布が１である背景画像１３中に対象物１２を含む
入力画像データがあり、この入力画像データに対象物１
２と重複する探索モデル１４を分布させたとする。この
とき、探索モデル１４の適合度は以下の手順で算出され
る。先ず、重複する各画素１５，１５，１５，…におい
て入力画像データの輝度値と探索モデル１４の輝度値と
の積を算出する。次に、当該探索モデル１４の内部領域
における全ての画素についての輝度値の総和を算出し、
この輝度値の総和を適合度とする。よって、図５（ａ）
の場合、探索モデルの適合度は９２であり、図５（ｂ）
の場合、探索モデルの適合度は１５６である。また、対
象物と重複しない探索モデルの適合度は、図４に示した
対象物の輝度値の総和７０と同じである。このようにし
て対象物と探索モデルとの相関すなわち重複程度が高け
れば高い程、高い適合度が得られ、対象物と探索モデル
とが一致したときに適合度のピークが生ずる。以上と同
じ手順で、図３に示したように探索モデル１１ａ，１１
ｂ，…を入力画像データの撮像領域内に分布させた場
合、これら探索モデルの各々について適合度を算出する
ことができる。また、このように算出した適合度に基づ
き、後述するＧＡ手法を用いて対象物の位置姿勢情報の
最適解を探索するのである。

【００２１】次に、前記探索モデル分布手段６と適合度
算出手段７ａにおける処理内容について更に詳説する。
最初に、探索モデルを入力画像データの撮像領域内に分
布させる数学的手法について述べる。図６は、二次元形
状の探索モデルを説明するための概略図である。尚、本
発明においては、探索モデルを二次元に限らず三次元空
間にも適用できることはいうまでもない。図６に示すよ
うに、撮像領域Ωは、Ω=[(X,Y)|0≦X≦X_max，0≦Y≦Y
_max ]と定義され、この撮像領域において原点に重心を
有する探索モデル１０が作成されたと仮定する。本実施
例では、探索モデルの位置とは、当該探索モデルの重心
位置を示すものとする。更に、この探索モデル１０の境
界を含む内部領域Ｓ内の点（X₀, Y₀）における輝度値m
は、以下の式で表現される。

【００２２】

【数１】

【００２３】また、本実施例における輝度値ｍは、探索
モデルの内部領域Ｓ（輪郭を含む）内では１の値をも
ち、それ以外では０の値をもつものとする。しかし本発
明ではこれに限らず、図５に示した探索モデルのように
陰影を表現できる多階調の値をもつものでも構わない。

【００２４】次に、前記探索モデル１０の内部領域Ｓを
撮像領域Ω内の図示した領域Ｓ_pへ変換する手順を以下
に述べる。探索モデル１０の内部領域Ｓ内の点（X₀,
Y₀）は、変換後の探索モデル１１が位置Ｐ（X_p,Y_p）に
おいて姿勢角度θをもつように、探索モデル１１の内部
領域Ｓ_p内の点（X₁, Y₁）へ以下のように変換される。

【００２５】

【数２】

【００２６】同時に、上式（２）の変換式に従って、変
換前の輝度値ｍ(X₀,Y₀)は、変換後の輝度値ｍ_p(X₁, Y₁)
の値へと引き渡される。本実施例の輝度値ｍ_p(X₁, Y₁)
は、探索モデル１１の内部領域Ｓ_p内では１の値をも
ち、それ以外では０の値をもつこととなる。このように
位置座標（X_p, Y_p）と姿勢角度θを指定することによ
り、上式（２）の変換式に従い入力画像データの撮像領
域内に探索モデルを分布させることができる。

【００２７】また、入力画像データの撮像領域Ω内の多
階調の輝度値pは、p=p(X,Y)で表現されるものとする。

【００２８】このとき、本発明に係る探索モデルの適合
度を演算する適合度関数Ｆ（X_p,Y_p,θ）は、以下の式
（３）で定義される。

【００２９】

【数３】

【００３０】上式（３）中、dsは撮像領域Ωにおける面
積要素であり、また、その積分範囲は撮像領域Ωと探索
モデル１１の内部領域Ｓ_pとの共通領域とする。よっ
て、（X _p，Y_p，θ）を指定すると、撮像領域Ω内の任意
の点（X_p，Y_p）に姿勢角度θで探索モデルを配置したと
きの適合度Ｆ（Ｘ_p，Ｙ_p，θ）を算出することが可能と
なる。尚、本実施例では、探索モデルと対象物との相関
関係を示す好適例として、上式（３）に示しように入力
画像データの輝度値と探索モデルの輝度値との積の積分
値を用いたが、これに限らず、前記入力画像データおよ
び探索モデルの輝度値から導出される値を用いて探索モ
デルと対象物との相関を示す適合度を求めることが可能
である。例えば、当該探索モデルにおける輝度値ｍの平
均値＜ｍ＞を求め、この平均値＜ｍ＞を用いて当該画素
における偏差の絶対値を求めて、その逆数の総和をもっ
て適合度としたり、より単純には、入力画像データｐと
探索モデルの輝度値ｍとの和もしくは差の絶対値の総和
などを適合度としたりすることができる。

【００３１】また、上記適合度の値は、探索モデルへの
輝度値分布の与え方によって変わるものである。好適な
探索モデルとしては、（１）対象物の輪郭を縁取ったフ
レームモデル、（２）対象物の形状と一致させた面モデ
ル、および（３）対象物周囲の明暗度による微分情報を
考慮するために前記面モデルの周囲に帯状の付加領域を
付した面−帯モデルが挙げられる。図７〜図９を参照し
つつ、これら各種モデルについて以下に詳説する。図７
は、フレームモデル、図８は、面モデル、図９は、面−
帯モデルを説明するための模式図である。

【００３２】図７に示すフレームモデルでは、探索モデ
ルは、矩形状にモデル化されると同時にフレーム領域Ｓ
₁のみに輝度値分布を有するものである。フレーム領域
Ｓ₁の各要素ｄＳ₁，ｄＳ₂，…，ｄＳ_i，…における輝度
値は１、それ以外の領域における輝度値は０に設定され
る。したがって、上式（３）の適合度関数Ｆは、以下の
ように変形される。

【００３３】

【数４】

【００３４】上式（４）中、ｐ_iは、フレーム領域Ｓ₁の
ｉ番目の要素ｄＳ_iに対応する撮像領域Ωの輝度値であ
り、ｍ_piは、フレーム領域Ｓ₁のｉ番目の要素ｄＳ_iの輝
度値である。本実施例では、ｍ_pi＝１に設定された。

【００３５】次に、図８に示す面モデルでは、探索モデ
ルは、矩形状にモデル化されると同時に内部領域Ｓ₂に
輝度値分布を有するものである。内部領域Ｓ₂の各要素
ｄＳ₁₁，ｄＳ₁₂，…，ｄＳ₂₁，…における輝度値は１、
それ以外の領域における輝度値は０に設定される。した
がって、上式（３）の適合度関数Ｆは、以下のように変
形される。

【００３６】

【数５】

【００３７】上式（５）中、ｐ_ijは、内部領域Ｓ₂内の
ｉ行ｊ列目の要素ｄＳ_ijに対応する撮像領域Ωの輝度値
であり、ｍ_pijは、内部領域Ｓ₂内のｉ行ｊ列目の要素ｄ
Ｓ_ijにおける輝度値である。本実施例では、ｍ_pij＝１
に設定された。

【００３８】次に、図９に示す面−帯モデルでは、探索
モデルは、矩形状にモデル化されると同時に前記面モデ
ルの内部領域Ｓ₂の外周上に帯状の付加領域Ｋ₁を加えた
ものであり、内部領域Ｓ₂の各要素ｄＳ₁₁，ｄＳ₁₂，…
における輝度値は１、付加領域Ｋ₁の各要素ｄＫ₁、ｄＫ
₂，…における輝度値は−１、それ以外の領域における
輝度値は０に設定される。したがって、上式（４），
（５）と同様にして、上式（３）の適合度関数Ｆは、以
下のように変形される。

【００３９】

【数６】

【００４０】上式（６）中、ｐ_ijは、内部領域Ｓ₂内の
ｉ行ｊ列目の要素ｄＳ_ijに対応する撮像領域Ωの輝度値
であり、ｐ_k'は、付加領域Ｋ₁内のｋ番目の要素ｄＫ_kに
対応する撮像領域Ωの輝度値である。このように帯状の
付加領域を設けてこの付加領域における輝度値分布を負
の値に設定することにより、面−帯モデルの適合度関数
は、対象物周囲の輝度値の変化をも考慮したものとなる
から、対象物を精度良く検出することが可能となる。

【００４１】尚、上記フレームモデル、面モデルおよび
面−帯モデルは、矩形状にモデル化したものであるが本
発明ではこれに限らず、三角形状や立体形状などの種々
の形状へのモデル化が可能である。また、本実施例では
探索モデルの輝度値として０、１、−１の３値を採用し
たが、本発明ではこれに限らず、陰影を表現できる多階
調の値でも構わない。このように探索モデルの輝度値が
多階調の値を有する場合、適合度は、上式（４），
（５），（６）では無く、探索モデルの輝度値ｍと入力
画像データの輝度値ｐとの積の総和から求めることがで
きる。

【００４２】次に、以上のフレームモデル、面モデルお
よび面−帯モデルの効果を実証すべく、上式（４）〜
（６）の適合度関数を用いて、図１０に示すように水槽
内を魚２０が泳ぐ様子を上方から撮像した画像データ２
１（１２８×１２８画素）の適合度を各画素毎に算出
し、立体的にグラフ化した。尚、探索モデルの形状は、
図２に示したような三角形状となし、姿勢角度θはゼロ
に設定した。また、適合度には正規化した値を用いた。
その結果を、図１１（フレームモデル）、図１２（面モ
デル）、図１３（面−帯モデル）に示す。

【００４３】各図から、前記魚２０の位置に探索モデル
が近づく程に適合度が高くなり、魚２０と重なる位置で
ピークを形成していることが分かる。図１１に示すフレ
ームモデルの結果では、対象物（魚）と背景画像（水
面）との適合度の差が小さいが、対象物周辺にピーク２
２が現れており、図１２に示す面モデルの結果では、な
だらかなピーク２３が現れているのに対し、図１３に示
す面−帯モデルの結果では、鋭いピーク２４が現れてい
る。従って、この場合、面−帯モデルが最も精確に対象
物の位置姿勢を検出できるが、ピークが鋭いことは、フ
レームモデルや面モデルと比べて位置姿勢の検出に時間
がかかることを意味する。これに対しピーク近辺に緩や
かな傾斜をもつ面モデルは、小さなずれに対しても柔軟
性をもつため、ピーク周辺の解を得るのに時間がかから
ない。

【００４４】次に、上記遺伝的操作部７における遺伝的
操作、すなわちＧＡ（遺伝アルゴリズム）の手法を用い
た探索方法について詳述する。ＧＡとは、自然界の生物
システムの遺伝情報と自然選択とによる適応過程に着想
を得て、進化のメカニズムを模擬する人工モデルであ
り、米国のJ.Hollandらによって提唱された手法であ
る。ＧＡに関する参考文献としては、「J.H.Holland：
Adaptation in Natural and Artificial Systems, Uni
v. of Michigan Press(1975), MIT Press(1992)」、
「D.E.Goldberg： Genetic Algorithms in Search, Opt
imization, and MachineLearning, Addison-Wesley(198
9)」、「安居院・長尾：ジェネティックアルゴリズム，
pp.53-81，昭晃堂(1993)」、「システム制御学会編三
宮信夫・喜多一・玉置久・岩本貴司：遺伝アルゴリズム
と最適化，朝倉書店(1998)」などが挙げられる。

【００４５】図１４を参照しつつ、ＧＡを用いた探索処
理の一例を以下に説明する。先ず、ＣＣＤカメラなどの
撮像手段から対象物を含む生画像データを取得し画像メ
モリに記憶させる（ステップ１）。次に、前記生画像デ
ータの撮像領域内にランダムに複数の探索モデルを分布
させ、これら探索モデルの各々に当該位置姿勢情報を個
体情報として付与し、これら探索モデルを第１世代の個
体とする（ステップ２）。具体的には、疑似乱数もしく
は物理乱数などを用いて、探索モデルの各々の位置と姿
勢とをランダムに生成し、第１世代の探索モデルの集合
を生成すればよい。例えば、探索モデルの各々につき、
図１５に示すように２３ビットの２進データ配列を用意
し、最初の７ビットをＸ方向位置（Ｘ）、次の７ビット
をＹ方向位置（Ｙ）、最後の９ビットを姿勢（θ）に割
り当てて、これら（Ｘ，Ｙ，θ）の数値をランダムに生
成するのである。

【００４６】次に、前記探索モデルの各々につき、上記
適合度関数を用いて適合度を算出する（ステップ３）。
そして、後述する「ＧＡ終了条件」（ステップ４）にお
いて当該探索処理を終了させるか否かを判定し、当該探
索処理を続行する場合は、前記第１世代の探索モデルを
適合度の高い順に「並べ替え」（ステップ５）、適合度
の高い個体を「選択」して生き残らせる（ステップ
６）。また、選択した探索モデルのうち一組または複数
組の探索モデルの位置姿勢情報の一部を所定の確率で組
み替えて「交叉」させる（ステップ７）。ここで、交叉
された探索モデルに加えて、交叉される以前の探索モデ
ルの一部を「再生」してもよい（ステップ７）。

【００４７】次に、このように交叉、再生された探索モ
デルの位置姿勢情報の一部または全部をランダムに変え
て「突然変異」させる（ステップ８）。ここで、突然変
異された探索モデルに加えて、突然変異される以前の探
索モデルの一部を「再生」させてもよい（ステップ
８）。例えば、図１５に示した位置姿勢情報を例に挙げ
て説明すると、位置Ｘ，Ｙおよび姿勢θの各ビット列の
一部または全部を「突然変異」させるのである。特に、
位置Ｘ，Ｙの下位ビット列を突然変異する場合は、探索
範囲を制限した局所的な探索を行うのに有効であり、全
ビット列を突然変異する場合は、大域的な探索を行うの
に有効である。

【００４８】以上の遺伝的操作の末に第２世代の個体が
生成される。次に、第２世代の個体をフィードバックさ
せ、上記したステップ３以降の遺伝的操作を繰り返し実
行する。ここで、「ＧＡ終了条件」（ステップ４）とし
ては、適合度がピークを形成する条件（当該位置姿勢情
報の解の周囲での適合度の勾配が負になる条件）に合致
した場合に探索処理を終了させるものが挙げられる。
尚、適合度がピークを形成する条件に合致しなくとも、
適合度が或る閾値以上に収束した場合に、探索処理を終
了させるものや、適合度の収束を待たずに第１世代〜数
世代の短サイクルを経た後に終了させる条件を設定して
もよい。特にリアルタイム性が要求される場合は、適合
度の収束を待たずに最も高い適合度を有する探索モデル
の位置姿勢情報を最適解とみなすことが好ましい。

【００４９】尚、本実施例のように「並べ替え」、「選
択」、「交叉・再生」および「突然変異・再生」の順に
遺伝的操作をする必要は必ずしも無く、これらの中から
１種類または２種類以上の操作を適当な順番で組み合わ
せて使用しても構わない。

【００５０】より具体的な実施例として、図１６に、８
ビットの２進データ配列からなる位置姿勢情報を用いた
遺伝的操作を模式的に示して説明する。先ず、Ｎ番目世
代の探索モデルの位置姿勢情報Ｇ₁，Ｇ₂，…，Ｇ₆があ
るとすると、これら探索モデルのうち適合度が上位３番
以内の位置姿勢情報Ｇ₁，Ｇ₄，Ｇ₅を、優秀な個体情報
であるとして選択し、適合度の高い順に並べ替えて位置
姿勢情報Ｇ₁'〜Ｇ₃'を生成する。次いで、これら位置姿
勢情報Ｇ₁'〜Ｇ₃'の一部を相互に組み替えることにより
交叉して位置姿勢情報Ｇ₄''，Ｇ₅''，Ｇ₆''を生成し、
同時に、交叉する以前の位置姿勢情報Ｇ₁'〜Ｇ₃'を再生
させて位置姿勢情報Ｇ₁''，Ｇ₂''，Ｇ₃''を生成する。
そして、適当な確率により、位置姿勢情報Ｇ₄''とＧ₆''
が選択されて、Ｇ₄''の下位３ビット目を"０"から"１"
に、Ｇ₆''の下位１ビット目を"１"から"０"に突然変異
させて、Ｎ＋１番目の世代の個体（探索モデル）を生成
するのである。

【００５１】実際に、図１０に示した多階調画像を用い
て、図１４に示すようなフローに基づく遺伝的操作を実
行した。その結果を図１７（フレームモデル），図１８
（面モデル）および図１９（面−帯モデル）に示す。各
図において、横軸は、遺伝子操作の「世代交代回数」を
示し、縦軸は、各世代の生存している探索モデルのうち
最も高い「適合度」を示している。図１７に示すフレー
ムモデルのグラフは、緩やかな曲線をもって第１３０世
代付近で約０．８に収束しており、また、図１８に示す
面モデルのグラフは、第７０世代付近で約０．８２に収
束し収束性が非常に良いことが分かる。これらに対し、
図１９に示す面−帯モデルのグラフでは、第４０世代付
近までの収束性は良好だが、それより後の世代では、非
常に緩やかな上昇曲線となるため収束性が劣る結果とな
った。尚、照明などの環境条件の変動にも関わらず、面
モデル、フレームモデルおよび面−帯モデルの何れにお
いても上記と同様に適合度のレベル変化に関係なく対象
物を捉えて適合度のピークを発生させることができた。

【００５２】以上のように、本発明は、従来の探索方法
のように二値化画像を使わず、生画像データを使って対
象物の位置情報および姿勢情報の解を同時に探索し得る
ものである。

【００５３】次に、図２０〜図２２を例示しつつ、分布
した探索モデルの位置姿勢情報の進化に制限条件を付
し、入力画像データに含まれる対象物の探索範囲を制限
する手法を以下に説明する。

【００５４】図２０に示すように、Ｘ−Ｙ方向に駆動さ
れるマニピュレーターのハンド３０に固定したＣＣＤカ
メラ３１を、水槽３２内を泳ぐ魚３３の直上において、
移動、追跡させるビジュアルサーボ機構がある。対象物
たる魚３３は、常に動き回り、その動きを予測するのは
困難である。従って、個体（探索モデル）の適合度の収
束を一定時間待っていては、その指示値に基づいてハン
ド３０を移動させてもそこに魚は存在しない可能性が高
い。よって、適合度の収束を待たずに第１世代〜数世代
の短いサイクルの探索モデルの中で最も高い適合度を与
える探索モデルを最適解とみなして解の探索速度を向上
させ、その位置姿勢情報をマニピュレーターに指示する
のが好ましい。

【００５５】図２１は、このようなビジュアルサーボ機
構の制御フローの一実施例である。先ず、ＣＣＤカメラ
３１から出力された対象物を含む生画像データが入力さ
れると（ステップ２０）、図２２に例示されるように、
生画像データの撮像領域全体に多数の探索モデル３３
ａ，３３ｂ，３３ｃ，３３ｄ，３３ｅをランダムに分布
させる（ステップ２１）。ここで、探索モデルの位置姿
勢情報には、図１５に示したような２３ビットからなる
２進データ配列を用い、位置Ｘに７ビット、位置Ｙに７
ビット、姿勢角度θに９ビットを割り当てた。次に、各
探索モデルについて適合度Ｆを算出し（ステップ２
２）、適合度の高い順に探索モデルに優先度を付して並
べ替え（ステップ２３）、最も高い適合度を有する探索
モデルを最適解とみなして（ステップ２４）、当該探索
モデルの位置姿勢情報をマニピュレータの制御系に指示
し（ステップ２５）、ＣＣＤカメラ３１を当該位置まで
移動させる。

【００５６】次いで、前記探索モデルの各々について適
合度Ｆが予め設定した値Ｓを超えるか否かの条件判定を
行い（ステップ２６）、適合度Ｆが値Ｓを超える場合、
当該探索モデルを有望な個体とみなして当該位置姿勢情
報のうち位置Ｘ，Ｙの各下位２ビットと、姿勢θの全ビ
ットとをランダムに変えて突然変異させ（ステップ２
７）、他方、適合度Ｆが閾値Ｓ以下の場合は、不要な個
体とみなして当該探索モデルの位置姿勢情報の全２３ビ
ットをランダムに変えて突然変異させる（ステップ２
８）。すなわち、図２２に例示するように、対象物８と
の重複程度が高い探索モデル３３ｅの適合度Ｆは値Ｓを
十分に超えるように値Ｓを設定しておき、この条件に合
致する場合は、前記ステップ２７において探索モデル３
３ｅの位置姿勢情報を局所的に突然変異させて、有望な
個体の近辺に二点鎖線で示した探索モデル３４ａ，３４
ｂを生成し、他方、対象物と重複しない探索モデル３３
ａ，３３ｂ，３３ｃ，３３ｄの適合度Ｆは値Ｓ未満であ
るから、前記ステップ２８において探索モデル３３ａ，
３３ｂ，３３ｃ，３３ｄの位置姿勢情報全てを突然変異
させて、点線で示した探索モデル３５ａ，３５ｂ，３５
ｃ，３５ｄを新たに生成する。このようにステップ２７
の突然変異は、局所的に対象物を探索するのに有効であ
り、ステップ２８の突然変異は、大域的に対象物を探索
するのに有効である。

【００５７】このようにして新たに生成した探索モデル
の集合を画像メモリに保存しておき、再度ＣＣＤカメラ
３１から出力された生画像データが入力されると（ステ
ップ２０）、前記画像メモリに保存した探索モデルをフ
ィードバックさせ、これら探索モデルについて適合度Ｆ
を算出し（ステップ２２）、上記と同様にステップ２
３，２４，・・・の処理を繰り返し実行する。このよう
なフィードバック制御によるビジュアルサーボ機構は、
大域的探索（ステップ２７）と局所的探索（ステップ２
８）とを同時に実行し、且つ適合度の収束を待たずに最
適解を得る（ステップ２４）ものであるから、非常に高
速に且つ確実に対象物を認識し追跡することが可能とな
る。

【００５８】尚、以上の実施形態では、対象物全ての形
状および輝度値分布をモデル化した探索モデルを使用し
ていたが、本発明ではこれに限らず、対象物の形状およ
び輝度値分布のうち特徴点を含む一部を抽出してモデル
化したものを用いてもよい。

【００５９】他の応用例として、本発明に係る画像認識
方法を人物の顔画像照合処理に適用することも可能であ
る。具体的には、対象物である顔画像を多階調の入力画
像データとして取り込み、この顔画像とデータベースに
登録された探索モデルとを、上記画像認識方法を用いて
パターンマッチングさせるのである。ここで、探索モデ
ルとしては、登録された顔画像について複数の特徴点
（鼻筋、目や口のラインなど）を抽出した探索モデルを
用意しておく。よって登録された顔画像の各々につい
て、複数の探索モデルが用意されることとなる。そし
て、対象物である顔画像と特徴点を含む探索モデルとを
順番にパターンマッチングさせる。本発明に係る画像認
識方法を用いると、二値化処理を含まずに高速に画像処
理できるから、膨大な数の登録された顔画像との照合処
理を非常に高速に行うことが可能である。

【００６０】尚、上記の生画像としては、白黒画像に限
らず、多色信号を用いたカラー画像でも同様に処理でき
る。

【００６１】また、上記生画像データとしては、ＣＣＤ
カメラなどのデジタル機器から出力されたデジタル画像
データに限らず、ビデオなどから出力されたアナログ画
像データをＡ−Ｄ変換したものでも構わない。

【００６２】

【発明の効果】以上の如く、本発明の画像認識方法によ
れば、入力画像データの領域内に分布した探索モデルの
各々について対象物との相関を示す関数値を求め、この
関数値に基づいた遺伝的アルゴリズム手法を用いて探索
モデルを進化させて淘汰することにより、前記入力画像
データの中から少なくとも対象物の位置情報の解を探索
するから、多階調の入力画像データを二値化処理する必
要が無く、二値化処理に伴うノイズの増幅を防ぐことが
でき、環境変化に伴う当該対象物の輝度値変化などに関
わらず正確に対象物の位置情報、更には姿勢情報を求め
て当該対象物を認識することができる。また、二値化に
伴う閾値設定処理や細線化処理などの幾何学的特徴の抽
出処理などを行わなくとも、生画像に含まれる対象物の
位置情報などを得ることができるため、スムーズな画像
処理を実行することが可能である。

【００６３】また、探索モデルの位置姿勢情報の進化に
制限条件を付し、前記入力画像データに含まれる対象物
の探索範囲を制限する方法を採用することにより、局所
的に注視した素早い探索が可能となり、リアルタイム性
が要求される用途においても素早く対象物を認識するこ
とが可能となる。

【００６４】更には、進化の収束を待つこと無く所望の
制御タイミングで最も高い関数値を有する探索モデルの
位置姿勢情報を最適解とみなすことにより、対象物を非
常に高速に探索することができ、特に移動対象物を正確
に認識し追跡することが可能となる。

【図面の簡単な説明】

【図１】本発明に係る画像認識装置の一構成例を示す機
能ブロック図である。

【図２】対象物たる魚とこの魚に対応した探索モデルと
を示す概略図である。

【図３】探索モデルをランダムに分布した状態を示す模
式図である。

【図４】四角形状の対象物とその輝度値分布の一例を示
す模式図である。

【図５】入力画像データ中の対象物と探索モデルとが重
複する状態を示す模式図である。

【図６】二次元形状の探索モデルについての概略説明図
である。

【図７】フレームモデルを説明するための模式図であ
る。

【図８】面モデルを説明するための模式図である。

【図９】面−帯モデルを説明するための模式図である。

【図１０】水槽内を魚が泳ぐ様子を上方から撮像した画
像データである。

【図１１】フレームモデルを用いて適合度を算出した結
果を示す立体グラフである。

【図１２】面モデルを用いて適合度を算出した結果を示
す立体グラフである。

【図１３】面−帯モデルを用いて適合度を算出した結果
を示す立体グラフである。

【図１４】ＧＡを用いた探索処理の一実施例を示すフロ
ーである。

【図１５】探索モデルの位置姿勢情報の２進データ配列
を示す概略図である。

【図１６】遺伝的操作の一実施例を示した概略説明図で
ある。

【図１７】フレームモデルを用いたときの世代交代回数
に対する適合度を示すグラフである。

【図１８】面モデルを用いたときの世代交代回数に対す
る適合度を示すグラフである。

【図１９】面−帯モデルを用いたときの世代交代回数に
対する適合度を示すグラフである。

【図２０】マニピュレータのハンドに固定したＣＣＤカ
メラで水槽内の魚を捕捉、追跡している状態を示す概略
図である。

【図２１】本発明に係るビジュアルサーボ機構の制御フ
ローの一実施例である。

【図２２】探索モデルをランダムに分布した状態を示す
模式図である。

【図２３】作業台の上に置かれた四角形状の対象物と壁
とを上方から撮像した画像である。

【図２４】図２３に示す多階調画像の輝度値分布を示す
グラフである。

【図２５】図２３に示す多階調画像を二値化処理した二
値化画像の輝度値分布を示すグラフである。

【符号の説明】

１画像認識装置２撮像手段３生画像（多階調画像）データ４画像メモリ５探索モデル作成部５ａ形状モデル化手段５ｂ輝度値分布モデル化手段６探索モデル分布手段７遺伝的操作部７ａ適合度算出手段７ｂ並び替え手段７ｃ選択手段７ｄ交叉手段７ｅ突然変異手段７ｆ再生手段８魚（対象物）９魚のモデル形状１０探索モデル１１探索モデル１１ａ〜１１ｊ探索モデル１２対象物１３背景画像１４探索モデル２０魚２１画像データ２２フレームモデルでの適合度のピーク２３面モデルでの適合度のピーク２４面−帯モデルでの適合度のピーク３０マニピュレーターのハンド３１ＣＣＤカメラ３２水槽３３ａ，３３ｂ，３３ｃ，３３ｄ，３３ｅ探索モデル３４ａ，３４ｂ探索モデル３５ａ，３５ｂ，３５ｃ，３５ｄ探索モデル

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5L096 AA09 FA14 FA34 FA67 FA69 GA59 HA08 JA09 JA16

Claims

【特許請求の範囲】

【請求項１】予め対象物の全部または一部の形状およ
び輝度値分布をモデル化した探索モデルを画像データと
して記憶し、対象物を含む入力画像データを取得し、前記入力画像データの領域内に探索モデルを分布させ
て、前記探索モデルの各々に当該位置姿勢情報を個体情
報として付与し、前記探索モデルの各々に前記対象物との相関を示す関数
値を求め、且つ、前記関数値に基づいた遺伝的アルゴリズム手法を
用いて探索モデルを進化させることにより前記入力画像
データの中から少なくとも対象物の位置情報の解を探索
することを特徴とする画像認識方法。
【請求項２】前記入力画像データの領域内に複数個の
探索モデルをランダムに分布させてなる請求項１記載の
画像認識方法。
【請求項３】前記関数値として、探索モデルの内部領
域における前記入力画像データの輝度値から導出される
値の総和を用いてなる請求項１または２記載の画像認識
方法。
【請求項４】前記探索モデルの位置姿勢情報の進化に
制限条件を付し、前記入力画像データに含まれる対象物
の探索範囲を制限してなる請求項１〜３の何れか１項に
記載の画像認識方法。
【請求項５】進化の収束を待つこと無く所望の制御タ
イミングで最も高い関数値を有する探索モデルの位置姿
勢情報を最適解とみなしてなる請求項１〜４の何れか１
項に記載の画像認識方法。