JP2002109540A - バッジ識別方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 カメラにより取得された場面の連続画像の中
でバッジを動的に識別する。 【解決手段】 連続画像中の各画像３０１は多数の画素
を含み、各画素は色と強度を有している。各画像３０１
はスキャンされ、境界画素３１１が検出される。境界画
素３１１に隣接する画素は連結され、画素の連結領域が
決定される。連結領域の内側境界が求められ、楕円が内
側境界に適合される。楕円内の内部画素は円形状に歪ま
せられ、複数のスポーク３４１が、歪ませられた内部画
素に適合され、着色セグメントを識別する。その時、一
意な同一性が着色セグメントに従って各バッジに関連付
けられる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】発明の分野本発明は、一般に
識別バッジの読み取り、より詳細にはカメラおよびビジ
ョンシステムを用いる着色バッジの読み取りに関する。

【０００２】

【従来の技術】発明の背景 ほとんどの従来技術の機械で読み取り可能なバッジ、例
えばバーコードおよび磁気ストライプは、バッジとバッ
ジ読取装置との間をある程度接近させる必要があり、そ
の際に１つのバッジしか読み取れない。

【０００３】１９９９年７月１３日出願のＰＣＴ特許出
願第ＷＯ ００／０４７１１号「画像識別および配信シ
ステム」には、個人識別のためのセグメント化タグが記
載されている。そこでは、カラー写真がグレースケール
(無彩色)画像に変換され、その上でエッジ検出が実行さ
れる。このシステムはＲＧＢからＨＳＶ色への変換とセ
グメンテーション(分割)も行なう。エッジ検出および色
検出の結果が論理積演算され、識別タグの表示を提供す
る。このシステムはタグ外周および中心領域の外径もチ
ェックする。

【０００４】

【発明が解決しようとする課題】このシステムには多く
の欠点がある。第１に、このシステムは単独の画像でし
か作動しない。第２に、このシステムはバッジを着用し
ている個人が識別されることを必要とする。第３に、カ
メラをバッジに向ける必要がある。第４に、カメラは、
カメラマン、システムオペレータ、または無線信号によ
って作動する必要がある。第５に、バッジは正面から撮
影されねばならない。第６に、このシステムはリアルタ
イムで画像を処理しない。

【０００５】従って、離れた場所から読み取り得る機械
読み取り可能なバッジ、および複数のバッジを同時に読
み取ることができ、かつバッジを様々な角度から読み取
ることができるシステムを提供することが望まれてい
る。さらに、人間の介入なしでシステムがリアルタイム
で受動的に作動することが望まれている。

【０００６】

【課題を解決するための手段】発明の概要 本方法は、カメラにより取得された場面の連続画像の中
でバッジを動的に識別する。連続画像中の各画像は多数
の画素を含み、各画素は色と強度を有している。各画像
はスキャンされ、境界画素が検出される。境界画素に隣
接する画素は連結され、画素の連結領域が決定される。
連結領域の内側境界が求められ、楕円が内側境界に適合
される。楕円内の内部画素は円形状に歪ませられ、複数
のスポークが、歪ませられた内部画素に適合され、着色
セグメントを識別する。その時、一意な同一性が着色セ
グメントに従って各バッジに関連付けられる。

【０００７】境界画素は境界色および第１のしきい値よ
り大きい強度を有し、かつ隣接画素は境界色および第２
のしきい値より大きい強度を有し、第１のしきい値は第
２のしきい値よりも大きい。各画像の画素は、左から右
および上から下の順でスキャンされる。内側境界を検出
するため、連結領域内の画素は前方および左方向にたど
られる。

【０００８】

【発明の実施の形態】図１は、本発明によるバッジ識別
システム３００を示す。システム３００は、会議会場の
展示ブース１０１に設置し得る。システムは１つ以上の
カメラ１０２に接続されている。好ましくは、カメラは
デジタル式である。カメラは様々な位置に設置し得る。
各カメラは場面の連続画像を同時に取得する。展示ブー
スは、拡声器などの出力機器１０５を含み得る。

【０００９】システムは、カメラの前の場面１０４中に
ある、または入ってくる個人または物品に取り付けられ
たバッジ２００を動的にリアルタイムで検出する。バッ
ジ２００は、個人または物品を一意的に識別するために
用いられる。バッジの識別は、マーケティングまたは追
跡の目的で用いられ得る。利点として、システムはリア
ルタイムで作動し、一度に複数のバッジを識別し、オペ
レータを必要とせずに悪い照明条件下でも正しく作動し
得る。バッジは、自動車、列車、または製品などの他の
移動物体にも取り付けられることに注目すべきである。
さらなる利点として、バッジはカメラに対して正確に垂
直に向けられる必要はない。

【００１０】カメラ１０２は、三菱電機株式会社製「ａ
ｒｔｉｆｉｃｉａｌ ｒｅｔｉｎａ」（ＡＲ）、部品番
号Ｍ６４２８９Ｕとし得る。ＡＲは、３５２×２８８個
の感色性画素を有するＣＭＯＳ画像センサーである。Ａ
Ｒチップは、低電力消費で高性能を達成し得る。ビジョ
ンシステムは、三菱電機株式会社製シングルチップＣＭ
ＯＳマイクロコンピュータ、部品番号Ｍ３２０００Ｄ４
ＡＦＰをベースとし得る。チップは、３２ビットプロセ
ッサおよび２ＭＢのＤＲＡＭと４ＫＢのバイパスキャッ
シュを含んでいる。カメラとコントローラは数十ドルで
入手でき、妥当なコストで大衆市場訴求力を有する比較
的簡単な構成要素に対するニーズを満たす。システム３
００は、以下でより詳細に説明されるバッジ識別方法を
実行する。

【００１１】識別バッジ 図２に示されるように、識別バッジ２００には以下の特
性がある。識別バッジの境界(縁)領域２０１は、既知の
背景色、例えば白である。境界２０１は、正面から見た
時、形状はほぼ円形である。角度を付けて見た時、バッ
ジ形状は楕円形に見えるであろう。境界領域２０１の内
部境界２０２は、種々の色にセグメント化された内部領
域を囲んでいる。

【００１２】セグメント(区分)数は２〜１２とすること
ができ、バッジサイズによってはより大きくし得る。実
施の形態のバッジには６つのセグメントがある。「キ
ー」セグメント２０３の色は黒であり、他のセグメント
の色は、どのような任意の選択された色、例えば赤、
青、緑、黄、およびオレンジにもし得る。キーセグメン
トは、バッジの他の着色セグメント解読の開始点の決定
に用いられる。複数のセグメントを同色にし得る。従っ
て、５つの着色されたセグメントおよび５つの使用可能
な色があるとすると、一意的カラーコーディングの数は
５⁵、すなわち３１２５通りである。システム３００
は、セグメント数が異なるバッジを正しく識別でき、従
って例えば４、５、および６セグメントのバッジを同時
に用いて一意な識別数の全体数を増大させることができ
る。

【００１３】以下で説明される識別方法は、シャツまた
はその他の衣類の表面に印刷された識別バッジに適用で
きる。バッジは、製品もしくは乗り物、手荷物、あるい
は一意な識別による恩恵を受け得るどのようなものにも
取り付けまたは印刷し得る。

【００１４】検出方法 図３は、バッジ識別システム３００により実行されるス
テップを示す。

【００１５】潜在的なバッジ境界の識別 この方法は、１台以上のカメラにより取得された連続画
像の各画像３０１を処理する。連続画像中の各画像は、
最初にバッジがその場面内にあるかどうかを検出し、第
２にその着色パターンに従ってバッジを識別するため
に、以下のように処理される。

【００１６】最初に、この方法は各画像３０１中の境界
画素（Ｂ）３１１を検出３１０しようとする。境界画素
は、バッジの「境界」色、例えば白に実質的に類似する
色およびＴ₁より大きい強度を有している。様々な照明
条件に適応させるため、カメラおよびビジョンシステム
は、特定の照明条件について境界色を検出するように校
正され得る。

【００１７】潜在的境界画素は、各画素列について画像
の左上隅の画素から始め右下隅の画素で終わるように、
上から下の順に左から右へスキャンすることにより位置
が突き止められる。以下で説明される色類似性試験は、
境界画素の検出に用いられる。

【００１８】境界画素が検出されるとすぐに、以下で説
明されるように連結構成要素解析３２０が実行される。
連結構成要素解析は、さらなる境界画素が色類似性試験
をパスし、かつしきい値Ｔ₂（Ｔ₂＜Ｔ₁）より大きい強
度を有している限り、境界画素に連結したさらなる境界
画素を受け入れる。このステップは、ピクセル・バイ・
ピクセル(画素毎)領域成長と呼ばれ得る。

【００１９】境界画素の検出および連結すなわち領域成
長が繰り返し続き、各画像のすべての画素について、１
つ以上の連結領域（ＣＲ）３２１を生成する。各連結領
域は、他の領域から分離されている。各連結領域は、潜
在的なバッジ境界である。

【００２０】各画像中の画素のスキャン、検出、および
連結の繰り返しの間、すでに境界画素と認識された画素
すなわち連結領域内の画素はスキップされる。

【００２１】連結構成要素解析の欠くことのできない部
分は、連結した境界画素のすぐ外側および内側の画素の
「マーキング」である。これらの画素は、色類似性試験
または強度値試験に落ちたか、あるいは画像の最端部に
ある。これらの画素は、ドーナツの内側および外側の境
界のように、内側および外側の境界を決定する。境界お
よび連結画素は以下の方法でさらに処理される。

【００２２】その外側境界に違いない単一の境界を有す
る境界画素の連結領域にはもはや関心はなく無視され
る。なぜなら、「穴」が全くないからである。複数の境
界を有する連結領域は、内部の非領域「穴」を囲んでい
るにちがいなく、次段落で説明されるようにさらに処理
を受ける。

【００２３】境界画素をその全長に渡ってたどるために
任意のルールが定義され、例えば、内側および外側の境
界は、関連する連結境界領域が前方方向の左側にあるよ
うに、常にたどられる。境界は、任意の開始点から始め
てたどられ、開始点からの前方方向の変化を表す積分値
は保持される。処理が境界チェーンの開始点へ戻るころ
までには、積分値は、境界が連結画素の領域の内側の境
界か外側の境界かによって、２πラジアンまたは−２π
ラジアンになるであろう。従って、内側境界に対応する
境界は区別でき、これらは以下の楕円適合段階に渡され
る。

【００２４】色類似性試験 上記で用いられた色類似性試験により、ＲＧＢ値Ｃｐ＝
（Ｒｐ，Ｇｐ，Ｂｐ）を有する画像中の画素が、ＲＧＢ
値Ｃｔ＝（Ｒｔ，Ｇｔ，Ｂｔ）を有する目標色に類似す
るかどうかが測定される。境界のための目標境界色は白
が選択される。この試験は照明の変化に対してある程度
不変である。単位３ベクトルｃｐ＝Ｃｐ／ｍａｇ（Ｃ
ｐ）が画素色について計算される。式中、ｍａｇ（Ｃ
ｐ）はＣｐの大きさである。同様に、単位３ベクトルｃ
ｔ＝Ｃｔ／ｍａｇ（Ｃｔ）が目標色について計算され
る。ドット積Ｄ＝ｃｐ・ｃｔが計算される。もしドット
積Ｄがしきい値τを超えるときは、色Ｃｐは目標境界色
Ｃｔに類似するものとして受け入れられる。

【００２５】領域境界への楕円の適合 受け入れられた各内側境界について、例えば、Fitzgibb
onの楕円適合法およびＲＡＮＳＡＣアルゴリズム（Fitz
gibbon et al. in "Ellipse Fitting: DirectLeast Squ
are Fitting Of Ellipses," IEEE Trans. PAMI, Vol.2
1, No 5, May 1999, Fischler et al. "RANSAC: Rando
m Sample Consensus: a paradigm for model fitting w
ith application to image analysis and automated ca
rtography," Commun. Assoc. Comp. Mach., Vol 24, 19
81を参照）を用いて楕円ε３３１がチェーンに適合３３
０される。

【００２６】各内側境界について、ＲＡＮＳＡＣアルゴ
リズムは複数の起こりうる楕円解を生成し、その各々が
どれほどうまく適合するかに従ってスコアが記録され
る。最も高スコアの楕円が、特定の結合チェーンに最も
適合するものとして保持される。

【００２７】連続画像中のいかなる画像３０１中のいか
なるバッジ２００も、遠近法的歪みを受けている可能性
がある。例えば、円形バッジは、これがカメラに関して
正面位置から傾いている場合には、透視投影下では楕円
に見えるであろう。従って、アフィン変換が楕円中の画
素に適用される。言い換えると、アフィン変換は、画像
の内側画素を歪ませ、それによってそれらが再び円形を
有するようになる。従って本発明では、バッジとカメラ
との間での垂直方向の位置付けを必要としない。

【００２８】バッジの内側セグメントへの「スポーク」
の適合 ステップ３４０では、以下のようにスポーク３４１を適
合させることにより、各バッジの境界内の色セグメント
が識別される。最初に、アフィン変換を用いて、バッジ
の標準形、言い換えるとセグメントを有する円形バッ
ジ、を各楕円３３１にマッピングする。この変換は、対
応する楕円内の各バッジセグメントの位置を定義する。
しかしながら、この変換はバッジの未知の回転までにつ
いてのみ既知である。すなわち、画像データを楕円中に
適合させるための、バッジ「スポーク」つまりセグメン
ト境界の正確な回転は、当初わかっていないということ
である。

【００２９】次に、測度(measure)Ｍが定義される。測
度Ｍはバッジの個々のセグメントについて決定される。
測度Ｍは、セグメント中の多くの画素が類似した色であ
る場合には値が比較的低く、セグメント中の画素が異な
る色の場合には、値が比較的高い。

【００３０】次に、各セグメントについてＭが測定さ
れ、全セグメントのＭの合計は、Ｍｓｕｍとして保存さ
れる。測度は以下で定義される。

【００３１】未知の回転量を説明するため、新たなアフ
ィン変換が定義され、これもバッジの標準形を楕円にマ
ッピングするが、スポークの回転が異なる。再度、Ｍｓ
ｕｍが決定される。

【００３２】これはスポークのすべての可能な回転につ
いて繰り返される。例えば、この工程は、完全な１回転
について１０度間隔で３６回繰り返し得る。Ｍｓｕｍの
最小値を与える回転は、各セグメントの内側部分が類似
色の画素から成っていることを保証する観点から、バッ
ジの標準形と楕円との間の最良のマッピングを決定す
る。このように、バッジのスポークは、観察された画像
データに適合される。

【００３３】測度Ｍの定義 特定の楕円を有するバッジセグメントの整列を仮定すれ
ば、楕円内の画素は、最初に、バッジの各セグメントご
とに１グループとしてグループ化される。これらのグル
ープ、すなわちクラスターは次に、これらのクラスター
の中心と共に、ＲＧＢ空間において近い画素のクラスタ
ーを識別するためにＫ−Ｍｅｄｏｉｄクラスタリング(K
-Medoid clustering)を受ける。

【００３４】次に、バッジのセグメントｊについてすべ
ての画素Ｐｊを取る。計算された各クラスター中心につ
いて、その中心からの全画素Ｐｊの総距離を求める。す
べてのクラスター中心について、ＰＭＩＮｊと呼ばれ
る、この距離の最小値を見出す。すべてのバッジセグメ
ントについてＰＭＩＮｊの合計を取る。これが測度Ｍで
ある。

【００３５】カラーコーディングの識別 ステップ３４０のスポーク適合は、バッジ中の着色セグ
メントの相対的位置からカラーコーディング（ＩＤ）３
０９を識別３５０するために用いられる。各セグメント
について、そのセグメント中の画素のＲＧＢ値を取り、
メドイド(medoid)(ｎ次元測定値の中央値であって、こ
の場合は３次元ＲＧＢ値）を求める。強度が最も低いメ
ドイドは、黒い「キー」セグメント２０３を決定する。
他のすべてのセグメントのメドイドは、あり得るすべて
のバッジの色について事前に保存されている色値と比較
され、最もよく一致したものが各セグメントの色を決定
する。種々のセグメントの色が決定された後に、バッジ
に関連付けられた一意な識別が着色セグメントの配置に
より決定される。

【００３６】システム３００は、種々のカメラの使用、
および種々の照明条件下におけるバッジ色の外観変化に
対して強い。このシステムは、画像中のバッジ直径が約
１５画素に減少するまで作動し続ける。このことは、２
４０×２４０画素の画像を捕らえる平均的なカメラを仮
定すると、直径約１２ｃｍのバッジをカメラから約３メ
ートルの距離までで検出できることを意味する。その範
囲は、より大きいバッジまたはより高解像度のカメラに
より増大する。

【００３７】適用 ここで説明されたカラーコーディングされたバッジの識
別には、多様な用途がある。

【００３８】バッジは、屋内または屋外での人々の追跡
に用い得る。例えば、人が建物へ入る際、その人に一意
なカラーコーディングを有するバッジを割り当て得る。
種々の入口または種々の部屋に設置されたカメラは、人
が入口を通る際、または部屋へ入る際にこれを検出し、
この情報をデータベースに記録し得る。本発明は、いか
なるカメラもバッジに向ける必要がないことに留意すべ
きである。バッジが場面に入るとすぐ、システムはバッ
ジを自動的に検出する。

【００３９】多くの団体には、会議および展示会におけ
る多くの個人との定期的な集まりがあり、そこでは会員
企業によって製品が販売または展示される。そのような
会議は、多くの会社にとり重要なマーケティング手段で
ある。これらおよびその他の集まりへの出席者は合計数
千人にもなることがあり、会議のスポンサーおよび参加
企業は、出席者に関する詳細な情報を入手することを望
む。従って、出席者の氏名、社名および住所、ならびに
目視で容易に読み取れる情報および／またはコンピュー
タ操作される機器で容易にスキャンまたは読み取りでき
る情報を識別バッジが含むことが、しばしば必要とされ
る。例えば、本発明のシステムは、どの個人が会議のど
のエリアを訪れているかを追跡することができ、さらに
はバッジが現れた連続画像の数をカウントすることによ
り、その個人が特定の場所にどのくらいの時間とどまっ
ているのかさえも追跡できる。このシステムは、個人が
種々の場所を訪れた順序も知ることができる。

【００４０】バッジは、着用者の欲求または好みに関す
る情報を表すことができ、それにより自動的なリアルタ
イム対話システムがバッジ着用者を支援し得る。例え
ば、スポーツスタジアムまたは劇場に到着する人に、カ
ラーコーディングでその人の座席を示すバッジが渡され
る。様々な入口および公共の通過エリアでのカメラを利
用するこのシステムは着用者を観察し、対話的に、例え
ばディスプレイまたはスピーカー１０５を介した音声案
内により、着用者を割り当てられた座席エリアへ案内す
る。同様に、旅行者は正しいバスライン、列車のプラッ
トホーム、または上陸ゲートへ案内され得る。

【００４１】バッジは、物品の位置の記録にも用い得
る。例えば、自動車が多層階式駐車場に入る際に、カラ
ーコーディングしたバッジを車の屋根に取り付け得る。
天井の高架式カメラが自動車の最終的な駐車位置を記録
する。ドライバーは、車を離れる際にそのバッジを屋根
から取る。ドライバーが駐車場へ戻り、対話システムに
バッジを提示すると、ドライバーは本来の駐車スペース
にある自動車まで自動的に案内される。

【００４２】物品の位置の追跡を容易にするためにバッ
ジを物品に取り付けることもできる。バッジは、不規則
に動き、追跡しづらい物品の追跡に用い得る。見る人に
は、物品の不規則な動きが自動的にキャンセルされた安
定した光景が与えられる。

【００４３】バッジが人または物品の同一性(識別)を記
号化する適用分野の支援において、現在活動中のバッジ
のカラーコーディングのデータベースを維持することが
望まれる。例えば、ある人物が建物に入り、一意的なバ
ッジを割り当てられると、そのバッジはデータベース中
に活動中として登録される。その人物が建物を出て、バ
ッジを返却すると、そのバッジはデータベースから自動
的に除去される。これにより、無効または偽造バッジの
自動チェックが可能になる。

【００４４】バッジを付けた人々／物品の画像を観察者
がリアルタイムで見ているような適用分野への支援にお
いては、より意味のある形でバッジのカラーコーディン
グについての情報を提供するため、画像を合成的にオー
バーレイすることがより望ましい。例えば、建物内の人
々を観察しているシステムでは、バッジの元の見え方
を、それが観察者に対して表示される際に、「スタッ
フ」または「ビジター」という単語の上張りで取り替え
るようにできる。

【００４５】これまで本発明のいくつかの実施の形態お
よびいくつかの変更態様ならびにそれらの変化について
説明してきたが、上記は単に例示のためのものであって
限定するものではなく、例としてのみ提示されたもので
あることは、当業者にとり明白なことは当然である。多
くの変更態様およびその他の実施の形態は、当分野の通
常技術の１つの範疇にあるものであり、添付の特許請求
の範囲およびその同等物に定義される範囲に入るものと
予測される。

【図面の簡単な説明】

【図１】 本発明によるバッジ識別システムのブロック
図である。

【図２】 図１のシステムで用いられるバッジである。

【図３】 図２のバッジを識別するために図１のシステ
ムで用いられる方法のフローチャートである。

フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ．Ｓ．Ａ. Ｆターム(参考） 5C054 AA01 CC02 CH01 CH08 EA01 FC08 FC12 HA00 5L096 AA02 BA02 CA02 EA07 FA15 HA09 JA11

Claims (9)

【特許請求の範囲】
1. 【請求項１】 各画像が多数の画素を含み各画素は色お
   よび強度を有する、カメラにより取得された場面の連続
   画像中でバッジを動的に識別するための方法であって、 バッジの境界を検出し、 楕円を前記境界に適合させ、 前記楕円内部の画素を円形に歪ませ、 前記歪まされた画素から着色セグメントを識別し、 前記着色セグメントに従って、一意な同一性を各バッジ
   に関連付ける、 ことからなるバッジ識別方法。
2. 【請求項２】 境界画素は境界色および第１のしきい値
   より大きい強度を有しており、かつ隣接画素は境界色お
   よび第２のしきい値より大きい強度を有しており、前記
   第１のしきい値は前記第２のしきい値よりも大きい請求
   項１に記載の方法。
3. 【請求項３】 各画像の画素を左から右および上から下
   への順でスキャンすることをさらに含む請求項１に記載
   の方法。
4. 【請求項４】 内側境界を検出するために前方向および
   左方向に連結領域中の画素をたどることをさらに含む請
   求項１に記載の方法。
5. 【請求項５】 各画像の各画素が色値Ｃｐ＝（Ｒｐ，Ｇ
   ｐ，Ｂｐ）を有し、かつ境界色がＣｔ＝（Ｒｔ，Ｇｔ，
   Ｂｔ）であって、 単位３ベクトルｃｐ＝Ｃｐ／ｍａｇ（Ｃｐ）を求め（式
   中、ｍａｇ（Ｃｐ）はＣｐの大きさ）、 境界色の単位３ベクトルｃｔ＝Ｃｔ／ｍａｇ（Ｃｔ）を
   求め、さらに 特定の画素が境界色を有するかどうかを判定するため、
   ドット積Ｄ＝ｃｐ・ｃｔがしきい値τより大きいかどう
   かを測定する、 ことをさらに含む請求項２に記載の方法。
6. 【請求項６】 複数のカメラが同時に複数の場面の複数
   の連続画像を取得し、 複数の場面の中でバッジを追跡することをさらに含む請
   求項１に記載の方法。
7. 【請求項７】 場面中のバッジの位置に応じて、出力を
   介してフィードバックを提供することをさらに含む請求
   項６に記載の方法。
8. 【請求項８】 バッジが個人に取り付けられる請求項１
   に記載の方法。
9. 【請求項９】 場面中で、複数のバッジが同時かつ動的
   に識別される請求項１に記載の方法。