JP2006323511A - 記号認識方法及び装置 - Google Patents

Abstract

【課題】電子化された図面画像からの記号認識を、ユーザーが任意に登録した記号で高速かつ高精度に行う。
【解決手段】紙図面を図面画像入力装置から読み込み、図面画像記憶装置４に格納する。あらかじめ与えられた記号ベクトルデータベース２から、ユーザーが認識したい記号を記号ベクトル装置５に格納する。次に、特徴点照合手段７でベクトル記号の特徴点を抽出し、図面画像と特徴点を照合して、記号の位置、向きおよび大きさを含む記号データを候補として特定し、記号データ記憶措置８に格納する。また、認識したいベクトル記号をラスタ変換手段９で記号画像に変換し、記号画像記憶装置６に格納する。特徴量照合手段１０は、記号画像記憶装置６に格納された記号画像から特徴量を抽出し、図面画像記憶装置４に格納された図面画像内で、記号データ記憶装置８に格納された記号データによって特定される範囲における特徴量と照合し、記号を認識する。
【選択図】図１

Description

本発明は、電子化された図面画像を自動的にＣＡＤデータ化する技術に関する。

データベース高度利用技術の進展に伴い、紙図面または電子化された図面画像をＣＡＤデータ化するニーズが顕在化している。例えば、プラントや上下水道の配管図面は紙で保存されているものも多く、これらのＣＡＤデータ化作業は、そのほとんどが人手によって実施されているが、作業が煩雑なために多くの時間と費用が必要となっている。コンピュータによる自動認識により線や記号を抽出できればＣＡＤデータ化作業を大幅に効率化できる。

図面のＣＡＤデータ化は自動的に線図化するソフトが市販されている。このソフトは地形図や配管などを区別せず一律に線図へと変換するので、配管などの意味を持ったデータとして活用することはできない。例えば、配管としての意味を持ったデータとして認識するためには、線だけでなく、記号を認識することが必要である。記号は、図面内任意の位置に存在し、任意の方向を向き、手書き図面などの場合は大きさも異なる。さらにプラントの種類や自治体によって記号の種類が異なるので、未対応の記号があればそのたびに認識手順をプログラムしなければならない。

このような問題に対し、ユーザーによる記号登録を可能にする方法が提案されている。特許文献１では、ベクトル化された記号から特徴量を抽出して登録しておき、他のベクトルと特徴量を比較することで記号を認識している。しかし、ベクトルの特徴量であるベクトルの数、ベクトルの長さ、交点の数などは、記号が他の図形と重なっていると大きく変化するので、他の図形と重なりの多い図面に適用しても十分な精度が得られない。

特許文献２では、ラスタ図面上にある記号をユーザーが指定して登録する方法が提案されている。この方法はラスタを直接用いるのではなく、ラスタをもとに抽出した輪郭線などの特徴量を照合して記号を認識する。輪郭線などの特徴量は図形が重なっていると大きく変化するので、認識対象は孤立した記号に限定される。

一方、記号のラスタとラスタ図面とを直接照合する方法は、認識の基本的な手法であり、図形の重なりによる影響は小さい。しかし、計算量が膨大であり、大きさや向きが異なればさらに照合のパターンを増やさないとならないため、図面のような広域の画像に適用することは現実的でない。

特開平６−３４８８４９号公報 特開平８−２７２９７２号公報

記号の認識において、あらかじめ登録された記号であれば最適な認識手順によるプログラムにより高速かつ高精度で認識することは可能である。しかし、ユーザーが登録する任意の形状の記号については、ベクトルを用いれば高速で形状の変化に強いが重なりなどのノイズに弱く、ラスタを用いればノイズには強いが、形状の変化があれば計算量が膨大になるという問題があった。

本発明の目的は、上記従来技術の問題点に鑑み、ユーザーが任意に登録した記号を高速かつ高精度に認識する方法及び装置を提供することにある。

上記目的を達成するために本発明は、電子化された図面画像の中の記号を認識する方法において、あらかじめ与えられた形状を表す記号ベクトルから、認識したい記号の特徴点を抽出し、前記図面画像と前記特徴点を照合して、記号の位置、向きおよび大きさを含む記号データを候補として特定し、前記記号ベクトルに対応する記号画像を与えられ、該記号画像の特徴量と前記図面画像内で前記記号データによって特定される範囲における特徴量とを照合して記号を認識することを特徴としている。

また、上述した本発明において、前記特徴点は前記記号ベクトルの端点、交点およびベクトル線上の点であることを徴としている。

また、上述した本発明において、前記特徴量は輝度、濃淡、局所的な形状特徴および画像間の類似度であることを特徴としている。

上記目的を達成するために本発明は、図面画像を入力する図面画像入力装置と、記号の形状を記述する記号ベクトルを与える記号ベクトルデータベースと、記号の画像を与える記号画像データベースと、前記図面画像を記憶する図面画像記憶装置と、前記記号ベクトルを記憶する記号ベクトル記憶装置と、前記記号画像を記憶する記号画像記憶装置と、前記記号ベクトルから特徴点を抽出して前記図面画像と照合する特徴点照合手段と、照合した結果の記号の位置、向きおよび大きさを含む記号データを記憶する記号データ記憶装置と、前記記号ベクトルから前記記号画像を作成するラスタ変換手段と、前記記号画像から特徴量を抽出して前記図面画像内で前記記号データによって特定される範囲における特徴量と照合する特徴量照合手段と、前記記号データを出力する記号データ出力装置を備えたことを特徴とする記号認識装置である。

また、本発明は、図面画像から記号データを取り込むＣＡＤ装置において、前記記号認識装置を用いて、前記図面画像から作成した記号データを取り込む機能を有することを特徴としている。

本発明により、ユーザーが任意に登録した記号の認識において、記号ベクトルから記号画像を作成して照合することで、高速かつ高精度な認識が可能になる。

本発明の実施の形態について、以下、図を参照して説明する。

図１は本発明の一実施形態である記号認識装置の全体構成を示す機能ブロック図である。図面画像入力装置１は、スキャナやカメラなどの装置で、紙などに描かれた図面を読み取り、コンピュータに電子化された画像データとして入力する。あるいは、既に電子化されている画像データを入力してもよい。さらに、望ましくは０または１で表される２値化された画像に変換する機能、ノイズ除去、傾き補正などの処理を行う機能を有する。

記号ベクトルデータベース２はユーザーが認識したい記号を登録するもので、記号の形状を記述するベクトルデータが格納されている。

図２に記号ベクトルデータの例を示す。（ａ）は弁、（ｂ）はメータの例で、記号の形状を記述するベクトルは主に線分と円で構成される。

図３に記号ベクトルによって表される弁およびメータの記号を示す。弁は４つの線分から構成され、それぞれの線分は始点（x1, y1）と終点（x2, y2）の座標で表すことができる。メータは２つの円から構成され、それぞれの円は中心座標（x, y）と半径ｒによって表すことができる。

この例では、座標は縦横方向に−0.5〜0.5の範囲を基準として記述され、基準となる長さ１．０に対する図面上のドット単位での大きさが与えられる。また、図面上での記号の向きが与えられる。なお、線分と円を組み合わせた図形も同様の方法で記述することができる。

記号画像データベース３には、記号画像が格納されている。記号画像はビットマップなどの画像ファイルとして与えられる。図４に記号画像データベースの一例を示す。図３の弁及びメータに対応する画像データである。

図面画像記憶装置４は、コンピュータのメモリ（ＲＡＭ）内に存在し、図面画像入力装置１により入力された図面画像が格納されている。記号ベクトル記憶装置５は、コンピュータのメモリ内に存在し、記号ベクトルデータベース２から入力された記号ベクトルが格納されている。記号画像記憶装置６は、コンピュータのメモリ内に存在し、記号画像データベース３やラスタ変換手段９から入力された記号画像が格納されている。

特徴点照合手段７は、記号ベクトル記憶装置５に格納された記号ベクトルから記号の端点、交点およびベクトル線上の点を特徴点として抽出し、特徴点の位置関係を図面画像記憶装置４に格納された図面画像と照合して記号の存在する位置を候補として特定するためのプログラムである。コンピュータのＣＰＵによって実行され、得られた結果は記号データ記憶装置８に格納される。

記号データ記憶装置８は、コンピュータのメモリ内に存在し、図面内にある記号の認識結果である記号データが格納されている。

図５に記号データ記憶装置に格納される記号データの例を示す。記号にはそれぞれ管理用の番号、記号の種類を表す番号、位置を表す座標（x, y）、向き、大きさおよび認識信頼度が与えられる。認識信頼度は、認識した記号がどの程度確からしいかを表す目安の量で、大きいほど信頼度は高い。

ラスタ変換手段９は、記号ベクトル記憶装置５に格納された記号ベクトルから記号画像を作成するためのプログラムで、ＣＰＵによって実行される。得られた記号画像は記号画像記憶装置６に格納される。

特徴量照合手段１０は、記号画像記憶装置６に格納された記号画像から特徴量を抽出し、図面画像記憶装置４に格納された図面画像内で、記号データ記憶装置８に格納された記号データによって特定される範囲における特徴量と照合して記号の認識信頼度を計算する。コンピュータのＣＰＵによって実行されるプログラムで、得られた結果により、記号データ記憶装置８に格納された記号データが更新される。

記号画像作成手段１１は、図面画像記憶装置４に格納された図面画像内で、記号データ記憶装置８に格納された記号データによって特定される範囲の画像を切り出すためのプログラムで、コンピュータのＣＰＵによって実行される。得られた記号画像はビットマップなどの形式で記号画像データベース３に出力される。

記号データ出力装置１２では、記号データ記憶装置８に格納された記号データをディスプレイに表示する。または、ＣＡＤデータなどのデータファイルとしてＣＡＤ装置１３へ出力する。

図７は本発明の一実施形態である記号認識方法の実施手順を示すフローチャートである。まず、ステップ１０１では図面画像入力装置１であるスキャナなどにより画像データとして入力された図面画像を読み込み、図面画像記憶装置に格納される。一般的に図面はモノクロで、白い点を０、黒い点を１として入力されるが、カラー画像でもよい。

ステップ１０２では、記号ベクトルデータベース２から記号ベクトルを入力する。記号ベクトルは記号ベクトル記憶装置５に格納される。

ステップ１０３では、記号画像データベース３から記号画像を入力する。記号画像は記号画像記憶装置６に格納される。なお、登録した記号を初めて認識する場合など、記号画像が存在しない場合には省略してよい。

ステップ１０４では、記号ベクトルから特徴点を抽出する。記号ベクトルの端点、交点あるいはベクトル線上の任意の点などを特徴点とすればよい。端点はベクトルの始点および終点であり、交点は２つのベクトルの交点として計算できる。例えば、図２の弁の記号ベクトルからは、端点（0.5,0.3），（0.5,−0.3），（−0.5,0.3），（−0.5,−0.3）および交点（0.0,0.0）を特徴点として抽出する。また、図２のメータの記号ベクトルからは、円の線上の点（0.5,0.0），（−0.5,0.0），（0.0,0.5），（0.0,−0.5），（0.3,0.0），（−0.3,0.0），（0.0,0.3），（0.0,−0.3）を特徴点として抽出する。

ステップ１０５では、図面画像と特徴点を照合して、記号が存在する可能性のある位置、向きおよび角度を記号データに登録する（ステップ１０６）。

図８にステップ１０５における特徴点の照合についての詳細なフローチャートを示す。まずステップ２０１では、図面画像内から探索の基準となる座標を選択し、特徴点の図面上での座標を計算する。例えば、図面上の（1000,1000）を探索点とし、図２の弁で向きが０度、大きさが100の場合、端点（1050,1030），（1050,970），（950,1030），（950,970）および交点（1000,1000）が特徴点に対応する図面上の点である。

ステップ２０２では、これらの図面上の特徴点と図面画像が一致している数を計算する。一般的に、図面画像の記述された（黒い）部分の画素は１であるので、例えば弁の場合、図面上の５つの特徴点に対応する画素が１である数を数える。記号の向きおよび大きさに範囲がある場合にはその値を変化させて繰り返す。この一致数がしきい値未満であればその探索座標での探索は終了し、探索座標を移動する（ステップ２０３、２０４）。

しきい値は図面の種類や程度によって異なるが、例えば弁の場合、４点と設定する。特徴点の照合のための計算量はわずかであるが、図面上の多くの探索座標では特徴点が一致せず、それ以上の照合を省くことができるので計算量を大幅に減らすことができる。

特徴点の一致数がしきい値以上であれば、ステップ２０５で特徴点を結ぶベクトル線上で図面と一致する点の数を数える。この数がしきい値未満であればその探索座標での探索は終了し、探索座標を移動する（ステップ２０６、２０４）。しきい値はベクトル線上で数える点の数によって異なるが、例えば弁の場合、各ベクトル上で１０点ずつを対象とすれば、全部で４０点を数え、しきい値を３６点と設定する。

ベクトル線上の一致する点の数がしきい値以上であれば、ステップ２０７で記号の種類、位置、向きおよび大きさを記号データに登録する。これを図面全領域において繰り返す（ステップ２０８）。以上の手順により、記号の候補を特定することができる。

図６に、記号データ記憶装置に格納される記号候補の記号データの例を示す。認識信頼度は仮に０としてあり、記号の存在する座標と大きさと向きが与えられる。例えば、６〜８番目の記号は同じ位置に重複しているが、この段階では候補であるので問題ない。

本発明の特徴点照合による記号の探索は、特徴点の照合と、特徴点が一致した場合にベクトル線上の点の照合を実施するのみであるので、ラスタによる照合方法に比べて短時間で終了する。

例えば、１０００×１０００の図面に対し、１００×１００のサイズの弁を照合する場合、ラスタを用いると単純計算で1000×1000×100×100＝10,000,000,000回の演算が必要である。一方、特徴点の照合の場合、各ベクトル線上で10点照合しても1000×1000×4×10＝40,000,000回と大幅に少ない。また、ベクトル線上のみをラスタと照合するので、記号が他の図形などと重なっていてもその影響を受けることがない。

しかし、ベクトル線上以外の部分は考慮しないので、記号の形状を含んだ図形はすべて候補となる。例えば、黒で塗りつぶされた領域があれば、ベクトル線上の座標はすべて黒であるので、記号の候補となり得る。この問題を解決するために、次に記号画像を用いた照合を実施する。

図７のステップ１０７では、記号画像が存在するかを調べる。記号画像がステップ１０３で入力されていれば問題ない。記号画像がない場合には、ステップ１０８でラスタ変換手段９により記号画像を作成する。

図９に記号画像作成の詳細なフローチャートを示す。まず、ステップ３０１では、すべての画素が０（白い点）である画像データを作成する。画像は記号を描画するのに適度な大きさに設定する。たとえば記号の大きさの２倍程度の大きさがあればよい。ステップ３０２では、記号ベクトルの座標と記号データの向きと大きさから、この画像上での座標を計算する。ステップ３０３では、ベクトル線上に位置する座標とその周辺にある画素の値を１（黒い点）にする。この周辺の範囲は、線の太さから決定されるが、線の太さを設定しない場合には、ベクトル線上に位置する画素のみを１にする。ステップ３０３の処理を全てのベクトルについて繰り返すことで（ステップ３０４）、記号の形状を表す記号画像を作成することができる。

図７のステップ１０９では、記号画像から特徴量を抽出し、ステップ１１０では、図面上の記号の位置での特徴量と照合する。この特徴量としては、画像の輝度、濃淡、局所的な形状特徴および画像の類似度などを用いる。

例えば、画像の類似度を用いた場合について説明する。画像の類似度は、２つの画像の各画素の値（０または１）が一致する数を数え、対象となる画素のうち、一致した画素の割合として定義することができる。すなわち、画像が完全に一致すれば類似度100、完全に不一致ならば０である。なお、記号ベクトルは線の太さを定義していないので、ステップ１０８で作成した記号画像は、線の太さは適当な値で作成される。しかし、実際の図面の記号は有限の線の太さを持つために、太さの不一致により類似度が小さくなるのが普通である。したがって、複数の線の太さの記号画像を作成し、それぞれ類似度を計算し、最も高い値を採用すれば、太さによる不一致を回避することができる。

また、例えば、局所的な形状特徴を用いた場合について説明する。図１０に局所的な形状特徴の例を示す。図面上の記号の位置と記号画像について、図に示したような図形要素の数を数えると、その形状によって、各要素の存在する数に特徴が現れる。両者の特徴量の照合としては、各要素の数の差を計算すればよい。

ステップ１１１では特徴量の照合結果をもとに記号の認識信頼度を計算し、記号データに追加する。例えば、画像類似度を用いた場合は画像の類似度を信頼度とすればよく、局所的な形状特徴を用いた場合は、100／（要素数の差＋１）として定義できる。また、信頼度は必ずしも０〜100の値で定義されなくてもよい。

上記例では、記号画像が一つの場合について説明したが、記号画像が複数ある場合には、それぞれ照合して信頼度を計算し、その平均値をとればよい。

ステップ１１２では、認識信頼度がしきい値以上のものを記号として認識し、すべての記号について同様の照合を繰り返す（ステップ１１３）。

図５はこのときの記号データの例を示している。この例では、特徴量照合前の記号データである図７の５〜８番目の記号は認識信頼度が低く、誤認識として削除されている。

ステップ１１４では、認識した記号をディスプレイに表示、あるいはＣＡＤデータなどの形式で出力する。得られた記号認識結果は当然ＣＡＤデータとして活用することができる。また、配管を認識するために必要な記号であれば、配管認識に用いることもできる。

ステップ１１５では、図面画像から認識した記号の範囲を切り出して記号画像として記号画像データベース３に出力する。このとき出力される記号画像は、認識信頼度により選択されてもよい。また、ビットマップなどの形式で出力された画像ファイルは人が閲覧可能であるので、必要なものだけ選択することもできる。出力された記号画像は次回の照合において利用でき、記号画像が適切であれば認識の精度を向上させることも可能である。なお、本発明の主な目的は図面から記号を認識し、その結果を出力することであるので、ステップ１１５を省略してもよい。

以上の手順による特徴量の照合では、ベクトル線上以外に記号内部および外部の濃淡や、他の図形との重なりなども考慮することになるので、記号の形状からの違いが大きければ認識信頼度が低くなり、記号として認識されることはない。したがって、特徴点照合の結果に含まれていると考えられる誤認識の記号を除去することができる。また、記号画像を用いた照合は計算量が多いが、あらかじめ記号の位置、向きおよび大きさについては特定されるので、計算量を大幅に抑えることができる。

本発明においては、記号ベクトルの特徴点を用いて、図面画像から記号の種類、位置、向きおよび大きさを候補として特定し、記号ベクトルから記号画像を作成し、図面画像内で上記候補における特徴量と記号画像の特徴量を比較する。これによりユーザーが登録した記号を認識することができる。認識した記号データはＣＡＤ装置に取り込み、ＣＡＤデータを自動的に生成できるので、データ構築作業を効率化できる。

本発明は、電子化された図面画像からの記号認識において、ユーザーが任意に登録した記号を高速かつ高精度に自動認識することで、ＣＡＤデータの構築を効率化することができる。

本発明の一実施例による記号認識装置の全体構成を示すブロック図。 記号ベクトルのデータ構造を示す説明図。 記号ベクトルから構成される記号形状の説明図。 記号画像の例を示す説明図。 記号データのデータ構造を示す説明図。 処理中の記号データのデータ構造を示す説明図。 本発明の一実施例による記号認識方法の実施手順を示すフローチャート。 特徴点照合の実施手順を示すフローチャート。 記号画像作成の手順を示すフローチャート。 局所的な形状特徴の説明図。

符号の説明

１…図面画像入力装置、２…記号ベクトルデータベース、３…記号画像データベース、４…図面画像記憶装置、５…記号ベクトル記憶装置、６…記号画像記憶装置、７…記号データ記憶装置、８…特徴点照合手段、９…特徴量照合手段、１０…ラスタ変換手段、１１…記号画像作成手段、１２…記号データ出力装置、１３…ＣＡＤ装置。

Claims (7)

1. 電子化された図面画像の中の記号を認識する方法において、
   あらかじめ与えられた形状を表す記号ベクトルから、認識したい記号の特徴点を抽出し、前記図面画像と前記特徴点を照合して、記号の位置、向きおよび大きさを含む記号データを候補として特定し、前記記号ベクトルに対応する記号画像を与えられ、該記号画像の特徴量と前記図面画像内で前記記号データによって特定される範囲における特徴量とを照合して記号を認識することを特徴とする記号認識方法。
2. 請求項１において、前記特徴点は前記記号ベクトルの端点、交点およびベクトル線上の点であることを特徴とする記号認識方法。
3. 請求項１において、前記特徴量は輝度、濃淡、局所的な形状特徴および画像間の類似度であることを特徴とする記号認識方法。
4. 請求項１において、前記記号ベクトルに対応する記号画像は、前記記号ベクトルをラスタ変換して与えられることを特徴とする記号認識方法。
5. 図面画像を入力する図面画像入力装置と、記号の形状を記述する記号ベクトルを与える記号ベクトルデータベースと、記号の画像を与える記号画像データベースと、前記図面画像を記憶する図面画像記憶装置と、前記記号ベクトルを記憶する記号ベクトル記憶装置と、前記記号画像を記憶する記号画像記憶装置と、前記記号ベクトルから特徴点を抽出して前記図面画像と照合する特徴点照合手段と、照合した結果の記号の位置、向きおよび大きさを含む記号データを記憶する記号データ記憶装置と、前記記号ベクトルから前記記号画像を作成するラスタ変換手段と、前記記号画像から特徴量を抽出して前記図面画像内で前記記号データによって特定される範囲における特徴量と照合する特徴量照合手段と、前記記号データを出力する記号データ出力装置を備えたことを特徴とする記号認識装置。
6. 請求項５において、前記図面画像から前記記号画像を作成して前記記号画像データベースに出力する記号画像作成手段を備えたことを特徴とする記号認識装置。
7. 図面画像から記号データを取り込むＣＡＤ装置において、
   請求項５に記載の記号認識装置を用いて、前記図面画像から作成した記号データを取り込む機能を有するＣＡＤ装置。

Images