JP2004259076A - 画像認識方法及び装置 - Google Patents

Abstract

【課題】図の電子的画像データの認識精度を向上させる。
【解決手段】図の電子的画像データから図を構成する文字，線，記号などの各構成要素の情報を部分情報として各抽出部３，４，５で抽出し、抽出した各部分情報間の関係を各構成要素間の位置関係による統計的存在確率を格納した配置知識データベース８から与えられたデータを用いてグループとして認識すべき関係か否かを統合認識部９で判定し、グループとすべき関係度合いが低い場合や機器リスト６のデータとの比較から判定対象の部分情報が図の構成要素でないと判定された場合に、局所認識部１０で局所的に再認識処理を行い、認識結果を更新しては統合認識部９で判定してグループ化して認識すべき関係の部分情報を選別し、その選別結果或いは、前記グループとして認識すべき各部分情報の関係を強制的に外部から修正し、それらの結果を基に配置知識データベース８のデータを更新して認識精度を向上する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、図の電子的情報から図の各構成要素を抽出してグループ化して認識する画像認識方法及び装置に関する。
【０００２】
【従来の技術】
計算機支援による図書管理，知識管理の普及とＣＡＤシステムの適用推進に伴い、過去の設計図面等の紙図面を計算機で活用するためにＣＡＤデータへ変換するニーズが顕在化している。
【０００３】
現在、図面のイメージデータを線図化し、ＣＡＤ化を支援する製品が開発されているが、図面構成要素間の対応関係，説明関係，接続関係を抽出することはできない。
【０００４】
この分野の従来の技術としては文字，記号，線分間の相対的位置関係と登録されている描画規則とを比較し、その知識を用いて認識結果を修正して精度を向上しているものがある（例えば、特許文献１参照）。
【０００５】
【特許文献１】
特開２００１−９２９６７号公報（第４−６頁，第３図，第６図）
【０００６】
【発明が解決しようとする課題】
例えば特許文献１では文字，記号，線分の配置が厳密に決まっている場合には認識精度を向上させることができるが、相対位置がずれた場合や、変化した場合には適用することができない。
【０００７】
一般に、図面内の図を構成する要素である記号，線分とそれを説明する文字との間には近傍に配置されているなどの規則はあるが、図面作成者や、図面の状況によってはその相対的位置関係は常に同じというわけではない。
【０００８】
文字，記号，線分間の対応関係を認識し、ＣＡＤシステム等で利用できる形式に変換できれば、設計を変更するなどの各種エンジニアリング業務の効率を大幅に向上させることができる。
【０００９】
したがって、本発明の目的は、このような相対的位置関係が必ずしも厳密ではない図の各構成要素の対応関係を正しく認識し、それらの関係を利用して認識精度を向上させる方法及び装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために本発明の代表的な方法は、図を構成する各構成要素（以下、単に要素ともいう。）間の関係を、それらの位置関係による存在確率である確率的配置知識を利用して認識する方法である。
【００１１】
又、本発明の代表的な装置構成は、画像を入力する入力装置と、前記入力装置で入力した画像を記憶する画像記憶手段と、画像から線分を認識する線分抽出手段と、画像から文字を認識する文字抽出手段と、画像から記号を認識する記号抽出部と、機器番号，名称等の情報を持つ機器リストと、各認識結果を保存する認識結果記憶手段と、文字，記号，線分の配置知識を統計的な存在確率として与える配置知識データベースと、各認識結果と配置知識データベースで与えられる存在確率を用いて相対的位置関係から図面構成要素のグループ化を行う統合認識手段と、統合認識処理の結果をもとに再度局所的に文字，記号，線分認識を行う局所認識手段と、認識結果を確認，修正するインターフェースを持つ認識結果表示手段と、修正結果を認識結果に反映し、配置知識データベースを更新する機能を持つ認識結果修正手段と、認識結果をデータ等に出力する外部出力装置を備えている。
【００１２】
【発明の実施の形態】
本発明の実施例について、以下、図を参照して説明する。図１は本発明の実施例である画像認識方法及び装置の機能ブロック図を示している。図１で、点線で囲まれた部分はコンピュータであり、且つコンピュータにセットされたプログラムにしたがってコンピュータの内部で処理されて発揮される機能部分である。
【００１３】
入力装置１では紙に書かれた図を読み取り、電子化された画像の情報として画像記憶部２へ入力、あるいは、電子化されている画像の情報（以下、データともいう。）をイメージデータの形式に変換する。また、望ましくは０または１で表される２値化された画像に変換する機能，ノイズ除去，傾き補正などの処理を行う機能を有する。その図には、図を構成する要素として、線分と文字と記号とが含まれている。
【００１４】
画像記憶部２には入力装置１から入力された画像データが格納されている。線分抽出部３では画像記憶部２に格納された画像データ内にある線分のデータを部分情報として認識して抽出し、その部分情報として、線の位置，長さ，太さ，種類（実線，破線等）および画像との類似度などから得られる評価値（認識信頼度）を取得する機能を有する。
【００１５】
文字抽出部４では画像記憶部２に格納された画像データ内にある文字の情報を部分情報として認識して抽出し、その部分情報として、文字の種類，大きさ，位置および評価値を取得可能し、図面に応じた文字種の限定や、辞書等と認識結果を比較して結果を修正する機能を有する。
【００１６】
記号抽出部５では画像記憶部２に格納された画像データ内にある記号の情報を部分情報として認識して抽出し、その部分情報として、記号の種類，大きさ，位置および評価値を取得する機能を有する。
【００１７】
機器リスト６には、少なくとも図に表示された機器の、名称，種類，形状等のデータが格納されている。したがって機器リスト６とは、そのようなデータが記憶されていて、コンピュータで読み書きできるデータベースである。
【００１８】
認識結果記憶部７には、上述の図の構成要素（文字，記号，線分）の認識結果が、ＩＤ番号，座標，種類などのデータとして格納されている。
【００１９】
コンピュータで読み書きできる配置知識データベース８には図面構成要素間の対応関係およびそれらの相対的位置関係に関して、ある構成要素から見た相手の構成要素が存在する場所を確率分布関数あるいは分布確率を表すマップとして格納されている。
【００２０】
統合認識部９では、認識結果記憶部７と配置知識データベース８から図面構成要素間の対応関係について、それぞれの分布確率の積などにより評価値を計算し、それをもとに図面構成要素のグループ化を行う。また、必要に応じて図面構成要素の位置関係から局所的に線分，文字，記号認識を行う位置または領域を指定する。
【００２１】
局所認識部１０では統合認識部９により指定された位置または領域で、再度局所的に線分，文字，記号認識を行う。
【００２２】
認識結果表示部１１は、認識結果記憶部７に格納された図面構成要素と、各認識での評価値がしきい値以下で未認識となった図形を区別して、あるいは同時にディスプレイ等に表示する。また、インターフェースにより認識結果を確認，修正する機能と、認識できなかった部分を人手による構成要素等の追加により完成させる機能を併せ持つ。
【００２３】
認識結果修正部１２は、統合認識部９，局所認識部１０および認識結果表示部１１で修正された認識結果により認識結果記憶部７を更新する。また、新たに得られた配置知識を配置知識データベース８に反映させる機能を有する。
【００２４】
外部出力装置１３では認識結果を紙面やＣＡＤデータ等に出力する。
【００２５】
図２は本発明の実施例の全体のフローチャートである。まず、ステップ１００にて図面画像を入力装置１で読込む。次に、ステップ１０１で入力した画像内にある記号を記号抽出部５により抽出する。記号の種類，大きさ，位置および認識評価値が得られ、認識結果記憶部７に格納される。ここでは認識結果を機器リスト６と比較し、両者の類似度と認識評価値をもとに認識結果を修正，補完することができる。
【００２６】
ステップ１０２では認識結果はインターフェース上で人手による確認，修正が可能である。あるいは、自動で連続処理をする場合には省略してもよい。ステップ１０３では、入力した画像内にある線分を線分抽出部３により抽出する。線分の種類，長さ，太さ，位置および認識評価値が得られ、認識結果記憶部７に格納される。ステップ１０４でもステップ１０２同様、認識結果はインターフェース上で人手による確認，修正が可能であるし、省略してもよい。
【００２７】
次にステップ１０５にて、入力した画像内にある文字を文字抽出部４により抽出する。文字の内容，大きさ，位置および認識評価値が得られ、認識結果記憶部７に格納される。この際、機器リスト６の内容を参照し、認識結果を修正，補完することができる。
【００２８】
ステップ１０６では、認識結果をインターフェース上で人手による確認，修正が可能であるし、省略してもよい。ここで、記号抽出，線分抽出，文字抽出の実行は必ずしもこの順番に限定する必要はないが、それぞれの認識ごとに、既に認識した構成要素を消去することにより、他の認識の誤認識を低減し、精度を向上することができる。例えば、文字認識では線分を「１」や「一」と誤認識してしまうことがあるので、先に線分を認識して消去することで、文字の認識精度が向上することがわかっている。
【００２９】
これら記号，線分，文字の認識後にステップ１０７では統合認識部９により図面構成要素の間に対応関係が存在するかどうかを判定する。前述の各認識と同様、認識結果はインターフェース上で人手による確認，修正が可能で、この結果をもとに配置知識の修正が必要な場合には（ステップ１０９）、ステップ１１０で配置知識データベースあるいは機器リストの更新を行い、認識精度向上を図る。このようにして得られた最終結果をステップ１１１でディスプレイに表示し、
ＣＡＤデータ等に出力する。
【００３０】
認識結果の確認，修正を行うインターフェースに関して、認識結果表示部１１は図面構成要素の認識結果と未認識図形および認識対象図面をディスプレイ等に表示する。人手による確認，修正作業がしやすいように、例えば図３に示すように、種類ごとに色または層を区別し、元画像と重ねて表示する機能を有する。また、図４に示すように元画像と認識結果を並べて表示し、両者を連動させてスクロールさせる機能を有する。
【００３１】
さらには図５のように、各認識結果の評価値に応じて修正すべき図面構成要素およびその修正候補に優先順位をつけて順に表示させ、修正作業を効率化する機能を有する。この際、望ましくは修正する構成要素の次の候補を、評価値をもとに優先度をつけて色による区別や強調表示する機能を有する。また、人手による修正の際の入力ミスを防ぐため、人手による追加，修正，削除部分についても、その結果と図面との類似度を判定し妥当性を評価する。このような編集作業は各認識を行うたびに対話型で行うこともでき、途中の認識結果を修正することで、次の認識の精度を高め、全体の認識率を向上させることができる。
【００３２】
図６は統合認識処理の詳細を示したフローチャートである。統合認識部９では認識した図面構成要素の間に、弁記号の番号を示す文字，弁記号に接続された配管を示す線分，配管番号を示す文字などといった対応関係を認識する。また、この統合認識では、各図面構成要素について、その一部あるいは全部を、画像からの認識によらない、予め与えられたデータを用いても差し支えない。まず、ステップ２００では、各図面構成要素に対し、配置知識データベース８から構成要素間の相対的位置関係に関して存在確率が与えられる。
【００３３】
例えば、図７の弁記号を説明する文字「Ｆ００１」は一般に弁の近傍に示されている。しかし、同時に他の弁を説明する文字である「Ｆ００２」も比較的近傍に存在している。ここで、弁から見て相対位置が近い場所に文字が存在するという条件で文字の存在確率を与えると、例えば、図８のように表すことができる。ここで行列の中心（０，０）が弁の中心位置に相当し、各座標は、弁を中心に見た図面の画素あるいは領域に相当する。また確率は最大の値を１．０ として定義した。図８中の太線で囲まれた領域が図７の円に相当し、円内部の各座標で文字が存在する確率は１．０であり、円の外では０．０である。この円の形状，大きさ等は実際の図面のルールにより設定する。文字から見た記号の存在確率も同様に与えると、弁から見た「Ｆ００１」の位置（０，−１）での文字存在確率は１．０ 、「Ｆ００２」の位置（２，−２）での文字存在確率は０．０ であり、逆に「Ｆ００１」，「Ｆ００２」から見た弁の位置での記号存在確率はそれぞれ１．０，０．０ である。
【００３４】
この存在確率から、記号と文字間の対応関係を表す評価値をステップ２０１にて計算する。例えば両者の存在確率の積を考えると、弁と「Ｆ００１」，「Ｆ００２」との評価値はそれぞれ１．０×１．０＝１．０，０．０×０．０＝０．０である。この評価値があるしきい値を超えている場合には（ステップ２０２）、弁と文字との間に対応関係があると考えられる。このようにして、図７で弁を説明する文字は「Ｆ００１」であると考えることができる。
【００３５】
一般に複雑な図面内では、図面構成要素間の対応関係を単純にそれらの間の距離だけでは決められない場合も多い。図９のように１つの記号の付近に２つの文字があり、その距離があまり変わらない場合、単純に距離だけではどちらの文字が記号を説明しているのか判断するのは困難である。もちろん、文字内容の参照によりある程度の判断はできるが、それだけでは不十分なこともある。このような場合でも相対的位置関係による存在確率を例えば次のように設定することで正確な対応付けが可能である。
【００３６】
実際の図面では、記号を説明する文字は近傍にあるという条件の他に、記号のすぐ下、あるいは上に書くことが多い。これを存在確率で考えると、記号の上下の位置（図９の円内部）で文字の存在する確率が高くなるという、図１０のような存在確率で表すことができる。ここで、記号の中心位置を（０，０）とし、図１０の太字で囲まれた領域が図９の円に相当する。記号から見た文字の存在確率，文字から見た記号の存在確率ともに図１０のように与えると、弁から見た「Ｆ００３」の位置（０，−２）の文字存在確率は１．０ 、「Ｆ００４」の位置（２，０）の文字存在確率は０．２ であり、逆に「Ｆ００３」，「Ｆ００４」から見た弁の位置の記号存在確率はそれぞれ１．０ ，０．２ である。したがって、弁と「Ｆ００３」との評価値は１．０×１．０＝１．０ 、「Ｆ００４」との評価値は０．２×０．２＝０．０４ となり、「Ｆ００３」が記号を説明している可能性が高いと考え、両者を対応付けることができる。
【００３７】
なお、この例では存在確率の値は最大個所を１．０ として説明したが、全領域の存在確率の和が１．０ となるように規格化したり、必要に応じて、定数倍あるいは構成要素の種類ごとに重み付けをしてもよい。また、この存在確率を、実際の存在確率そのものを用いることに限定する必要もない。
【００３８】
上述のように、図面構成要素の位置関係から、対応関係の有無について予測することができるが、実際の認識の信頼度としては、構成要素個々の評価値と、対応付けに関する評価値とを考慮する必要がある。そこで例えば、図面構成要素個々の評価値と対応付けの評価値との積を、組み合わされた構成要素の総合的な評価値と定義し、ステップ２０３でこの総合評価値をもとに認識信頼度を考える。
【００３９】
この総合評価値から、ステップ２０４では対応関係を判定し、その結果得られた組み合わせに対し、ステップ２０５では図面構成要素の内容を機器リスト６に登録されたデータとの比較を行う。
【００４０】
ステップ２０６で文字の内容，記号の種類等が機器リスト６と異なった場合、位置関係からは対応関係がありそうだが、実際にはあり得ない組み合わせであることがわかるので、ぞれぞれの図面構成要素を次以降の候補に置き換えた場合についてステップ２０７で再度総合評価値を計算し、ステップ２０８で判定する。そしてステップ２０９で再び機器リスト６との比較を行う。この次候補の検証でもなお異なる場合には、認識結果そのものを見直すことも考え、ステップ２１０で局所的に再認識処理を行い、ステップ２１１で認識結果を更新する。
【００４１】
このようにして見つかった図面構成要素の組み合わせをステップ２１２にてグループ化し、ステップ２１３でその結果をもとに配置知識データベースの確率分布を更新する。これにより対応付けのルールを学習させて認識精度を向上することができる。以上の手順を考えられる図面構成要素の組み合わせについて繰り返し（ステップ２１４）、ステップ２１５で結果を出力し、図２のステップ１０８へと続く。ここでは２つの図面構成要素間について考えたが３つ以上の場合にも同様にして適用することが可能である。
【００４２】
配置知識データベース８にはあらかじめ登録されたデータが格納されている。データは図面構成要素間の相対的位置関係についてその存在確率と組み合わせパターンを与える。この存在確率は各図面構成要素について個別に設定することができる。それにより、前述のようにある記号と文字の組み合わせの総合評価値は低いが、記号の種類を変えた場合に総合評価値が高くなる場合、記号の種類が異なっていると考え、再検討することも可能となる。このように構成要素間の対応関係の有無だけでなく種類の推定に用いることもできるのが大きな特長である。
【００４３】
これらの相対的位置関係に関する存在確率は実際の図面から統計的に求めることもできるが、必ずしもそれに限るものではない。予め一般的な条件（例えば図８）で設定し、認識を繰り返すことで配置知識データベース８を更新し、図面の特徴に応じた学習をさせることが可能である。
【００４４】
図１１に配置知識データベースの更新の例を示す。ここでは各図面構成要素の重心点の位置関係の確率分布を考える。新たな配置知識が与えられた場合、ステップ３００でこれまでのデータ数ｎ（グループ化された構成要素の数）に１を足す。次にステップ３０１にて、新たに追加されたグループの相対座標（ｉ，ｊ）での存在確率ｐ_ｉｊに１／ｎを足す。最後にステップ３０２で、全相対座標（ｘ，ｙ）で存在確率ｐ_ｘｙにｎ／（ｎ＋１）をかける。このようにすると、相手となる構成要素が見つかった位置での存在確率が上昇し、見つからなかった位置での存在確率は徐々に減少していき、データベースに確率分布を反映させることができる。
【００４５】
【発明の効果】
本発明によれば、図の電子化した情報から抽出した図の構成要件に対応した部分情報間の関係について、位置関係における統計的存在確率をもとに関係の有無を認識できるので、画像の認識精度を向上することができる。
【図面の簡単な説明】
【図１】本発明の実施例による画像認識方法及び装置の機能ブロック図である。
【図２】本発明の実施例による画像認識方法及び装置のフローチャート図である。
【図３】本発明の実施例による認識結果表示例の説明図である。
【図４】本発明の実施例による認識結果表示例の説明図である。
【図５】本発明の実施例による認識結果表示例の説明図である。
【図６】本発明の実施例による統合認識部のフローチャート図である。
【図７】本発明の実施例による統合認識部で文字と記号を対応付ける例の説明図である。
【図８】本発明の実施例による統合認識部で文字と記号を対応付ける例の説明図である。
【図９】本発明の実施例による統合認識部で文字と記号を対応付ける例の説明図である。
【図１０】本発明の実施例による統合認識部で文字と記号を対応付ける例の説明図である。
【図１１】本発明の実施例による配置知識データベースの更新例のフローチャート図である。
【符号の説明】
１…入力装置、３…線分抽出部、４…文字抽出部、５…記号抽出部、６…機器リスト、８…配置知識データベース、９…統合認識部、１０…局所認識部、１１…認識結果表示部、１２…認識結果修正部。

Claims (6)

1. 各構成要素が描かれている図の情報を取り込み、
   前記図の情報から前記各構成要素を認識して抽出し、
   抽出した前記各構成要素の情報及び前記各構成要素の位置に対する存在確率を与えるデータを用いて、前記抽出した前記各構成要素の情報をグループ化するか否かを判定する画像認識方法。
2. 請求項１において、前記グループ化する前記各構成要素の情報を強制的に修正し、その修正結果を基にして前記存在確率を与えるデータの内容を更新することを特徴とする画像認識方法。
3. 請求項１において、前記各構成要素は文字と記号と線分であり、前記文字と記号と線分に関する情報をグループ化することを特徴とする画像認識方法。
4. 各構成要素が描かれている図の情報を取り込む入力手段と、
   前記図の情報から前記各構成要素を認識して抽出する抽出手段と、
   前記各構成要素の配置知識を統計的な存在確率として与える配置知識データベースと、
   前記抽出手段で抽出した前記各構成要素の情報及び前記配置知識データベースから供給される前記各構成要素の位置に対する存在確率を与えるデータを用いて、前記抽出した前記各構成要素の情報をグループ化するか否かを判定して選別した前記各構成要素の情報をグループ化する処理を行う統合認識手段と、を備えた画像認識装置。
5. 文字と記号と線の各構成要素が描かれている図の情報を取り込む入力手段と、前記図に表示された機器の情報が記憶されている機器リストのデータベースと、
   前記入力装置で取り込んだ前記図の情報を記憶する画像記憶手段と、
   前記画像記憶手段に記憶した前記図の情報から線分情報を認識する線分抽出手段と、
   前記画像記憶手段に記憶した前記図の情報から文字情報を認識し、前記認識した文字情報と前記データベースに記憶した機器の情報を比較して前記文字情報の認識結果を修正する文字抽出手段と、
   前記画像記憶手段に記憶した前記図の情報から記号情報を抽出し、前記抽出した記号情報と前記データベースに記憶した機器の情報を比較して前記記号情報の認識結果を修正する記号抽出手段と、
   前記各抽出手段で認識又は修正の後の認識結果を記憶する認識結果記憶手段と、
   前記文字と記号と線分の配置知識を統計的な存在確率として与える配置知識データベースと、
   前記認識結果記憶手段に記憶された各認識結果と前記配置知識データベースから与えられる前記存在確率を用いて前記文字と記号と線分の相対的位置関係から前記認識結果記憶手段に記憶した前記文字と記号と線分の情報を選別してグループ化する処理を行う統合認識手段と、
   前記統合認識手段の処理の結果をもとに前記選別の条件に合わなかった前記文字と記号と線分の情報が存在する場合に再度局所的に前記文字と記号と線分の認識を行う局所認識手段と、
   前記局所認識手段による認識の結果を確認及び修正するインターフェースを持つ認識結果表示手段と、
   前記修正の結果を前記認識結果記憶手段に記憶した前記文字と記号と線分の認識結果に反映し、配置知識データベースを更新する認識結果修正手段と、を備えた画像認識装置。
6. 請求項５において、認識結果表示手段は、認識結果の評価値をもとに、修正すべき認識結果とその修正候補を優先順位をつけて提示する機能を備えていることを特徴とする画像認識装置。

Images