JP2015090613A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】入力画像から抽出した特徴線（エッジ線）に断線部分が生じることによる画質の劣化を回避する仕組みを提供する。【解決手段】入力画像から画素値の変化が近傍画素に比して大きな画素に基づき特徴線を抽出する特徴線抽出部１２０と、特徴線抽出部１２０で抽出された特徴線における端点を抽出する端点抽出部１３１と、端点抽出部１３１で抽出された端点から当該端点が存在する特徴線を延長して他の特徴線と接続する際の交点を探索する交点探索部１３２と、端点抽出部１３１で抽出された端点から当該端点が存在する特徴線を延長して交点探索部１３２で探索された交点に接続することにより、特徴線抽出部１２０で抽出された特徴線の断線部分を補正した補正済み特徴線を生成する補正済み特徴線生成部１３３を備える。【選択図】図１

Description

本発明は、入力画像の処理を行う画像処理装置及び画像処理方法、当該画像処理装置の各手段としてコンピュータを機能させるプログラム、並びに、当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体に関するものである。

従来から、画像をベクトル表現する技術が広く知られている。ベクトル表現された画像は、拡大・縮小時に画質劣化が少ない、画像編集し易い、高い圧縮率を実現できるなどの利点がある。

イラストや文字をベクトル表現するために、オブジェクトの輪郭をベジェ関数（ベジェ曲線）やスプライン関数（スプライン曲線）などを用いて近似する手法がある。オブジェクト領域内は、単一色、線形グラデーション、放射状グラデーションなどで塗ることができるが、複雑なグラデーションの表現は困難である。

複雑なグラデーションを含むオブジェクトをベクトル表現するために、Ａｄｏｂｅ Ｉｌｌｕｓｔｒａｔｏｒ（登録商標）のグラディエント・メッシュ・ツールが一般に用いられている。グラディエント・メッシュでは、メッシュに色と勾配を与えて３次関数を生成することで複雑なグラデーションを含むオブジェクトを描画できる（例えば、下記の特許文献１参照）。

上述したグラディエント・メッシュは４頂点からなる曲線メッシュであるが、３頂点からなる曲線メッシュにより、複雑なグラデーションをベクトル表現する技術が知られている（例えば、下記の非特許文献１参照）。この技術では、画像内のエッジを線分群（以下、「エッジ線」と称する）として抽出し、エッジ線を再現する３頂点曲線メッシュ群を構成することでベクトル表現を行う。この際、３頂点曲線メッシュとは、メッシュの頂点数が３であり、頂点間を結ぶメッシュの辺が直線または曲線であるものとする。

ここで、自然画像のような色が複雑に変化するオブジェクトを３頂点曲線メッシュ群によりベクトル表現することを考える。直線メッシュに対して曲線メッシュは、オブジェクトの形状や特徴を曲線で近似するため、より少ないメッシュ数でオブジェクトを近似できる。

３頂点曲線メッシュ群で画像を精度良く近似するためには、エッジ線を再現し、且つ、画像の大域的な色変化の特徴を捉えたメッシュ群を生成する必要がある。

例えば、下記の非特許文献１では、まず、画像内のエッジ線を抽出し、エッジ線に沿うようなメッシュ群を生成する。そして、その後、メッシュ毎にＲＧＢの３成分に対して、メッシュ内の色を塗る薄板スプライン関数を入力画像の色を元に最適化して生成している。このとき、隣接するメッシュ間は、エッジ線をまたいでいない時のみ、薄板スプライン関数を連続させることでエッジ部分の急峻な色変化とグラデーション部分の緩やかな色変化を表現している。しかしながら、この方法では、メッシュ毎に色決定のための最適化演算を要するため、画像近似精度はよいが計算量が多くなってしまう。

他には、メッシュを更に微小な３頂点からなるメッシュに細分割し、細分割メッシュの頂点をサンプリング点として入力画像から色を取得し、それら微小な三角形内の色を双線形補間で補うことで、メッシュの色を表現する手法が考えられる。しかしながら、この手法では、エッジ部分において同じ頂点をサンプリング点として取得することとなるため、エッジの急峻な色変化を表現できなくなってしまう。特に、エッジ線が会合する交点部分においては、色の浸み出しが発生してしまい画質の劣化を招く。

特許第４２２００１０号公報

Ｔｉａｎ Ｘｉａ， Ｂｉｎｂｉｎ Ｌｉａｏ， ａｎｄ Ｙｉｚｈｏｕ Ｙｕ， 「Ｐａｔｃｈ−Ｂａｓｅｄ Ｉｍａｇｅ Ｖｅｃｔｏｒｉｚａｔｉｏｎ ｗｉｔｈ Ａｕｔｏｍａｔｉｃ Ｃｕｒｖｉｌｉｎｅａｒ Ｆｅａｔｕｒｅ Ａｌｉｇｎｍｅｎｔ」， ＡＣＭ ＳＩＧＧＲＡＰＨ Ａｓｉａ ２００９， Ｖｏｌ．２８， Ｎｏ．５．

このため、本出願人は、エッジ線交点部分において色再現性のよい３頂点曲線メッシュ群を生成するための技術を提案している（特願２０１２−１９０６１５）。この技術では、まず、入力画像から特徴線を抽出し、抽出した特徴線に基づきメッシュの頂点を決定して、これら頂点を用いて前記入力画像を複数のメッシュに分割する。この際、特徴線が３本以上会合する交点では、会合する特徴線の本数と同数だけメッシュに分割する。そして、この交点を共通の頂点とし、それぞれのメッシュ用にこの頂点に異なる色を設定することによって、エッジ線交点部分において色再現性のよい３頂点曲線メッシュ群を生成する。

しかしながら、従来の技術では、エッジ抽出自体が、必ずしもどのような画像に対しても完璧なものではないために、そもそもの特徴線、即ち、画像の色変化が急峻なエッジ線がうまく抽出されずに、特徴線が断線してしまう場合がある。とりわけ、本来、特徴線が３本以上会合する交点となるべき部分での断線により色の浸み出しが発生してしまい、画質の劣化を招くことが起こり得る。

本発明は、このような問題点に鑑みてなされたものであり、入力画像から抽出した特徴線（エッジ線）に断線部分が生じることによる画質の劣化を回避する仕組みを提供することを目的とする。

本発明の画像処理装置は、入力画像から画素値の変化が近傍画素に比して大きな画素に基づき特徴線を抽出する特徴線抽出手段と、前記特徴線抽出手段で抽出された特徴線の断線部分を補正して補正済み特徴線を生成する特徴線補正手段と、前記特徴線補正手段で補正された補正済み特徴線に基づいて特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段で抽出された特徴点を用いて前記入力画像を複数のメッシュからなるメッシュ群に分割して当該メッシュを生成するメッシュ生成手段と、前記メッシュ生成手段で生成された各メッシュの色情報を設定する色設定手段と、前記メッシュ生成手段で生成された各メッシュについて前記色設定手段で設定された色情報に基づく処理を行って出力データを生成し、当該出力データを出力する出力手段と、を有する。
本発明の画像処理装置による他の態様は、入力画像から画素値の変化が近傍画素に比して大きな画素に基づき特徴線を抽出する特徴線抽出手段と、前記特徴線抽出手段で抽出された特徴線における端点を抽出する端点抽出手段と、前記端点抽出手段で抽出された端点から当該端点が存在する特徴線を延長して他の特徴線と接続する際の交点を探索する交点探索手段と、前記端点抽出手段で抽出された端点から当該端点が存在する特徴線を延長して前記交点探索手段で探索された交点に接続することにより、前記特徴線抽出手段で抽出された特徴線の断線部分を補正した補正済み特徴線を生成する補正済み特徴線生成手段と、を有する。
また、本発明は、上述した画像処理装置による画像処理方法、及び、当該画像処理装置の各手段としてコンピュータを機能させるためのプログラム、並びに、当該プログラムを記憶するコンピュータ読み取り可能な記憶媒体を含む。

本発明によれば、入力画像から抽出した特徴線（エッジ線）に断線部分が生じることによる画質の劣化を回避することができる。

本発明の第１の実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。 本発明の第１の実施形態を示し、図１に示す特徴線抽出部が行う特徴線抽出処理の一例を説明するための図である。 本発明の第１の実施形態を示し、図１に示す特徴線抽出部で抽出される特徴線の一例を示す図である。 本発明の第１の実施形態を示し、図３（ｂ）に示す特徴線の領域のうち、領域３１０の部分を抜き出した抜き出し領域３１１と、抜き出し領域３１１を拡大表示した拡大領域３１２を示す図である。 本発明の第１の実施形態を示し、図４に示す拡大領域内に含まれる特徴線の端点の一例を示す図である。 本発明の第１の実施形態を示し、図１に示す交点探索部が行う処理の一例を説明するための図である。 本発明の第１の実施形態を示し、図１に示す交点探索部が行う処理の一例を説明するための図である。 本発明の第１の実施形態を示し、図１に示す特徴線補正部による特徴線補正処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、図１に示す特徴点抽出部が行う処理の一例を説明するための図である。 本発明の第１の実施形態を示し、図１に示す特徴点抽出部が行う処理の一例を説明するための図である。 本発明の第１の実施形態を示し、図１に示す曲線メッシュ生成部による曲線メッシュ生成処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施形態を示し、図１に示す曲線メッシュ生成部で生成された３頂点曲線メッシュ群の一例を示す図である。 本発明の第１の実施形態を示し、３頂点曲線メッシュの形状情報と色情報を説明するための図である。 本発明の第１の実施形態を示し、分割数の異なるメッシュの色情報を説明するための図である。 本発明の第１の実施形態を示し、特徴線をまたぐメッシュの色情報を説明するための図である。 本発明の第１の実施形態を示し、特徴線が会合する交点を用いるメッシュの色情報を説明するための図である。 本発明の第１の実施形態を示し、図１に示す交点色補完部による交点色補完処理の処理手順の一例を示すフローチャートである。 本発明の第１の実施形態における変形例を示し、図１に示す画像処理装置として適用可能なコンピュータのハードウェア構成の一例を示すブロック図である。 本発明の第２の実施形態を示し、特徴線が会合する交点を用いるメッシュの色情報を説明するための図である。 本発明の第２の実施形態を示し、図１に示す交点色補完部による交点色補完処理の処理手順の一例を示すフローチャートである。 本発明の第４の実施形態を示し、図１に示すデータ出力部から出力する出力データとして符号データを適用した場合の概念図である。 本発明の第５の実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。ここで、図１に示す画像処理装置を、「画像処理装置１００−１」と称する。
図１に示すように、画像処理装置１００−１は、画像入力部１１０、特徴線抽出部１２０、特徴線補正部１３０、特徴点抽出部１４０、曲線メッシュ生成部１５０、色設定部１６０、及び、データ出力部１７０の各機能構成を有して構成されている。

また、特徴線抽出部１２０は、エッジ検出部１２１と、エッジ線構成部１２２とを有して構成されている。また、特徴線補正部１３０は、端点抽出部１３１と、交点探索部１３２と、補正済み特徴線生成部１３３とを有して構成されている。また、色設定部１６０は、色点抽出部１６１と、エッジ上色点補完部１６２と、交点色補完部１６３とを有して構成されている。

各機能構成の説明を行う前に、３頂点曲線メッシュについて説明する。
本実施形態で提案する処理手順に従えば、３頂点を結ぶ曲線は、ベジェ曲線、Ｂ−スプライン等の曲線の種類に関わらない。本実施形態では、好適な例として、３頂点曲線メッシュにパラメトリック曲面の１つである３頂点のベジェパッチを用いる。このベジェパッチの中でも特に３次のベジェパッチでは、メッシュの各辺が３次のベジェ曲線となるため、３頂点曲線メッシュを生成した後にユーザによる編集が容易であるという利点がある。Ｐ１、Ｐ２、Ｐ３を頂点とする３次のベジェパッチ内の点は、以下の（１）式で表せる。

（１）式において、ｓ、ｔ、ｕは、パッチのパラメータである。また、ｐ１、ｐ２、ｐ３は、それぞれ、頂点Ｐ１、Ｐ２、Ｐ３の座標値である。また、ｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６及びｃ７は、曲線パッチの形状を定めるパラメータである。ここで、ｃ１〜ｃ６は、ベジェパッチの輪郭を決める３つのベジェ曲線の制御点に対応するパラメータである。また、ｃ７は、ベジェパッチの輪郭には関与しないパラメータであり、本実施形態では、ベジェパッチの頂点の座標と、輪郭を成すベジェ曲線の制御点に対応するパラメータから、以下の（２）式によって定められる。

次に、図１に示す各機能構成について説明する。

画像入力部１１０は、例えば、ラスタ表現の画像（入力画像）を画像処理装置１００−１の内部に入力する処理を行う。ここで、入力画像は、カラー画像、グレー画像、白黒画像のいずれでも構わない。また、入力画像は、矩形画像でも構わないし、画像の一部をベクトル化したい場合には背景部分を透過色に設定した画像等、切り出された領域が与えられてもよい。

特徴線抽出部１２０は、画像入力部１１０から入力された入力画像上の特徴を表す曲線形状の特徴線を抽出（構成）する処理を行う。具体的に、特徴線抽出部１２０は、画像入力部１１０から入力された入力画像から画素値の変化が近傍画素に比して大きな画素に基づき特徴線を抽出する処理を行う。この際、本実施形態では、特徴線としてエッジ線を用いる。以下に、特徴線抽出部１２０の内部に構成されている、エッジ検出部１２１と、エッジ線構成部１２２とに分けて、特徴線抽出部１２０の機能を説明する。

エッジ検出部１２１は、入力画像のエッジとなる画素（エッジ画素）を検出する処理を行う。本実施形態では、キャニー法という既知の方法を用いるが、他の手法を用いても構わない。また、キャニー法が効果的に機能するように、入力画像に明るさ調整、エッジ強調などの前処理を施しても構わない。

エッジ線構成部（特徴線構成部）１２２は、エッジ検出部１２１で検出されたエッジ画素のうち、隣接するもの同士を結ぶ線分を構築することにより、エッジを再現する線分群を構成する処理を行う。ここで、隣接画素を結んで線分群を構成する際に、注目画素（着目画素）の上、下、左、右にある４つの画素が隣接しているとみなす４連結接続がある。また、前記４方向に加えて右上、右下、左上、左下にある４つの画素も隣接していると見なす８連結接続もある。本実施形態では、８連結接続を用いる。エッジ検出部１２１においてキャニー法を用いた結果に対して、８連結接続で隣接しているとみなせる画素を結ぶと、エッジ線として望ましくない結果が得られる場合がある。図２を用いて説明する。

図２は、本発明の第１の実施形態を示し、図１に示す特徴線抽出部１２０が行う特徴線抽出処理の一例を説明するための図である。
図２（ａ）中にある四角は、それぞれ、入力画像の画素を表し、エッジ検出においてエッジと見なされた画素（エッジ画素）を灰色で示している。これらのエッジ画素に対して８連結接続で隣接した画素を結ぶと、図２（ｂ）に示すように、エッジ画素２０１〜２０５のうち、エッジ画素２０２、２０３、２０４を結ぶようなループが発生してしまう。しかしながら、図２（ａ）に示すようなエッジ画素が検出された場合には、ループのないエッジ線によって結ばれるべきである。そこで、本実施形態では、８連結接続を行う前に、Ｈｉｌｄｉｔｃｈ細線化法という既知の手法を適用することにより、この問題を解決する。このＨｉｌｄｉｔｃｈ細線化法を行うと、図２（ｂ）に示したエッジ画素２０３は、エッジ画素でないと判断される。その結果、図２（ｃ）に示すように、エッジ画素２０１〜２０２、２０４〜２０５がループのない１本のエッジ線２１０によって結ばれる。このとき、図２（ｄ）に示すエッジ画素２０６のように、複数のエッジ線が一か所に会合するようなパターンが発生することがある。このような場合には、会合するエッジ線を分断し、それぞれ独立したエッジ線として扱うこととする。図２（ｄ）に示す例でいえば、エッジ線は３本となる。

特徴線抽出部１２０で抽出（構成）する特徴線としては、これまでに説明したエッジ線以外に、ベクトル化対象領域の輪郭などが考えられる。上述したように、入力画像の一部をベクトル表現するという目的で、入力画像の一部が透過色に設定されている場合には、透過色と非透過色の境界にある画素がオブジェクトの輪郭画素となる。ここで、オブジェクトとは、文字や物体像等を指している。オブジェクトの輪郭画素を１つの線分群にまとめることは、エッジ線構成部１２２と同様の手順に従って隣接する画素同士をつなぎ合わせることで実現できる。

特徴線抽出部１２０で抽出（構成）する特徴線として更に別のものとしては、入力画像を領域分割し、その境界線を用いる方法が考えられる。ここで、領域分割は、最近傍法を用いたもの、ＥＭアルゴリズムを利用したものなど、多くの手法が知られている。
本実施形態では、濃度変化の基準として閾値を定めた上でキャニー法を行い、エッジ画素を抽出している。その後、抽出されたエッジ画素は、エッジ線構成部１２２により特徴線として構成される。

図３は、本発明の第１の実施形態を示し、図１に示す特徴線抽出部１２０で抽出される特徴線の一例を示す図である。
本来、図３（ａ）に示すような特徴線（エッジ線）が抽出できれば理想的である。
しかしながら、実際には、図３（ｂ）の領域３１０や領域３２０で示される領域のように、必ずしも、画像の色変化が急峻な部分より抽出されるべきエッジ線が、うまく抽出されずに、断線してしまっている部分が生じることがある。

エッジ画素を生成する処理では、画像の各画素ごとに近隣画素との画素値の変化の大きさを表わす微分値を求め、当該微分値を用いて一画素の幅の線に細線化して得るのが一般的である。この際、画素値にばらつきがあったりすると、エッジ線に断線が生じやすい。キャニー法の場合には、注目画素と、注目画素での画素値の変化の方向と交差する方向の隣接画素とのそれぞれの画素での微分値の大きさを比較し、最大でなければエッジ画素とはしない。このような、非最大値抑制（Non-maximum Suppression）と呼ばれる処理を施してエッジの細線化を行う。

したがって、本来、３本以上のエッジ線が集中しているような部分では、比較的、画素値の変化が大きな画素が集中するような傾向があり、この様な部分では、上述の非最大値抑制処理によりエッジ線の断線が発生しがちである。なお、カラー画像での画素値の変化は、当該カラー画像の明るさ成分を用いてもよい。或いは、カラー画像での画素値の変化は、当該カラー画像中のＲＧＢ等の各色成分毎での変化の中で、それぞれの画素において最も絶対値が大きな変化となる色成分での変化をもって、その画素での画素値の変化とするものでもよい。

図４は、本発明の第１の実施形態を示し、図３（ｂ）に示す特徴線の領域のうち、領域３１０の部分を抜き出した抜き出し領域３１１と、抜き出し領域３１１を拡大表示した拡大領域３１２を示す図である。

ここで、再び、図１の説明に戻って、特徴線補正部１３０の処理について、図５、図６及び図７を用いて説明する。

特徴線補正部１３０は、特徴線抽出部１２０で抽出された特徴線を補正する処理を行う。具体的に、特徴線補正部１３０は、特徴線抽出部１２０で抽出された特徴線の断線部分を補正して補正済み特徴線を生成する処理を行う。以下に、特徴線補正部１３０の内部に構成されている、端点抽出部１３１、交点探索部１３２、補正済み特徴線生成部１３３に分けて、特徴線補正部１３０の機能を説明する。

端点抽出部１３１は、特徴線抽出部１２０で抽出された特徴線における端点を抽出する処理を行う。以下に、端点抽出部１３１による具体的な端点抽出処理について説明する。

端点抽出部１３１には、まず、図３（ｂ）に示すような、特徴線抽出部１２０で抽出された特徴線が入力される。端点抽出部１３１は、この特徴線から特徴線の端点を抽出する処理を行う。特徴線の端点は、例えば、上述したＨｉｌｄｉｔｃｈ細線化法で細線化した際に、端点である画素の位置を記憶しておき、この位置にある画素を端点としてもよい。或いは、特徴線抽出部１２０で得られた特徴線を構成する画素を含む画像を、例えば、公知のチェーンコードを得るための境界線追跡を行い、追跡方向が折り返される画素、もしくは、４５°以内（３１５°以上）の角度をなして変化する画素を特徴線の端点として抽出してもよい。

図５は、本発明の第１の実施形態を示し、図４に示す拡大領域３１２内に含まれる特徴線の端点５０１の一例を示す図である。端点抽出部１３１は、図５に示す拡大領域３１２については、特徴線の端点５０１を抽出する処理を行う。

交点探索部１３２は、端点抽出部１３１で抽出された端点とその端点が存在する特徴線上で端点に隣接する画素（以降、単に、「隣接画素」と称する）との配置の関係から、端点を延長して他の特徴線との交点の探索を開始する処理を行う。具体的に、交点探索部１３２は、端点抽出部１３１で抽出された端点から当該端点が存在する特徴線を延長して他の特徴線と接続する際の交点を探索する処理を行う。この交点探索部１３２による交点探索処理を図６及び図７を用いて説明する。

図６は、本発明の第１の実施形態を示し、図１に示す交点探索部１３２が行う処理の一例を説明するための図である。
図６には、端点である着目画素６０１を中心とした３×３の画素領域を、端点である着目画素６０１とその隣接画素との配置の関係に応じてタイプ分けして示したものである。
図６に示すように、黒塗り画素は、端点である着目画素６０１を表わしている。
また、図６において、右下りの斜線縞で示される画素は、端点の存在する特徴線上の画素であって、端点である着目画素６０１の右上、右下、左上、左下のいずれかに隣接画素が存在する場合にはその画素を表し、その様な画素が存在せず且つ上下左右のいずれかに隣接画素が存在する場合にはその画素を表わす。以降、右下がりの斜線縞で表わされる隣接画素を「端点隣接代表エッジ画素」６０２と称する。
また、図６において、左下がりの斜線縞で示される画素は、端点である着目画素６０１の右上、右下、左上、左下のいずれかに端点隣接代表エッジ画素６０２となる隣接画素が存在した上で、且つ、この隣接画素と端点との両方に隣接する隣接画素を表わしている。以降、左下がりの斜線縞で表わされる画素を「端点隣接非代表エッジ画素」６０３と称する。なお、端点隣接非代表エッジ画素６０３は、当該端点隣接非代表エッジ画素の斜め方向にエッジ画素が存在しない場合には、本来、Ｈｉｌｄｉｔｃｈ細線化を用いて８連結の細線化済み画像を生成した際に、特徴線上の画素とはなりえなかったはずの画素である。したがって、端点隣接非代表エッジ画素６０３は、当該端点隣接非代表エッジ画素の右上、右下、左上、左下のいずれかに、ある特徴線上のエッジ画素が接続している画素である。

図６のパターン１の列には、端点隣接非代表エッジ画素６０３が存在しない３×３の画素領域のパターンが描かれている。
一方、図６のパターン２の列には、端点隣接非代表エッジ画素６０３が存在するパターンが描かれている。上述のように、８連結接続での細線化を基本とするため、端点からの特徴線の延長方向を定めるためには、隣接画素の中で、端点隣接非代表エッジ画素６０３ではなく、端点隣接代表エッジ画素６０２と端点である着目画素６０１の配置の関係に注目する。この意味で、図６には、端点である着目画素６０１と端点隣接代表エッジ画素６０２との配置が、パターン１と同様となる３×３の画素領域のパターンを、同じタイプ（ｔｙｐｅ）の行のパターン２の欄に描いてある。
図６の進行先候補の列には、各タイプの３×３の画素領域のパターン、即ち、端点である着目画素６０１と端点隣接代表エッジ画素６０２の配置パターンに対して、特徴線を延長する候補先となる画素群を斜め格子縞で示した画素を用いて同領域内に書き加えたパターンが対応する欄に描かれている。以降、斜め格子縞で示した画素を「進行先候補画素」６０４と称する。端点隣接代表エッジ画素６０２から端点である着目画素６０１へと繋がる特徴線を延長する候補先が進行先候補画素６０４である。なお、図６の進行先候補の欄に描かれている各パターンの中で、白塗りの画素は、注目している端点である着目画素６０１からは延長され得ない位置の画素である。即ち、端点である着目画素６０１が存在する特徴線が、８連結細線化の結果として得られているという前提のもと、延長後に生成され、可能性がある補正済みの特徴線も８連結の細線であるために、注目している端点である着目画素６０１からは延長され得ない画素として設定されている。

交点探索部１３２は、端点抽出部１３１で抽出した各端点に対し、端点を着目画素として、それを中心とした３×３画素領域を参照し、端点とその端点が存在する特徴線上での隣接画素の画素配置から、上述した図６に記載のいずれのタイプであるのかを判定する。そして、交点探索部１３２は、対応するタイプに示される進行先候補となる近隣画素群の各画素での微分値の大きさの中で最大の値をもつ画素を進行先の画素（以降、「進行先画素」と称する）として定める。
次いで、交点探索部１３２は、定めた進行先画素と、当該進行先画素を定めた際の着目画素（上述の説明では、端点である）との配置の関係から、当該特徴線をこの進行先画素から更に延長して、他の特徴線との交点を探索する処理を行う。この処理を図７を用いて説明する。

図７は、本発明の第１の実施形態を示し、図１に示す交点探索部１３２が行う処理の一例を説明するための図である。
図７には、進行先画素である注目画素（以降、「進行後画素」と称す）７０２を中心とした３×３の画素領域を、当該３×３領域内での進行後画素を定める際の注目画素（以降、「進行前着目画素」と称す）７０１の配置に応じてタイプ分けして示したものである。
図７に示すように、黒塗り画素は、進行前着目画素７０１を表している。
また、図７において、横縞で示される画素は、進行後画素７０２を表わしている。
また、図７において、縦横格子縞で示される画素は、特徴線の更なる延長先の検索範囲を構成する画素（以降、「検索範囲画素」と称す）７０３を表わしている。

図７の進行パターンの列には、進行後画素７０２を中心画素とした、進行後画素７０２と進行前着目画素７０１の配置のパターンがタイプ（ｔｙｐｅ）別に描かれている。
一方、エッジ検索範囲の列には、各タイプの３×３の画素領域のパターン、即ち、進行後画素７０２と進行前着目画素７０１の配置パターンに対し、特徴線を更に延長する候補先となる検索範囲を検索範囲画素７０３にて書き加えたパターンが対応する欄に描かれている。なお、エッジ検索範囲の列内の各パターンにおける白塗り画素も、上述した図６の進行先候補の欄に描かれている各パターンの場合と同様に、補正済みの特徴線も８連結の細線であるために、注目している端点からは延長され得ない画素として設定されている。

そして、交点探索部１３２は、これまでに求めた端点とその端点からの進行先画素に基づいて、端点を進行前着目画素７０１、進行先画素を進行後画素７０２とする。そして、交点探索部１３２は、進行後画素７０２を中心とした３×３画素領域を参照し、上述した図７に記載のいずれのタイプであるのかを判定する。

ここで、特徴線補正部１３０（例えば、交点探索部１３２）は、接続を試みる断線部分の範囲を１画素幅以内とする場合、対応するタイプに示される検索範囲画素７０３である近隣画素群の各画素のうちのいずれかの画素が他の特徴線上の画素であるか否かを判定する。もし、いずれかの画素が他の特徴線上の画素である場合には、交点探索部１３２は、この画素をもって、他の特徴線との交点とする。なお、交点探索部１３２は、検索範囲画素７０３である近隣画素群の中の複数の画素が他の特徴線上の画素となる場合には、それらの画素のうち、各画素での微分値の大きさの中で最大の値をもつ画素を他の特徴線との交点画素と定める。また、交点探索部１３２は、検索範囲画素７０３である近隣画素群の中のいずれの画素も他の特徴線上の画素ではない場合には、当該端点からの特徴線の延長は中止し、前記端点での断線状態のままとする。

特徴線補正部１３０（例えば、交点探索部１３２）は、接続を試みる断線部分の範囲を１画素幅よりも大きく、ｎ画素（ｎ＞１）とする場合、図７に記載の対応するタイプに示される検索範囲となる近隣画素群の各画素のうち、各画素での微分値の大きさの中で最大の値をもつ画素を定める。そして、特徴線補正部１３０（例えば、交点探索部１３２）は、それまで進行後画素であった画素を改めて進行前画素とし、前記定めた画素を改めて進行後画素として設定し直す。その上で、交点探索部１３２は、再度、図７に記載の検索範囲内の画素の吟味を繰り返す。そして、交点探索部１３２は、この繰り返し処理をｎ−１回行い、最後の１回で、上述した検索範囲内の画素のいずれかが他の特徴線上の画素であればこれを交点と定め、さもなければ、当該端点からの特徴線の延長は中止し、前記端点での断線状態のままとする。
即ち、交点探索部１３２は、端点抽出部１３１で抽出された端点の近傍で最も画素値の変化が大きな画素方向にある他の特徴線上の交点を探索する処理を行う。そして、交点探索部１３２は、当該近傍の範囲を、最も画素値の変化が大きな画素と当該最も画素値の変化が大きな画素を求めた際の着目画素との配置に基づいて予め定められた範囲に更新して交点を定める。或いは、交点探索部１３２は、特徴線抽出部１２０において特徴線を抽出する際の近傍画素の範囲である予め定められた範囲に基づき予め定められた回数まで交点の探索を繰り返し行う。そして、交点探索部１３２は、前記予め定められた回数まで交点の探索を繰り返し行っても交点が定まらない場合には、当該端点から当該端点が存在する特徴線を延長した補正済み特徴線の生成は行われないことになる。

交点探索部１３２は、以上の処理を端点抽出部１３１で求めた全ての端点について行う。なお、接続を試みる断線部分の範囲を予め何画素幅までとするかは、予め定めておくものとする。例えば、特徴線抽出部１２０でエッジ画素を生成する際に、各画素ごとに画素値の変化の大きさを近隣の画素の画素値の変化の大きさと比較する範囲を注目画素の１画素隣の画素までとした場合、接続を試みる断線部分の範囲を２画素幅までとする。同じく、特徴線抽出部１２０でエッジ画素を生成する際に、各画素ごとに画素値の変化の大きさを近隣の画素の画素値の変化の大きさと比較する範囲を注目画素のｎ画素隣の画素までとした場合、接続を試みる断線部分の範囲を（ｎ＋１）画素幅までとしてもよい。

このようにして、交点探索部１３２では、予め定められた断線部分の幅の範囲で、端点の存在する特徴線の端点から、その端点を延長して他の特徴線との交点を探索する処理を行う。各端点において、上記の処理で、他の特徴線の上の交点に辿りついたものについては、経由した点（進行後画素となった点列）も含めて記憶する。

ここで、再び、図１の説明に戻る。
補正済み特徴線生成部１３３は、交点探索部１３２で得られた結果に基づき、ある特徴線の端点から、他の特徴線上の交点までの経路となった点列を前記特徴線に付け加え、補正済みの特徴線を生成する処理を行う。具体的に、補正済み特徴線生成部１３３は、端点抽出部１３１で抽出された端点から当該端点が存在する特徴線を延長して交点探索部１３２で探索された交点に接続することにより、補正済み特徴線を生成する処理を行う。

特徴線補正部１３０は、特徴線抽出部１２０で抽出され入力された特徴線中の全ての端点に対して、端点抽出部１３１、交点探索部１３２及び補正済み特徴線生成部１３３において処理を行い、最終的に補正済み特徴線を生成する。

図８は、本発明の第１の実施形態を示し、図１に示す特徴線補正部１３０による特徴線補正処理の処理手順の一例を示すフローチャートである。

まず、図８のステップＳ８０１において、端点抽出部１３１は、特徴線抽出部１２０で抽出された特徴線を入力し、当該特徴線の全ての端点を抽出する端点抽出処理を行う。

続いて、ステップＳ８０２において、特徴線補正部１３０（例えば、端点抽出部１３１或いは交点探索部１３２）は、ステップＳ８０１で抽出された端点（換言すれば、端点をもつ特徴線）が存在するか否かを判断する。
この判断の結果、ステップＳ８０１で抽出された端点が存在しない場合には（Ｓ８０２／ＮＯ）、図８に示すフローチャートの処理を終了する。

一方、ステップＳ８０２の判断の結果、ステップＳ８０１で抽出された端点が存在する場合には（Ｓ８０２／ＹＥＳ）、ステップＳ８０３に進む。
ステップＳ８０３に進むと、例えば、交点探索部１３２は、ステップＳ８０１で抽出された端点の中から、交点探索対象の端点を１つ選択する処理を行う。このステップＳ８０３では、未だ交点探索処理を行っていない端点を交点探索対象の端点として選択する。

続いて、ステップＳ８０４において、交点探索部１３２は、図６及び図７を用いて上述した手法により、端点が存在する特徴線の端点から、その端点を延長して他の特徴線との交点を探索する交点探索処理を行う。

続いて、ステップＳ８０５において、特徴線補正部１３０（例えば、交点探索部１３２或いは補正済み特徴線生成部１３３）は、ステップＳ８０４の交点探索処理において交点が見つかったか否かを判断する。

ステップＳ８０５の判断の結果、ステップＳ８０４の交点探索処理において交点が見つかった場合には（Ｓ８０５／ＹＥＳ）、ステップＳ８０６に進む。
ステップＳ８０６に進むと、補正済み特徴線生成部１３３は、特徴線を、当該交点探索対象の端点から当該交点まで延長して、補正済み特徴線を生成する。

ステップＳ８０６の処理が終了した場合、或いは、ステップＳ８０５においてステップＳ８０４の交点探索処理で交点が見つからなかったと判断された場合には（Ｓ８０５／ＮＯ）、ステップＳ８０７に進む。
ステップＳ８０７に進むと、特徴線補正部１３０は、すべての端点が交点探索済みであるか否かを判断する。

ステップＳ８０７の判断の結果、すべての端点については未だ交点探索処理を終了していない場合には（Ｓ８０７／ＮＯ）、ステップＳ８０２に戻り、未だ交点探索処理を行っていない端点を交点探索対象の端点として選択して、ステップＳ８０３以降の処理を再度行う。
一方、ステップＳ８０７の判断の結果、すべての端点が交点探索済みである場合には、図８に示すフローチャートの処理を終了する。

ここで、再び、図１の説明に戻る。
特徴点抽出部１４０は、特徴線補正部１３０（補正済み特徴線生成部１３３）により得られた補正済み特徴線に基づいて特徴点を抽出する処理を行う。この処理を図９及び図１０を用いて説明する。

図９は、本発明の第１の実施形態を示し、図１に示す特徴点抽出部１４０が行う処理の一例を説明するための図である。
図９（ａ）は、特徴線抽出部１２０で抽出された特徴線（或いは特徴線補正部１３０で補正された特徴線）を示す。ここで、特徴点抽出部１４０には、図９（ａ）に示す特徴線が入力されるものとする。そして、特徴点抽出部１４０は、入力された特徴線から特徴点をサンプリングする処理を行う。

図１０は、本発明の第１の実施形態を示し、図１に示す特徴点抽出部１４０が行う処理の一例を説明するための図である。
図１０（ａ）は特徴線を表しており、点１００１、１００２、１００３、１００４及び１００５は、それぞれ、特徴線を構成する頂点である。そして、特徴点抽出部１４０は、特徴線の端点を起点として隣接頂点を順番に削除して近似関数を生成していく。

図１０（ｂ）に示すように、特徴線の端点である頂点１００１を起点として、特徴点抽出部１４０は、まず、頂点１００２を削除して、頂点１００１と頂点１００３を近似曲線の端点として、頂点１００２を近似するように近似関数１０１０を生成する。ここでは、近似関数は、３次のベジェ関数を最小自乗近似により生成しているが、Ｂ−スプライン関数など他の関数を用いても構わない。そして、特徴点抽出部１４０は、生成した近似関数１０１０と削除した頂点１００２との距離から誤差を計算し、誤差が閾値以内であれば次の頂点を削除する。本実施形態では、誤差の閾値は１画素としている。図１０（ｂ）では、誤差が閾値以内であるとして、次の処理を説明する。

図１０（ｃ）に示すように、特徴点抽出部１４０は、次に隣接した頂点１００３を削除して、頂点１００１と頂点１００４を近似曲線の端点として、頂点１００２と１００３を近似するように近似関数１０２０を生成する。そして、特徴点抽出部１４０は、近似関数１０２０と、頂点１００２、１００３との誤差を計算する。図１０（ｃ）では、誤差が閾値以内であるとして、次の処理を説明する。

図１０（ｄ）に示すように、特徴点抽出部１４０は、次に隣接した頂点１００４を削除して、頂点１００１と頂点１００５を近似曲線の端点として、頂点１００２、１００３、１００４を近似するように近似関数１０３０を生成する。そして、特徴点抽出部１４０は、近似関数１０３０と、頂点１００２、１００３、１００４との誤差を計算する。ここでは、近似関数１０３０と、頂点１００２及び１００４との誤差が閾値を超えたとする。このとき、特徴点抽出部１４０は、近似関数１０３０を採用せずに、前に生成された近似関数１０２０を有効な近似関数として採用する。

そして、図１０（ｅ）に示すように、特徴点抽出部１４０は、特徴線の端点である頂点１００１を起点として、頂点１００２及び１００３を削除して、近似曲線１０２０の端点である頂点１００４を特徴点としてサンプリングする。図１０に示す例では、特徴線の端点である頂点１００１と１００５、特徴点としてサンプリングされた頂点１００４が、第１の特徴点として採用される。ここで特徴線として構成される頂点がより多いとき、頂点１００４を起点として同様の処理を繰り返し、サンプリング点を決定していく。

以上の処理により、図２（ｃ）に示す点２０１、２０５のような特徴線の端点と、図２（ｄ）に示す点２０６のような特徴線の交点に加えて、特徴点が抽出される。図９に示す例では、最終的に、サンプリングされた特徴点は、図９（ｂ）に示す白丸９０１と星印９０２で示される通りである。なお、画像の特徴を再現できるのであれば、特徴線の端点間を均等にサンプリングするなど他の方法を用いても構わない。

ここで、再び、図１の説明に戻る。
曲線メッシュ生成部１５０は、特徴線を再現する３頂点曲線メッシュ群を生成する処理を行う。具体的に、曲線メッシュ生成部１５０は、特徴点抽出部１４０で抽出された特徴点を用いて前記入力画像を複数のメッシュ（３頂点曲線メッシュ）からなるメッシュ群（３頂点曲線メッシュ群）に分割して当該メッシュ（３頂点曲線メッシュ）を生成する処理を行う。この処理を図１１を用いて説明する。

図１１は、本発明の第１の実施形態を示し、図１に示す曲線メッシュ生成部１５０による曲線メッシュ生成処理の処理手順の一例を示すフローチャートである。

まず、図１１のステップＳ１１０１において、曲線メッシュ生成部１５０は、曲線化対象とする辺を設定する処理を行う。ここでは、曲線メッシュ生成部１５０は、特徴点抽出部１４０で抽出された特徴点において、各特徴線上で隣接している特徴点同士を直線で接続した辺を曲線化対象とする辺として設定する。

続いて、ステップＳ１１０２において、曲線メッシュ生成部１５０は、３頂点直線メッシュ群を生成する処理を行う。ここでは、曲線メッシュ生成部１５０は、ステップＳ１１０１で設定した辺を制約条件として制約付きドロネー三角形分割を利用することにより、設定した辺がメッシュの辺となる３頂点直線メッシュ群を生成する。ここで、制約付きドロネー三角形分割とは、点群と制約条件を与えると、与えられた点群を頂点とし、且つ、制約条件を満たす直線メッシュを生成するアルゴリズムである。また、制約条件とは、点群の一部を結ぶ線分である。なお、設定した辺を再現するメッシュを生成することができるのであれば、他の方法を用いても構わない。

続いて、ステップＳ１１０３において、曲線メッシュ生成部１５０は、曲線化対象のすべての辺が曲線化済みであるか否かを判断する。

ステップＳ１１０３の判断の結果、曲線化対象のすべての辺については未だ曲線化済みでない場合（Ｓ１１０３／ＮＯ）、即ち、曲線化対象で曲線化されていない辺が存在する場合には、ステップＳ１１０４に進む。
ステップＳ１１０４に進むと、曲線メッシュ生成部１５０は、曲線化対象で曲線化されていない辺を１つ選択する処理を行う。

続いて、ステップＳ１１０５において、曲線メッシュ生成部１５０は、ステップＳ１１０４で選択した辺について、曲線化処理を行う。ここで、曲線メッシュ生成部１５０は、特徴線を近似するようにメッシュの辺を曲線化処理する。本実施形態では、特徴点抽出部１４０で生成した３次のベジェ関数をそのままメッシュの辺として利用しているため、曲線を再計算する必要はない。

一方、ステップＳ１１０３の判断の結果、曲線化対象のすべての辺が曲線化済みである場合（Ｓ１１０３／ＹＥＳ）には、図１１に示すフローチャートの処理を終了する。
図１２は、本発明の第１の実施形態を示し、図１に示す曲線メッシュ生成部１５０で生成された３頂点曲線メッシュ群の一例を示す図である。

ここで、再び、図１の説明に戻って、色設定部１６０の処理について説明する。
色設定部１６０は、曲線メッシュ生成部１５０で生成された各メッシュの色情報を設定する処理を行う。以下に、色設定部１６０の内部に構成されている、色点抽出部１６１、エッジ上色点補完部１６２、交点色補完部１６３に分けて、色設定部１６０の機能を説明する。

色点抽出部１６１は、メッシュの色を塗るために必要なサンプリング点となる色点を抽出する処理を行う。ここで、サンプリング点を定めてメッシュの色情報を生成するためには、様々な方法が考えられる。その方法の１つとして、上記の非特許文献１では、ＲＧＢの３成分に対して、メッシュ内の色を塗る薄板スプライン関数を入力画像の色に基づいて生成している。本実施形態では、各メッシュを更に微小な３頂点からなるメッシュ（サブメッシュ）に分割し、分割したサブメッシュの頂点の画素の色を入力画像から取得し、当該頂点に割り当てる（色割り当て）。そして、レンダリングの際には、それらの微小な三角形内の色を双線形補間で補うことにより、各メッシュの色を塗ることができる。

ここで、メッシュを構成するために必要な形状情報と色情報について説明する。
図１３は、本発明の第１の実施形態を示し、３頂点曲線メッシュの形状情報と色情報を説明するための図である。
図１３（ａ）は、３頂点から成り且つ３頂点間が曲線で結ばれている（いずれの辺も曲線で表現されている）メッシュ（３頂点曲線メッシュ）に係る形状情報を示している。図１３（ａ）において、点１３０１、１３０２及び１３０３はメッシュの頂点であり、点１３０４〜１３０９はメッシュの制御点である。ここで、メッシュの形状情報は、曲線メッシュ生成部１５０で算出されている。
図１３（ｂ）は、図１３（ａ）に示した曲線メッシュに係る色情報を示している。図１３（ｂ）において、点１３１０〜１３２４は曲線メッシュ内におけるサブメッシュの頂点（色点）であり、それぞれの色点は色情報を有する。ここでは、ＲＧＢ値を色情報として有しているものとして説明するが、ＣＭＹＫなど他の色空間の情報を有するものとしてもよい。またグレー画像の場合、対応する色点は、対応する画素の輝度情報を色情報として保持することになる。色点は、例えば、ベジェパッチを規則的に分割することにより導出される。ここでは、色点として１５点を用いているが、ベジェパッチの辺を分割する数を変更し、色点数を変更しても構わない。
図１４は、本発明の第１の実施形態を示し、分割数の異なるメッシュの色情報を説明するための図である。
例えば、図１４（ａ）では、分割数が１であり、色点数は３となる。また、図１４（ｂ）、図１４（ｃ）、図１４（ｄ）では、それぞれ、分割数が２、３、４であり、色点数が６、１０、１５点となる。

エッジ上色点補完部１６２は、エッジ線をまたぐ際に起こる急峻な色変化を表現するために、色点の色を補完する処理を行う。本実施形態では、特徴線に沿って曲線化された辺（以降、「曲線可辺」と称する）の各色点には、１つの色点に２種類の色を保持することにより上述の色変化を表現している。

図１５は、本発明の第１の実施形態を示し、特徴線をまたぐメッシュの色情報を説明するための図である。
図１５（ａ）の色点１５０１〜１５０５は、曲線化辺上にない頂点であるため、このような色点には、１色を保持させる。これ対して、図１５（ｂ）の色点１５０６〜１５１０は、曲線化辺上にある色点であるため、このような色点には、２色を保持させる。即ち、本実施例形態では、曲線化辺が２種類の色を有するものである。実際に色点に持たせる色としては、曲線化辺を当該曲線化辺に対して垂直方向に数画素分ずらした座標の入力画像の色を適用するなどが考えられる。図１５（ｂ）に示す例では、色点１５０６〜１５１０は、白と黒の色を有しており、右側のメッシュをレンダリングするときには、辺の右側の色を用い、また、左側のメッシュをレンダリングするときには、辺の左側の色を用いている。また、３本以上の曲線化辺が会合する図９（ｂ）の星印９０２で示されるような交点に関しては、次の工程（交点色補完部１６３による処理工程）で補完するため、本工程での補完対象としない。

交点色補完部１６３は、曲線化辺が３本以上会合する交点部分における急峻な色変化を表現するために、色点の色を補完する処理を行う。本実施形態では、交点上の色点に会合する曲線化辺の本数と同数の色を保持することにより上述の色変化を表現している。

図１６は、本発明の第１の実施形態を示し、特徴線が会合する交点を用いるメッシュの色情報を説明するための図である。
図１６（ａ）の破線（１６０２、１６０３及び１６０４）は曲線化辺を表現し、実線はそれ以外のメッシュの辺を表現している。また、図１６（ａ）の頂点１６０１は曲線化辺１６０２、１６０３及び１６０４の交点となっている。また、図１６（ａ）の１６０５〜１６１０は、それぞれ、色点１６０１を共有するメッシュである。このとき、色点１６０１で会合する曲線化辺の本数は３本であるため、この色点１６０１は３色を有する。このような交点部分における色を決定するために、第１の実施形態における交点色補完部１６３が行う処理について、図１７を用いて説明する。なお、図１６（ｂ）は、図１６（ａ）の例における交点部分付近を拡大した図である。

図１７は、本発明の第１の実施形態を示し、図１に示す交点色補完部１６３による交点色補完処理の処理手順の一例を示すフローチャートである。

まず、図１７のステップＳ１７０１において、交点色補完部１６３は、交点を形成する（交点に属する）曲線化辺の数Ｅｎｕｍを算出する処理を行う。図１６に示す例で言うと、Ｅｎｕｍ＝３となる。

続いて、ステップＳ１７０２において、交点色補完部１６３は、カウンタの値ｉを０で初期化する処理を行う。

続いて、ステップＳ１７０３において、交点色補完部１６３は、曲線化辺ＥｉとＥｉ＋１との間に挟まれるメッシュＭｉｊ（ｊ＝０，１，…，Ｍｉｎｕｍ）を特定し、その数Ｍｉｎｕｍを算出する処理を行う。図１６（ａ）に示す例で言うと、例えば、曲線化辺１６０２と曲線化辺１６０３に挟まれるメッシュは、１６０５及び１６０６であるため、この場合、Ｍｉｎｕｍ＝２となる。

続いて、ステップＳ１７０４において、交点色補完部１６３は、ステップＳ１７０３で算出したメッシュの数Ｍｉｎｕｍが１であるか否かを判断する。

ステップＳ１７０４の判断の結果、ステップＳ１７０３で算出したメッシュの数Ｍｉｎｕｍが１である場合には（Ｓ１７０４／ＹＥＳ）、ステップＳ１７０５に進む。
ステップＳ１７０５に進むと、交点色補完部１６３は、メッシュの数Ｍｉｎｕｍが１となるパターンの交点色を求める。図１６（ａ）に示す例で言うと、曲線化辺１６０３と曲線化辺１６０４に挟まれるメッシュ１６０７が本パターンに当たる。ここでは、まず、交点色補完部１６３は、参照中のメッシュにおいて、交点近傍の色点を２点特定する。図１６（ｂ）に示す例で言うと、点１６１２及び１６１３の２点がそれに当たる。この２点１６１２及び１６１３は、曲線化辺上色点である。そして、交点色補完部１６３は、特定した色点２点間を直線で結び、その中点座標を求め、この座標の入力画像の色を取得する。そして、この色を本パターンにおける交点の色として適用する。即ち、ステップＳ１７０５では、メッシュＭｉ０における交点近傍の曲線化辺上色点の２点を結ぶ直線の中点の入力画像の色を、メッシュＭｉ０の交点色とする処理が行われる。こうすることにより、エッジ付近の中間色を取ることなく、パッチ内部の安定した色で交点の色を補完することができる。

一方、ステップＳ１７０４の判断の結果、ステップＳ１７０３で算出したメッシュの数Ｍｉｎｕｍが１でない場合には（Ｓ１７０４／ＮＯ）、ステップＳ１７０６に進む。
ステップＳ１７０６に進むと、交点色補完部１６３は、メッシュの数Ｍｉｎｕｍが１でないパターンの交点色を求める。図１６（ａ）に示す例で言うと、曲線化辺１６０４と曲線化辺１６０２に挟まれるメッシュ１６０８〜１６１０が本パターンに当たる。ここでは、まず、交点色補完部１６３は、参照中のメッシュにおいて、交点近傍であり、且つ、曲線化辺上ではない色点を特定する。図１６（ｂ）に示す例で言うと、点１６１４や点１６１５がそれに当たる。この点１６１４及び１６１５は、メッシュ辺上色点である。そして、交点色補完部１６３は、特定した色点の色を用いて本パターンにおける交点の色を補完する。ここで、本実施形態では、特定した色点の平均色を交点の色として適用する。即ち、ステップＳ１７０６では、メッシュＭｉｊにおける交点近傍で曲線化辺上でないメッシュ辺上色点の平均色を、メッシュＭｉｊの交点色とする処理が行われる。こうすることにより、エッジ付近の中間色を取ることなく、且つ、複数のメッシュとの色の連続性を保持しながら、交点の色を補完することができる。なお、図１６（ｂ）に示す例において、１６１１のように、曲線化辺の色点を除くと交点近傍の色点が１点しかない場合には、その色をそのまま交点の色として適用すればよい。

ステップＳ１７０５の処理が終了した場合、或いは、ステップＳ１７０６の処理が終了した場合には、ステップＳ１７０７に進む。
ステップＳ１７０７に進むと、交点色補完部１６３は、現在のカウンタの値ｉがＥｎｕｍ−１と同値であるか否かを判断する。

ステップＳ１７０７の判断の結果、現在のカウンタの値ｉがＥｎｕｍ−１と同値ではない場合には（Ｓ１７０７／ＮＯ）、ステップＳ１７０８に進む。
ステップＳ１７０８に進むと、交点色補完部１６３は、カウンタの値ｉに１を加えてインクリメントする処理を行う。その後、ステップＳ１７０３に戻り、変更したカウンタの値ｉに基づいて、ステップＳ１７０３以降の処理を行う。

一方、ステップＳ１７０７の判断の結果、現在のカウンタの値ｉがＥｎｕｍ−１と同値である場合には（Ｓ１７０７／ＹＥＳ）、ステップＳ１７０９に進む。
ステップＳ１７０９に進むと、交点色補完部１６３は、最終区間の処理を行う。ここで、最終区間とは、Ｅｎｕｍ−１とＥ０で挟まれる区間を指す。ここでの処理は、当該最終区間をステップＳ１７０４〜Ｓ１７０６と同様のステップで行う。

ステップＳ１７０９の処理が終了すると、図１７に示すフローチャートにおける処理が終了する。

ここまでの処理でメッシュによる画像表現のために必要な形状情報と色情報を設定することができる。

ここで、再び、図１の説明に戻る。
データ出力部１７０は、これまでの処理で得られたメッシュによる画像表現のために必要な形状情報と色情報に基づいてレンダリング処理して画像データを生成し、これを出力データとして出力する処理を行う。

以上の処理を所望の入力画像に対して行うことにより、ビットマップで表現される画像をそのまま拡大した場合に発生するようなジャギーを発生させることなく、且つ、エッジの周辺や、交点部分の急峻な色変化を再現した画像を得ることができる。
具体的に、本実施形態によれば、入力画像から抽出されるべき特徴線（エッジ線）がうまく抽出されずに特徴線に断線部分が生じている部分を補正により接続することによって、より理想的な特徴線（エッジ線）を生成することができる。これにより、入力画像から抽出した特徴線（エッジ線）に断線部分が生じることによる画質の劣化を回避するすることができる。

＜第１の実施形態の変形例＞
図１に示す各機能構成は、ハードウェアで構成してもよいが、ソフトウェア（コンピュータプログラム）として実装してもよい。この場合、このソフトウェアは、ＰＣ（パーソナルコンピュータ）等、一般のコンピュータのメモリにインストールされることになる。そして、このコンピュータのＣＰＵがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述した画像処理装置１００−１の機能（図１に示す各機能構成の機能）を実現することになる。即ち、このコンピュータは、上述した画像処理装置１００−１に適用することができる。

図１８は、本発明の第１の実施形態における変形例を示し、図１に示す画像処理装置として適用可能なコンピュータのハードウェア構成の一例を示すブロック図である。

図１８に示すように、本発明に係る画像処理装置として適用可能なコンピュータ１００は、ＣＰＵ１８０１、ＲＡＭ１８０２、ＲＯＭ１８０３、キーボード１８０４、マウス１８０５、表示装置１８０６、外部記憶装置１８０７、記憶媒体ドライブ１８０８、Ｉ／Ｆ（インターフェース）１８０９、及び、バス１８１０の各ハードウェア構成を有して構成されている。

ＣＰＵ１８０１は、ＲＡＭ１８０２、ＲＯＭ１８０３或いは外部記憶装置１８０７に記憶されているコンピュータプログラムやデータを用いて、コンピュータ１００の全体の制御を行うと共に、画像処理装置が行うものとして説明した上述の各処理を実行する。即ち、図１に示した各機能構成が行うものとして上述した各処理を実行する。

ＲＡＭ１８０２は、コンピュータ読み取り可能な記憶媒体の一例である。ＲＡＭ１８０２は、ＲＯＭ１８０３、外部記憶装置１８０７或いは記憶媒体ドライブ１８０８からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ１８０９を介して外部装置Ｇから受信したデータなどを一時的に記憶するためのエリアを有する。さらに、ＲＡＭ１８０２は、ＣＰＵ１８０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１８０２は、各種のエリアを適宜提供することができる。

ＲＯＭ１８０３は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータ１００の設定データや、ブートプログラムなどが格納されている。

キーボード１８０４及びマウス１８０５は、コンピュータ１００のユーザがこれらを操作することにより、各種の指示をＣＰＵ１８０１に対して入力することができる。

表示装置１８０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１８０１による処理結果を画像や文字などをもって表示することができる。例えば、上述した入力画像を表示したり、３頂点曲線メッシュ群などを表示したりすることができる。

外部記憶装置１８０７は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１８０７には、ＯＳ（オペレーティングシステム）や、図１に示す各機能構成による機能をＣＰＵ１８０１に実現させるためのコンピュータプログラムやデータ、入力画像のデータ、既知の情報として説明した情報等が保存されている。外部記憶装置１８０７に記憶されているコンピュータプログラムやデータは、ＣＰＵ１８０１による制御に従って適宜ＲＡＭ１８０２にロードされ、ＣＰＵ１８０１による処理対象となる。

記憶媒体ドライブ１８０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置１８０７やＲＡＭ１８０２に出力する。なお、外部記憶装置１８０７に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ１８０８に読み取らせてもよい。

Ｉ／Ｆ１８０９は、外部装置Ｇをコンピュータ１００に接続するためのものである。例えば、ディジタルカメラなど、上述した入力画像を取得するための装置を、このＩ／Ｆ１８０９に接続し、この装置から入力画像をＩ／Ｆ１８０９を介してＲＡＭ１８０２や外部記憶装置１８０７に取得するようにしてもよい。

バス１８１０は、ＣＰＵ１８０１、ＲＡＭ１８０２、ＲＯＭ１８０３、キーボード１８０４、マウス１８０５、表示装置１８０６、外部記憶装置１８０７、記憶媒体ドライブ１８０８及びＩ／Ｆ１８０９を通信可能に接続する。

図１８に示すコンピュータ１００において、電源（不図示）がＯＮになると、ＣＰＵ１８０１は、ＲＯＭ１８０３に格納されているブートプログラムに従って、例えば外部記憶装置１８０７からＯＳをＲＡＭ１８０２にロードする。この結果、キーボード１８０４、マウス１８０５を介した情報入力操作が可能となり、表示装置１８０６にＧＵＩを表示することが可能となる。ユーザがキーボード１８０４やマウス１８０５を操作し、外部記憶装置１８０７に記憶されている画像処理用アプリケーションプログラムの起動指示を入力すると、ＣＰＵ１８０１は、このプログラムをＲＡＭ１８０２にロードして実行する。これにより、コンピュータ１００が本発明に係る画像処理装置として機能することになる。
ＣＰＵ１８０１が実行する画像処理用アプリケーションプログラムは、図１及び図２２に示す各機能構成としてコンピュータ１００を機能させ、また、図８、図１１、図１７及び図２０に示すフローチャートの各ステップをコンピュータ１００に実行させる。

以下に、図１に示す画像処理装置１００−１の機能構成と、図１８に示すコンピュータ１００のハードウェア構成との対応関係の一例について説明する。
例えば、図１８に示すＣＰＵ１８０１及び外部記憶装置１８０７等に記憶されているプログラム並びにＩ／Ｆ１８０９から、図１に示す画像入力部１１０、データ出力部１７０が構成されている。また、例えば、図１８に示すＣＰＵ１８０１及び外部記憶装置１８０７等に記憶されているプログラムから、図１に示す特徴線抽出部１２０、特徴線補正部１３０、特徴点抽出部１４０、曲線メッシュ生成部１５０、色設定部１６０が構成されている。

（第２の実施形態）
上述した第１の実施形態では、図１７で示した交点色補完処理においては交点近傍の色点の色若しくは色点間を結ぶ直線の中点座標における色そのものを交点の色として適用する形態であった。
しかしながら、この第１の実施形態の場合、メッシュ内の色の移り変わりを反映していないため、第２の実施形態ではこれを考慮し、メッシュ内の色を用いて線形外挿を行う。

ここで、第２の実施形態に係る画像処理装置の機能構成は、図１に示す第１の実施形態に係る画像処理装置の機能構成と同様である。

図１９は、本発明の第２の実施形態を示し、特徴線が会合する交点を用いるメッシュの色情報を説明するための図である。
図１９（ａ）の破線（１９０２、１９０３及び１９０４）は曲線化辺を表現し、実線はそれ以外のメッシュの辺を表現している。また、図１９（ａ）の頂点１９０１は曲線化辺１９０２、１９０３及び１９０４の交点となっている。また、図１９（ａ）の１９０５〜１９１０は、それぞれ、色点１９０１を共有するメッシュである。このとき、色点１９０１で会合する曲線化辺の本数は３本であるため、この色点１９０１は３色を有する。このような交点部分における色を決定するために、第２の実施形態における交点色補完部１６３が行う処理について、図２０を用いて説明する。なお、図１９（ｂ）は、図１９（ａ）の例における交点部分付近を拡大した図である。

図２０は、本発明の第２の実施形態を示し、図１に示す交点色補完部１６３による交点色補完処理の処理手順の一例を示すフローチャートである。

まず、図２０のステップＳ２００１において、交点色補完部１６３は、図１７のステップＳ１７０１と同様に、交点を形成する（交点に属する）曲線化辺の数Ｅｎｕｍを算出する処理を行う。図１９に示す例で言うと、Ｅｎｕｍ＝３となる。

続いて、ステップＳ２００２において、交点色補完部１６３は、図１７のステップＳ１７０２と同様に、カウンタの値ｉを０で初期化する処理を行う。

続いて、ステップＳ２００３において、交点色補完部１６３は、図１７のステップＳ１７０３と同様に、曲線化辺ＥｉとＥｉ＋１との間に挟まれるメッシュＭｉｊ（ｊ＝０，１，…，Ｍｉｎｕｍ）を特定し、その数Ｍｉｎｕｍを算出する処理を行う。図１９（ａ）に示す例で言うと、例えば、曲線化辺１９０２と曲線化辺１９０３に挟まれるメッシュは、１９０５及び１９０６であるため、この場合、Ｍｉｎｕｍ＝２となる。

続いて、ステップＳ２００４において、交点色補完部１６３は、ステップＳ２００３で算出したメッシュの数Ｍｉｎｕｍが奇数であるか否かを判断する。

ステップＳ２００４の判断の結果、ステップＳ２００３で算出したメッシュの数Ｍｉｎｕｍが奇数である場合には（Ｓ２００４／ＹＥＳ）、ステップＳ２００５に進む。
ステップＳ２００５に進むと、交点色補完部１６３は、メッシュの数Ｍｉｎｕｍが奇数となるパターンの交点色を求める。図１９（ａ）に示す例で言うと、曲線化辺１９０４と曲線化辺１９０２に挟まれるメッシュ１９０８，１９０９，１９１０が本パターンに当たる。ここでは、まず、交点色補完部１６３は、参照中のメッシュ群において、中心に当たるメッシュを特定する。図１９（ａ）に示す例で言うと、メッシュ１９０９である。そして、中心に当たるメッシュを特定すると、交点色補完部１６３は、当該特定したメッシュを構成するメッシュ辺で色点１９０１を通る辺を特定する。図１９（ｂ）に示す例で言うと、辺１９１２と辺１９１３である。そして、交点色補完部１６３は、当該特定した各辺において、それぞれ交点に最近傍の色点と次に近い色点を特定する。図１９（ｂ）に示す例で言うと、点１９１６と点１９１８が最近傍の色点であり、点１９１７と点１９１９が次に近い色点である。そして、交点色補完部１６３は、当該特定した最近傍の色点同士を結ぶ直線の中点座標を求め、この中点座標の入力画像の色を取得する。図１９（ｂ）に示す例で言うと、中点座標１９２０の入力画像の色を取得する。また、同様に、交点色補完部１６３は、当該特定した次に近い色点同士を結ぶ直線の中点座標を求め、この中点座標の入力画像の色を取得する。図１９（ｂ）に示す例で言うと、中点座標１９２１の入力画像の色を取得する。そして、交点色補完部１６３は、取得した２つの色と座標を用いて、線形外挿法により交点色を決定する。

一方、ステップＳ２００４の判断の結果、ステップＳ２００３で算出したメッシュの数Ｍｉｎｕｍが奇数でない（偶数である）場合には（Ｓ２００４／ＮＯ）、ステップＳ２００６に進む。
ステップＳ２００６に進むと、交点色補完部１６３は、メッシュの数Ｍｉｎｕｍが偶数となるパターンの交点色を求める。図１９（ａ）に示す例で言うと、曲線化辺１９０２と曲線化辺１９０３に挟まれるメッシュ１９０５，１９０６が本パターンに当たる。ここでは、まず、交点色補完部１６３は、参照中のメッシュ群において、中心に当たるメッシュ２つを特定する。図１９（ａ）に示す例で言うと、メッシュ１９０５及び１９０６である。そして、中心に当たる２つのメッシュを特定すると、交点色補完部１６３は、当該特定したメッシュで共有するメッシュ辺を特定する。図１９（ｂ）に示す例で言うと、辺１９１１である。そして、交点色補完部１６３は、当該特定した各辺において、それぞれ交点に最近傍の色点と次に近い色点を特定する。図１９（ｂ）に示す例で言うと、点１９１４が最近傍の色点であり、点１９１５が次に近い色点である。そして、交点色補完部１６３は、当該特定した２つの色点の色と座標を用いて、線形外挿法により交点色を決定する。

ステップＳ２００５の処理が終了した場合、或いは、ステップＳ２００６の処理が終了した場合には、ステップＳ２００７に進む。
ステップＳ２００７に進むと、交点色補完部１６３は、図１７のステップＳ１７０７と同様に、現在のカウンタの値ｉがＥｎｕｍ−１と同値であるか否かを判断する。

ステップＳ２００７の判断の結果、現在のカウンタの値ｉがＥｎｕｍ−１と同値ではない場合には（Ｓ２００７／ＮＯ）、ステップＳ２００８に進む。
ステップＳ２００８に進むと、交点色補完部１６３は、図１７のステップＳ１７０８と同様に、カウンタの値ｉに１を加えてインクリメントする処理を行う。その後、ステップＳ２００３に戻り、変更したカウンタの値ｉに基づいて、ステップＳ２００３以降の処理を行う。

一方、ステップＳ２００７の判断の結果、現在のカウンタの値ｉがＥｎｕｍ−１と同値である場合には（Ｓ２００７／ＹＥＳ）、ステップＳ２００９に進む。
ステップＳ２００９に進むと、交点色補完部１６３は、図１７のステップＳ１７０９と同様に、最終区間の処理を行う。

ステップＳ２００９の処理が終了すると、図２０に示すフローチャートにおける処理が終了する。

以上の処理を行うことで、メッシュ内の色の移り変わりも反映した交点色の補完を実現することができる。

（第３の実施形態）
上述した第１の実施形態では、図１に示す特徴点抽出部１４０において、特徴線上にベジェ近似の誤差の多寡でのみ特徴点とするか否かを決定していたが、交点からの距離が一定の箇所に必ず特徴点を取るようにして特徴点の補正を行ってもよい。こうすることにより、交点付近のメッシュは一定の大きさを保つことができるため、微小なメッシュでの交点色補正処理を行う必要がなくなり、より安定した交点の色補完を行うことができる。

（第４の実施形態）
第１の実施形態に係る画像処理装置では、図１に示すデータ出力部１７０から出力する出力データを画像データとしている。即ち、第１の実施形態では、メッシュの形状情報と色情報をその過程で中間データとしてのみ用いているが、当該メッシュの形状情報と色情報を符号データとし、これを出力データとして出力してもよい。

図２１は、本発明の第４の実施形態を示し、図１に示すデータ出力部１７０から出力する出力データとして符号データを適用した場合の概念図である。
本実施形態の場合、データ出力部１７０から出力する出力データは、例えば、図２１に示すように、メッシュ頂点情報２１１０、メッシュ辺情報２１２０、メッシュ色情報２１３０のような形態で出力するとよい。

メッシュ頂点情報２１１０は、メッシュ頂点数２１１１と、メッシュ頂点ＩＤ２１１２、メッシュ頂点座標２１１３からなる。
また、メッシュ辺情報２１２０は、メッシュ辺数２１２１と、メッシュ辺ＩＤ２１２２と、メッシュ辺を形成するメッシュ頂点のＩＤ２１２３と、メッシュ辺を曲線化するための制御点座標２１２４からなる。
また、メッシュ色情報２１３０は、メッシュ数２１３１と、メッシュを形成するメッシュ辺ＩＤ２１３２と、メッシュ内の色点の色２１３３からなる。

なお、復号の際には、上記の情報を読み込んで、メッシュをビットマップデータとしてレンダリングすることで所望の画像を得ることができる。このような符号データの生成や当該符号データから画像データを得るための復号は、図１に示す画像処理装置が行うようにしてもよいし、他の装置が行うようにしてもよい。

（第５の実施形態）
第４の実施形態では、符号データを生成する際に交点色補完を行った上で出力しているが、交点の色は設定済みの他の色点から補完することができるので、交点色補完を符号化時に行う必要は必ずしもない。例えば、図２２に示すように、画像処理装置を、符号データを生成する側の符号データ生成機構２２１０と、当該符号データを復号する側の復号機構２２２０からなる構成としてもよい。

図２２は、本発明の第５の実施形態に係る画像処理装置の機能構成の一例を示すブロック図である。ここで、図２２に示す画像処理装置を、「画像処理装置１００−５」と称する。なお、図２２において、図１に示す構成と同様の構成については同じ符号を付しており、その説明は省略する。

図２２に示すように、画像処理装置１００−５は、符号データを生成する側の符号データ生成機構２２１０と、当該符号データを復号する側の復号機構２２２０からなるものである。この符号データ生成機構２２１０と復号機構２２２０とは、相互に通信可能に構成されている。

符号データ生成機構２２１０は、画像入力部１１０、特徴線抽出部１２０、特徴線補正部１３０、特徴点抽出部１４０、曲線メッシュ生成部１５０、色設定部２２３０、及び、符号データ出力部２２４０の各機能構成を有して構成されている。

色設定部２２３０には、図１に示す色設定部１６０と同様の色点抽出部１６１及びエッジ上色点補完部１６２と、図１に示す色設定部１６０とは異なる交点抽出部２２３１とを有して構成されている。
交点抽出部２２３１は、交点を抽出する。例えば、交点抽出部２２３１は、交点を用いているメッシュ頂点を特定する情報、例えばＩＤを抽出して出力する。

符号データ出力部２２４０は、メッシュの形状情報と色情報に加え、交点を用いている頂点を特定する情報を出力する。

復号機構２２２０は、符号データ入力部２２５０、交点色補完部２２６０、及び、画像出力部２２７０の各機能構成を有して構成されている。

符号データ入力部２２５０は、符号データ出力部２２４０が出力した符号データを受けて、これを後段の交点色補完部２２６０に入力する。

交点色補完部２２６０は、符号データ中の交点を用いている頂点を特定する情報に基づき、交点を用いているメッシュを抽出する。そして、交点色補完部２２６０は、抽出したメッシュにおいて、第１の実施形態における交点色補完部１６３と同様の処理を行う。

画像出力部２２７０は、これまでの処理で得られたメッシュによる画像表現のために必要な形状情報と色情報等に基づいてレンダリング処理して、これを画像データとして出力する処理を行う。

本実施形態では、このような構成により、符号化時には交点に複数の色を持たせなくてもよくなるため、符号データのサイズを第４の実施形態で説明した符号データのサイズよりも小さくすることができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した各実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００−１ 画像処理装置、１１０ 画像入力部、１２０ 特徴線抽出部、１２１ エッジ検出部、１２２ エッジ線構成部、１３０ 特徴線補正部、１３１ 端点抽出部、１３２ 交点探索部、１３３ 補正済み特徴線生成部、１４０ 特徴点抽出部、１５０ 曲線メッシュ生成部、１６０ 色設定部、１６１ 色点抽出部、１６２ エッジ上色点補完部、１６３ 交点色補完部、１７０ データ出力部

Claims (11)

1. 入力画像から画素値の変化が近傍画素に比して大きな画素に基づき特徴線を抽出する特徴線抽出手段と、
   前記特徴線抽出手段で抽出された特徴線の断線部分を補正して補正済み特徴線を生成する特徴線補正手段と、
   前記特徴線補正手段で補正された補正済み特徴線に基づいて特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段で抽出された特徴点を用いて前記入力画像を複数のメッシュからなるメッシュ群に分割して当該メッシュを生成するメッシュ生成手段と、
   前記メッシュ生成手段で生成された各メッシュの色情報を設定する色設定手段と、
   前記メッシュ生成手段で生成された各メッシュについて前記色設定手段で設定された色情報に基づく処理を行って出力データを生成し、当該出力データを出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記特徴線補正手段は、
   前記特徴線抽出手段で抽出された特徴線における端点を抽出する端点抽出手段と、
   前記端点抽出手段で抽出された端点から当該端点が存在する特徴線を延長して他の特徴線と接続する際の交点を探索する交点探索手段と、
   前記端点抽出手段で抽出された端点から当該端点が存在する特徴線を延長して前記交点探索手段で探索された交点に接続することにより、前記補正済み特徴線を生成する補正済み特徴線生成手段と、
   を含むことを特徴とする請求項１に記載の画像処理装置。
3. 入力画像から画素値の変化が近傍画素に比して大きな画素に基づき特徴線を抽出する特徴線抽出手段と、
   前記特徴線抽出手段で抽出された特徴線における端点を抽出する端点抽出手段と、
   前記端点抽出手段で抽出された端点から当該端点が存在する特徴線を延長して他の特徴線と接続する際の交点を探索する交点探索手段と、
   前記端点抽出手段で抽出された端点から当該端点が存在する特徴線を延長して前記交点探索手段で探索された交点に接続することにより、前記特徴線抽出手段で抽出された特徴線の断線部分を補正した補正済み特徴線を生成する補正済み特徴線生成手段と、
   を有することを特徴とする画像処理装置。
4. 前記交点探索手段は、前記端点抽出手段で抽出された端点の近傍で最も画素値の変化が大きな画素方向にある前記他の特徴線上の前記交点を探索することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記交点探索手段において前記交点を探索する際の前記近傍の範囲は、前記端点抽出手段で抽出された端点を着目画素とし、当該着目画素と当該端点が存在する特徴線上であって前記着目画素の隣にある画素との配置に基づいて予め定められた範囲であることを特徴とする請求項４に記載の画像処理装置。
6. 前記特徴線抽出手段において前記特徴線を抽出する際の前記近傍画素の範囲は、予め定められた範囲であり、
   前記交点探索手段は、前記近傍の範囲を、前記最も画素値の変化が大きな画素と当該最も画素値の変化が大きな画素を求めた際の前記着目画素との配置に基づいて予め定められた範囲に更新して、前記交点を定めるか、あるいは、前記特徴線抽出手段において前記特徴線を抽出する際の前記近傍画素の範囲である予め定められた範囲に基づき予め定められた回数まで前記交点の探索を繰り返し行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記交点探索手段において、前記予め定められた回数まで前記交点の探索を繰り返し行っても前記交点が定まらない場合には、当該端点から当該端点が存在する特徴線を延長した前記補正済み特徴線の生成は行われないことを特徴とする請求項６に記載の画像処理装置。
8. 入力画像から画素値の変化が近傍画素に比して大きな画素に基づき特徴線を抽出する特徴線抽出ステップと、
   前記特徴線抽出ステップで抽出された特徴線の断線部分を補正して補正済み特徴線を生成する特徴線補正ステップと、
   前記特徴線補正ステップで補正された補正済み特徴線に基づいて特徴点を抽出する特徴点抽出ステップと、
   前記特徴点抽出ステップで抽出された特徴点を用いて前記入力画像を複数のメッシュからなるメッシュ群に分割して当該メッシュを生成するメッシュ生成ステップと、
   前記メッシュ生成ステップで生成された各メッシュの色情報を設定する色設定ステップと、
   前記メッシュ生成ステップで生成された各メッシュについて前記色設定ステップで設定された色情報に基づく処理を行って出力データを生成し、当該出力データを出力する出力ステップと、
   を有することを特徴とする画像処理方法。
9. 入力画像から画素値の変化が近傍画素に比して大きな画素に基づき特徴線を抽出する特徴線抽出ステップと、
   前記特徴線抽出ステップで抽出された特徴線における端点を抽出する端点抽出ステップと、
   前記端点抽出ステップで抽出された端点から当該端点が存在する特徴線を延長して他の特徴線と接続する際の交点を探索する交点探索ステップと、
   前記端点抽出ステップで抽出された端点から当該端点が存在する特徴線を延長して前記交点探索ステップで探索された交点に接続することにより、前記特徴線抽出ステップで抽出された特徴線の断線部分を補正した補正済み特徴線を生成する補正済み特徴線生成ステップと、
   を有することを特徴とする画像処理方法。
10. 請求項１乃至７のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
11. 請求項１０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images