JP2014048847A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 エッジ線交点部分においても色再現性の良い３頂点曲線メッシュ群を生成するための技術を提供すること。
【解決手段】 入力画像中のメッシュ辺のうち検出線に対応するメッシュ辺を対応メッシュ辺とする。該対応メッシュ辺上の色点のうち着目色点が３以上の対応メッシュ辺の交点となっている場合、該交点を共有するメッシュ群を該３以上の対応メッシュ辺を境界にして複数のグループに分割する。そして、それぞれのグループ内の該交点に近接する位置の色を、前記着目色点に割り当てる。
【選択図】 図１

Description

本発明は、画像をベクトル表現する画像処理技術に関するものであり、特に、ラスタ画像をメッシュ群で表現するベクトル表現技術に関するものである。

従来から、画像をベクトル表現する技術は広く知られている。ベクトル表現された画像は、拡大縮小時に画質劣化が少ない、画像編集し易い、高い圧縮率を実現できるなどの利点がある。

イラストや文字をベクトル表現するには、オブジェクトの輪郭をベジェ、スプライン関数などで近似する手法が用いられている。オブジェクト領域内は、単一色、線形グラデーション、放射状グラデーションなどで塗ることができるが、複雑なグラデーションの表現は困難である。

複雑なグラデーションを含むオブジェクトをベクトル表現するには、Ａｄｏｂｅ Ｉｌｌｕｓｔｒａｔｏｒ（登録商標）のグラディエント・メッシュ・ツールが一般に用いられている。グラディエント・メッシュでは、メッシュに色と勾配を与えて３次関数を生成することで複雑なグラデーションを含むオブジェクトを描画できる（特許文献１）。

グラディエント・メッシュは４頂点から成る曲線メッシュであるが、３頂点から成る曲線メッシュを用いることでより複雑なグラデーションをベクトル表現する技術が知られている（非特許文献１）。画像内のエッジを線分群として抽出し（以下エッジ線と呼ぶ）、エッジ線を再現する３頂点曲線メッシュ群を構成することでベクトル表現を行う。ここで、３頂点曲線メッシュとは、メッシュの頂点数が３であり、頂点間を結ぶメッシュの辺が直線または曲線であるものとする。

特登録０４２２００１０

Ｔｉａｎ Ｘｉａ， Ｂｉｎｂｉｎ Ｌｉａｏ， ａｎｄ Ｙｉｚｈｏｕ Ｙｕ， 「Ｐａｔｃｈ−Ｂａｓｅｄ Ｉｍａｇｅ Ｖｅｃｔｏｒｉｚａｔｉｏｎ ｗｉｔｈ Ａｕｔｏｍａｔｉｃ Ｃｕｒｖｉｌｉｎｅａｒ Ｆｅａｔｕｒｅ Ａｌｉｇｎｍｅｎｔ」， ＡＣＭ ＳＩＧＧＲＡＰＨ Ａｓｉａ ２００９， Ｖｏｌ．２８， Ｎｏ．５．

自然画像のような色が複雑に変化するオブジェクトを３頂点曲線メッシュ群によりベクトル表現することを考える。直線メッシュに対して曲線メッシュは、オブジェクトの形状や特徴を曲線で近似するため、より少ないメッシュ数でオブジェクトを近似できる。３頂点曲線メッシュ群で画像を精度良く近似するためには、エッジ線を再現し、且つ画像の大域的な色変化の特徴を捉えたメッシュ群を生成する必要がある。

例えば非特許文献１では、画像内のエッジ線を抽出し、エッジ線に沿うようなメッシュ群を生成する。そしてその後、メッシュ毎にＲＧＢの３成分に対して、メッシュ内の色を塗る薄板スプライン関数を入力画像の色を元に最適化して生成している。このとき、隣接するメッシュ間はエッジ線をまたいでいない時のみ、薄板スプライン関数を連続させることでエッジ部分の急峻な色変化とグラデーション部分の緩やかな色変化を表現している。しかしこの方法では、メッシュ毎に色決定のための最適化演算を要するため、画像近似精度は良いが計算量が多くなってしまう。

他にはメッシュを更に微小な３頂点からなるメッシュに細分割し、細分割メッシュの頂点をサンプリング点として入力画像から色を取得し、それら微小な三角形内の色を双線形補間で補うことで、メッシュの色を表現する手法が考えられる。しかしこの手法によるとエッジ部分において同じ頂点をサンプリング点として取得することとなるため、エッジの急峻な色変化を表現できなくなってしまう。特にエッジ線が会合する交点部分においては、色の浸み出しが発生してしまい画質の劣化を招く。

本発明はこのような問題に鑑みて成されたものであり、エッジ線交点部分においても色再現性の良い３頂点曲線メッシュ群を生成するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は、入力画像から検出された検出線が、３頂点から成り且つ該３頂点間を結ぶ辺が直線または曲線であるメッシュの一辺となるように、前記入力画像を該メッシュを単位に分割し、該メッシュを複数のサブメッシュに分割し、該サブメッシュの各頂点を色点として該色点に色を割り当てる画像処理装置であって、前記入力画像中のメッシュ辺のうち前記検出線に対応するメッシュ辺を対応メッシュ辺とし、該対応メッシュ辺上の色点のうち着目色点が３以上の対応メッシュ辺の交点となっている場合、該交点を共有するメッシュ群を該３以上の対応メッシュ辺を境界にして複数のグループに分割し、それぞれのグループ内の該交点に近接する位置の色を、前記着目色点に割り当てる第１の割り当て手段と、前記対応メッシュ辺上の前記交点ではない色点に対しては、該色点を共有するそれぞれのメッシュ内で該色点に近接する位置の色を、該色点に割り当てる第２の割り当て手段と、前記対応メッシュ辺上の色点以外の他色点に対して、前記入力画像中の該他色点の位置における色を割り当てる第３の割り当て手段と、前記第１乃至３の割り当て手段によって割り当てた色を出力する手段とを備えることを特徴とする。

本発明の構成により、エッジ線交点部分においても色再現性の良い３頂点曲線メッシュ群を生成することができる。

画像処理装置の機能構成例を示すブロック図。 エッジ線として望ましくない結果となるケースを説明する図。 特徴点抽出部１０３の動作について説明する図。 特徴点抽出部１０３の動作について説明する図。 曲線メッシュ生成部１０４が行う処理のフローチャート。 図３（ａ）の特徴線に対して３頂点曲線メッシュ群生成処理を行った結果を示す図。 形状情報及び色情報を説明する図。 ベジェパッチの分割について説明する図。 色点に対する色設定について説明する図。 色点に対する色設定について説明する図。 交点色補完部１０７が行う処理のフローチャート。 画像処理装置に適用可能なコンピュータのハードウェア構成例を示すブロック図。 色点に対する色設定について説明する図。 交点色補完部１０７が行う処理のフローチャート。 符号データの構成例を示す図。 符号データの生成を行う装置、該符号データを復号する装置、の構成例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態で用いる３頂点曲線メッシュについて説明する。上記の通り、３頂点曲線メッシュの各辺は曲線若しくは線分であるが、この曲線は、ベジェ曲線で構成されても良いし、Ｂ−スプラインで構成されても良い。即ち、曲線の種類は特定の種類に限るものではない。以下では説明上、３頂点曲線メッシュにパラメトリック曲面の一つである３頂点のベジェパッチを用いるものとする。ベジェパッチの中でも特に３次のベジェパッチでは、メッシュの各辺が３次のベジェ曲線となるため、３頂点曲線メッシュを生成したのちにユーザによる編集が容易であるという利点がある。Ｐ１、Ｐ２、Ｐ３を頂点とする３次のベジェパッチ内の点は以下の式で表される。

ここでｓ、ｔ、ｕはパッチのパラメータ（パッチ内の重心座標）である。また、ｐ１、ｐ２、ｐ３はそれぞれ、頂点Ｐ１、Ｐ２、Ｐ３の座標値である。ｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６およびｃ７は曲線パッチの形状を定めるパラメータである。ここで、ｃ１からｃ６はベジェパッチの輪郭を決める３つのベジェ曲線の制御点に対応するパラメータである。ｃ７はベジェパッチの輪郭には関与しないパラメータであり、本実施形態ではベジェパッチの頂点の座標と、輪郭を成すベジェ曲線の制御点に対応するパラメータから以下の式によって定める。

次に、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。なお、図１に示した構成はあくまで以下に説明する処理を実行するための構成の一例に過ぎない。

画像入力部１０１には、ラスタ表現の画像（入力画像）が入力される。入力画像はカラー画像、グレー画像、白黒画像のいずれでも構わない。また、入力画像は矩形画像でも構わないし、画像の一部をベクトル化したい場合には背景部を透過色に設定した画像等、切り出された領域が与えられても良い。そして画像入力部１０１は、この入力画像を後段の特徴線検出部１０２に転送する。

特徴線検出部１０２は、入力画像中に、特徴を表す曲線形状の特徴線を構成する。本実施形態では、特徴線としてエッジ線を用いる。特徴線を構成するための処理は大きく分けて、エッジ検出処理と、エッジ線構成処理と、に分けられる。

先ず、エッジ線検出処理について説明する。エッジ線検出処理では先ず、入力画像からエッジを構成する画素（エッジ画素）を検出する。本実施形態では、キャニー法という既知の方法を用いてエッジ画素を検出するが、他の手法を用いてエッジ画素を検出するようにしても良い。また、キャニー法が効果的に機能するように、入力画像に対して明るさ調整、エッジ強調などの前処理を施しても構わない。

そして次に、エッジ線構成処理を行う。エッジ線構成処理では先ず、隣接するエッジ画素間を結ぶ線分を構成することで、エッジ線を再現する線分群を構成する。隣接するエッジ画素間を結んで線分群を構成する際に、注目エッジ画素の上、下、左、右にある４つのエッジ画素が隣接しているとみなす４連結接続がある。また、この４方向に加えて右上、右下、左上、左下にある４つのエッジ画素も隣接していると見なす８連結接続もある。本実施形態では８連結接続を用いるが、これは一例に過ぎない。

ここで、キャニー法を用いて検出したエッジ画素に対して８連結接続で隣接しているとみなせるエッジ画素間を結ぶと、エッジ線として望ましくない結果が得られる場合がある。このケースについて図２を用いて説明する。

図２（ａ）〜（ｄ）には画像中のある領域を構成する画素群を示しており、１つの四角形が１つの画素を表している。また、斜線で示している四角形がエッジ画素を表しており、斜線がない四角形がエッジ画素以外の画素（非エッジ画素）を表している。

図２（ａ）に示したエッジ画素群について、８連結接続で隣接したエッジ画素を結ぶと、図２（ｂ）に示すように、エッジ画素２０１、２０２、２０３を結ぶようなループが発生してしまう。図２（ａ）に示すようなエッジ画素が検出された場合、このようなループの発生を抑制する必要がある。そこで本実施形態では、８連結接続を行う前に、Ｈｉｌｄｉｔｃｈ細線化法という既知の手法を用いることで、この問題を解決する。図２（ａ）に示したエッジ画素群に対してＨｉｌｄｉｔｃｈ細線化を行うと、図２（ｂ）に示したエッジ画素２０１は非エッジ画素となる。その結果、図２（ｃ）に示すように、エッジ画素（２０４〜２０７）がループのない１つのエッジ線によって結ばれることになる。

このとき、図２（ｄ）のエッジ画素２０８に示すように、複数のエッジ線が一か所に会合するようなパターンが発生することがある。このような場合は、会合するエッジ線を分断し、それぞれ独立したエッジ線として扱うこととする。図２（ｄ）の例でいえばエッジ線は３本となる。

なお、特徴線にはエッジ線以外にも、例えば入力画像中のオブジェクトの領域の輪郭などが考えられる。ここでオブジェクトとは、文字や物体像等を指している。既に述べたように、入力画像の一部をベクトル化するという目的で、入力画像の一部が透過色に設定されている場合は、透過色と非透過色の境界に有る画素がオブジェクトの輪郭画素となる。オブジェクトの輪郭画素を１つの線分群にまとめる処理は、エッジ線構成処理と同様の処理に従って隣接する画素同士をつなぎ合わせることで実現できる。これは、入力画像内の異なる属性の領域の間の境界線にある画素についても同様である。

また、特徴線検出部１０２は、入力画像を領域分割し、その境界線を特徴線としても良い。領域分割は最近傍法を用いたもの、ＥＭアルゴリズムを利用したものなど、多くの手法が知られている。本実施形態では、濃度変化の基準として閾値を定めたうえでキャニー法を適用してエッジ画素を検出し、このエッジ画素を用いて特徴線を構成する。

図１に戻って、次に、特徴点抽出部１０３は、特徴線上のサンプル点のうち、最終的に用いるサンプル点を特徴点として決定する。特徴点抽出部１０３の動作について、図３，４を用いて説明する。

図３（ａ）には、入力画像中のある領域で構成された特徴線を示している。特徴点抽出部１０３は、この特徴線上に複数のサンプル点を設定する。このサンプル点は上記のエッジ画素であっても良い。

ある区間における特徴線上のサンプル点群を図４（ａ）に示す。図４（ａ）において４０１〜４０５はサンプル点を示している。特徴線の端点を起点として隣接するサンプル点を順番に削除して近似関数を生成していく。

先ず、図４（ｂ）に示す如く、特徴線の端点であるサンプル点４０１を起点として、まずサンプル点４０２が削除され、サンプル点４０１とサンプル点４０３とを近似曲線の端点として、サンプル点４０２を近似するように近似曲線４０６を生成する。ここで近似関数は、３次のベジェ関数を最小自乗近似により生成しているが、Ｂ−スプライン関数など他の関数を用いても構わない。生成した近似曲線４０６と削除したサンプル点４０２との距離から誤差を計算し、誤差が閾値以内であれば次のサンプル点を削除する。本実施形態では、誤差の閾値は１画素としている。図４（ｂ）では誤差が閾値以内であるとして、次の処理を説明する。

図４（ｃ）に示す如く、次に隣接したサンプル点４０３を削除して、サンプル点４０１とサンプル点４０４を近似曲線の端点として、サンプル点４０２とサンプル点４０３を近似するように近似曲線４０７を生成する。近似曲線４０７とサンプル点４０２、４０３との誤差を計算する。図４（ｃ）では誤差が閾値以内であるとして、次の処理を説明する。

図４（ｄ）に示す如く、次に隣接したサンプル点４０４を削除して、サンプル点４０１とサンプル点４０５を近似曲線の端点としてサンプル点４０２、４０３、４０４を近似するように近似曲線４０８を生成する。近似曲線４０８とサンプル点４０２、４０３、４０４との誤差を計算する。ここで近似曲線４０８とサンプル点４０２、４０４との誤差が閾値を超えたとする。このとき近似曲線４０８は採用せず、前に生成された近似曲線４０７が有効な近似関数として採用される。

そしてこの場合は、図４（ｅ）に示す如く、特徴線の端点であるサンプル点４０１を起点とし、サンプル点４０２、４０３は削除され、近似曲線４０７の端点であるサンプル点４０４を特徴点としてサンプリングする。すなわち、特徴線の端点であるサンプル点４０１とサンプル点４０５、特徴点としてサンプリングされたサンプル点４０４が第１の特徴点として採用される。ここで、サンプル点がより多いとき、サンプル点４０４を起点として同様の処理を繰り返して、特徴点を決定していく。以上の処理により、図２（ｃ）のエッジ画素２０４、２０７のような特徴線の端点と図２（ｄ）のエッジ画素２０８のような特徴線の交点に加え、特徴点が抽出される。図３（ａ）の特徴線に対し、最終的にサンプリングされた特徴点は、図３（ｂ）の白丸３０１と星印３０２で示される通りである。もちろん画像の特徴を再現できるのであれば、特徴線の端点間を均等にサンプリングして特徴点とするなど他の方法を用いても構わない。

図１に戻って、曲線メッシュ生成部１０４は、特徴線を再現可能に、入力画像を３頂点曲線メッシュ群に分割する。曲線メッシュ生成部１０４が行う処理について、同処理のフローチャートを示す図５を用いて説明する。もちろん、図５のフローチャートに示した各ステップにおける処理の主体は何れも曲線メッシュ生成部１０４である。

先ず、ステップＳ５０１では、曲線化対象とする辺を設定する。ここでは、特徴点抽出部１０３によって決定された特徴点において、特徴線上で隣接している特徴点間を結ぶ線分を曲線化対象とする辺として設定する。

次に、ステップＳ５０２では、ステップＳ５０１で設定した辺を制約条件として制約付きドロネー三角形分割を利用することで、設定した辺がメッシュの辺となる３頂点直線メッシュ群を生成する。制約付きドロネー三角形分割は、点群と制約条件を与えると、与えられた点群を頂点とし、かつ制約条件を満たす直線メッシュを生成するアルゴリズムである。ここで制約条件とは点群の一部を結ぶ線分である。もちろん、設定した辺を再現する３頂点直線メッシュを生成することができるのであれば、他の方法を用いても良い。

ステップＳ５０３では、曲線化対象となる全ての辺を曲線化したか否かを判断する。この判断の結果、曲線化対象となる全ての辺を曲線化したのであれば、図５のフローチャートに従った処理は完了し、曲線化対象となる辺のうちまだ曲線化していない辺が残っているのであれば、処理はステップＳ５０４に進む。

ステップＳ５０４では、曲線化対象となる辺のうちまだ曲線化してない辺を１つ選択する。そしてステップＳ５０５では、ステップＳ５０４で選択した辺を曲線化する。この曲線化では、特徴線を近似するようにメッシュの辺を曲線化する。本実施形態では特徴点抽出部１０３で生成した３次のベジェ関数をそのままメッシュの辺として利用しているため、曲線を再計算する必要はない。図３（ａ）の特徴線に対してこのような３頂点曲線メッシュ群生成処理を行った結果を図６に示す。

図１に戻って、次に、色点抽出部１０５は、曲線メッシュ生成部１０４によって入力画像上に設定された各メッシュを塗るために必要な色情報を定める。色情報を生成する為には様々な方法が考えられる。その方法の１つとして考えられるのが、各メッシュを一色で塗る方法である。一色の定め方としては、メッシュの内部に含まれる画素の画素値の平均値を、このメッシュの色情報とする方法などがある。メッシュ内の色をより複雑に表現する方法としては、各メッシュに対して色を表現する関数を生成する方法が考えられる。例えば非特許文献１では、ＲＧＢの３成分に対して、メッシュ内の色を塗る薄板スプライン関数を入力画像の色を元に生成している。本実施形態では、各メッシュを更に微小な３頂点からなるメッシュ（サブメッシュ）に分割し、分割したサブメッシュの頂点の画素の色を入力画像から取得し、該頂点に割り当てる（色割り当て）。レンダリングの際はそれら微小な三角形内の色を双線形補間で補うことで、各メッシュの色を塗ることができる。

ここで、各メッシュを構成するために必要な形状情報と色情報について説明する。図７（ａ）は、３頂点から成り且つ３頂点間が曲線で結ばれている（何れの辺も曲線で表現されている）メッシュ（３頂点曲線メッシュ）に係る形状情報を示す。７０１、７０２、７０３は曲線メッシュの頂点、７０４〜７０９は曲線メッシュの制御点である。この形状情報は、曲線メッシュ生成部１０４によって生成されている。

図７（ｂ）は、図７（ａ）に示した曲線メッシュに係る色情報を示す。７１０〜７２４は曲線メッシュ内におけるサブメッシュの頂点（色点）であり、それぞれの色点は色情報を有する。ここでは色点はRGB値を色情報として有しているものとして説明するが、CMYKなど他の色空間における色情報を有するものとしても良い。また、入力画像がグレー画像である場合、色点は、対応する画素の輝度情報を色情報として保持することになる。色点は、ベジェパッチを規則的に分割することで導出される。ここでは色点として１５点を用いているが、ベジェパッチの分割数を変更し、色点数を変更しても構わない。例えば、図８（ａ）では分割数が１であり、色点のサンプリング数は３となる。また図８（ｂ）、（ｃ）、（ｄ）ではそれぞれ、分割数が２、３、４であり、色点のサンプリング数は６、１０、１５点となる。

図１に戻って、次に、エッジ上色点補完部１０６は、エッジ線をまたぐ際に起こる急峻な色変化を表現するために、色点の色情報を補完する。本実施形態では、特徴線に沿って曲線化された辺（曲線化辺と呼称する）の各色点には、一つの色点に２種類の色を保持させることで前述の色変化を表現している。図９（ａ）の色点９０１〜９０５は、曲線化辺上にない色点であるので、このような色点には１色を保持させる。対して図９（ｂ）の色点９０６〜９１０は、曲線化辺上にある色点であるので、このような色点には２色を保持させる。つまり本実施形態では、曲線化辺が２種類の色を有する。実際に色点に持たせる色としては曲線化辺を該曲線化辺に対して垂直方向に数画素分ずらした位置における入力画像の色を適用するなどが考えられる。図９（ｂ）の例では、色点９０６〜９１０は白と黒の色を有し、右側のメッシュをレンダリングするときは、辺の右側の色を用いている。また左側のメッシュをレンダリングするときは、辺の左側の色を用いている。また、３本以上の曲線化辺が会合する図３の星印３０２で示されるような交点に関しては次の工程で補完するため本工程での補完対象としない。

図１に戻って、次に、交点色補完部１０７は、曲線化辺が３本以上会合する交点部分における急峻な色変化を表現するために、該交点上の色点の色を補完する。本実施形態では、交点上の色点に会合する曲線化辺の本数と同数の色を該色点に保持させることで前述の色変化を表現している。図１０（ａ）の破線（１００２、１００３、１００４）は曲線化辺、実線はそれ以外のメッシュの辺を表現している。また図１０（ａ）の色点１００１は曲線化辺１００２、１００３、１００４の交点となっている。また１００５〜１０１０はそれぞれ色点１００１を共有するメッシュである。このとき、色点１００１で会合する曲線化辺の本数は３本であるため、この色点１００１は３色を有する。このような交点部分における色を決定するために交点色補完部１０７が行う処理について、同処理のフローチャートを示す図１１を用いて説明する。なお、図１０（ｂ）は図１０（ａ）の例における交点部分付近を拡大した図である。

先ず、ステップＳ１１０１では、交点を共有する曲線化辺の数Ｅｎｕｍを計数する。図１０の例では、交点（色点１００１）を共有する曲線化辺は、曲線化辺１００２，１００３，１００４の３本であるので、Ｅｎｕｍ＝３となる。次に、ステップＳ１１０２では、以下の処理で用いる変数ｉを１に初期化する。

ステップＳ１１０３ではＥｎｕｍ本の曲線化辺を（交点を軸に時計若しくは半時計回り順に）Ｅ１，…，ＥＥｎｕｍとした場合に、ＥｉとＥｉ＋１（ＥＥｎｕｍ＋１＝Ｅ１）との間にはさまれるメッシュＭｉｊ（ｊ＝１〜Ｍｉｎｕｍ）の数Ｍｉｎｕｍを計数する。図１０の例では、Ｅ１を曲線化辺１００２、Ｅ２を曲線化辺１００３、Ｅ３を曲線化辺１００４とした場合に、Ｅ１とＥ２との間にはさまれているメッシュは、メッシュ１００５（Ｍ１１），１００６（Ｍ１２）の２つのであるので、Ｍｉｎｕｍ＝２となる。また、Ｅ２とＥ３との間にはさまれているメッシュは、メッシュ１００７（Ｍ２１）の１つのであるので、Ｍｉｎｕｍ＝１となる。また、Ｅ３とＥ１との間にはさまれているメッシュは、メッシュ１００８（Ｍ３１），１００９（Ｍ３２），１０１０（Ｍ３３）の３つのであるので、Ｍｉｎｕｍ＝３となる。

ステップＳ１１０４では、Ｍｉｎｕｍ＝１であるか否かを判断する。この判断の結果、Ｍｉｎｕｍ＝１であれば処理はステップＳ１１０５に進み、Ｍｉｎｕｍ≠１であれば、処理はステップＳ１１０６に進む。

ステップＳ１１０５では、メッシュＭｉ１における交点近傍の色を取得し、該取得した色を交点の色として設定する。具体的には、ＥｉとＥｉ＋１のそれぞれにおいて交点に最も近い色点を特定し、特定したそれぞれの色点の中点位置を求める。この中点位置は、メッシュＭｉ１中の位置である。そしてこの中点位置における色を入力画像から取得し、該取得した色を交点に対して設定する。

図１０の例では、ｉ＝２の場合に処理はステップＳ１００４からステップＳ１００５に進む。この場合、曲線化辺１００３、１００４において、色点１００１に最も近い色点は色点１０１２，１０１３である。然るに、色点１０１２と色点１０１３との中点位置（メッシュ１００７内の位置）を求め、この中点位置における色を入力画像から取得し、該取得した色を色点１００１に対して設定する。こうすることで、エッジ付近の中間色を取ることなく、パッチ内部の安定した色で交点の色を補完することができる。

一方、ステップＳ１００６では、ＥｉとＥｉ＋１とにはさまれたメッシュにおいて、交点近傍の、曲線化辺上にはない色点の色を取得し、該取得した色から計算される計算色を交点の色として設定する。具体的には、ＥｉとＥｉ＋１とにはさまれたメッシュにおいて、交点近傍の、曲線化辺上にはない複数の色点を特定し、特定したそれぞれの色点における色から計算される計算色（例えば平均色）を求め、該求めた計算色を交点の色として設定する。

図１０の例では、ｉ＝１の場合やｉ＝３の場合に、処理はステップＳ１００４からステップＳ１００５に進む。ｉ＝３の場合、曲線化辺１００４と曲線化辺１００２との間にはさまれたメッシュはメッシュ１００８〜１０１０である。そして、メッシュ１００８〜１０１０内の色点のうち、曲線化辺上にはなく且つ色点１００１の近傍（ここでは最も近い）の色点は色点１０１４，１０１５である。この場合、色点１０１４，１０１５の色から計算色を求め、該求めた計算色を色点１００１に設定する。こうすることでエッジ付近の中間色を取ることなく、かつ複数のメッシュとの色の連続性を保持しながら交点の色を補完することができる。

なお、ｉ＝１の場合、曲線化辺１００２と曲線化辺１００３との間にはさまれたメッシュ１００５，１００６内の色点のうち、曲線化辺上にはなく且つ色点１００１の近傍（ここでは最も近い）の色点は色点１０１１のみとなる。このような場合は、色点１０１１の色を色点１００１に設定することになる。

ステップＳ１１０７では、ｉ＝Ｅｎｕｍであるか否かを判断する。この判断の結果、ｉ＝Ｅｎｕｍであれば、図１１のフローチャートに従った処理は終了する。一方、ｉ＜Ｅｎｕｍであれば、処理はステップＳ１１０８に進む。ステップＳ１１０８では、変数ｉの値を１つインクリメントし、ステップＳ１１０３以降の処理を繰り返す。

以上説明した各処理を実行することで、メッシュによる画像表現のために必要な形状情報と色情報とを設定することができる。

図１に戻って、画像出力部１０８は、これまでの処理で得られたメッシュによる画像表現のために必要な形状情報と色情報とを元にレンダリング処理を行うことで、画像を生成し、該生成した画像を出力する。生成した画像の出力先は、特定の出力先に限るものではなく、ＣＲＴや液晶画面などに表示しても良いし、適当なメモリに出力しても良いし、外部装置に対して出力しても良い。また、上記の処理により得られた形状情報や色情報は、周知のメッシュ符号化の対象として処理しても良い。

以上の処理を入力画像に対して行うことで、ビットマップで表現される画像をそのまま拡大した場合に発生するようなジャギーを発生させることなく、かつエッジの周辺や、交点部分の急峻な色変化を再現した画像を得ることができる。

＜第１の実施形態の変形例＞
図１に示した各部はハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）として実装しても良い。この場合、このソフトウェアは、ＰＣ（パーソナルコンピュータ）等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのＣＰＵがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述の画像処理装置の機能（図１に示した各部の機能）を実現することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。図１２を用いて、第１の実施形態に係る画像処理装置として適用可能なコンピュータのハードウェア構成例について説明する。

ＣＰＵ１２０１は、ＲＡＭ１２０２やＲＯＭ１２０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置が行うものとして説明した上述の各処理を実行する。即ち、図１に示した各部が行うものとして上述した各処理を実行する。

ＲＡＭ１２０２は、コンピュータ読み取り可能な記憶媒体の一例である。ＲＡＭ１２０２は、外部記憶装置１２０７や記憶媒体ドライブ１２０８からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１２０９を介して外部装置から受信したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１２０２は、ＣＰＵ１２０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１２０２は、各種のエリアを適宜提供することができる。ＲＯＭ１２０３は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータの設定データや、ブートプログラムなどが格納されている。

キーボード１２０４、マウス１２０５は、コンピュータの操作者が操作することで、各種の指示をＣＰＵ１２０１に対して入力することができる。表示装置１２０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１２０１による処理結果を画像や文字などをもって表示することができる。例えば、上記入力画像を表示したり、３頂点曲線メッシュ群や上記レンダリング結果などを表示したりすることができる。

外部記憶装置１２０７は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１２０７には、ＯＳ（オペレーティングシステム）や、図１に示した各部の機能をＣＰＵ１２０１に実現させるためのコンピュータプログラムやデータ、上記入力画像のデータ、既知の情報として説明した情報等が保存されている。外部記憶装置１２０７に保存されているコンピュータプログラムやデータは、ＣＰＵ１２０１による制御に従って適宜ＲＡＭ１２０２にロードされ、ＣＰＵ１２０１による処理対象となる。

記憶媒体ドライブ１２０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置１２０７やＲＡＭ１２０２に出力する。なお、外部記憶装置１２０７に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ１２０８に読み取らせても良い。

Ｉ／Ｆ１２０９は、外部装置をコンピュータに接続する為のものである。例えば、ディジタルカメラなど、上記入力画像を取得するための装置を、このＩ／Ｆ１２０９に接続し、この装置から入力画像をＩ／Ｆ１２０９を介してＲＡＭ１２０２や外部記憶装置１２０７に取得するようにしても良い。１２１０は、上述の各部を繋ぐバスである。

上述構成において、本コンピュータの電源がＯＮになると、ＣＰＵ１２０１はＲＯＭ１２０３に格納されている上記ブートプログラムに従って、外部記憶装置１２０７からＯＳをＲＡＭ１２０２にロードする。この結果、キーボード１２０４、マウス１２０５を介した情報入力操作が可能となり、表示装置１２０６にＧＵＩを表示することが可能となる。ユーザが、キーボード１２０４やマウス１２０５を操作し、外部記憶装置１２０７に格納された画像処理用アプリケーションプログラムの起動指示を入力すると、ＣＰＵ１２０１はこのプログラムをＲＡＭ１２０２にロードし、実行する。これにより、本コンピュータが上記の画像処理装置として機能することになる。

ＣＰＵ１２０１が実行する画像処理用のアプリケーションプログラムは、基本的に図１，１６の各処理部、及び、図５，１１，１４の各ステップに示す各構成要素に相当する関数を備えることになる。

［第２の実施形態］
第１の実施形態では、図１１で示した交点色補完処理においては交点近傍の色点の色、もしくは色点間を結ぶ直線の中点位置における色そのものを交点の色として適用していた。しかしこれはメッシュ内の色の移り変わりを反映していない。本実施形態ではこれを考慮し、メッシュ内の色を用いて線形外挿を行う。なお、本実施形態は、以下に説明する点以外については、第１の実施形態と同様であるとする。即ち、以下では、第１の実施形態との差分のみについて説明する。

図１３（ａ）の破線（１３０２、１３０３、１３０４）は曲線化辺、実線はそれ以外のメッシュの辺を表現している。また図１３（ａ）の色点１３０１は曲線化辺１３０２、１３０３、１３０４の交点となっている。また１３０５〜１３１０はそれぞれ色点１３０１を共有するメッシュである。このとき、色点１３０１で会合する特徴線の本数は３本であるため、この色点１３０１は３色を有する。このような交点部分における色を決定するために交点色補完部１０７が行う処理について、同処理のフローチャートを示す図１４を用いて説明する。なお、図１３（ｂ）は図１３（ａ）の例における交点部分付近を拡大した図である。ステップＳ１４０１〜Ｓ１４０３はそれぞれ、上記のステップＳ１１０１〜Ｓ１１０３と同じであるため、説明は省略する。

ステップＳ１４０４では、Ｍｉｎｕｍが偶数であるか奇数であるかを判断する。この判断の結果、Ｍｉｎｕｍが偶数である場合には、処理はステップＳ１４０６に進み、Ｍｉｎｕｍが奇数である場合には、処理はステップＳ１４０５に進む。

ステップＳ１４０５では、ＥｉとＥｉ＋１との間にはさまれるメッシュのうち中央のメッシュを特定し、特定したメッシュにおいて交点を通る辺上の色点のうち、交点近傍の色点を特定し、特定した色点を用いて交点の色を決める。

図１３の例では、Ｅ１を曲線化辺１３０２、Ｅ２を曲線化辺１３０３、Ｅ３を曲線化辺１３０４とした場合に、Ｅ１とＥ３との間には３つのメッシュ（メッシュ１３０８，１３０９，１３１０）がさまれている。このうち中央のメッシュはメッシュ１３０９であるので、メッシュ１３０９の辺のうち色点１３０１を通る辺（辺１３１２，１３１２）を特定し、特定した辺１３１２，１３１３上の色点のうち、色点１３０１に最も近い色点、２番目に近い色点を特定する。図１３の場合は、色点１３０１に最も近い色点は色点１３１６，１３１８となり、２番目に近い色点は色点１３１７，１３１９となる。

そして、最も近い色点間の中点位置における色と、２番目に近い色点間の中間位置における色と、を入力画像から取得する。図１３の場合は、色点１３１６と色点１３１８との中間位置１３２０における色と、色点１３１７と色点１３１９との中間位置１３２１における色と、を入力画像から取得する。そして、中間位置１３２０及び中間位置１３２１の座標位置及び色を用いて、線形外挿法により交点の色を決定する。

一方、ステップＳ１４０６では、ＥｉとＥｉ＋１との間にはさまれるメッシュのうち中央の２つのメッシュを特定し、特定した２つのメッシュで共有する辺上の色点のうち、交点近傍の色点を特定し、特定した色点を用いて交点の色を決める。

図１３の例では、Ｅ１とＥ２との間には２つのメッシュ（メッシュ１３０５，１３０６）がさまれている。このうち中央の２つのメッシュはメッシュ１３０５，１３０６であり、これらのメッシュで共有している辺は辺１３１１となる。そして、辺１３１１上の色点のうち色点１３０１に最も近い色点、２番目に近い色点を求める。図１３の例では、色点１３０１に最も近い色点は色点１３１４、２番目に近い色点は色点１３１５となる。そして、最も近い色点における色と、２番目に近い色点における色と、を入力画像から取得する。図１３の場合は、色点１３１４における色と、色点１３１５における色と、を入力画像から取得する。そして、色点１３１４及び色点１３１５の座標位置及び色を用いて、線形外挿法により交点の色を決定する。

ステップＳ１４０７及びＳ１４０８はそれぞれ、図１１のステップＳ１１０７及びＳ１１０８と同じであるため、説明は省略する。以上の処理を行うことで、メッシュ内の色の移り変わりも反映した交点色の補完を実現できる。

なお、第１，２の実施形態で説明した構成はあくまで一実施形態としての構成であり、以下に説明する構成の一例に過ぎない。即ち、何れの実施形態も、次のような画像処理装置の一例に過ぎない。すなわち、入力画像から検出された検出線が３頂点曲線メッシュの一辺となるように、入力画像を該メッシュを単位に分割し、該メッシュを複数のサブメッシュに分割し、該サブメッシュの各頂点を色点として該色点に色を割り当てる画像処理装置である。

この画像処理装置では、入力画像中のメッシュ辺のうち検出線に対応するメッシュ辺を対応メッシュ辺とすると、該対応メッシュ辺上の色点のうち着目色点が３以上の対応メッシュ辺の交点となっている場合には、次のようにしてこの着目色点に色を割り当てる。すなわち、該交点を共有するメッシュ群を該３以上の対応メッシュ辺を境界にして複数のグループに分割し、それぞれのグループ内の該交点に近接する位置の色を、着目色点に割り当てる（第１の割り当て）。図１０の例では、交点としての色点１００１を共有するメッシュ群（メッシュ１００５〜１０１０）をＥ１〜Ｅ３を境界にして、（メッシュ１００５，１００６）、（メッシュ１００７）、（メッシュ１００８〜１０１０）の３グループに分割している。そして、グループ（メッシュ１００５，１００６）内で交点に近接する位置の色、グループ（メッシュ１００７）内で交点に近接する位置の色、グループ（メッシュ１００８〜１０１０）内で交点に近接する位置の色、を色点１００１に割り当てる。

また、対応メッシュ辺上の交点ではない色点に対しては、該色点を共有するそれぞれのメッシュ内で該色点に近接する位置の色を、該色点に割り当てる（第２の割り当て）。また、対応メッシュ辺上の色点以外の他色点に対しては、入力画像中の該他色点の位置における色を割り当てる（第３の割り当て）。そして、このような第１乃至３の割り当てによって割り当てた色を出力する。

このような構成において、第１の実施形態では、複数のグループの中に、１つのメッシュから成るグループが含まれていた場合には、第１の割り当てとして、次のような処理を行っている。即ち、該１つのメッシュにおいて交点を共有する一方の対応メッシュ辺上の色点のうち交点に最も近い色点、他方の対応メッシュ辺上の各色点のうち交点に最も近い色点、を特定する。そして、該特定したそれぞれの色点の中間位置における入力画像上の色を、着目色点に割り当てる。

また、複数のグループの中に、２以上のメッシュから成るグループが含まれていた場合には、第１の割り当てとして、該２以上のメッシュ内の他色点のうち交点に近接する他色点の色若しくはその平均色を、着目色点に割り当てる処理を行っている。

また、第２の実施形態では、複数のグループの中に、奇数個のメッシュから成るグループが含まれていた場合には、第１の割り当てとして、次のような処理を行っている。即ち、該奇数個のメッシュのうち中央のメッシュの着目色点を通るそれぞれのメッシュ辺から、着目色点に最も近い色点、２番目に近い色点を特定する。そして、該それぞれのメッシュ辺から特定した着目色点に最も近い色点の中間位置における色と、該それぞれのメッシュ辺から特定した着目色点に２番目に近い色点の中間位置における色と、を用いて求めた色を、着目色点に割り当てる。

また、複数のグループの中に、偶数個のメッシュから成るグループが含まれている場合には、第１の割り当てとして、次のような処理を行っている。即ち、該偶数個のメッシュのうち中央の２つのメッシュで共有しているメッシュ辺上の色点から着目色点に最も近い色点、２番目に近い色点を特定し、該最も近い色点における色と、該２番目に近い色点における色と、を用いて求めた色を、着目色点に割り当てる。

［第３の実施形態］
第１の実施形態では、特徴点抽出部１０３において、特徴線上にベジェ近似の誤差の多寡でのみ特徴点とするか否かを決定していたが、交点からの距離が一定の箇所に必ず特徴点を取るよう特徴点の補正を行ってもよい。こうすることで、交点付近のメッシュは一定の大きさを保つことができるため、微小なメッシュでの交点色補正を行わずともよくなるようになり、より安定した交点の色補完を行うことができる。

［第４の実施形態］
第１の実施形態では、出力データを画像データとしており、メッシュの形状情報と色情報をその過程で中間データとしてのみ用いているが、第１の実施形態でも述べたように、該メッシュの形状情報と色情報を符号データとして出力してもよい。符号データは、例えば図１５に示す如く、メッシュを構成する各頂点に係る情報である頂点情報１５０１、メッシュを構成する各辺に係る情報であるメッシュ辺情報１５０２、メッシュの色に係る情報である色情報１５０３、を含む形態で出力しても良い。

頂点情報１５０１は、メッシュの頂点数１５０４、メッシュ頂点ID１５０５、メッシュ頂点座標１５０６からなる。メッシュ辺情報１５０２は、メッシュ辺数１５０７、メッシュ辺ID１５０８、メッシュ辺を形成するメッシュ頂点のID１５０９と、メッシュ辺を曲線化するための制御点座標１５１０からなる。色情報１５０３は、メッシュ数１５１１と、メッシュを形成するメッシュ辺のID１５１２と、メッシュ内の色点の色１５１３からなる。

なお、復号の際には上記情報を読み込んで、メッシュをビットマップデータとしてレンダリングすることで所望の画像を得ることができる。このような符号データの生成や該符号データから画像データを得るための復号は、図１の画像処理装置が行うようにしても良いし、他の装置が行うようにしても良い。

［第５の実施形態］
第４の実施形態では、符号データを生成する際に交点色補完を行った上で出力しているが、交点の色は設定済みの他の色点から補完することができるので、交点色補完を符号化時に行う必要は必ずしもない。例えば、符号データを生成する側の装置の構成を図１６（ａ）に示すような構成とし、該符号データを復号する側の装置の構成を図１６（ｂ）に示すような構成としても良い。

図１６（ａ）において１６０１〜１６０６の各部は、図１の１０１〜１０６と同じである。交点抽出部１６０７は、交点を用いているメッシュ頂点を特定する情報、例えばIDを抽出し、出力する。そして符号データ出力部１６０８は、メッシュの形状情報、色情報に加え、交点を用いている頂点を特定する情報を出力する。

図１６（ｂ）において符号データ入力部１６０９は、符号データ出力部１６０８が出力したデータを受けて、これを後段の交点色補完部１６１０に転送する。交点色補完部１６１０は、符号データ中の交点を用いている頂点を特定する情報に基づき、交点を用いているメッシュを抽出する。そして抽出したメッシュにおいて、第１の実施形態で説明した交点色補完と同等の処理を行う。そして画像出力部１６１１は、メッシュデータをレンダリングし、該レンダリングの結果を画像として出力する。

このような構成により、符号化時には交点に複数の色を持たせなくてもよくなるため、符号データのサイズを第４の実施形態で説明した符号データのサイズよりも小さくすることができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 入力画像から検出された検出線が、３頂点から成り且つ該３頂点間を結ぶ辺が直線または曲線であるメッシュの一辺となるように、前記入力画像を該メッシュを単位に分割し、該メッシュを複数のサブメッシュに分割し、該サブメッシュの各頂点を色点として該色点に色を割り当てる画像処理装置であって、
   前記入力画像中のメッシュ辺のうち前記検出線に対応するメッシュ辺を対応メッシュ辺とし、該対応メッシュ辺上の色点のうち着目色点が３以上の対応メッシュ辺の交点となっている場合、該交点を共有するメッシュ群を該３以上の対応メッシュ辺を境界にして複数のグループに分割し、それぞれのグループ内の該交点に近接する位置の色を、前記着目色点に割り当てる第１の割り当て手段と、
   前記対応メッシュ辺上の前記交点ではない色点に対しては、該色点を共有するそれぞれのメッシュ内で該色点に近接する位置の色を、該色点に割り当てる第２の割り当て手段と、
   前記対応メッシュ辺上の色点以外の他色点に対して、前記入力画像中の該他色点の位置における色を割り当てる第３の割り当て手段と、
   前記第１乃至３の割り当て手段によって割り当てた色を出力する手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１の割り当て手段は、
   前記複数のグループの中に、１つのメッシュから成るグループが含まれていた場合には、該メッシュにおいて前記交点を共有する一方の対応メッシュ辺上の色点のうち前記交点に最も近い色点、他方の対応メッシュ辺上の各色点のうち前記交点に最も近い色点、を特定し、該特定したそれぞれの色点の中間位置における前記入力画像上の色を、前記着目色点に割り当てる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の割り当て手段は、
   前記複数のグループの中に、２以上のメッシュから成るグループが含まれていた場合には、該２以上のメッシュ内の前記他色点のうち前記交点に近接する他色点の色若しくはその平均色を、前記着目色点に割り当てる
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の割り当て手段は、
   前記複数のグループの中に、奇数個のメッシュから成るグループが含まれていた場合には、該奇数個のメッシュのうち中央のメッシュの前記着目色点を通るそれぞれのメッシュ辺から、前記着目色点に最も近い色点、２番目に近い色点を特定し、該それぞれのメッシュ辺から特定した前記着目色点に最も近い色点の中間位置における色と、該それぞれのメッシュ辺から特定した前記着目色点に２番目に近い色点の中間位置における色と、を用いて求めた色を、前記着目色点に割り当てる
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の割り当て手段は、
   前記複数のグループの中に、偶数個のメッシュから成るグループが含まれている場合には、該偶数個のメッシュのうち中央の２つのメッシュで共有しているメッシュ辺上の色点から前記着目色点に最も近い色点、２番目に近い色点を特定し、該最も近い色点における色と、該２番目に近い色点における色と、を用いて求めた色を、前記着目色点に割り当てる
   ことを特徴とする請求項１又は４に記載の画像処理装置。
6. 入力画像から検出された検出線が、３頂点から成り且つ該３頂点間を結ぶ辺が直線または曲線であるメッシュの一辺となるように、前記入力画像を該メッシュを単位に分割し、該メッシュを複数のサブメッシュに分割し、該サブメッシュの各頂点を色点として該色点に色を割り当てる画像処理装置が行う画像処理方法であって、
   前記画像処理装置の第１の割り当て手段が、前記入力画像中のメッシュ辺のうち前記検出線に対応するメッシュ辺を対応メッシュ辺とし、該対応メッシュ辺上の色点のうち着目色点が３以上の対応メッシュ辺の交点となっている場合、該交点を共有するメッシュ群を該３以上の対応メッシュ辺を境界にして複数のグループに分割し、それぞれのグループ内の該交点に近接する位置の色を、前記着目色点に割り当てる第１の割り当て工程と、
   前記画像処理装置の第２の割り当て手段が、前記対応メッシュ辺上の前記交点ではない色点に対しては、該色点を共有するそれぞれのメッシュ内で該色点に近接する位置の色を、該色点に割り当てる第２の割り当て工程と、
   前記画像処理装置の第３の割り当て手段が、前記対応メッシュ辺上の色点以外の他色点に対して、前記入力画像中の該他色点の位置における色を割り当てる第３の割り当て工程と、
   前記画像処理装置の出力手段が、前記第１乃至３の割り当て工程で割り当てた色を出力する工程と
   を備えることを特徴とする画像処理方法。
7. コンピュータを、請求項１乃至５の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images