JP2000207569A - 画像デ―タ変換方法、画像部品化方法、画像デ―タ変換プログラムを記録した記録媒体及び画像部品化プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 原画像に含まれる物体画像を再利用が容易な
部品化をする。 【解決手段】 画像読取装置でカラー原稿を読み取って
原画像を読み取り（１００）、ラインプロセスにより不
連続情報検出する（１０２）。ラインプロセスが局所的
な濃度差によってオンまたはオフすることにより画像中
の不連続部分が不連続情報、この不連続部分を連結させ
たものが物体画像の輪郭として抽出できる。次に、原画
像における類似色の色領域を設定し（１０４）、原画像
をクラス分けする（１０６）。そのクラス分け画像毎
に、含まれている物体画像を抽出すると共に、物体画像
の不連続部分（輪郭）をアウトライン化しかつ溶け込み
度を求める（１０８〜１１４）。アウトライン化された
輪郭、溶け込み度及び物体画像の色情報で物体画像を記
述することにより部品化する（１１６〜１２０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データ変換方
法、画像部品化方法、画像データ変換プログラムを記録
した記録媒体及び画像部品化プログラムを記録した記録
媒体にかかり、特に、原画像を表す画像データを符号化
されたデータに変換する画像データ変換方法及び画像デ
ータ変換プログラムを記録した記録媒体、並びに原画像
から該原画像に含まれる物体を表す物体画像を部品化す
る画像部品化方法及び画像部品化プログラムを記録した
記録媒体に関する。

【０００２】

【従来の技術】近年、コンピュータ技術の発展に伴っ
て、カラー画像を画像データとしてデジタル化し、その
画像データを保存させたり流通させたりして利用するこ
とがある。このデジタル化した画像データには、デジタ
ルカメラ等のデジタル撮影装置で撮影することによって
生成された撮影画像を表す画像データや、スキャナでカ
ラー原稿をスキャンすることによって生成されたスキャ
ン画像を表す画像データ等がある。

【０００３】上記画像データは加工が容易であることか
ら、原画像に含まれる山や人物等の風景や物体を表す一
部の画像（以下、物体画像という。）を再利用したいと
いう要望がある。物体画像を再利用するためには、原画
像から物体画像を抽出しなければならない。この抽出
は、実用化されているアプリケーションによって、原画
像を、予め指定した形状で切り出したり、一定面積切り
出したりすることによって、物体画像を含む領域を切り
出し可能であるが、必要とする物体画像以外の非対象画
像を含む場合がある。

【０００４】このため、原画像から所定の領域を抽出す
る技術が多数提案されている。例えば、本出願人は、原
画像から所望の色領域を分離する技術を提案している
（特開平８−２２１５６７号公報参照）。

【０００５】

【発明が解決しようとする課題】ところで、物体画像が
所望の色領域であり原画像からその所望の色領域を分離
して得た物体画像は、再利用時に制限がある。すなわ
ち、再利用時には、物体画像を拡大したり縮小したりす
る場合がある。この場合、物体画像の解像度の変更が要
求されることがあり、その解像度に合致した物体画像が
必要になる。例えば、撮影画像では再度撮影が必要とな
り、スキャン画像では再度スキャンが必要となる。従っ
て、所望の色領域を分離した場合であっても、単に切り
出した領域の画像であり、再利用には制限がある。この
ため、物体画像は、再利用目的で部品化する必要性があ
る。部品化した物体画像は、他画像に合成する等のよう
に再利用が可能となる。

【０００６】しかしながら、物体画像を再利用目的で部
品化した場合、他画像に合成する等のように再利用が可
能になるものの、他画像に部品化した物体画像を貼り付
けると、他画像と部品化した物体画像との境界部分が明
瞭となり、貼り付けた物体画像に違和感が生じる。これ
は、物体画像または物体画像を含めた他画像を拡大した
り縮小したりする場合にはさらに顕著になる。

【０００７】本発明は、上記事実を考慮して、原画像及
び原画像に含まれる物体画像を違和感なく再利用できる
ように符号化することができる画像データ変換方法、画
像部品化方法、画像データ変換プログラムを記録した記
録媒体及び画像部品化プログラムを記録した記録媒体を
得ることが目的である。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に請求項１に記載の発明の画像データ変換方法は、色情
報を含む原画像の画像データに基づいて、ラインプロセ
スによって表される色情報の不連続性を表す原画像の不
連続情報を生成し、生成した不連続情報に基づいて原画
像に含まれている物体画像の輪郭を抽出すると共に、前
記不連続情報に基づいて物体画像の輪郭をアウトライン
化したアウトライン情報を求め、前記不連続情報に基づ
いて該不連続情報に対応する原画像上の部位について物
体画像の溶け込み度合いを表す溶け込み度を求め、前記
アウトライン情報及び溶け込み度を含めて画像データを
符号化する。

【０００９】請求項２に記載の発明は、請求項１に記載
の画像データ変換方法であって、前記物体画像の輪郭は
パラメトリック曲線でアウトライン化し、前記色情報は
パラメトリック曲面で符号化することを特徴とする。

【００１０】請求項３に記載の発明の画像部品化方法
は、原画像の色情報に基づいて、ラインプロセスによっ
て表される色情報の不連続性を表す原画像の不連続情報
を生成し、生成した不連続情報に基づいて原画像に含ま
れている物体画像の輪郭を抽出し、抽出した輪郭を用い
て物体画像を分離し、分離した物体画像について、不連
続情報に基づいて物体画像の輪郭をアウトライン化した
アウトライン情報を求めると共に、不連続情報に基づい
て該不連続情報に対応する原画像上の部位について物体
画像の溶け込み度合いを表す溶け込み度を求め、前記ア
ウトライン情報及び溶け込み度を含めて物体画像の色情
報を符号化する。

【００１１】請求項４に記載の発明は、請求項３に記載
の画像部品化方法であって、前記物体画像の輪郭はパラ
メトリック曲線でアウトライン化し、前記色情報はパラ
メトリック曲面で符号化することを特徴とする。

【００１２】請求項５に記載の発明は、請求項３または
４に記載の画像部品化方法であって、前記物体画像を構
成する要素画像毎にさらに分離して部品化することを特
徴とする。

【００１３】請求項６に記載の発明は、コンピュータに
よって原画像を表す画像データを符号化されたデータに
変換するための画像データ変換プログラムを記録した記
録媒体であって、前記画像データ変換プログラムは、原
画像の色情報に基づいて、ラインプロセスによって表さ
れる色情報の不連続性を表す原画像の不連続情報を生成
させ、生成した不連続情報に基づいて原画像に含まれて
いる物体画像の輪郭を抽出させると共に、前記不連続情
報に基づいて物体画像の輪郭をアウトライン化したアウ
トライン情報を求めさせ、不連続情報に基づいて該不連
続情報に対応する原画像上の部位について物体画像の溶
け込み度合いを表す溶け込み度を求めさせ、前記アウト
ライン情報及び溶け込み度を含めて画像データをを符号
化させることを特徴とする。

【００１４】請求項７に記載の発明は、請求項６に記載
の画像データ変換プログラムを記録した記録媒体であっ
て、前記物体画像の輪郭はパラメトリック曲線でアウト
ライン化され、前記色情報はパラメトリック曲面で符号
化されることを特徴とする。

【００１５】請求項８に記載の発明は、コンピュータに
よって原画像から該原画像に含まれる物体を表す物体画
像を部品化するための画像部品化プログラムを記録した
記録媒体であって、前記画像部品化プログラムは、原画
像の色情報に基づいて、ラインプロセスによって表され
る色情報の不連続性を表す原画像の不連続情報を生成さ
せ、生成した不連続情報に基づいて原画像に含まれてい
る物体画像の輪郭を抽出させ、抽出された輪郭を用いて
物体画像を分離させ、分離した物体画像について、不連
続情報に基づいて物体画像の輪郭をアウトライン化した
アウトライン情報を求めさせると共に、不連続情報に基
づいて物体画像を他画像と合成したときの溶け込み度合
いを表す溶け込み度を求め、前記アウトライン情報及び
溶け込み度を含めて物体画像の色情報を符号化させるこ
とを特徴とする。

【００１６】請求項９に記載の発明は、請求項８に記載
の画像部品化プログラムを記録した記録媒体であって、
前記物体画像の輪郭はパラメトリック曲線でアウトライ
ン化され、前記色情報はパラメトリック曲面で符号化さ
れることを特徴とする。

【００１７】請求項１に記載の画像データ変換方法で
は、原画像の色情報に基づいて、ラインプロセスによっ
て表される色情報の不連続性を表す原画像の不連続情報
を生成する。ラインプロセスは、色情報の不連続性、す
なわち色情報が連続か不連続かを表すものであり、色情
報とラインプロセスとでエネルギ関数を定義してエネル
ギ関数を用いたエネルギの最小化を行うと、原画像で色
情報が不連続となる箇所にラインプロセスが値を有する
こととなる。この値を有するラインプロセスで原画像の
不連続情報を表すことができる。この不連続情報は、原
画像で色情報が不連続となる箇所を表すので、同一また
は類似の色情報で構成されない異なる色情報で構成され
る隣り合う色領域では色情報の境界となる。従って、同
一または類似の色情報からなる色領域は、その輪郭部分
に不連続情報が現れる。原画像に含まれる物体画像は、
同一または類似の色情報で構成されたり、予め定めた複
数の色情報で構成されたりする。そこで、不連続情報に
基づいて原画像に含まれている物体画像の輪郭を抽出す
る。

【００１８】次に、不連続情報に基づいて物体画像の輪
郭をアウトライン化したアウトライン情報を求める。ア
ウトライン情報とは、原情報（すなわち輪郭に関する情
報）の殆どを維持したまま大きさを変化、例えば拡大さ
せたりや縮小させたりすることが可能な情報である。例
えば、アウトライン情報には、点と線分や面情報等のベ
クトル情報とから構成される形状情報がある。なお、こ
の形状情報は、数式による記述も可能である。このよう
に、物体画像の輪郭をアウトライン情報で記述すること
で、物体画像の輪郭は解像度に依存することなく表現す
ることができる。

【００１９】原画像や物体画像を再利用するとき、その
輪郭部分が明瞭である場合、例えば、他画像に貼り付け
る等の合成操作や拡大縮小を行うと、その輪郭部分が物
体画像と他画像との境界となり、違和感が生じることが
ある。そこで、本発明では、アウトライン情報を求める
と共に、不連続情報に基づいて物体画像を他画像と合成
したときの溶け込み度合いを表す溶け込み度を求めてい
る。この溶け込み度は、不連続情報に対応する原画像上
の部位について物体画像の溶け込み度合いを表すもので
あり、画像の合成や拡大縮小時に用いることにより、境
界部分に違和感を生じさせることなく、原画像を拡大縮
小したり物体画像を他画像へ溶け込ませたりすることが
できる。

【００２０】次に、前記アウトライン情報及び溶け込み
度を含めて画像データを符号化する。画像データは一般
的に色情報から構成されているが、この色情報に原画像
内に含まれている物体画像の輪郭に相当するアウトライ
ン情報、及び不連続情報に対応する原画像上の部位につ
いての物体画像の溶け込み度合いを表す溶け込み度を含
ませることによって、画像の合成や拡大縮小時には、境
界部分に違和感が生じることなく、拡大縮小や合成する
ことができる。なお、物体画像の色情報は、アウトライ
ン情報で記述された物体画像の輪郭に内包され、不連続
を伴わずに連続になるので、連続情報による表現で符号
化できる。この符号化には、色情報を近似表現する符号
化が一例としてあり、再利用可能な形式ではＪＰＥＧ等
で知られる画像データフォーマットがある。この符号化
された情報には、アウトライン情報及び溶け込み度を含
ませる。

【００２１】このように、物体画像の輪郭をアウトライ
ン情報で記述すると共に、境界部分に違和感を生じない
ように溶け込み度を定め、原画像または物体画像の色情
報を、再利用可能な形式で符号化しているので、原画像
または物体画像を再利用するときに、拡大したり縮小し
たり合成したりする必要がある場合であっても、物体画
像の輪郭は解像度に依存することなく元の物体画像の輪
郭を維持した形式で利用することができると共に、溶け
込み度に応じて画像の不連続部分が溶け込むので、境界
部分に違和感を生じさせることなく、画像データを変換
することができる。

【００２２】画像を表現する場合、その輪郭は画像の最
外周であり、２次元的な曲線となる。また、色情報は、
画像の輪郭に内包されて連続になる。色情報は、各色毎
にその位置と濃度との３次元表現が可能である。従っ
て、連続的な色情報は、３次元的な曲面に対応させるこ
とが可能となる。このような曲線や曲面は取り扱いが容
易な形式で表現されることが好ましい。そこで、請求項
２にも記載したように、前記物体画像の輪郭を、パラメ
トリック曲線でアウトライン化し、色情報をパラメトリ
ック曲面で符号化する。このようにすることによって、
物体画像の輪郭及び色情報を数式を用いて簡単な記述形
式で表現することができ、容易に利用することが可能と
なる。

【００２３】請求項３に記載の画像部品化方法では、原
画像の色情報に基づいて、ラインプロセスによって表さ
れる色情報の不連続性を表す原画像の不連続情報を生成
する。この不連続情報に基づいて原画像に含まれている
物体画像の輪郭を抽出すると共に、この抽出した輪郭を
用いて物体画像を分離する。この分離した物体画像につ
いて、不連続情報に基づいて物体画像の輪郭をアウトラ
イン化したアウトライン情報を求める。このように、物
体画像の輪郭をアウトライン情報で記述することで、物
体画像の輪郭は解像度に依存することなく表現できる。
物体画像を再利用するとき、その輪郭部分が明瞭である
場合、例えば、他画像に貼り付ける等の合成操作を行う
と、その輪郭部分が物体画像と他画像との境界となり、
違和感が生じることがある。そこで、本発明では、アウ
トライン情報を求めると共に、不連続情報に基づいて物
体画像を他画像と合成したときの溶け込み度合いを表す
溶け込み度を求めている。この溶け込み度は、物体画像
を他画像と合成したときの溶け込み度合いを表すもので
あり、溶け込み度に応じて画像の合成をすることによ
り、境界部分に違和感を生じさせることなく、物体画像
を他画像へ溶け込ませることができる。

【００２４】物体画像の色情報は、アウトライン情報で
記述された物体画像の輪郭に内包され、不連続を伴わず
に連続になるので、連続情報による表現で符号化され
る。この符号化には、色情報を近似表現する符号化が一
例としてあり、再利用可能な形式ではＪＰＥＧ等で知ら
れる画像データフォーマットがある。この符号化された
情報には、アウトライン情報及び溶け込み度を含ませ
る。

【００２５】このように、物体画像の輪郭をアウトライ
ン情報で記述すると共に、境界部分に違和感を生じない
ように溶け込み度を定め、物体画像の色情報を、再利用
可能な形式で符号化しているので、物体画像を再利用す
るときに、拡大したり縮小したりする必要がある場合で
あっても、物体画像の輪郭は拡大したり縮小したりした
ときの解像度に依存することなく元の物体画像の輪郭を
維持した形式で利用することができると共に、溶け込み
度に応じて画像の合成をすることができ、境界部分に違
和感を生じさせることなく、物体画像を他画像へ溶け込
ませることができるように部品化することができる。

【００２６】物体画像を表現する場合、その輪郭は物体
画像の最外周であり、２次元的な曲線となる。また、色
情報は、物体画像の輪郭に内包されて連続になる。色情
報は、各色毎にその位置と濃度との３次元表現が可能で
ある。従って、連続的な色情報は、３次元的な曲面に対
応させることが可能となる。このような曲線や曲面は取
り扱いが容易な形式で表現されることが好ましい。そこ
で、請求項４にも記載したように、前記物体画像の輪郭
を、パラメトリック曲線でアウトライン化し、色情報を
パラメトリック曲面で符号化する。このようにすること
によって、物体画像の輪郭及び色情報を数式を用いて簡
単な記述形式で表現することができ、容易に利用するこ
とが可能となる。

【００２７】物体画像は、複数の要素画像から構成され
ることがある。例えば、人物の物体画像である場合、頭
部、腕、胴体、足等の要素画像で構成されることがあ
る。そこで、請求項５にも記載したように、前記物体画
像を構成する要素画像毎にさらに分離して部品化する。
このようにすることによって、物体画像として、その物
体画像の要素画像で原画像から部品化することができ、
再利用の物体画像を細分化することができる。

【００２８】上記画像データ変換方法による原画像の符
号化は、請求項６に記載の記録媒体に記録した画像デー
タ変換プログラムの実行によってコンピュータ上におい
て実現可能である。詳細には、コンピュータによって原
画像から該原画像に含まれる物体を表す物体画像を部品
化するための画像部品化プログラムを記録した記録媒体
であって、前記画像部品化プログラムは、原画像の色情
報に基づいて、ラインプロセスによって表される色情報
の不連続性を表す原画像の不連続情報を生成させ、生成
した不連続情報に基づいて原画像に含まれている物体画
像の輪郭を抽出させ、抽出された輪郭を用いて物体画像
を分離させ、分離した物体画像について、不連続情報に
基づいて物体画像の輪郭をアウトライン化したアウトラ
イン情報を求めさせると共に、不連続情報に基づいて物
体画像を他画像と合成したときの溶け込み度合いを表す
溶け込み度を求め、前記アウトライン情報及び溶け込み
度を含めて物体画像の色情報を符号化させる。これによ
って、コンピュータ上において、物体画像の輪郭が拡大
縮小時の解像度に依存することなく部品化することがで
きると共に、溶け込み度に応じて画像の拡大縮小や合成
をすることができ、境界部分に違和感を生じさせること
なく、原画像または物体画像を符号化することができ
る。

【００２９】なお、請求項７にも記載したように、前記
物体画像の輪郭は、その扱いを容易にすることが可能な
パラメトリック曲線でアウトライン化することができ、
前記色情報はパラメトリック曲面で符号化することがで
きる。

【００３０】上記画像部品化方法による物体画像の部品
化は、請求項８に記載の記録媒体に記録した画像部品化
プログラムの実行によってコンピュータ上において実現
可能である。詳細には、コンピュータによって原画像か
ら該原画像に含まれる物体を表す物体画像を部品化する
ための画像部品化プログラムを記録した記録媒体であっ
て、前記画像部品化プログラムは、原画像の色情報に基
づいて、ラインプロセスによって表される色情報の不連
続性を表す原画像の不連続情報を生成させ、生成した不
連続情報に基づいて原画像に含まれている物体画像の輪
郭を抽出させ、抽出された輪郭を用いて物体画像を分離
させ、分離した物体画像について、不連続情報に基づい
て物体画像の輪郭をアウトライン化したアウトライン情
報を求めさせると共に、不連続情報に基づいて物体画像
を他画像と合成したときの溶け込み度合いを表す溶け込
み度を求め、前記アウトライン情報及び溶け込み度を含
めて物体画像の色情報を符号化させる。これによって、
コンピュータ上において、物体画像の輪郭が拡大縮小時
の解像度に依存することなく部品化することができると
共に、溶け込み度に応じて画像の合成をすることがで
き、境界部分に違和感を生じさせることなく、物体画像
を他画像へ溶け込ませることができるように部品化する
ことができる。

【００３１】なお、請求項９にも記載したように、前記
物体画像の輪郭は、その扱いを容易にすることが可能な
パラメトリック曲線でアウトライン化することができ、
前記色情報はパラメトリック曲面で符号化することがで
きる。

【００３２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態の一例を詳細に説明する。本実施の形態はカラ
ー原画像内に含まれる物体画像を部品化する物体画像部
品化装置に本発明を適用したものである。

【００３３】図１に示すように、本実施の形態の物体画
像部品化装置１０は、画像を表示するための表示装置等
のディスプレイ装置１２、外部からコマンドやデータを
入力するためのキーボード等の入力装置１４、装置本体
１６、及びカラー原稿からカラー原画像を読み取るため
の画像読取装置３０から構成されている。

【００３４】装置本体１６は、ＣＰＵ１８、ＲＡＭ２
０、ＲＯＭ２２、入出力ポート（Ｉ／Ｏ）２８、からな
るマイクロコンピュータで構成され、各々はコマンドや
データの授受が可能なようにバス２６によって接続され
ている。なお、ＲＯＭ２２には、装置本体１６において
実行される後述する処理ルーチンが記憶されている。

【００３５】装置本体１６の入出力ポート２８には、画
像データを記憶するためのメモリ２４が接続されてい
る。また、装置本体１６の入出力ポート２８には、入力
装置１４が接続されると共に、ディスプレイ装置１２が
接続されている。また、入出力ポート２８には、カラー
スキャナ等の画像読取装置３０が接続されている。

【００３６】なお、画像読取装置３０は、印刷物等のカ
ラー原稿、及び被写体の撮影後に現像処理されてネガ画
像またはポジ画像が可視化された写真フィルムから多値
のカラー原画像を読み取ることができる。

【００３７】上記の入出力ポート２８には、記録媒体と
してのフロッピーディスク（以下、ＦＤという）が挿抜
可能なフロッピーディスクユニット（以下、ＦＤＵとい
う）が接続されている。なお、後述する処理ルーチン等
は、ＦＤＵを用いてＦＤに対して読み書き可能である。
従って、後述する処理ルーチンは、ＲＯＭ２２に記憶す
ることなく、予めＦＤに記録しておき、ＦＤＵを介して
ＦＤに記録された処理プログラムを実行してもよい。ま
た、装置本体１６にハードディスク装置等の大容量記憶
装置（図示省略）を接続し、ＦＤに記録された処理プロ
グラムを大容量記憶装置（図示省略）へ格納（インスト
ール）して実行するようにしてもよい。また、記録媒体
としては、ＣＤ−ＲＯＭ等の光ディスクや、ＭＤ，ＭＯ
等の光磁気ディスクがあり、これらを用いるときには、
上記ＦＤＵに代えてまたはさらにＣＤ−ＲＯＭ装置、Ｍ
Ｄ装置、ＭＯ装置等を用いればよい。

【００３８】なお、本実施の形態では、一例として、カ
ラースキャナ等の画像読取装置３０により多値のカラー
原画像を入力する場合を説明するが、本発明はこれに限
定されるものではなく、ＦＤ等の記憶媒体に予め記憶さ
れた画像データを入力するようにしてもよい。また、入
出力ポート２８にネットワークボード等の信号授受装置
を接続し、他の装置との間で信号授受を可能とする所謂
ＬＡＮを構成して、他の装置から画像データを受け取る
ようにしてもよい。

【００３９】また、多値のカラー原画像は、白黒画像や
異なる色の組み合わせによる２値画像から、実写画像や
自然画像等の画像を含むものである。

【００４０】次に、本実施の形態の作用を説明する。物
体画像部品化装置１０に電源が投入されると図２に示す
処理ルーチンが実行される。なお、この処理ルーチン
は、ＦＤ等の記録媒体に格納してコンピュータで実行可
能なアプリケーションとして提供され、実行指示によっ
て実行されるようにしてもよい。

【００４１】まず、ステップ１００において画像読取装
置３０に載置されたカラー原稿を読み取ることによっ
て、カラー原画像（以下、原画像という）を読み取る。
本実施の形態では、画像読取装置３０からＲＧＢデータ
が出力され、この出力されたＲＧＢデータを用いるもの
とする。なお、画像データとしてＣＭＹＫデータ等のよ
うに他の表色系で表された画像データであるときには、
ＲＧＢ変換を行うようにすればよい。

【００４２】図３には、読み取りが終了した原画像４０
の一例を示した。原画像４０は、人物５２の周囲に草花
５０が散在し、その近傍に植木４８が位置し、遠方（画
像の上方）には山４２と小山４４とが位置し、上方に雲
４６が位置している。

【００４３】次のステップ１０２では、原画像につい
て、ラインプロセスにより不連続情報の検出がなされ
る。ラインプロセス（線素）不連続を示す仮想の素子を
いうものである。本実施の形態では、ラインプロセスを
用いたニューラルネットワークによって、画像の不連続
情報を検出する場合を説明する。まず。ラインプロセス
について詳細を説明する。

【００４４】図４（Ａ）は、画素について位置と濃度と
の関係を求めた１次元データの一例を示したものであ
り、点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２は略近傍に位置
し、点Ｐ６と点Ｐ７の間が大きく離れている。これらの
１次元データに沿う曲線を求める場合、最小二乗法等の
近似方法や補間方法で求めると、図４（Ｂ）に示すよう
に、点Ｐ１〜Ｐ６から点Ｐ７〜Ｐ１２を曲線で連続させ
るために、点Ｐ６及び点Ｐ７から曲線３４が大きく離れ
るが滑らかになるよう求められる。

【００４５】しかし、点Ｐ６及び点Ｐ７は曲線３４から
大きく離れることになるので、得られる特性（すなわち
曲線３４）は、実際のデータに則していないことにな
る。そこで、図４（Ｃ）に示すように、略近傍に位置す
る点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２について、各点に沿
うように曲線３４ａ，３４ｂを求める。このように求め
ると、大きく離れている点Ｐ６と点Ｐ７の間に、不連続
が生じる。この点Ｐ６と点Ｐ７の間の位置に不連続点３
６を伴って曲線３４ａ，３４ｂを定めれば、実際のデー
タに則した特性を求めることができることになる。すな
わち、点Ｐ６と点Ｐ７の間の位置の不連続点３６で不連
続が発生することを表すラインプロセスがオンとなる。
また、点Ｐ１〜点Ｐ６及び点Ｐ７〜点Ｐ１２の各間、す
なわち、点Ｐ１と点Ｐ２、点Ｐ２と点Ｐ３、・・・点Ｐ
５と点Ｐ６、及び点Ｐ７と点Ｐ８、点Ｐ８と点Ｐ９、・
・・、点Ｐ１１と点Ｐ１２の各々の間はラインプロセス
がオフとなる。

【００４６】上記では、１次元データの場合を説明した
が、２次元データで代表される画像にラインプロセスを
適用する場合は、ラインプロセスを、２つの画素間につ
いて仮想的な関数として定義する。従って、定義された
ラインプロセスが局所的な濃度差によってオンまたはオ
フすることにより画像中の不連続部分が不連続情報、こ
の不連続部分を連結させたものが物体画像の輪郭として
抽出することができる。

【００４７】このラインプロセスを用いてニューラルネ
ットワークでエネルギ関数の計算とその最小化を行って
画像の不連続（情報）を求める。この詳細について説明
する。

【００４８】図５はラインプロセスを用いたニューラル
ネットワークを説明するための概念構成図である。図５
に示すようにこのニューラルネットワークは、入力が画
像であるときは画像に対応する一つの画素に対して３つ
のニューロンｆ_i,j ，ｈ_i,j，ｖ_i,j が対応する。

【００４９】ここで、ｆ_i,j は画素の値であり、
ｈ_i,j ，ｖ_i,j はｆ_i,j 間の不連続性の存在、非存在を
示すラインプロセスとよばれる隠れた関数である。すな
わち、ｆ_{i, j} は入力される値の強度変化を、ｈ_i,j ，ｖ
_i,j はそれぞれｆ_i,j の水平方向、垂直方向の連続性、
不連続性を示している。

【００５０】この３つの変数ｆ_i,j ，ｈ_i,j ，ｖ_i,j に
より、系全体のエネルギ関数を以下の（１）式に示すよ
うに定義する。

【００５１】

【数１】

【００５２】但し、Ｅ_I ：曲面（奥行き）データの連続
性 Ｅ_D ：観測データ（初期値）の信頼性 Ｅ_V ：ラインプロセスが超球面の角（０or１）に向かう
こと Ｅ_P ：近傍の平行したラインプロセスが１となるための
条件 Ｅ_C ：単一のラインプロセスが１となるための条件 Ｅ_L ：連続したマルチラインプロセスを好み、交差と不
連続を嫌う条件 Ｅ_G ：（２）式におけるｍ，ｎが発散しないための条件 Ｃ_D ，Ｃ_V ，Ｃ_P ，Ｃ_C ，Ｃ_L ，Ｃ_G ：パラメータ値 ｇ（）：シグモイド関数 ｄ_i,j ：初期値 また、変数の時間則を以下の（２）式により定義した。

【００５３】

【数２】

【００５４】但し、ｇ（Ｕ_i ）＝１／ｅ（−２λＵ_i ） なお、ｅ（−２λＵ_i ）は指数関数であり、（ ）内部
は指数部を表す ｈ_i,j ＝ｇ（ｍ_i,j ） ｖ_i,j ＝ｇ（ｎ_i,j ） ｍ，ｎ：内部状態変数 上記（２）式の偏微分の計算例を次の（３）、（４）、
（５）式に示す。

【００５５】

【数３】

【００５６】上記（３）〜（５）式の計算結果が小さく
なる、すなわち０に近いもしくは０の値をとるというこ
とは、隣接する値ｆ_i,j+1 と値ｆ_i,j 、およびｆ_i+1,j
とｆ _i,j が略同一の値となるときである。従って、上記
の（１）式で表したエネルギＥ_I について、ｆ_i,j+1 ≒
ｆ_i,j 、およびｆ_i+1,j ≒ｆ_i,j であるとすると、エネ
ルギＥ_I は比較的小さくなることからラインプロセスｈ
_i,j ，ｖ_i,j は値を持つ必要はないためｈ_i,j ，ｖ_i,j
は比較的小さな値となる。

【００５７】一方、隣接する値ｆ_i,j+1 と値ｆ_i,j 、お
よび値ｆ_i+1,j と値ｆ_i,j との差が大きい場合、すなわ
ち隣接する値の間に境界があるときは、（ｆ_i,j+1 −ｆ
_i,j）² および（ｆ_i+1,j −ｆ_i,j ）² は大きくなる。
従って、エネルギＥ_I を小さくするにはｈ_i,j あるいは
ｖ_i,j が値を有し、（１−ｈ_i,j ）または（１−
ｖ_{i, j} ）が比較的小さくなる必要がある。このように互
いに隣接する値ｆ_i,j とｆ_{i, j+1} またはｆ_i,j とｆ
_i+1,j に差がある場合は、各値の間にあるラインプロセ
スｈ_i,j ，ｖ_i,j が値を有するようになり、異なる色の
領域間に境界線が出現することになる。

【００５８】この係数からラインプロセスが発生する条
件を決定する。一例として、図６（Ａ）に示す単一ライ
ンプロセスが発生する条件はＥ_P ＝０，Ｅ_C ＝０，Ｅ_L
＝２Ｃ_L 、図６（Ｂ）に示す連続するラインプロセスが
発生する条件はＥ_P ＝０，Ｅ _C ＝０，Ｅ_L ＝Ｃ_L 、図６
（Ｃ）に示す互いに平行なラインプロセスが発生する条
件は、Ｅ_P ＝Ｃ_P ，Ｅ_C ＝Ｃ_C ，Ｅ_L ＝２Ｃ_L 、そして
図６（Ｄ）に示すように互いに交差するラインプロセス
が発生する条件は、Ｅ_P ＝０，Ｅ_C ＝２Ｃ_C ，Ｅ_L ＝10
Ｃ_L である。

【００５９】上記の（１）〜（５）式により、系全体の
エネルギを最小にする計算を繰り返すエネルギ学習を行
った結果が、与えられた入力に対するニューラルネット
ワークの解となる。

【００６０】このニューラルネットワークは、(a) 入力
がノイズを付加された画像であった場合、得られたエネ
ルギ最小でのｆ_i,j は復元画像に相当し、(b) 入力が明
度画像の場合、得られたエネルギ最小でのｈ_ij，ｖ_ijは
輪郭に相当し、(c) 入力が山などの測量データの場合、
得られたエネルギ最小でのｆ_ijは測量点から推定される
各地点の高度を示すこととなる。本実施の形態では、
(b) の画像入力に利用した例である。

【００６１】なお、上記ニューラルネットワークは、変
数に何を割り当てるかにより、様々な逆問題に適用でき
る拡張性を有しており、アルゴリズムが局所計算で実現
されているため、光等の並列処理ハード装置化が容易で
あり、高速処理を行うことができるという利点も備えて
いる。

【００６２】従って、図２のステップ１０２では、上記
ラインプロセスを用いたニューラルネットワークによっ
て、エネルギ関数とその最小化を行って、不連続検出が
なさることにより画像の輪郭部分（不連続）が抽出され
る。すなわち、（２）式に従って、内部状態変数を更新
すると（１）式の総エネルギーは常に減少して最小値が
計算される。この最小時に得られたｈ_ij，ｖ_ijが水平方
向及び垂直方向の不連続（輪郭）に相当する。

【００６３】次に、ステップ１０４では、原画像におけ
る類似色の色領域設定がなされる。この類似色設定処理
は、例えば、同系色や同一色、そして予め定めた色の組
み合わせで指定される色や色群を、原画像上においてラ
ベリングする処理である。例えば、原画像上の各画素に
ついて、各々直交する色相値軸、彩度値軸及び明度値軸
から成る座標系の色空間（以下、ＨＬＳ色空間という）
において求めた距離に基づいて反復型領域拡張法により
統合処理等を行う方法がある。

【００６４】具体的には、まず、原画像上から何れか１
つの画素を選択する。次に、その画素の周囲の１画素
（所謂、８近傍の１画素）を選択し、その選択された画
素が既に何れかのラベルが付与された領域に含まれてい
るときは、そのラベルを付与する。一方、含まれていな
いときは、選択された２つの画素のＨＬＳ色空間におけ
る距離、すなわち２つの画素の明度、彩度及び色相の類
似性を求める。距離が長ければ類似性が低く、距離が短
ければ類似性が高いことになる。距離が所定値未満のと
き、２つの画素が類似しているとして、２つの画素に同
一のラベルを付与する（ラベリング）。所定値以上のと
きは、類似していないとしてラベリングすることなく、
８近傍の他の画素について上記処理を実行する。８近傍
の全画素が終了すると、同一ラベルの付与された領域
（原画像における）の最外周の１画素を選択し、上記処
理を繰り返し実行する。上記処理を全画素について実行
する。同一ラベルの付与された領域の最外周の画素から
類似性の高い周囲の画素について同一ラベル付与を順次
実行することによって、原画像上における色相、明度及
び彩度が類似した画素による色領域を設定する。なお、
同一ラベルが付与された画素群は、色相値、彩度値及び
明度値のそれぞれの平均値を求め、求めた平均値をラベ
ルの色相値、彩度値及び明度値とする。

【００６５】なお、同一ラベルで指定された色領域は、
不連続部分を含むことはないので、少なくともステップ
１０２で検出された不連続すなわち輪郭が分割されるこ
とはない。

【００６６】上記のように、ステップ１０４で、原画像
の隣接した画素について色相、明度及び彩度の類似性で
色領域が設定された後には、次のステップ１０６におい
て、原画像がクラス分けされる。このクラス分けは、上
記原画像に設定された類似色の色領域の間で関係を定め
る処理である。すなわち、１つのラベルが付与された色
領域である同一または類似の色相、明度及び彩度による
画素群は、同一物体である可能性が高いが、隣接せず
に、原画像上で離れた位置にある類似色の色領域は、同
一種類の物体である可能性が高い。そこで、予め類似色
領域を種類分け（クラス分け）するための色相、明度及
び彩度の値や範囲を定めておき、定められた値や範囲
で、色領域を分類することによって原画像をクラス分け
する。

【００６７】なお、本実施の形態では、原画像に設定さ
れた類似色の色領域の間で関係を定めてクラス分けする
例を説明するが、不連続情報は、物体画像の輪郭部分に
相当することから、不連続情報（輪郭）の相似性でクラ
ス分けすることもできる。

【００６８】具体的には、図３に示す原画像４０を一例
にすると、山４２、小山４４、及び雲４６を含んだ風景
クラスＣＡ、散在した草花５０及び植木４８を含んだ環
境クラスＣＢ、人物５２を含んだ人物クラスＣＣにクラ
ス分けすることができる。

【００６９】次のステップ１０８では、クラス分け毎に
画像を抽出する。具体的には、図３に示す原画像４０を
一例にすると、風景クラスＣＡは、山４２、小山４４、
及び雲４６を含んだクラス画像５４として抽出される。
このクラス画像５４は、山４２、小山４４、及び雲４６
の原画像上の位置関係をそのまま維持し、これらの画像
が少なくとも分断されないように、大きめの領域が設定
される。なお、クラス画像５４に原画像４０上の背景を
そのまま残存させてもよく、また、新規の背景、例えば
予め定めた背景色上に上記画像を張り付けてもよい。同
様にして、環境クラスＣＢは、散在した草花５０及び植
木４８を含んだクラス画像５６、人物クラスＣＣは、人
物５２を含んだクラス画像５８として抽出される。

【００７０】上記のようにして抽出されたクラス画像上
には、複数の物体画像が含まれていることがある。そこ
で、詳細な具体例は後述するが、まずステップ１１０で
は、上記ステップ１０８で抽出されたクラス画像のうち
１つのクラス画像を指定する。次に、ステップ１１２に
おいて、１つの物体画像を抽出し、次のステップ１１４
でベジェ曲線を用いて不連続情報をアウトライン化す
る。アウトライン化が終了すると、次のステップ１１５
において、不連続情報を用いて物体画像の背景への溶け
込み度を求める。

【００７１】次のステップ１１６では、物体画像をアウ
トライン化された輪郭、溶け込み度及び物体画像の色情
報が符号化された色で記述する。次のステップ１１８で
は、上記ステップ１１０で指定したクラス内に含まれて
いる物体画像を全て抽出したか否かを判断し、未抽出の
物体画像が残存するときに否定されてステップ１１２へ
戻り、全物体画像の抽出が終了したときに次のステップ
１２０へ進む。ステップ１２０では、原画像内に含まれ
ているクラス画像の上記処理を全て終了したか否かを判
断し、未処理のクラス画像が残存するときに否定されて
ステップ１１０へ戻り、全クラス画像の処理が終了した
ときに本ルーチンを終了する。

【００７２】次に、図２のステップ１１０以降の処理を
図３を参照して具体的に説明する。図３に示す風景クラ
スＣＡのクラス画像５４には、山４２、小山４４、及び
雲４６の物体画像が含まれている。これらの物体画像を
クラス画像５４から分離し抽出する。この分離抽出は、
不連続情報を用いてなされる。不連続情報は、物体画像
の輪郭部分に相当することから、不連続情報に囲まれた
領域を物体画像として設定する。この不連続情報に囲ま
れた領域とは、物体画像の輪郭部分に相当する不連続点
を連結した曲線や曲面による閉領域や閉空間であるが、
１つの閉領域や閉空間に限定されない。すなわち複数の
閉領域や閉空間からなる群であってもよい。なお、不連
続点を連結した曲線や曲面による閉領域や閉空間は、後
述するように、パラメトリック曲線や曲面で連結して得
た曲線や曲面によって閉領域や閉空間を生成してもよ
い。

【００７３】例えば、クラス画像５４内は、不連続情報
に囲まれた領域が３つ設定される。この３つの領域を順
次設定し、不連続情報と、不連続情報で囲まれた領域の
色情報、すなわち領域内の画素について色相、明度及び
彩度の各値が抽出され、山画像６０、小山画像６２、及
び雲画像６４が抽出される。なお、図３の例では、山画
像６０、小山画像６２、及び雲画像６４の各々につい
て、抽出された各画像に背景画像を付加したものを物体
画像として設定したものである。

【００７４】同様に、環境クラスＣＢから、草花画像６
６及び植木画像６８が抽出され、人物クラスＣＣから、
人物の頭部画像７０、腕部画像７２、胴体部画像７４及
び脚部画像７６が抽出される。

【００７５】次に、抽出した画像の輪郭（不連続情報）
を以下のようにしてアウトライン化する。不連続情報を
アウトライン化するために記述が容易なパラメトリック
曲線を採用し、特に本実施の形態では、パラメトリック
曲線のうち扱いが簡便なベジェ曲線を採用する。従っ
て、抽出した画像の輪郭（不連続情報：ｈ_ij，ｖ_ij）を
２値化してベジェ曲線を用いてアウトライン化する。こ
のベジェ曲線Ｐ（ｔ）を定める数式を次の（６）式に示
す。

【００７６】

【数４】

【００７７】但し、 Ｂ_i ⁿ（ｔ）＝（１−ｔ）・Ｂ_i ^n-1（ｔ）＋ｔ・Ｂ_i-1 ^n-1
（ｔ） Ｂ_j ⁿ（ｔ）＝ ０ （ｊ≒ｎ） ＝ １ （ｊ＝ｎ） Ｐ_i：制御点（不連続点） ｔ ：パラメータ このようにして物体画像の輪郭部分をアウトライン化す
ることによって、物体画像を拡大したり縮小したりして
も、その輪郭形状は維持されることになる。そして、こ
のアウトライン化した輪郭と、物体画像の色情報（符号
化することが好ましい）による色とで物体画像を記述す
ることによって、物体画像を再利用可能な形式で記述
（部品化）できることになる。

【００７８】次に、抽出した画像の輪郭に相当する不連
続情報を用いて物体画像の背景への溶け込み度を求め
る。本実施の形態では、水平方向の溶け込み度Ｍｈ（ｉ
ｊ）、垂直方向の溶け込み度Ｍｖ（ｉｊ）の各々を次の
（７）式を用いて求める。

【００７９】 Ｍｈ（ｉｊ）＝β（ｍ_ij） Ｍｖ（ｉｊ）＝β（ｎ_ij） ・・・（７） 但し、β（）：シグモイド関数等の非線形関数または線
形関数 ０≦Ｍｈ（ｉｊ）≦１ ０≦Ｍｖ（ｉｊ）≦１ このようにして物体画像の溶け込み度を求めることによ
って、物体画像を拡大したり縮小したりしても、物体画
像の輪郭部分は背景に溶け込ませることが可能になる。
そして、このアウトライン化した輪郭と、溶け込み度
と、物体画像の色情報（符号化することが好ましい）に
よる色とで物体画像を記述することによって、物体画像
を違和感なく再利用可能な形式で記述（部品化）できる
ことになる。

【００８０】物体画像の輪郭部分をアウトライン化して
溶け込み度を求めた物体画像として、図９（Ａ）に示す
山画像６０を一例にして、物体画像の溶け込み度につい
て更に説明する。山の稜線６０Ａは輪郭部分を表してお
り、溶け込み度を有している。上記式から理解されるよ
うに、溶け込み度は最大値から最小値の間で徐々に変化
する。図９（Ｂ）は、領域Ａｒの拡大図であり、稜線６
０Ａの濃度変化の推移を等高線で示したものである。図
９（Ｃ）は、領域Ａｒ内のｉ−ｉ断面（図９（Ｂ）参
照）における濃度変化を示したものである。図９（Ｂ）
に示すように、図９（Ａ）に示す山画像６０において、
山の稜線６０Ａを含む領域Ａｒを参照すると、本来の山
画像の境界である稜線６０Ａ付近は稜線６０Ａから離れ
るに従って背景６０Ｂに溶け込むよう徐々に濃度が小さ
くなる（図９（Ｃ）参照）。従って、物体画像の輪郭部
分が明瞭な稜線となることなく、背景に徐々に溶け込む
ことになる。

【００８１】なお、上記では、アウトライン化した輪郭
と、物体画像の色情報による色とで物体画像を記述した
例を説明したが、本発明はこれに限定されるものではな
く、物体画像を記述する上での情報を付与してもよい。
例えば、物体画像に線画やパターン等の画像が含まれて
いたり物体画像がマスク処理やフォーカス処理等の一定
の処理を施されていたりする場合に、その画像や処理を
属させてもよい。すなわち、物体画像に関する記述を、
線やグラデーション等の模様等で細分化したり、施され
た処理で細分化したりすることもできる。

【００８２】また、上記では、パラメトリック曲線を用
いた場合を説明したが、パラメトリック曲線に限定され
るものではなく、他の近似曲線を用いてもよい。

【００８３】次に、部品化された物体画像を拡大する場
合を説明する。以下の説明では、物体画像の色情報をＮ
ＵＲＢＳ（Non Unifom Rational B-Spline）曲面を用い
て符号化した場合を例にして説明する。このパラメトリ
ック曲面としてＮＵＲＢＳを定める数式を次の（８）式
に示す。

【００８４】

【数５】

【００８５】以下、図７及び図８を参照して３次のＮＵ
ＲＢＳを用いて解像度を２倍（面積比４倍）に拡大する
場合を説明する。

【００８６】図８のステップ２００では、図２のステッ
プ１００に相当する原画像の読み取りがなされる。この
読み取った原画像は、次のステップ２０２において、図
２のステップ１０２に相当する、ラインプロセスによる
不連続検出がなされ、次のステップ２０４において図２
のステップ１１４に相当するアウトライン化がなされ
る。次のステップ２０５では、図２のステップ１１５に
相当する溶け込み度の演算がなされる。

【００８７】次に、ステップ２０６では、アウトライン
化された不連続情報が拡大され、次のステップ２０７に
おいて溶け込み度が拡大される（詳細は後述）。次のス
テップ２０８では、拡大された不連続情報とパラメトリ
ック曲面を用いて解像度が大きくされる。そして、次の
ステップ２１０において、解像度が大きくされた画像が
出力される。

【００８８】図７は、原画像の一部を構成する縦横４個
（合計１６個）の画素で画像８０を構成するものとし
て、各画素を制御点Ｐ_ij（０≦ｉ≦３，０≦ｊ≦３）と
して用いる構成を示したものである。曲線８２は、上記
説明したラインプロセスにより抽出した不連続情報を、
そのまま拡大した場合に得られる曲線であり、曲線８４
は、上記説明した不連続情報をアウトライン化した後
に、拡大した場合に得られる曲線である。

【００８９】画像は、その半分が白画素で他が黒画素で
あるものとして、各画素値として、制御点Ｐ₀₀，Ｐ₁₀，
Ｐ₂₀，Ｐ₀₁，Ｐ₁₁，Ｐ₂₀が白、制御点Ｐ₃₀，Ｐ₂₁，
Ｐ₃₁，Ｐ ₁₂，Ｐ₂₂，Ｐ₃₂，Ｐ₀₃，Ｐ₁₃，Ｐ₂₃が黒の値が
設定される。

【００９０】本実施の形態では、上記の拡大時に、制御
点Ｐ₀₀〜Ｐ₃₃内に新規に画素を仮想点Ｓとして追加す
る。例えば、制御点Ｐ₁₁，Ｐ₁₂，Ｐ₂₁，Ｐ₂₂で囲まれた
範囲内には、仮想点Ｓ_mn（０≦ｍ≦３，０≦ｎ≦３）が
追加される。

【００９１】これら追加された仮想点Ｓの画素値は、そ
の周囲の原画像の画素値（制御点の画素値）を参照して
求められる。本実施の形態では原画像中の不連続を考慮
して画素値が決定される。すなわち、不連続情報である
曲線８４を超えた画素の画素値を用いないものとした。
例えば、仮想点Ｓ₂₀の画素値を求めるとき、制御点Ｐ ₁₁
は、仮想点Ｓ₂₀とを結ぶ直線が曲線８４と交差すること
がないので参照するが、制御点Ｐ₂₂は、仮想点Ｓ₂₀とを
結ぶ直線が曲線８４と交差するので参照しない。より詳
細には、上記ＮＵＲＢＳを表す（８）式における重みを
「０」に設定することで計算に反映させる。これによっ
て、仮想点Ｓ₂₀の画素値は白画素の値となる。同様にし
て他の仮想点の計算を行って画素値を求める。

【００９２】このように、不連続情報をアウトライン化
して拡大すると、ボケが抑制されたエッジを得ることが
できる。これによって、画像拡大時におけるエッジのジ
ャギ（所謂ギザギザ）を抑えることができる。

【００９３】次に、不連続情報を用いて溶け込み度を求
める。溶け込み度は、拡大以前の画素間に存在する不連
続情報にのみ存在する。このため、まず、拡大後の画素
間の溶け込み度、すなわち不連続に対する値（不連続情
報）を求める。

【００９４】拡大以前の溶け込み度は、曲線８２に対応
する制御点Ｐ₂₀，Ｐ₂₁の間に存在する不連続情報による
溶け込み度Ｍｈ₂₀、制御点Ｐ₁₁，Ｐ₁₂の間に存在する不
連続情報による溶け込み度Ｍｈ₁₁、制御点Ｐ₁₁，Ｐ₂₁の
間に存在する不連続情報による溶け込み度Ｍｖ₁₁、制御
点Ｐ₀₂，Ｐ₁₂の間に存在する不連続情報による垂直方向
の溶け込み度Ｍｖ₀₂である。

【００９５】次に、拡大後の曲線８４に対応する溶け込
み度を求める。この溶け込み度は、隣接に存在する溶け
込み度の間の距離により重み付けして新規の溶け込み度
を求める。新規の溶け込み度は以下の（９），（１０）
式の少なくとも一方の式により求めることができる。

【００９６】 Ｍｖ_i-k＝α・Ｍｖ_i＋β・Ｍｈ_j ・・・（９） Ｍｈ_i-k＝γ・Ｍｖ_i＋ε・Ｍｈ_j ・・・（１０） 但し、ｉ：基準側に水平方向に直近の拡大前の溶け込み
度の位置を表す値 ｊ：基準側に垂直方向に直近の拡大前の溶け込み度の位
置を表す値 ｋ：拡大後の溶け込み度の位置を表す値 α，γ：図７の水平方向の距離の比例関係を表す係数 β，ε：図７の水平方向の距離の比例関係を表す係数 具体的には、仮想点Ｓ₂₀周辺の溶け込み度Ｍｖ_11-1,Ｍ
ｖ_11-2，Ｍｈ_20-1は、次のようして求めることができ
る。

【００９７】 Ｍｖ_11-1＝０．４・Ｍｖ₁₁＋０．６・Ｍｈ₂₀ Ｍｖ_11-2＝１．０・Ｍｖ₁₁＋０．０・Ｍｈ₂₀ Ｍｈ_20-1＝０．２５・Ｍｖ₁₁＋０．７５・Ｍｈ₂₀ 溶け込み度Ｍｖ_11-1は仮想点Ｓ₂₀と制御点Ｐ₂₁との間の
位置Ｐｐを距離の基準として考え、溶け込み度Ｍｖ₁₁、
溶け込み度Ｍｈ₂₀の各々までの距離比率を求める。制御
点の間隔を「１」と想定すると、溶け込み度Ｍｖ₁₁まで
の距離比率は１／３であり、溶け込み度Ｍｈ₂₀までの距
離比率は１／２である。これらの和が「１」となるよう
に規格化するとα＝０．４、β＝０．６となる。他の溶
け込み度も同様にして求まる。

【００９８】ここで、溶け込み度を用いない場合には、
例えば、仮想点Ｓ₂₀の画素値を求めるとき、制御点Ｐ₁₁
は仮想点Ｓ₂₀とを結ぶ直線が曲線８４と交差することが
ないので参照するが、制御点Ｐ₂₂は、仮想点Ｓ₂₀とを結
ぶ直線が曲線８４と交差するので参照しない。詳細に
は、他の制御点を参照する場合ＮＵＲＢＳを表す（８）
式における重みｗ_ijを「１」に設定し、参照する場合重
みｗ_ijを「０」に設定することで計算に反映させる。こ
れによって、仮想点Ｓ₂₀の画素値は白画素の値となる。

【００９９】一方、本実施の形態では、溶け込み度を用
いる。このため、（８）式における重みｗ_ijを次の（１
１），（１２）式を用いる。但し、不連続情報と交差す
ることがない制御点に対する溶け込み度は上記と同様に
ｗ_ij＝１である。

【０１００】ｗ_ij＝１−Ｍｖ_i-k ・・・（１１） ｗ_ij＝１−Ｍｈ_i-k ・・・（１２） なお、重みｗ_ijの計算は、例えば仮想点Ｓ₂₀の場合、各
制御点との間を結ぶ直線が交差する不連続情報、すなわ
ち拡大後の曲線８４の交差部分に対応する溶け込み度を
用いる。また、複数の不連続情報と交差する場合には溶
け込み度の最大値を用いるものとする。

【０１０１】このように、（８）式に重み付けして計算
することによって、物体画像は背景との溶け込み度を考
慮した拡大が可能となる。

【０１０２】なお、上記では、白画素と黒画素の例を説
明したが、濃度を有する画素や色を有する画素であると
きは、平均化や勾配による予測値を求めることによって
画素値を求めてもよい。

【０１０３】以上説明したように、本実施の形態では、
原画像をラインプロセスを用いて不連続情報を検出し、
その不連続情報を用いて原画像に含まれる物体画像の輪
郭を抽出する。また、不連続情報を用いて物体画像の輪
郭をアウトライン化して解像度変更、例えば拡大を行っ
た場合であっても物体画像の輪郭がぼけたり粗くなった
りすることなく、画像を生成することができる。さら
に、不連続情報を用いて物体画像の溶け込み度を求めて
いるので、拡大縮小したり他の画像と合成したり、解像
度変更、例えば拡大を伴って背景に合成したりした場合
であっても物体画像が溶け込むように画像を生成するこ
とができる。これによって、解像度に依存することなく
物体画像を部品化して記述することができ、再利用を容
易にすることができる。

【０１０４】なお、上記実施の形態では、画素値の成分
について考慮することの説明を省略したが、例えば、Ｒ
ＧＢの各成分に対して上記処理を行ったり、色相や彩度
の成分に対して行ったりしてもよい。

【０１０５】また、同一画像内において拡大縮小を行う
場合について説明したが、物体画像内の背景部分を除去
したオブジェクトを切り出して他の背景画像と合成する
場合にも適用が可能である。この場合、切り出したとき
の溶け込み度を記憶しておき、他の背景画像と合成する
ときに、記憶した溶け込み度を用いるようにすればよ
い。このようにすることによって、より違和感が少ない
合成画像の生成が可能となる。

【０１０６】

【発明の効果】以上説明したように本発明によれば、物
体画像の輪郭をアウトライン情報で記述すると共に、溶
け込み度を含ませて、物体画像の色情報を、再利用可能
な形式で符号化しているので、原画像または物体画像を
再利用するときに、拡大したり縮小したりする必要があ
る場合であっても、解像度に依存することなく元の物体
画像の輪郭を維持した形式で利用することができると共
に、境界部分に違和感を生じさせることなく、画像デー
タを変換したり部品化したりすることができる、という
効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態にかかる物体画像部品化装
置の概略構成を示すブロック図である。

【図２】本発明の実施の形態にかかる物体画像部品化装
置で実行される処理の流れを示すフローチャートであ
る。

【図３】原画像から物体画像を抽出する過程を示すイメ
ージ図である。

【図４】ラインプロセスを説明するための説明図であ
る。

【図５】ラインプロセスを用いたニューラルネットワー
クを説明するための概念構成図である。

【図６】画像に適用したラインプロセスを説明するため
の説明図である。

【図７】ＮＵＲＢＳを用いて解像度を拡大するときの画
像の構成を説明するための説明図である。

【図８】原画像を拡大する処理の流れを示すフローチャ
ートである。

【図９】山画像を用いて溶け込み度を説明するための説
明図である。

【符号の説明】

１０ 物体画像部品化装置 ３０ 画像読取装置 ４０ 原画像 ５４ クラス画像 ６０ 山画像（物体画像）

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA01 CA16 CB01 CB17 CB18 CD06 CE09 CG07 CH20 DA08 DB02 DB06 DC14 DC16 DC25 5C078 AA09 BA66 CA00 DA01 DB01 5L096 AA02 EA23 EA24 EA35 FA06 FA14 FA15 GA34 GA40 HA11 JA03 9A001 BB04 BB06 CZ08 DD15 EE02 EE04 GG03 HH06 HH23 HH27 HH31 KK42

Claims (9)

【特許請求の範囲】
1. 【請求項１】 色情報を含む原画像の画像データに基づ
   いて、ラインプロセスによって表される色情報の不連続
   性を表す原画像の不連続情報を生成し、 生成した不連続情報に基づいて原画像に含まれている物
   体画像の輪郭を抽出すると共に、前記不連続情報に基づ
   いて物体画像の輪郭をアウトライン化したアウトライン
   情報を求め、 前記不連続情報に基づいて該不連続情報に対応する原画
   像上の部位について物体画像の溶け込み度合いを表す溶
   け込み度を求め、 前記アウトライン情報及び溶け込み度を含めて画像デー
   タを符号化する画像データ変換方法。
2. 【請求項２】 前記物体画像の輪郭はパラメトリック曲
   線でアウトライン化し、前記色情報はパラメトリック曲
   面で符号化することを特徴とする請求項１に記載の画像
   データ変換方法。
3. 【請求項３】 原画像の色情報に基づいて、ラインプロ
   セスによって表される色情報の不連続性を表す原画像の
   不連続情報を生成し、 生成した不連続情報に基づいて原画像に含まれている物
   体画像の輪郭を抽出し、抽出した輪郭を用いて物体画像
   を分離し、 分離した物体画像について、不連続情報に基づいて物体
   画像の輪郭をアウトライン化したアウトライン情報を求
   めると共に、不連続情報に基づいて該不連続情報に対応
   する原画像上の部位について物体画像の溶け込み度合い
   を表す溶け込み度を求め、 前記アウトライン情報及び溶け込み度を含めて物体画像
   の色情報を符号化する画像部品化方法。
4. 【請求項４】 前記物体画像の輪郭はパラメトリック曲
   線でアウトライン化し、前記色情報はパラメトリック曲
   面で符号化することを特徴とする請求項３に記載の画像
   部品化方法。
5. 【請求項５】 前記物体画像を構成する要素画像毎にさ
   らに分離して部品化することを特徴とする請求項３また
   は４に記載の画像部品化方法。
6. 【請求項６】 コンピュータによって原画像を表す画像
   データを符号化されたデータに変換するための画像デー
   タ変換プログラムを記録した記録媒体であって、 前記画像データ変換プログラムは、 原画像の色情報に基づいて、ラインプロセスによって表
   される色情報の不連続性を表す原画像の不連続情報を生
   成させ、 生成した不連続情報に基づいて原画像に含まれている物
   体画像の輪郭を抽出させると共に、前記不連続情報に基
   づいて物体画像の輪郭をアウトライン化したアウトライ
   ン情報を求めさせ、 不連続情報に基づいて該不連続情報に対応する原画像上
   の部位について物体画像の溶け込み度合いを表す溶け込
   み度を求めさせ、 前記アウトライン情報及び溶け込み度を含めて画像デー
   タをを符号化させることを特徴とする画像データ変換プ
   ログラムを記録した記録媒体。
7. 【請求項７】 前記物体画像の輪郭はパラメトリック曲
   線でアウトライン化され、前記色情報はパラメトリック
   曲面で符号化されることを特徴とする請求項６に記載の
   画像データ変換プログラムを記録した記録媒体。
8. 【請求項８】 コンピュータによって原画像から該原画
   像に含まれる物体を表す物体画像を部品化するための画
   像部品化プログラムを記録した記録媒体であって、 前記画像部品化プログラムは、 原画像の色情報に基づいて、ラインプロセスによって表
   される色情報の不連続性を表す原画像の不連続情報を生
   成させ、 生成した不連続情報に基づいて原画像に含まれている物
   体画像の輪郭を抽出させ、抽出された輪郭を用いて物体
   画像を分離させ、 分離した物体画像について、不連続情報に基づいて物体
   画像の輪郭をアウトライン化したアウトライン情報を求
   めさせると共に、不連続情報に基づいて物体画像を他画
   像と合成したときの溶け込み度合いを表す溶け込み度を
   求め、 前記アウトライン情報及び溶け込み度を含めて物体画像
   の色情報を符号化させることを特徴とする画像部品化プ
   ログラムを記録した記録媒体。
9. 【請求項９】 前記物体画像の輪郭はパラメトリック曲
   線でアウトライン化され、前記色情報はパラメトリック
   曲面で符号化されることを特徴とする請求項８に記載の
   画像部品化プログラムを記録した記録媒体。