JP2000201358A

JP2000201358A - 画像デ―タ変換方法、及び画像デ―タ変換プログラムを記録した記録媒体

Info

Publication number: JP2000201358A
Application number: JP342699A
Authority: JP
Inventors: Satoru Osawa; 哲大沢
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1999-01-08
Filing date: 1999-01-08
Publication date: 2000-07-18

Abstract

(57)【要約】【課題】原画像に含まれる物体画像を再利用が容易な
部品化をする。【解決手段】動画像対象の複数静止画像を読み取り
（ステップ３００）、基準画像を定めて符号化する（ス
テップ３０２、３０４）。次に、次の静止画像を読み取
り（ステップ３０６）、基準画像と静止画像の差分を求
める（ステップ３０８）。求めた差分値を用い変化オブ
ジェクトを特定し（ステップ３１０）、ベクトル情報を
抽出し（ステップ３１２）、読み取った静止画像につい
て変化オブジェクトを符号化する（ステップ３１４）。
この処理を（ステップ３１６で肯定判断されるまで各処
理を繰り返し）、動画像として対象となる複数の静止画
像について全て実行する。全静止画像の処理が終了する
と、符号化した各静止画像のデータを合成することで動
画像データを生成する（ステップ３１８）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データ変換方
法、及び画像データ変換プログラムを記録した記録媒体
にかかり、特に、複数の原画像を用いて動画像の提示を
可能とする画像データに変換する画像データ変換方法及
び画像データ変換プログラムを記録した記録媒体に関す
る。

【０００２】

【従来の技術】近年、コンピュータ技術の発展に伴っ
て、カラー画像を画像データとしてデジタル化し、その
画像データを保存させたり流通させたりして利用するこ
とがある。このデジタル化した画像データには、デジタ
ルカメラ等のデジタル撮影装置で撮影することによって
生成された撮影画像を表す画像データや、スキャナでカ
ラー原稿をスキャンすることによって生成されたスキャ
ン画像を表す画像データ等がある。

【０００３】ところで、連続する複数の静止画像を一定
時間毎に提示することによって、動画像を提示できるこ
とが知られている。このため、連続する複数のデジタル
化した画像データを一定時間毎に提示すれば、デジタル
化した動画像を提示することができる。

【０００４】しかしながら、カラー画像を画像データと
してデジタル化すると、１静止画が占有するデータ容量
が大きいため、動画像として提示する静止画の個数に応
じてデータ容量が増大する。このため、大容量の記憶装
置を用意しなければならない。また、デジタル化された
各静止画を画像として提示するために、各画像毎に提示
のための画像変換が必要であり、動画像として提示する
ためには実時間で実行する必要がある。このため、装置
は大規模なものとなり高速処理が要求される。

【０００５】この問題を解消するため、所謂ＭＰＥＧ規
格がある。ＭＰＥＧ規格では、複数の静止画からなる動
画像について、最初の静止画を基準（基準静止画）とし
て連続する静止画の差分等を求めて、差分値等を連続す
る静止画に代えて記憶させている。このよにすることに
よって、記憶容量を圧縮することができ、実時間での動
画像提示を可能としている。

【０００６】

【発明が解決しようとする課題】しかしながら、連続す
る静止画の差分による展開では、近似した静止画には有
効だが、画像内で大きな動作を含んだり、異なる要素が
新規挿入したりする場合には不向きである。また、拡大
縮小等の解像度変更を伴うと違和感が生じることがあ
る。

【０００７】本発明は、上記事実を考慮して、複数の連
続画像による動画像を違和感なく再生することが可能な
画像データ変換方法、及び画像データ変換プログラムを
記録した記録媒体を得ることが目的である。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に請求項１に記載の発明の画像データ変換方法は、複数
の連続した原画像の色情報を含む画像データを用いて動
画像を表す画像データに変換する画像データ変換方法で
あって、原画像の画像データに基づいて、ラインプロセ
スによって表される色情報の不連続性を表す原画像の不
連続情報を生成し、生成した不連続情報に基づいて原画
像に含まれている物体画像の輪郭を抽出すると共に、前
記不連続情報に基づいて物体画像の輪郭をアウトライン
化したアウトライン情報を求めかつ、抽出した輪郭を用
いて物体画像を表すテクスチャ情報を求め、前記アウト
ライン情報及びテクスチャ情報を含めて画像データを符
号化する。

【０００９】請求項２に記載の発明は、請求項１に記載
の画像データ変換方法であって、前記物体画像の輪郭は
パラメトリック曲線でアウトライン化し、前記色情報は
パラメトリック曲面で符号化することを特徴とする。

【００１０】請求項３に記載の発明は、請求項１または
２に記載の画像データ変換方法であって、前記不連続情
報は、原画像に含まれている物体画像の輪郭に相当する
外周不連続情報及び物体画像の内部の内部不連続情報
を、原画像の不連続情報として生成することを特徴とす
る。

【００１１】請求項４に記載の発明は、請求項１乃至請
求項３の何れか１項に記載の画像データ変換方法であっ
て、前記複数の連続した原画像のうち、基準の原画像を
定め、定めた基準の原画像について前記符号化し、他の
原画像について基準の原画像に含まれる物体画像の変動
を表すベクトル情報を求め、基準の原画像について符号
化した画像データとベクトル情報とから動画像を表す画
像データに変換することを特徴とする。

【００１２】請求項５に記載の発明は、コンピュータに
よって複数の連続した原画像の色情報を含む画像データ
を用いて動画像を表す画像データに変換するための画像
データ変換プログラムを記録した記録媒体であって、前
記画像データ変換プログラムは、色情報を含む原画像の
画像データに基づいて、ラインプロセスによって表され
る色情報の不連続性を表す原画像の不連続情報を生成さ
せ、生成された不連続情報に基づいて原画像に含まれて
いる物体画像の輪郭を抽出させると共に、前記不連続情
報に基づいて物体画像の輪郭をアウトライン化したアウ
トライン情報を求めさせかつ、抽出した輪郭を用いて物
体画像を表すテクスチャ情報を求めさせ、前記アウトラ
イン情報及びテクスチャ情報を含めて画像データを符号
化させることを特徴とする。

【００１３】請求項６に記載の発明は、請求項５に記載
の画像データ変換プログラムを記録した記録媒体であっ
て、前記物体画像の輪郭はパラメトリック曲線でアウト
ライン化され、前記色情報はパラメトリック曲面で符号
化されることを特徴とする。

【００１４】請求項７に記載の発明は、請求項５または
６に記載の画像データ変換プログラムを記録した記録媒
体であって、前記不連続情報は、原画像に含まれている
物体画像の輪郭に相当する外周不連続情報及び物体画像
の内部の内部不連続情報を、原画像の不連続情報として
生成させることを特徴とする。

【００１５】請求項８に記載の発明は、請求項５乃至請
求項７の何れか１項に記載の画像データ変換プログラム
を記録した記録媒体であって、前記複数の連続した原画
像のうち、基準の原画像を定めさせ、定めた基準の原画
像について前記符号化させ、他の原画像について基準の
原画像に含まれる物体画像の変動を表すベクトル情報を
求めさせ、基準の原画像について符号化された画像デー
タとベクトル情報とから動画像を表す画像データに変換
させることを特徴とする。

【００１６】請求項１に記載の画像データ変換方法で
は、複数の連続した原画像の色情報を含む画像データを
用いて動画像を表す画像データに変換する。その原画像
の色情報に基づいて、ラインプロセスによって表される
色情報の不連続性を表す原画像の不連続情報を生成す
る。ラインプロセスは、色情報の不連続性、すなわち色
情報が連続か不連続かを表すものであり、色情報とライ
ンプロセスとでエネルギ関数を定義してエネルギ関数を
用いたエネルギの最小化を行うと、原画像で色情報が不
連続となる箇所にラインプロセスが値を有することとな
る。この値を有するラインプロセスで原画像の不連続情
報を表すことができる。この不連続情報は、原画像で色
情報が不連続となる箇所を表すので、同一または類似の
色情報で構成されない異なる色情報で構成される隣り合
う色領域では色情報の境界となる。

【００１７】なお、色情報は、単色で扱う場合、濃度情
報として用いることができる。一例として２値画像の画
像情報がある。従って、同一または類似の色情報からな
る色領域は、その輪郭部分に不連続情報が現れる。原画
像に含まれる物体画像は、同一または類似の色情報で構
成されたり、予め定めた複数の色情報で構成されたりす
る。そこで、不連続情報に基づいて原画像に含まれてい
る物体画像の輪郭を抽出する。

【００１８】次に、不連続情報に基づいて物体画像の輪
郭をアウトライン化したアウトライン情報を求める。ア
ウトライン情報とは、原情報（すなわち輪郭に関する情
報）の殆どを維持したまま大きさを変化、例えば拡大さ
せたりや縮小させたりすることが可能な情報である。例
えば、アウトライン情報には、点と線分や面情報等のベ
クトル情報とから構成される形状情報がある。なお、こ
の形状情報は、数式による記述も可能である。このよう
に、物体画像の輪郭をアウトライン情報で記述すること
で、物体画像の輪郭は解像度に依存することなく表現す
ることができる。

【００１９】物体画像の色情報は、アウトライン情報で
記述された物体画像の輪郭に内包され、不連続を伴わな
い連続状態であるとき、連続情報による表現で符号化で
きる。そこで、抽出した輪郭を用いて物体画像をあらわ
すテクスチャ情報を求める。このテクスチャ情報には、
ビットマップデータや画像データフォーマットがある。
画像データフォーマットには、例えば色情報を近似表現
する符号化が一例としてあり、ＪＰＥＧ等で知られる画
像データフォーマットがある。これらのアウトライン情
報及びテクスチャ情報を含めて画像データを符号化す
る。

【００２０】このように、物体画像の輪郭をアウトライ
ン情報で記述し、原画像または物体画像のテクスチャ情
報を含めて、画像データを符号化しているので、複数の
原画像を再生すなわち連続して提示するときに、物体画
像の輪郭は解像度に依存することなく元の物体画像の輪
郭を維持した形式で利用することができる形式で画像デ
ータを変換することができる。

【００２１】なお、アウトライン情報を求めると共に、
不連続情報に基づいて物体画像を他画像と合成したとき
の溶け込み度合いを表す溶け込み度を求めてもよい。こ
の溶け込み度は、不連続情報に対応する原画像上の部位
について物体画像の溶け込み度合いを表すものであり、
画像の合成や拡大縮小時に用いることにより、境界部分
に違和感を生じさせることなく、原画像を拡大縮小した
り物体画像を他画像へ溶け込ませたりすることができ
る。これによって、他画像に貼り付ける等の合成操作や
拡大縮小を行うと、その輪郭部分が物体画像と他画像と
の境界に違和感が生じることがない。

【００２２】画像を表現する場合、その輪郭は画像の最
外周であり、２次元的な曲線となる。また、色情報は、
画像の輪郭に内包されて連続になる。色情報は、各色毎
にその位置と濃度との３次元表現が可能である。従っ
て、連続的な色情報は、３次元的な曲面に対応させるこ
とが可能となる。このような曲線や曲面は取り扱いが容
易な形式で表現されることが好ましい。

【００２３】請求項２の発明では、前記物体画像の輪郭
を、パラメトリック曲線でアウトライン化し、色情報を
パラメトリック曲面で符号化する。このようにすること
によって、物体画像の輪郭及び色情報を数式を用いて簡
単な記述形式で表現することができ、容易に利用するこ
とが可能となる。

【００２４】ここで、原画像に含まれている物体画像の
輪郭は、その殆どが外周付近に存在するが、物体画像内
部に特徴を有していたり、物体画像内部のみが微妙に形
状変化したりする場合がある。例えば、人物画像では
目、鼻、口等のパーツに特徴があったり、頭部の輪郭は
略変化しないが、目、鼻、口等のパーツが変化すること
で人物の表情の変化があったりする場合がある。

【００２５】請求項３の発明では、前記不連続情報とし
て、原画像に含まれている物体画像の輪郭に相当する外
周不連続情報と、物体画像の内部の内部不連続情報と
を、原画像の不連続情報として生成する。このように、
物体画像の輪郭及び内部の不連続情報をアウトライン情
報で記述することで、物体画像の特徴を表す輪郭及び内
部の不連続を抽出することができると共に、解像度に依
存することなく表現できる。

【００２６】ところで、複数の連続した原画像の色情報
を含む画像データを用いて動画像を表す画像データに変
換する場合、各原画像について、物体画像の輪郭を表す
アウトライン情報及び原画像または物体画像のテクスチ
ャ情報を含めて画像データを符号化したのでは、処理負
荷が増大する。

【００２７】請求項４の発明では、複数の連続した原画
像のうち、基準の原画像を定め、定めた基準の原画像に
ついて符号化し、他の原画像について基準の原画像に含
まれる物体画像の変動を表すベクトル情報を求め、基準
の原画像について符号化した画像データとベクトル情報
とから動画像を表す画像データに変換する。物体画像
は、複数の要素画像から構成されることがある。例え
ば、背景は変化しないが、人物のみが移動したり、人物
の表情のみが変化したりする場合がある。この場合、変
化する画像のみを記憶するようにすれば効率的である。
従って、基準の原画像について符号化し、他の原画像に
ついて基準の原画像に含まれる物体画像の変動を表すベ
クトル情報を求めれば、動画像を表す画像データの容量
を小さくすることができる。また、符号化された基準の
原画像の画像データとベクトル情報とから動画像を表す
画像データへの変換処理も処理負荷が軽減される。

【００２８】上記画像データ変換方法による原画像の符
号化は、請求項５に記載の記録媒体に記録した画像デー
タ変換プログラムの実行によってコンピュータ上におい
て実現可能である。詳細には、コンピュータによって複
数の連続した原画像の色情報を含む画像データを用いて
動画像を表す画像データに変換するための画像データ変
換プログラムを記録した記録媒体であって、前記画像デ
ータ変換プログラムは、色情報を含む原画像の画像デー
タに基づいて、ラインプロセスによって表される色情報
の不連続性を表す原画像の不連続情報を生成させ、生成
された不連続情報に基づいて原画像に含まれている物体
画像の輪郭を抽出させると共に、前記不連続情報に基づ
いて物体画像の輪郭をアウトライン化したアウトライン
情報を求めさせかつ、抽出した輪郭を用いて物体画像を
表すテクスチャ情報を求めさせ、前記アウトライン情報
及びテクスチャ情報を含めて画像データを符号化させ
る。これによって、コンピュータ上において、複数の原
画像を再生すなわち連続して提示するときに、物体画像
の輪郭は解像度に依存することなく元の物体画像の輪郭
を維持した形式で利用することができる形式で画像デー
タを変換することができる。

【００２９】なお、請求項６にも記載したように、前記
物体画像の輪郭は、パラメトリック曲線でアウトライン
化されされるように、前記色情報はパラメトリック曲面
で符号化されるように符号化することができる。

【００３０】また、請求項７にも記載したように、前記
不連続情報は、原画像に含まれている物体画像の輪郭に
相当する外周不連続情報及び物体画像の内部の内部不連
続情報を、原画像の不連続情報として生成させることが
できる。

【００３１】さらに、請求項８にも記載したように、前
記複数の連続した原画像のうち、基準の原画像を定めさ
せ、定めた基準の原画像について前記符号化させ、他の
原画像について基準の原画像に含まれる物体画像の変動
を表すベクトル情報を求めさせ、基準の原画像について
符号化された画像データとベクトル情報とから動画像を
表す画像データに変換させることができる。

【００３２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態の一例を詳細に説明する。本実施の形態は複数
のカラー原画像から動画像を表す画像データを生成する
画像変換装置に本発明を適用したものである。

【００３３】図２に示すように、本実施の形態の画像変
換装置１０は、画像を表示するための表示装置等のディ
スプレイ装置１２、外部からコマンドやデータを入力す
るためのキーボード等の入力装置１４、装置本体１６、
及びカラー原稿からカラー原画像を読み取るための画像
読取装置３０から構成されている。

【００３４】装置本体１６は、ＣＰＵ１８、ＲＡＭ２
０、ＲＯＭ２２、入出力ポート（Ｉ／Ｏ）２８、からな
るマイクロコンピュータで構成され、各々はコマンドや
データの授受が可能なようにバス２６によって接続され
ている。なお、ＲＯＭ２２には、装置本体１６において
実行される後述する処理ルーチンが記憶されている。

【００３５】装置本体１６の入出力ポート２８には、画
像データを記憶するためのメモリ２４が接続されてい
る。また、装置本体１６の入出力ポート２８には、入力
装置１４が接続されると共に、ディスプレイ装置１２が
接続されている。また、入出力ポート２８には、カラー
スキャナ等の画像読取装置３０が接続されている。

【００３６】なお、画像読取装置３０は、印刷物等のカ
ラー原稿、及び被写体の撮影後に現像処理されてネガ画
像またはポジ画像が可視化された写真フィルムから多値
のカラー原画像を読み取ることができる。

【００３７】上記の入出力ポート２８には、記録媒体と
してのフロッピー（登録商標）ディスク（以下、ＦＤと
いう）が挿抜可能なフロッピーディスクユニット（以
下、ＦＤＵという）が接続されている。なお、後述する
処理ルーチン等は、ＦＤＵを用いてＦＤに対して読み書
き可能である。従って、後述する処理ルーチンは、ＲＯ
Ｍ２２に記憶することなく、予めＦＤに記録しておき、
ＦＤＵを介してＦＤに記録された処理プログラムを実行
してもよい。また、装置本体１６にハードディスク装置
等の大容量記憶装置（図示省略）を接続し、ＦＤに記録
された処理プログラムを大容量記憶装置（図示省略）へ
格納（インストール）して実行するようにしてもよい。
また、記録媒体としては、ＣＤ−ＲＯＭ等の光ディスク
や、ＭＤ，ＭＯ等の光磁気ディスクがあり、これらを用
いるときには、上記ＦＤＵに代えてまたはさらにＣＤ−
ＲＯＭ装置、ＭＤ装置、ＭＯ装置等を用いればよい。

【００３８】なお、本実施の形態では、一例として、カ
ラースキャナ等の画像読取装置３０により多値のカラー
原画像を入力する場合を説明するが、本発明はこれに限
定されるものではなく、ＦＤ等の記憶媒体に予め記憶さ
れた画像データを入力するようにしてもよい。また、入
出力ポート２８にネットワークボード等の信号授受装置
を接続し、他の装置との間で信号授受を可能とする所謂
ＬＡＮを構成して、他の装置から画像データを受け取る
ようにしてもよい。

【００３９】また、多値のカラー原画像は、白黒画像や
異なる色の組み合わせによる２値画像から、実写画像や
自然画像等の画像を含むものである。

【００４０】次に、本実施の形態の作用を説明する。ま
ず、画像変換にあたり、原画像である静止画像の符号化
について説明する。なお、以下の処理（符号化処理ルー
チン）は、ＦＤ等の記録媒体に格納してコンピュータで
実行可能なアプリケーションとして提供され、実行指示
によって実行されるようにしてもよい。

【００４１】まず、ステップ１００において画像読取装
置３０に載置されたカラー原稿を読み取ることによっ
て、カラー原画像（以下、原画像という）を読み取る。
本実施の形態では、画像読取装置３０からＲＧＢデータ
が出力され、この出力されたＲＧＢデータを用いるもの
とする。なお、画像データとしてＣＭＹＫデータ等のよ
うに他の表色系で表された画像データであるときには、
ＲＧＢ変換を行うようにすればよい。

【００４２】図４には、読み取りが終了した原画像４０
の一例を示した。原画像４０は、人物５２の周囲に草花
５０が散在し、その近傍に植木４８が位置し、遠方（画
像の上方）には山４２と小山４４とが位置し、上方に雲
４６が位置している。

【００４３】次のステップ１０２では、原画像につい
て、ラインプロセスにより不連続情報の検出がなされ
る。ラインプロセス（線素）不連続を示す仮想の素子を
いうものである。本実施の形態では、ラインプロセスを
用いたニューラルネットワークによって、画像の不連続
情報を検出する場合を説明する。まず。ラインプロセス
について詳細を説明する。

【００４４】図５（Ａ）は、画素について位置と濃度と
の関係を求めた１次元データの一例を示したものであ
り、点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２は略近傍に位置
し、点Ｐ６と点Ｐ７の間が大きく離れている。これらの
１次元データに沿う曲線を求める場合、最小二乗法等の
近似方法や補間方法で求めると、図５（Ｂ）に示すよう
に、点Ｐ１〜Ｐ６から点Ｐ７〜Ｐ１２を曲線で連続させ
るために、点Ｐ６及び点Ｐ７から曲線３４が大きく離れ
るが滑らかになるよう求められる。

【００４５】しかし、点Ｐ６及び点Ｐ７は曲線３４から
大きく離れることになるので、得られる特性（すなわち
曲線３４）は、実際のデータに則していないことにな
る。そこで、図５（Ｃ）に示すように、略近傍に位置す
る点Ｐ１〜Ｐ６及び点Ｐ７〜Ｐ１２について、各点に沿
うように曲線３４ａ，３４ｂを求める。このように求め
ると、大きく離れている点Ｐ６と点Ｐ７の間に、不連続
が生じる。この点Ｐ６と点Ｐ７の間の位置に不連続点３
６を伴って曲線３４ａ，３４ｂを定めれば、実際のデー
タに則した特性を求めることができることになる。すな
わち、点Ｐ６と点Ｐ７の間の位置の不連続点３６で不連
続が発生することを表すラインプロセスがオンとなる。
また、点Ｐ１〜点Ｐ６及び点Ｐ７〜点Ｐ１２の各間、す
なわち、点Ｐ１と点Ｐ２、点Ｐ２と点Ｐ３、・・・点Ｐ
５と点Ｐ６、及び点Ｐ７と点Ｐ８、点Ｐ８と点Ｐ９、・
・・、点Ｐ１１と点Ｐ１２の各々の間はラインプロセス
がオフとなる。

【００４６】上記では、１次元データの場合を説明した
が、２次元データで代表される画像にラインプロセスを
適用する場合は、ラインプロセスを、２つの画素間につ
いて仮想的な関数として定義する。従って、定義された
ラインプロセスが局所的な濃度差によってオンまたはオ
フすることにより画像中の不連続部分が不連続情報、こ
の不連続部分を連結させたものが物体画像の輪郭として
抽出することができる。

【００４７】このラインプロセスを用いてニューラルネ
ットワークでエネルギ関数の計算とその最小化を行って
画像の不連続（情報）を求める。この詳細について説明
する。

【００４８】図６はラインプロセスを用いたニューラル
ネットワークを説明するための概念構成図である。図６
に示すようにこのニューラルネットワークは、入力が画
像であるときは画像に対応する一つの画素に対して３つ
のニューロンｆ_i,j，ｈ_i,j，ｖ_i,jが対応する。

【００４９】ここで、ｆ_i,jは画素の値であり、
ｈ_i,j，ｖ_i,jはｆ_i,j間の不連続性の存在、非存在を
示すラインプロセスとよばれる隠れた関数である。すな
わち、ｆ_i, _jは入力される値の強度変化を、ｈ_i,j，ｖ
_i,jはそれぞれｆ_i,jの水平方向、垂直方向の連続性、
不連続性を示している。

【００５０】この３つの変数ｆ_i,j，ｈ_i,j，ｖ_i,jに
より、系全体のエネルギ関数を以下の（１）式に示すよ
うに定義する。

【００５１】

【数１】

【００５２】但し、Ｅ_I：曲面（奥行き）データの連続
性Ｅ_D：観測データ（初期値）の信頼性Ｅ_V：ラインプロセスが超球面の角（０or１）に向かう
ことＥ_P：近傍の平行したラインプロセスが１となるための
条件Ｅ_C：単一のラインプロセスが１となるための条件Ｅ_L：連続したマルチラインプロセスを好み、交差と不
連続を嫌う条件Ｅ_G：（２）式におけるｍ，ｎが発散しないための条件Ｃ_D，Ｃ_V，Ｃ_P，Ｃ_C，Ｃ_L，Ｃ_G：パラメータ値ｇ（）：シグモイド関数ｄ_i,j：初期値また、変数の時間則を以下の（２）式により定義した。

【００５３】

【数２】

【００５４】但し、ｇ（Ｕ_i）＝１／ｅ（−２λＵ_i）なお、ｅ（−２λＵ_i）は指数関数であり、（）内部
は指数部を表すｈ_i,j＝ｇ（ｍ_i,j）ｖ_i,j＝ｇ（ｎ_i,j）ｍ，ｎ：内部状態変数上記（２）式の偏微分の計算例を次の（３）、（４）、
（５）式に示す。

【００５５】

【数３】

【００５６】上記（３）〜（５）式の計算結果が小さく
なる、すなわち０に近いもしくは０の値をとるというこ
とは、隣接する値ｆ_i,j+1と値ｆ_i,j、およびｆ_i+1,j
とｆ _i,jが略同一の値となるときである。従って、上記
の（１）式で表したエネルギＥ_Iについて、ｆ_i,j+1≒
ｆ_i,j、およびｆ_i+1,j≒ｆ_i,jであるとすると、エネ
ルギＥ_Iは比較的小さくなることからラインプロセスｈ
_i,j，ｖ_i,jは値を持つ必要はないためｈ_i,j，ｖ_i,j
は比較的小さな値となる。

【００５７】一方、隣接する値ｆ_i,j+1と値ｆ_i,j、お
よび値ｆ_i+1,jと値ｆ_i,jとの差が大きい場合、すなわ
ち隣接する値の間に境界があるときは、（ｆ_i,j+1−ｆ
_i,j）²および（ｆ_i+1,j−ｆ_i,j）²は大きくなる。
従って、エネルギＥ_Iを小さくするにはｈ_i,jあるいは
ｖ_i,jが値を有し、（１−ｈ_i,j）または（１−
ｖ_i, _j）が比較的小さくなる必要がある。このように互
いに隣接する値ｆ_i,jとｆ_i, _j+1またはｆ_i,jとｆ
_i+1,jに差がある場合は、各値の間にあるラインプロセ
スｈ_i,j，ｖ_i,jが値を有するようになり、異なる色の
領域間に境界線が出現することになる。

【００５８】この係数からラインプロセスが発生する条
件を決定する。一例として、図７（Ａ）に示す単一ライ
ンプロセスが発生する条件はＥ_P＝０，Ｅ_C＝０，Ｅ_L
＝２Ｃ_L、図７（Ｂ）に示す連続するラインプロセスが
発生する条件はＥ_P＝０，Ｅ _C＝０，Ｅ_L＝Ｃ_L、図７
（Ｃ）に示す互いに平行なラインプロセスが発生する条
件は、Ｅ_P＝Ｃ_P，Ｅ_C＝Ｃ_C，Ｅ_L＝２Ｃ_L、そして
図７（Ｄ）に示すように互いに交差するラインプロセス
が発生する条件は、Ｅ_P＝０，Ｅ_C＝２Ｃ_C，Ｅ_L＝10
Ｃ_Lである。

【００５９】上記の（１）〜（５）式により、系全体の
エネルギを最小にする計算を繰り返すエネルギ学習を行
った結果が、与えられた入力に対するニューラルネット
ワークの解となる。

【００６０】このニューラルネットワークは、(a) 入力
がノイズを付加された画像であった場合、得られたエネ
ルギ最小でのｆ_i,jは復元画像に相当し、(b) 入力が明
度画像の場合、得られたエネルギ最小でのｈ_ij，ｖ_ijは
輪郭に相当し、(c) 入力が山などの測量データの場合、
得られたエネルギ最小でのｆ_ijは測量点から推定される
各地点の高度を示すこととなる。本実施の形態では、
(b) の画像入力に利用した例である。

【００６１】なお、上記ニューラルネットワークは、変
数に何を割り当てるかにより、様々な逆問題に適用でき
る拡張性を有しており、アルゴリズムが局所計算で実現
されているため、光等の並列処理ハード装置化が容易で
あり、高速処理を行うことができるという利点も備えて
いる。

【００６２】従って、図３のステップ１０２では、上記
ラインプロセスを用いたニューラルネットワークによっ
て、エネルギ関数とその最小化を行って、不連続検出が
なさることにより画像の輪郭部分（不連続）が抽出され
る。すなわち、（２）式に従って、内部状態変数を更新
すると（１）式の総エネルギーは常に減少して最小値が
計算される。この最小時に得られたｈ_ij，ｖ_ijが水平方
向及び垂直方向の不連続（輪郭）に相当する。

【００６３】次に、ステップ１０４では、原画像におけ
る類似色の色領域設定がなされる。この類似色設定処理
は、例えば、同系色や同一色、そして予め定めた色の組
み合わせで指定される色や色群を、原画像上においてラ
ベリングする処理である。例えば、原画像上の各画素に
ついて、各々直交する色相値軸、彩度値軸及び明度値軸
から成る座標系の色空間（以下、ＨＬＳ色空間という）
において求めた距離に基づいて反復型領域拡張法により
統合処理等を行う方法がある。

【００６４】具体的には、まず、原画像上から何れか１
つの画素を選択する。次に、その画素の周囲の１画素
（所謂、８近傍の１画素）を選択し、その選択された画
素が既に何れかのラベルが付与された領域に含まれてい
るときは、そのラベルを付与する。一方、含まれていな
いときは、選択された２つの画素のＨＬＳ色空間におけ
る距離、すなわち２つの画素の明度、彩度及び色相の類
似性を求める。距離が長ければ類似性が低く、距離が短
ければ類似性が高いことになる。距離が所定値未満のと
き、２つの画素が類似しているとして、２つの画素に同
一のラベルを付与する（ラベリング）。所定値以上のと
きは、類似していないとしてラベリングすることなく、
８近傍の他の画素について上記処理を実行する。８近傍
の全画素が終了すると、同一ラベルの付与された領域
（原画像における）の最外周の１画素を選択し、上記処
理を繰り返し実行する。上記処理を全画素について実行
する。同一ラベルの付与された領域の最外周の画素から
類似性の高い周囲の画素について同一ラベル付与を順次
実行することによって、原画像上における色相、明度及
び彩度が類似した画素による色領域を設定する。なお、
同一ラベルが付与された画素群は、色相値、彩度値及び
明度値のそれぞれの平均値を求め、求めた平均値をラベ
ルの色相値、彩度値及び明度値とする。

【００６５】なお、同一ラベルで指定された色領域は、
不連続部分を含むことはないので、少なくともステップ
１０２で検出された不連続すなわち輪郭が分割されるこ
とはない。

【００６６】上記のように、ステップ１０４で、原画像
の隣接した画素について色相、明度及び彩度の類似性で
色領域が設定された後には、次のステップ１０６におい
て、原画像がクラス分けされる。このクラス分けは、上
記原画像に設定された類似色の色領域の間で関係を定め
る処理である。すなわち、１つのラベルが付与された色
領域である同一または類似の色相、明度及び彩度による
画素群は、同一物体である可能性が高いが、隣接せず
に、原画像上で離れた位置にある類似色の色領域は、同
一種類の物体である可能性が高い。そこで、予め類似色
領域を種類分け（クラス分け）するための色相、明度及
び彩度の値や範囲を定めておき、定められた値や範囲
で、色領域を分類することによって原画像をクラス分け
する。

【００６７】なお、本実施の形態では、原画像に設定さ
れた類似色の色領域の間で関係を定めてクラス分けする
例を説明するが、不連続情報は、物体画像の輪郭部分に
相当することから、不連続情報（輪郭）の相似性でクラ
ス分けすることもできる。

【００６８】具体的には、図４に示す原画像４０を一例
にすると、山４２、小山４４、及び雲４６を含んだ風景
クラスＣＡ、散在した草花５０及び植木４８を含んだ環
境クラスＣＢ、人物５２を含んだ人物クラスＣＣにクラ
ス分けすることができる。

【００６９】次のステップ１０８では、クラス分け毎に
画像を抽出する。具体的には、図４に示す原画像４０を
一例にすると、風景クラスＣＡは、山４２、小山４４、
及び雲４６を含んだクラス画像５４として抽出される。
このクラス画像５４は、山４２、小山４４、及び雲４６
の原画像上の位置関係をそのまま維持し、これらの画像
が少なくとも分断されないように、大きめの領域が設定
される。なお、クラス画像５４に原画像４０上の背景を
そのまま残存させてもよく、また、新規の背景、例えば
予め定めた背景色上に上記画像を張り付けてもよい。同
様にして、環境クラスＣＢは、散在した草花５０及び植
木４８を含んだクラス画像５６、人物クラスＣＣは、人
物５２を含んだクラス画像５８として抽出される。

【００７０】上記のようにして抽出されたクラス画像上
には、複数の物体画像が含まれていることがある。そこ
で、詳細な具体例は後述するが、まずステップ１１０で
は、上記ステップ１０８で抽出されたクラス画像のうち
１つのクラス画像を指定する。次に、ステップ１１２に
おいて、１つの物体画像を抽出し、次のステップ１１４
でベジェ曲線を用いて不連続情報をアウトライン化す
る。アウトライン化が終了すると、次のステップ１１５
において、不連続情報を用いて物体画像の背景への溶け
込み度を求める。

【００７１】次のステップ１１６では、物体画像をアウ
トライン化された輪郭、溶け込み度及び物体画像の色情
報（テクスチャ情報）が符号化された色で記述する。次
のステップ１１８では、上記ステップ１１０で指定した
クラス内に含まれている物体画像を全て抽出したか否か
を判断し、未抽出の物体画像が残存するときに否定され
てステップ１１２へ戻り、全物体画像の抽出が終了した
ときに次のステップ１２０へ進む。ステップ１２０で
は、原画像内に含まれているクラス画像の上記処理を全
て終了したか否かを判断し、未処理のクラス画像が残存
するときに否定されてステップ１１０へ戻り、全クラス
画像の処理が終了したときに本ルーチンを終了する。

【００７２】なお、物体画像の色情報を含んだ情報とし
て予めテクスチャ情報が記憶されている場合には、上記
クラス分け等の処理は不要であり、テクスチャ情報をそ
のまま用いればよい。

【００７３】次に、図３のステップ１１０以降の処理を
図４を参照して具体的に説明する。図４に示す風景クラ
スＣＡのクラス画像５４には、山４２、小山４４、及び
雲４６の物体画像が含まれている。これらの物体画像を
クラス画像５４から分離し抽出する。この分離抽出は、
不連続情報を用いてなされる。不連続情報は、物体画像
の輪郭部分に相当することから、不連続情報に囲まれた
領域を物体画像として設定する。この不連続情報に囲ま
れた領域とは、物体画像の輪郭部分に相当する不連続点
を連結した曲線や曲面による閉領域や閉空間であるが、
１つの閉領域や閉空間に限定されない。すなわち複数の
閉領域や閉空間からなる群であってもよい。なお、不連
続点を連結した曲線や曲面による閉領域や閉空間は、後
述するように、パラメトリック曲線や曲面で連結して得
た曲線や曲面によって閉領域や閉空間を生成してもよ
い。

【００７４】例えば、クラス画像５４内は、不連続情報
に囲まれた領域が３つ設定される。この３つの領域を順
次設定し、不連続情報と、不連続情報で囲まれた領域の
色情報、すなわち領域内の画素について色相、明度及び
彩度の各値が抽出され、山画像６０、小山画像６２、及
び雲画像６４が抽出される。なお、図４の例では、山画
像６０、小山画像６２、及び雲画像６４の各々につい
て、抽出された各画像に背景画像を付加したものを物体
画像として設定したものである。

【００７５】同様に、環境クラスＣＢから、草花画像６
６及び植木画像６８が抽出され、人物クラスＣＣから、
人物の頭部画像７０、腕部画像７２、胴体部画像７４及
び脚部画像７６が抽出される。

【００７６】次に、抽出した画像の輪郭（不連続情報）
を以下のようにしてアウトライン化する。不連続情報を
アウトライン化するために記述が容易なパラメトリック
曲線を採用し、特に本実施の形態では、パラメトリック
曲線のうち扱いが簡便なベジェ曲線を採用する。従っ
て、抽出した画像の輪郭（不連続情報：ｈ_ij，ｖ_ij）を
２値化してベジェ曲線を用いてアウトライン化する。こ
のベジェ曲線Ｐ（ｔ）を定める数式を次の（６）式に示
す。

【００７７】

【数４】

【００７８】但し、Ｂ_i ⁿ（ｔ）＝（１−ｔ）・Ｂ_i ^n-1（ｔ）＋ｔ・Ｂ_i-1 ^n-1（ｔ）Ｂ_j ⁿ（ｔ）＝０（ｊ≒ｎ）＝１（ｊ＝ｎ）Ｐ_i：制御点（不連続点）ｔ：パラメータ

【００７９】このようにして物体画像の輪郭部分をアウ
トライン化することによって、物体画像を拡大したり縮
小したりしても、その輪郭形状は維持されることにな
る。そして、このアウトライン化した輪郭と、物体画像
の色情報（符号化することが好ましい）による色とで物
体画像を記述することによって、物体画像を再利用可能
な形式で記述（部品化）できることになる。

【００８０】次に、抽出した画像の輪郭に相当する不連
続情報を用いて物体画像の背景への溶け込み度を求め
る。本実施の形態では、水平方向の溶け込み度Ｍｈ（ｉ
ｊ）、垂直方向の溶け込み度Ｍｖ（ｉｊ）の各々を次の
（７）式を用いて求める。

【００８１】Ｍｈ（ｉｊ）＝β（ｍ_ij）Ｍｖ（ｉｊ）＝β（ｎ_ij）・・・（７）但し、β（）：シグモイド関数等の非線形関数または線
形関数０≦Ｍｈ（ｉｊ）≦１０≦Ｍｖ（ｉｊ）≦１このようにして物体画像の溶け込み度を求めることによ
って、物体画像を拡大したり縮小したりしても、物体画
像の輪郭部分は背景に溶け込ませることが可能になる。
そして、このアウトライン化した輪郭と、溶け込み度
と、物体画像の色情報（符号化することが好ましい）に
よる色とで物体画像を記述することによって、物体画像
を違和感なく再利用可能な形式で記述（部品化）できる
ことになる。

【００８２】物体画像の輪郭部分をアウトライン化して
溶け込み度を求めた物体画像として、図１０（Ａ）に示
す山画像６０を一例にして、物体画像の溶け込み度につ
いて更に説明する。山の稜線６０Ａは輪郭部分を表して
おり、溶け込み度を有している。上記式から理解される
ように、溶け込み度は最大値から最小値の間で徐々に変
化する。図１０（Ｂ）は、領域Ａｒの拡大図であり、稜
線６０Ａの濃度変化の推移を等高線で示したものであ
る。図１０（Ｃ）は、領域Ａｒ内のｉ−ｉ断面（図１０
（Ｂ）参照）における濃度変化を示したものである。図
１０（Ｂ）に示すように、図１０（Ａ）に示す山画像６
０において、山の稜線６０Ａを含む領域Ａｒを参照する
と、本来の山画像の境界である稜線６０Ａ付近は稜線６
０Ａから離れるに従って背景６０Ｂに溶け込むよう徐々
に濃度が小さくなる（図１０（Ｃ）参照）。従って、物
体画像の輪郭部分が明瞭な稜線となることなく、背景に
徐々に溶け込むことになる。

【００８３】なお、上記では、アウトライン化した輪郭
と、物体画像の色情報による色とで物体画像を記述した
例を説明したが、本発明はこれに限定されるものではな
く、物体画像を記述する上での情報を付与してもよい。
例えば、物体画像に線画やパターン等の画像が含まれて
いたり物体画像がマスク処理やフォーカス処理等の一定
の処理を施されていたりする場合に、その画像や処理を
属させてもよい。すなわち、物体画像に関する記述を、
線やグラデーション等の模様等で細分化したり、施され
た処理で細分化したりすることもできる。

【００８４】また、上記では、パラメトリック曲線を用
いた場合を説明したが、パラメトリック曲線に限定され
るものではなく、他の近似曲線を用いてもよい。

【００８５】次に、部品化された物体画像を拡大する場
合を説明する。以下の説明では、物体画像の色情報をＮ
ＵＲＢＳ（Non Unifom Rational B-Spline）曲面を用い
て符号化した場合を例にして説明する。このパラメトリ
ック曲面としてＮＵＲＢＳを定める数式を次の（８）式
に示す。

【００８６】

【数５】

【００８７】以下、図８及び図９を参照して３次のＮＵ
ＲＢＳを用いて解像度を２倍（面積比４倍）に拡大する
場合を説明する。

【００８８】図９のステップ２００では、図３のステッ
プ１００に相当する原画像の読み取りがなされる。この
読み取った原画像は、次のステップ２０２において、図
３のステップ１０２に相当する、ラインプロセスによる
不連続検出がなされ、次のステップ２０４において図３
のステップ１１４に相当するアウトライン化がなされ
る。次のステップ２０５では、図３のステップ１１５に
相当する溶け込み度の演算がなされる。

【００８９】次に、ステップ２０６では、アウトライン
化された不連続情報が拡大され、次のステップ２０７に
おいて溶け込み度が拡大される（詳細は後述）。次のス
テップ２０８では、拡大された不連続情報とパラメトリ
ック曲面を用いて解像度が大きくされる。そして、次の
ステップ２１０において、解像度が大きくされた画像が
出力される。

【００９０】図８は、原画像の一部を構成する縦横４個
（合計１６個）の画素で画像８０を構成するものとし
て、各画素を制御点Ｐ_ij（０≦ｉ≦３，０≦ｊ≦３）と
して用いる構成を示したものである。曲線８２は、上記
説明したラインプロセスにより抽出した不連続情報を、
そのまま拡大した場合に得られる曲線であり、曲線８４
は、上記説明した不連続情報をアウトライン化した後
に、拡大した場合に得られる曲線である。

【００９１】画像は、その半分が白画素で他が黒画素で
あるものとして、各画素値として、制御点Ｐ₀₀，Ｐ₁₀，
Ｐ₂₀，Ｐ₀₁，Ｐ₁₁，Ｐ₂₀が白、制御点Ｐ₃₀，Ｐ₂₁，
Ｐ₃₁，Ｐ ₁₂，Ｐ₂₂，Ｐ₃₂，Ｐ₀₃，Ｐ₁₃，Ｐ₂₃が黒の値が
設定される。

【００９２】本実施の形態では、上記の拡大時に、制御
点Ｐ₀₀〜Ｐ₃₃内に新規に画素を仮想点Ｓとして追加す
る。例えば、制御点Ｐ₁₁，Ｐ₁₂，Ｐ₂₁，Ｐ₂₂で囲まれた
範囲内には、仮想点Ｓ_mn（０≦ｍ≦３，０≦ｎ≦３）が
追加される。

【００９３】これら追加された仮想点Ｓの画素値は、そ
の周囲の原画像の画素値（制御点の画素値）を参照して
求められる。本実施の形態では原画像中の不連続を考慮
して画素値が決定される。すなわち、不連続情報である
曲線８４を超えた画素の画素値を用いないものとした。
例えば、仮想点Ｓ₂₀の画素値を求めるとき、制御点Ｐ ₁₁
は、仮想点Ｓ₂₀とを結ぶ直線が曲線８４と交差すること
がないので参照するが、制御点Ｐ₂₂は、仮想点Ｓ₂₀とを
結ぶ直線が曲線８４と交差するので参照しない。より詳
細には、上記ＮＵＲＢＳを表す（８）式における重みを
「０」に設定することで計算に反映させる。これによっ
て、仮想点Ｓ₂₀の画素値は白画素の値となる。同様にし
て他の仮想点の計算を行って画素値を求める。

【００９４】このように、不連続情報をアウトライン化
して拡大すると、ボケが抑制されたエッジを得ることが
できる。これによって、画像拡大時におけるエッジのジ
ャギ（所謂ギザギザ）を抑えることができる。

【００９５】次に、不連続情報を用いて溶け込み度を求
める。溶け込み度は、拡大以前の画素間に存在する不連
続情報にのみ存在する。このため、まず、拡大後の画素
間の溶け込み度、すなわち不連続に対する値（不連続情
報）を求める。

【００９６】拡大以前の溶け込み度は、曲線８２に対応
する制御点Ｐ₂₀，Ｐ₂₁の間に存在する不連続情報による
溶け込み度Ｍｈ₂₀、制御点Ｐ₁₁，Ｐ₁₂の間に存在する不
連続情報による溶け込み度Ｍｈ₁₁、制御点Ｐ₁₁，Ｐ₂₁の
間に存在する不連続情報による溶け込み度Ｍｖ₁₁、制御
点Ｐ₀₂，Ｐ₁₂の間に存在する不連続情報による垂直方向
の溶け込み度Ｍｖ₀₂である。

【００９７】次に、拡大後の曲線８４に対応する溶け込
み度を求める。この溶け込み度は、隣接に存在する溶け
込み度の間の距離により重み付けして新規の溶け込み度
を求める。新規の溶け込み度は以下の（９），（１０）
式の少なくとも一方の式により求めることができる。

【００９８】Ｍｖ_i-k＝α・Ｍｖ_i＋β・Ｍｈ_j ・・・（９）Ｍｈ_i-k＝γ・Ｍｖ_i＋ε・Ｍｈ_j ・・・（１０）但し、ｉ：基準側に水平方向に直近の拡大前の溶け込み
度の位置を表す値ｊ：基準側に垂直方向に直近の拡大前の溶け込み度の位
置を表す値ｋ：拡大後の溶け込み度の位置を表す値 α，γ：図８の水平方向の距離の比例関係を表す係数 β，ε：図８の水平方向の距離の比例関係を表す係数具体的には、仮想点Ｓ₂₀周辺の溶け込み度Ｍｖ_11-1,Ｍ
ｖ_11-2，Ｍｈ_20-1は、次のようして求めることができ
る。

【００９９】Ｍｖ_11-1＝０．４・Ｍｖ₁₁＋０．６・Ｍｈ₂₀ Ｍｖ_11-2＝１．０・Ｍｖ₁₁＋０．０・Ｍｈ₂₀ Ｍｈ_20-1＝０．２５・Ｍｖ₁₁＋０．７５・Ｍｈ₂₀ 溶け込み度Ｍｖ_11-1は仮想点Ｓ₂₀と制御点Ｐ₂₁との間の
位置Ｐｐを距離の基準として考え、溶け込み度Ｍｖ₁₁、
溶け込み度Ｍｈ₂₀の各々までの距離比率を求める。制御
点の間隔を「１」と想定すると、溶け込み度Ｍｖ₁₁まで
の距離比率は１／３であり、溶け込み度Ｍｈ₂₀までの距
離比率は１／２である。これらの和が「１」となるよう
に規格化するとα＝０．４、β＝０．６となる。他の溶
け込み度も同様にして求まる。

【０１００】ここで、溶け込み度を用いない場合には、
例えば、仮想点Ｓ₂₀の画素値を求めるとき、制御点Ｐ₁₁
は仮想点Ｓ₂₀とを結ぶ直線が曲線８４と交差することが
ないので参照するが、制御点Ｐ₂₂は、仮想点Ｓ₂₀とを結
ぶ直線が曲線８４と交差するので参照しない。詳細に
は、他の制御点を参照する場合ＮＵＲＢＳを表す（８）
式における重みｗ_ijを「１」に設定し、参照する場合重
みｗ_ijを「０」に設定することで計算に反映させる。こ
れによって、仮想点Ｓ₂₀の画素値は白画素の値となる。

【０１０１】一方、本実施の形態では、溶け込み度を用
いる。このため、（８）式における重みｗ_ijを次の（１
１），（１２）式を用いる。但し、不連続情報と交差す
ることがない制御点に対する溶け込み度は上記と同様に
ｗ_ij＝１である。

【０１０２】ｗ_ij＝１−Ｍｖ_i-k ・・・（１１）ｗ_ij＝１−Ｍｈ_i-k ・・・（１２）なお、重みｗ_ijの計算は、例えば仮想点Ｓ₂₀の場合、各
制御点との間を結ぶ直線が交差する不連続情報、すなわ
ち拡大後の曲線８４の交差部分に対応する溶け込み度を
用いる。また、複数の不連続情報と交差する場合には溶
け込み度の最大値を用いるものとする。

【０１０３】このように、（８）式に重み付けして計算
することによって、物体画像は背景との溶け込み度を考
慮した拡大が可能となる。

【０１０４】なお、上記では、白画素と黒画素の例を説
明したが、濃度を有する画素や色を有する画素であると
きは、平均化や勾配による予測値を求めることによって
画素値を求めてもよい。

【０１０５】このように、原画像をラインプロセスを用
いて不連続情報を検出し、その不連続情報を用いて原画
像に含まれる物体画像の輪郭を抽出する。また、不連続
情報を用いて物体画像の輪郭をアウトライン化して解像
度変更、例えば拡大を行った場合であっても物体画像の
輪郭がぼけたり粗くなったりすることなく、画像を生成
することができる。さらに、不連続情報を用いて物体画
像の溶け込み度を求めているので、拡大縮小したり他の
画像と合成したり、解像度変更、例えば拡大を伴って背
景に合成したりした場合であっても物体画像が溶け込む
ように画像を生成することができる。これによって、解
像度に依存することなく物体画像を部品化して記述する
ことができ、再利用を容易にすることができる。

【０１０６】なお、上記実施の形態では、画素値の成分
について考慮することの説明を省略したが、例えば、Ｒ
ＧＢの各成分に対して上記処理を行ったり、色相や彩度
の成分に対して行ったりしてもよい。

【０１０７】また、同一画像内において拡大縮小を行う
場合について説明したが、物体画像内の背景部分を除去
したオブジェクトを切り出して他の背景画像と合成する
場合にも適用が可能である。この場合、切り出したとき
の溶け込み度を記憶しておき、他の背景画像と合成する
ときに、記憶した溶け込み度を用いるようにすればよ
い。このようにすることによって、より違和感が少ない
合成画像の生成が可能となる。

【０１０８】次に、上述の画像データの符号化及び拡大
縮小を用いて、動画像データを生成する変換処理を説明
する。なお、以下の処理ルーチンは、ＦＤ等の記録媒体
に格納してコンピュータで実行可能なアプリケーション
として提供され、実行指示によって実行されるようにし
てもよい。

【０１０９】まず、画像変換装置１０に電源が投入され
ると図１に示す処理ルーチンが実行される。なお、この
処理ルーチンは、ＦＤ等の記録媒体に格納してコンピュ
ータで実行可能なアプリケーションとして提供され、実
行指示によって実行されるようにしてもよい。

【０１１０】図１のステップ３００では、動画像として
対象となる複数の静止画像が読み取られる。次のステッ
プ３０２では、読み取った複数の静止画像のうち基準画
像を読み取って、次のステップ３０４において基準画像
を符号化する。この基準画像は、複数の静止画像の中で
時間的に最初の静止画像を採用することができる。ま
た、ステップ３０４の処理は上述した符号化処理（図３
参照）で実行可能である。

【０１１１】基準画像の符号化が終了すると、次のステ
ップ３０６において、複数の静止画像のうち基準画像に
連続する静止画像を読み取る。次のステップ３０８で
は、基準画像とステップ３０６で読み取った静止画像の
差分を求める。このステップ３０８は、読み取った静止
画像が基準画像からどの程度変化したかを特定するため
である。

【０１１２】次に、ステップ３１０において、上記求め
た差分値を用いて基準画像から変化した物体画像（変化
オブジェクト）を特定し、次のステップ３１２において
物体画像のベクトル情報を抽出する。読み取った静止画
像が基準画像から変化した場合、差分として現れる。そ
の差分値、位置及び形状から基準画像に含まれる物体画
像の類似性を求め、その位置変動及び大きさ変動を求め
る。これらをベクトル情報とする。なお、ベクトル情報
が予め記憶されているときは本ステップの処理は不用で
ある。

【０１１３】次のステップ３１４では、ステップ３０６
で読み取った静止画像について変化オブジェクトを符号
化する。この符号化は、基準画像を基にすることを表す
情報とベクトル情報のみでよい。すなわち、基準画像と
ベクトル情報があれば、読み取った静止画像を再現する
ことができるからである。

【０１１４】上記ステップ３０６からステップ３１４の
処理を（ステップ３１６で肯定判断されるまで各処理を
繰り返し）、動画像として対象となる複数の静止画像に
ついて全て実行する。なお、上記処理では、ベクトル情
報を基準画像に対して求めるようにしたが、隣り合う静
止画像について行っても良い。この場合、直前の静止画
像に含まれる物体画像は、基準画像に含まれる物体画像
からベクトル情報を持って変動したものとなる。また、
基準画像に含まれず複数の静止画像の中で新規に出現し
た物体画像はその時点（上記類似性がない差分が求めら
れたとき）に、新規に物体画像として符号化することが
できる。

【０１１５】全静止画像について上記処理が終了する
と、次のステップ３１８において、上記で符号化した各
静止画像のデータを合成することで動画像データを生成
する。この合成は、データを順に並べて動画像データを
生成してもよく、予め定めたフォーマットに従って、デ
ータ記述することで動画像データを生成してもよい。

【０１１６】次に、図１の処理を図１１、図１２、図１
３を参照して具体的に説明する。図１１（Ａ）〜図１１
（Ｃ）には、原画像として複数の静止画像４０Ａ，４０
Ｂ，４０Ｃにより動画像を構成した一例を示した。この
動画像では、山４２及び草花５０等の物体画像は変化が
ないが、人物５２が山４２から草花５０方向へ徐々に近
づいている。このとき、人物５２の物体画像は位置が変
動すると共に、大きさが変動している。

【０１１７】従って、動画像データは、図１２（Ａ）に
示す原画像４０（静止画像４０Ａ）から人物５２を除い
た背景の画像４０Ｓと、図１２（Ｂ）に示す人物５２の
物体画像及びそのベクトル情報５３と、から表現するこ
とができる。ベクトル情報は、位置及び大きさに関する
情報を表すものである。

【０１１８】原画像４０（静止画像４０Ａ）について不
連続情報を求めることで、物体画像の輪郭及び特徴部分
を抽出することができる。図１３（Ａ）には人物５２の
上部拡大図を示した。この不連続情報を求めると、図１
３（Ｂ）に示すように、人物の輪郭及び表情や各部の特
徴が抽出できる。すなわち、人物の輪郭のみでは表情の
変化や特徴を見出すことはできないが、画像内部の不連
続情報を求めることによって、その画像の特徴部分を求
めることができる。

【０１１９】図１４は人物（頭部のみ対象）の画像内部
が変化した状態（会話中の状態）を示したものである。
図１４（Ａ）は口を開いているときの画像について不連
続情報を求めたものであり、図１４（Ｂ）は口を閉じて
いるときの画像について不連続情報を求めたものであ
る。図から理解されるように、口の周辺５５に特徴が現
れている。

【０１２０】このようにして、抽出した画像の特徴部分
（不連続情報）をアウトライン化する。物体画像の輪郭
部分やその内部の不連続部分をアウトライン化すること
によって、原画像や物体画像を拡大したり縮小したりし
ても、その輪郭形状や特徴部分は維持されることにな
る。このため、輪郭形状や特徴部分に色情報（テクスチ
ャ情報）を合成するときであっても、解像度に影響され
ることがなく、画像を表現することができる。

【０１２１】以上説明したように、本実施の形態では、
原画像をラインプロセスを用いて不連続情報を検出し、
その不連続情報を用いて原画像に含まれる物体画像の輪
郭及び画像内部の不連続を抽出する。不連続情報を用い
て物体画像の輪郭及び画像内部の不連続をアウトライン
化して解像度変更、例えば拡大を行った場合であっても
物体画像の輪郭がぼけたり粗くなったりすることなく、
画像を生成することができる。

【０１２２】また、動画像を表す画像データは、画像の
輪郭及び画像内部の不連続をアウトライン化されたデー
タと、輪郭に内包される色情報等のテクスチャ情報とに
よって記述できるので、画像データを伝送し被伝送側で
画像を再構築する場合であっても、画像がぼけたり、粗
くなったりすることがなく解像度に依存することのな
い、高品質な画像を提供することができる。また、画像
を拡大縮小する場合であっても、解像度に依存すること
のない、高品質な画像を提供することができる。

【０１２３】

【発明の効果】以上説明したように本発明によれば、物
体画像の輪郭をアウトライン情報で記述すると共に、輪
郭に応じて物体画像を表すテクスチャ情報を含めて、画
像を符号化しているので、動画像として複数の原画像ま
たは物体画像を再生するときに、拡大したり縮小したり
する場合であっても、解像度に依存することなく元の物
体画像の輪郭を維持でき、動画像再生にあたっても違和
感を生じさせることがない、画像データの変換が可能で
ある、という効果がある。

【０１２４】また、物体画像の輪郭及び物体画像内部の
不連続をアウトライン情報で記述すると共に、輪郭に応
じて物体画像を表すテクスチャ情報を含めて、画像を符
号化しているので、人物の表情変化らの物体画像の内部
の微細な動作も不連続情報の変動から忠実に再現させる
ことができる、という効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態にかかる画像変換装置で実
行される処理の流れを示すフローチャートである。

【図２】本発明の実施の形態にかかる画像変換装置の概
略構成を示すブロック図である。

【図３】本発明の実施の形態にかかる画像変換装置で符
号化処理の流れを示すフローチャートである。

【図４】原画像から物体画像を抽出する過程を示すイメ
ージ図である。

【図５】ラインプロセスを説明するための説明図であ
る。

【図６】ラインプロセスを用いたニューラルネットワー
クを説明するための概念構成図である。

【図７】画像に適用したラインプロセスを説明するため
の説明図である。

【図８】ＮＵＲＢＳを用いて解像度を拡大するときの画
像の構成を説明するための説明図である。

【図９】原画像を拡大する処理の流れを示すフローチャ
ートである。

【図１０】山画像を用いて溶け込み度を説明するための
説明図である。

【図１１】動画像を静止画像に分解したイメージ図であ
る。

【図１２】ベクトル情報を説明するための説明図であ
る。

【図１３】不連続情報を説明するための物体画像を表す
イメージ図である。

【図１４】物体画像内部の不連続情報を説明するための
説明図である。

【符号の説明】

１０画像変換装置３０画像読取装置４０原画像５４クラス画像６０山画像（物体画像）

フロントページの続きＦターム(参考） 5B057 CA01 CA12 CB01 CB12 CC02 CE15 CG01 DB02 DB06 DC16 5C054 FB03 FC12 FC14 FD00 GB12 GB14 GB15 5C057 AA11 EA01 EA07 EC01 ED06 EE04 EF05 EM07 5C059 KK37 KK38 MB03 MB19 NN38 NN47 PP01 PP28 TA50 TC43

Claims

【特許請求の範囲】

【請求項１】複数の連続した原画像の色情報を含む画
像データを用いて動画像を表す画像データに変換する画
像データ変換方法であって、原画像の画像データに基づいて、ラインプロセスによっ
て表される色情報の不連続性を表す原画像の不連続情報
を生成し、生成した不連続情報に基づいて原画像に含まれている物
体画像の輪郭を抽出すると共に、前記不連続情報に基づ
いて物体画像の輪郭をアウトライン化したアウトライン
情報を求めかつ、抽出した輪郭を用いて物体画像を表す
テクスチャ情報を求め、前記アウトライン情報及びテクスチャ情報を含めて画像
データを符号化する画像データ変換方法。
【請求項２】前記物体画像の輪郭はパラメトリック曲
線でアウトライン化し、前記色情報はパラメトリック曲
面で符号化することを特徴とする請求項１に記載の画像
データ変換方法。
【請求項３】前記不連続情報は、原画像に含まれてい
る物体画像の輪郭に相当する外周不連続情報及び物体画
像の内部の内部不連続情報を、原画像の不連続情報とし
て生成することを特徴とする請求項１または２に記載の
画像データ変換方法。
【請求項４】前記複数の連続した原画像のうち、基準
の原画像を定め、定めた基準の原画像について前記符号
化し、他の原画像について基準の原画像に含まれる物体
画像の変動を表すベクトル情報を求め、基準の原画像に
ついて符号化した画像データとベクトル情報とから動画
像を表す画像データに変換することを特徴とする請求項
１乃至請求項３の何れか１項に記載の画像データ変換方
法。
【請求項５】コンピュータによって複数の連続した原
画像の色情報を含む画像データを用いて動画像を表す画
像データに変換するための画像データ変換プログラムを
記録した記録媒体であって、前記画像データ変換プログラムは、色情報を含む原画像の画像データに基づいて、ラインプ
ロセスによって表される色情報の不連続性を表す原画像
の不連続情報を生成させ、生成された不連続情報に基づいて原画像に含まれている
物体画像の輪郭を抽出させると共に、前記不連続情報に
基づいて物体画像の輪郭をアウトライン化したアウトラ
イン情報を求めさせかつ、抽出した輪郭を用いて物体画
像を表すテクスチャ情報を求めさせ、前記アウトライン情報及びテクスチャ情報を含めて画像
データを符号化させることを特徴とする画像データ変換
プログラムを記録した記録媒体。
【請求項６】前記物体画像の輪郭はパラメトリック曲
線でアウトライン化され、前記色情報はパラメトリック
曲面で符号化されることを特徴とする請求項５に記載の
画像データ変換プログラムを記録した記録媒体。
【請求項７】前記不連続情報は、原画像に含まれてい
る物体画像の輪郭に相当する外周不連続情報及び物体画
像の内部の内部不連続情報を、原画像の不連続情報とし
て生成させることを特徴とする請求項５または６に記載
の画像データ変換プログラムを記録した記録媒体。
【請求項８】前記複数の連続した原画像のうち、基準
の原画像を定めさせ、定めた基準の原画像について前記
符号化させ、他の原画像について基準の原画像に含まれ
る物体画像の変動を表すベクトル情報を求めさせ、基準
の原画像について符号化された画像データとベクトル情
報とから動画像を表す画像データに変換させることを特
徴とする請求項５乃至請求項７の何れか１項に記載の画
像データ変換プログラムを記録した記録媒体。