JP2005031806A

JP2005031806A - 画像処理方法、画像処理装置及び画像処理プログラム

Info

Publication number: JP2005031806A
Application number: JP2003193784A
Authority: JP
Inventors: Jo Nakajima; 丈中嶋; Hiroaki Takano; 博明高野
Original assignee: Konica Minolta Photo Imaging Inc
Current assignee: Konica Minolta Photo Imaging Inc
Priority date: 2003-07-08
Filing date: 2003-07-08
Publication date: 2005-02-03

Abstract

【課題】立体画像の鑑賞用に撮影された複数の画像の情報を用いて、自然な立体感のある１つの平面的な画像を出力可能にする。
【解決手段】画像調整処理部７０４は、二項ウェーブレット変換を用いて、１つの被写体βに対して異なる２つの視点から撮影されたＬ画像、Ｒ画像のエッジを抽出し、出力媒体に出力するＬ画像の画像エッジの画素位置Ｅ１に対するＲ画像の画像エッジの画像位置Ｅ２のずれ量ｄと、Ｌ画像とＲ画像の視差間距離Ｗと、レンズの焦点距離から、Ｌ画像から抽出された画像エッジの画素毎に撮影距離Ｈ１を算出し、撮影距離に対するエッジの画素数分布（撮影距離分布）を算出する。画像調整処理部７０４は、撮影距離分布のメジアン部（分布数が多い部分）に対応するＬ画像のエッジに、強調度合いが最も強い鮮鋭性強調処理を施し、撮影距離分布の遠距離部のＬ画像のエッジに、エッジの減衰処理を施す。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置及び画像処理プログラムに関する。
【０００２】
【従来の技術】
近年、一つの被写体に対して左右に異なる２つの視点から同時撮影又は逐次撮影を行ってステレオ画像を得る写真システムが知られている。この写真システムで撮影された画像は、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、印画紙等の出力媒体に左右に並べて出力され、平行法又は交差法と呼ばれる裸眼立体視法により、立体的な画像として鑑賞される（例えば、特許文献１参照。）。
【０００３】
また、左右２つの視点のみならず、複数の視点や上下方向の視点で１つの被写体を撮影して、複数の画像情報を取得し、被写体を立体画像として鑑賞することが行われている。これに対して、これらの複数の画像情報から、被写体に対して主要となる１つの画像情報のみを選択して、ＣＲＴ、印画紙等の出力媒体に出力し、一般的な平面的画像として鑑賞することも行われている。
【０００４】
【特許文献１】
特開２００２−７７９４３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、立体画像として鑑賞されるように撮影された複数の画像の中から、被写体に対して主要となる１つの画像のみを出力するシステムは、初めから平面的な画像として撮影された１つの画像を出力する場合のシステムと同一であるため、立体画像を鑑賞するための複数の画像が存在するにも関わらず、これらの複数の画像を有効に利用していないという問題があった。
【０００６】
本発明の課題は、立体画像の鑑賞用に撮影された複数の画像の情報を用いて、自然な立体感のある１つの平面的な画像を出力可能にすることである。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の発明は、１つの被写体に対して異なる複数の視点から撮影された複数の画像のうち、出力媒体に出力する１つの画像に対して所定の画像処理を施す画像処理方法であって、前記撮影された複数の画像のエッジを抽出する画像エッジ抽出工程と、前記画像エッジ抽出工程において抽出された複数の画像のエッジの情報に基づいて、前記出力媒体に出力する画像のエッジの撮影距離に関する情報を取得する撮影距離取得工程と、前記撮影距離取得工程において取得された撮影距離に関する情報に基づいて、前記出力媒体に出力する画像のエッジに所定の画像処理を施す画像処理工程と、を含むことを特徴としている。
【０００８】
請求項４に記載の発明は、１つの被写体に対して異なる複数の視点から撮影された複数の画像のうち、出力媒体に出力する１つの画像に対して所定の画像処理を施す画像処理装置であって、前記撮影された複数の画像のエッジを抽出する画像エッジ抽出部と、前記画像エッジ抽出部により抽出された複数の画像のエッジの情報に基づいて、前記出力媒体に出力する画像のエッジの撮影距離に関する情報を取得する撮影距離取得部と、前記撮影距離取得部により取得された撮影距離に関する情報に基づいて、前記出力媒体に出力する画像のエッジに所定の画像処理を施すエッジ処理部と、を備えることを特徴としている。
【０００９】
請求項７に記載の発明は、画像処理装置を制御するコンピュータに、１つの被写体に対して異なる複数の視点から撮影された複数の画像のエッジを抽出する画像エッジ抽出機能と、前記画像エッジ抽出機能により抽出された複数の画像のエッジの情報に基づいて、前記撮影された複数の画像のうち出力媒体に出力する画像のエッジの撮影距離に関する情報を取得する撮影距離取得機能と、前記撮影距離取得機能により取得された撮影距離に関する情報に基づいて、前記出力媒体に出力する画像のエッジに所定の画像処理を施すエッジ処理機能と、を実現させる。
【００１０】
請求項１、４、７に記載の発明によれば、１つの被写体に対して異なる複数の視点から撮影された複数の画像のエッジの情報に基づいて、出力媒体に出力する画像のエッジの撮影距離に関する情報を取得し、取得された撮影距離情報に基づいて、出力媒体に出力する画像のエッジに画像処理を施すことにより、自然な立体感のある平面的な画像を得ることが可能になる。
【００１１】
請求項２に記載の発明は、請求項１に記載の画像処理方法において、前記撮影距離取得工程において、前記出力媒体に出力する画像のエッジの画素毎に撮影距離が算出されることにより、前記撮影距離に関する情報として、撮影距離に対するエッジの画素数分布が取得され、前記画像処理工程において、前記取得された撮影距離に対するエッジの画素数分布に応じて、前記出力媒体に出力する画像のエッジに対する画像処理条件が変更されることを特徴としている。
【００１２】
請求項５に記載の発明は、請求項４に記載の画像処理装置において、前記撮影距離取得部は、前記出力媒体に出力する画像のエッジの画素毎に撮影距離を算出することにより、前記撮影距離に関する情報として、撮影距離に対するエッジの画素数分布を取得し、前記エッジ処理部は、前記取得された撮影距離に対するエッジの画素数分布に応じて、前記出力媒体に出力する画像のエッジに対する画像処理条件を変更することを特徴としている。
【００１３】
請求項８に記載の発明は、請求項７に記載の画像処理プログラムにおいて、前記撮影距離取得機能を実現させる際に、前記出力媒体に出力する画像のエッジの画素毎に撮影距離を算出することにより、前記撮影距離に関する情報として、撮影距離に対するエッジの画素数分布を取得し、前記エッジ処理機能を実現させる際に、前記取得された撮影距離に対するエッジの画素数分布に応じて、前記出力媒体に出力する画像のエッジに対する画像処理条件を変更することを特徴としている。
【００１４】
請求項２、５、８に記載の発明によれば、撮影距離に対するエッジの画素数分布に応じて、出力媒体に出力する画像のエッジに対する画像処理条件が変更になることにより、一層、自然な立体感のある平面的な画像を得ることが可能になる。
【００１５】
請求項３に記載の発明は、請求項１又は２に記載の画像処理方法において、前記画像エッジ抽出工程において、ウェーブレット変換を用いて前記複数の画像のエッジが抽出されることを特徴としている。
【００１６】
請求項６に記載の発明は、請求項４又は５に記載の画像処理装置において、前記画像エッジ抽出部は、ウェーブレット変換を用いて前記複数の画像のエッジを抽出することを特徴としている。
【００１７】
請求項９に記載の発明は、請求項７又は８に記載の画像処理プログラムにおいて、前記画像エッジ抽出機能を実現させる際に、ウェーブレット変換を用いて前記複数の画像のエッジを抽出することを特徴としている。
【００１８】
請求項３、６、９に記載の発明によれば、ウェーブレット変換を用いて画像のエッジを抽出することにより、エッジを高精度に抽出することが可能になる。
【００１９】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態を詳細に説明する。
【００２０】
〈画像記録装置１の外観構成〉
まず、画像記録装置１の構成を説明する。
【００２１】
図１は、本実施の形態における画像記録装置１の外観構成を示す斜視図である。画像記録装置１は、図１に示すように、筐体２の一側面に、感光材料を装填するためのマガジン装填部３が備えられている。筐体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するためのプリント作成部５が備えられている。筐体２の他側面には、プリント作成部５で作成されたプリントを排出するためのトレー６が備えられている。
【００２２】
また、筐体２の上部には、表示装置としてのＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が備えられている。このＣＲＴ８が、プリントを作成しようとする画像情報の画像を画面に表示する表示手段を構成している。更に、筐体２には、各種デジタル記録媒体に記録された画像情報を読み取り可能な画像読込部１４、各種デジタル記録媒体に画像信号を書き込み（出力）可能な画像書込部１５が備えられている。また、筐体２の内部には、これらの各部を集中制御する制御部７が備えられている。
【００２３】
画像読込部１４には、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂが備えられ、ＰＣカード１３ａやフロッピー（登録商標）ディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａは、例えば、デジタルカメラで撮像された複数の駒画像の情報が記録されたメモリを有する。フロッピー（登録商標）ディスク１３ｂには、例えば、デジタルカメラで撮像された複数の駒画像の情報が記録される。
【００２４】
画像書込部１５には、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが備えられ、それぞれ、ＦＤ１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっている。光ディスク１６ｃとしては、ＣＤ−Ｒ、ＤＶＤ−Ｒ等がある。
【００２５】
なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、筐体２に一体的に備えられた構造となっているが、これらの何れか１つ以上を別体として設けるようにしてもよい。
【００２６】
なお、図１に示した画像記録装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。
【００２７】
〈画像記録装置１の内部構成〉
図２は、画像記録装置１の内部構成を示すブロック図である。画像記録装置１は、図２に示すように、制御部７、露光処理部４、プリント生成部５、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４、通信手段（入力）３２、画像書込部１５、データ蓄積手段７１、操作部１１、ＣＲＴ８、通信手段（出力）３３から構成される。
【００２８】
制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）（図示略）との協働により、画像記録装置１を構成する各部の動作を制御する。
【００２９】
制御部７は、本発明の画像処理装置に係る画像処理部７０を有し、操作部１２からの入力信号（指令情報）に基づいて、フィルムスキャナ部９や反射原稿入力装置１０から読み取られた画像信号、画像読込部１４から読み込まれた画像信号、外部機器から通信手段３２を介して入力された画像信号に対して、本発明の画像処理を施して露光用画像情報を形成し、露光処理部４に出力する。また、画像処理部７０は、画像処理された画像信号に対して出力形態に応じた変換処理を施して出力する。画像処理部７０の出力先としては、ＣＲＴ８、画像書込部１５、通信手段（出力）３３等がある。
【００３０】
露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。
【００３１】
フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルムＮ、リバーサルフィルム等の透過原稿に記録されたコマ画像を読み取り、コマ画像のデジタル画像信号を取得する。反射原稿入力装置１０は、フラットベットスキャナにより、プリントＰ（写真プリント、書画、各種の印刷物）上の画像を読み取り、デジタル画像信号を取得する。
【００３２】
画像読込部１４は、ＰＣカード１３ａやフロッピー（登録商標）ディスク１３ｂに記録された駒画像情報を読み出して制御部７に転送する。この画像読込部１４は、画像転送手段３０として、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂ等を有する。画像読込部１４は、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、フロッピー（登録商標）ディスク用アダプタ１４ｂに差し込まれたフロッピー（登録商標）ディスク１３ｂに記録された駒画像情報を読み取り、制御部７に転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。
【００３３】
通信手段（入力）３２は、画像記録装置１が設置された施設内の別のコンピュータや、インターネット等を介した遠方のコンピュータから、撮像画像を表す画像信号やプリント命令信号を受信する。
【００３４】
画像書込部１５は、画像搬送部３１として、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備えている。画像書込部１５は、制御部７から入力される書込信号に従って、フロッピー（登録商標）ディスク用アダプタ１５ａに差し込まれたフロッピー（登録商標）ディスク１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに、本発明における画像処理方法によって生成された画像信号を書き込む。
【００３５】
データ蓄積手段７１は、画像情報とそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。
【００３６】
操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って、画像情報等を表示する。
【００３７】
通信手段（出力）３３は、本発明の画像処理を施した後の撮影画像を表す画像信号と、それに付帯するオーダー情報を、画像記録装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。
【００３８】
〈画像処理部７０の構成〉
図３は、本発明の画像処理装置に係る画像処理部７０の機能的構成を示すブロック図である。画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリント固有処理部７０７、画像データ書式作成処理部７０８から構成される。
【００３９】
フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像情報に対し、フィルムスキャナ部９固有の校正操作・ネガ原稿の場合のネガポジ反転・グレーバランス調整・コントラスト調整等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的又は磁気的に記録されたＩＳＯ感度、メーカー名、主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳの記載情報内容）なども併せて画像調整処理部７０４に出力する。
【００４０】
反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像情報に対し、反射原稿入力装置１０固有の校正操作、ネガ原稿の場合のネガポジ反転、グレーバランス調整、コントラスト調整等を施し、画像調整処理部７０４に出力する。
【００４１】
画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像信号のデータ書式に従って、圧縮符号の復元、色データの表現方法の変換等を行い、画像調整処理部７０４に出力する。
【００４２】
画像調整処理部７０４は、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３において処理された画像情報を出力するほかに、操作部１１の操作によって、主要被写体に関わる情報及び撮影条件に関する情報を出力することが可能である。
【００４３】
画像調整処理部７０４は、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３の何れか一つから入力されたＬ画像、Ｒ画像の画像信号からエッジを抽出し（画像エッジ抽出部）、出力媒体に出力するＬ画像のエッジの撮影距離に関する情報を取得し（撮影距離取得部）、その取得された撮影距離の情報に基づいて、Ｌ画像のエッジに所定の画像処理を施す（エッジ処理部）（図１２参照）。
【００４４】
詳細には、画像調整処理部７０４は、Ｌ画像及びＲ画像のエッジを抽出すると、図４に示すように、Ｌ画像の画像エッジの画素位置Ｅ１に対するＲ画像の画像エッジの画像位置Ｅ２のずれ量ｄと、Ｌ画像とＲ画像の視差間距離Ｗと、レンズの焦点距離から、Ｌ画像から抽出された画像エッジの画素毎に撮影距離Ｈ１を算出し、図５に示すように、撮影距離に対するエッジの画素数分布（以下、「撮影距離分布」と称す。）を算出する。撮影距離分布が算出されると、画像調整処理部７０４は、撮影距離分布のメジアン部（分布が多い部分）に対応するＬ画像のエッジに、強調度合いが最も強い鮮鋭性強調処理を施し、撮影距離分布の遠距離部のＬ画像のエッジに、エッジの減衰処理を施す。
【００４５】
ここで、Ｌ画像、Ｒ画像とは、１つの被写体に対して２つの異なる視点（左右）から撮影された２つの画像である。図４に、Ｌ画像及びＲ画像の取得に用いられる撮像装置の２つの撮像光学系（ＣＣＤ１０１、ＣＣＤ１０２）と、被写体βとの関係を示す。ＣＣＤ１とＣＣＤ２との間の視点間距離Ｗは、撮影基線長と呼ばれ、通常、人間の両目間の距離に等しい約６〜７ｃｍに設定されている。ＣＣＤ１及びＣＣＤ２のレンズの焦点距離は、同一の値に設定されている。
【００４６】
画像のエッジの抽出方法としては、ウェーブレット変換の一つである二項ウェーブレット（ＤｙａｄｉｃＷａｖｅｌｅｔ）変換を用いることができる。画像調整処理部７０４は、入力されたＬ画像、Ｒ画像の各々に対し、レベル２までの二項ウェーブレット変換を施し、各レベルで得られた、異なる周波数帯域の画像信号からエッジを抽出する。ウェーブレット変換の概要及び二項ウェーブレット変換の詳細については、後に図６〜図１０を参照して説明する。
【００４７】
また、画像調整処理部７０４は、画像処理が施された画像信号を、操作部１１又は制御部７の指令に基づいて、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリンタ固有処理部７０７、画像データ書式作成部７０８、データ蓄積手段７１に出力する。
【００４８】
ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像処理済みの画像信号に対して、必要に応じて画素数変更・カラーマッチング等の処理を施し、制御情報等表示が必要な情報と合成した表示用の信号をＣＲＴ８に出力する。
【００４９】
プリンタ固有処理部７０６は、画像調整処理部７０４から入力された画像処理済みの画像信号に対して、必要に応じてプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。
【００５０】
本実施の形態の画像記録装置１に、大判インクジェットプリンタ等の外部プリンタ３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部７０７が設けられている。このプリンタ固有処理部７０７は、画像調整処理部７０４から入力された画像処理済みの画像に対して、適正なプリンタ固有の校正処理・カラーマッチング・画素数変更等を行う。
【００５１】
画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像処理済みの画像信号に対して、必要に応じてＪＰＥＧ、ＴＩＦＦ（ＴａｇｇｅｄＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）、Ｅｘｉｆ（ＥｘｃｈａｎｇｅａｂｌｅＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。
【００５２】
なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６及び７０７、画像データ書式作成処理部７０８という区分は、本実施の形態の画像処理部７０の機能の理解を助ける為に設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施の形態における画像記録装置１は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種種の形態に適用することができる。
【００５３】
〈ウェーブレット変換の概要〉
ウェーブレット変換とは、多重解像度変換の一つで、１回の変換操作により入力信号を低周波帯域成分信号と高周波帯域成分信号に分解し、得られた低周波帯域成分信号に対して同様の変換操作を行い、周波数帯域が異なる複数の信号からなる多重解像度信号を得るものである。得られた多重解像度信号を加工せずにそのまま逆多重解像度変換した場合、元の信号が再構成される。こうした手法については、例えば、Ｇ．Ｓｔｒａｎｇ、Ｔ．Ｎｇｕｙｅｎ著“ＷａｖｅｌｅｔａｎｄＦｉｌｔｅｒＢａｎｋｓ”Ｗｅｌｌｅｓｌｅｙ−ＣａｍｂｒｉｄｇｅＰｒｅｓｓ（邦訳Ｇ．ストラング、Ｔ．グエン共著「ウェーブレット解析とフィルタバンク」培風館）に詳細な解説がなされている。
【００５４】
ウェーブレット変換とは、図６に例示されるような有限範囲で振動するウェーブレット関数（式（１））を用いて、入力信号ｆ（ｘ）に対するウェーブレット変換係数〈ｆ、ψ_ａ，ｂ〉を、式（２）のように求めることにより、式（３）で示されるウェーブレット関数の総和に分解する変換である。
【数１】

【数２】

【数３】

【００５５】
式（１）〜式（３）において、ａはウェーブレット関数のスケールを表し、ｂはウェーブレット関数の位置を示す。図６に例示するように、スケールａの値が大きいほどウェーブレット関数ψ_ａ，ｂ（ｘ）の周波数は小さくなり、位置ｂの値に従ってウェーブレット関数ψ_ａ，ｂ（ｘ）が振動する位置が移動する。従って、式（３）は、入力信号ｆ（ｘ）が、種々のスケールと位置を有するウェーブレット関数ψ_ａ，ｂ（ｘ）の総和に分解されることを示している。
【００５６】
〈二項ウェーブレット変換〉
次に、ウェーブレット変換の一つである二項ウェーブレット変換について説明する。二項ウェーブレット変換については、Ｓ．Ｍａｌｌａｔ、Ｗ．Ｌ．Ｈｗａｎｇ著“Ｓｉｎｇｕｌａｒｉｔｙｄｅｔｅｃｔｉｏｎａｎｄｐｒｏｃｅｓｓｉｎｇｗｉｔｈｔｈｅｗａｖｅｌｅｔｓ”ＩＥＥＥＴｒａｎｓ．Ｉｎｆｏｒｍ．Ｔｈｅｏｒｙ、１９９２年、３８、ｐ．６１７や、Ｓ．Ｍａｌｌａｔ、Ｓ．Ｚｈｏｎｇ著”Ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎｏｆｓｉｇｎａｌｓｆｒｏｍｍｕｌｔｉｓｃａｌｅｅｄｇｅｓ”ＩＥＥＥＴｒａｎｓ．ＰａｔｔｅｒｎＡｎａｌ．ＭａｃｈｉｎｅＩｎｔｅｌ．１４７１０（１９９２）、Ｓ．Ｍａｌｌａｔ著“Ａｗａｖｅｌｅｔｔｏｕｒｏｆｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ２ｅｄ．” ＡｃａｄｅｍｉｃＰｒｅｓｓに詳細な説明がある。
【００５７】
二項ウェーブレット変換で用いられるウェーブレット関数は、式（４）のように定義される。
【数４】

但し、ｉは自然数である。式（４）より、二項ウェーブレット変換では、ウェーブレット関数のスケールａが、２のｉ乗で離散的に定義されている。このｉは、「レベル」と呼ばれる。
【００５８】
入力信号ｆ（ｘ）を、式（４）のウェーブレット関数ψ_ｉ，ｊ（ｘ）を用いて表すと、下記の式（５）のようになる。
【数５】

ここで、式（５）の右辺第２項は、レベル１のウェーブレット関数ψ_１，ｊ（ｘ）の総和で表せない残差の低周波帯域成分を、レベル１のスケーリング関数φ_１，ｊ（ｘ）の総和で表したものである。スケーリング関数はウェーブレット関数に対応して適切なものが用いられる（段落番号００５３に記載の文献を参照）。式（５）に示すレベル１のウェーブレット変換によって、入力信号ｆ（ｘ）＝Ｓ_０は、レベル１の高周波帯域成分Ｗ_１と低周波帯域成分Ｓ_１に信号分解されることになる。
【００５９】
レベルｉ―１の低周波帯域成分Ｓ_ｉ−１は、式（６）に示すように、レベルｉの高周波帯域成分Ｗ_ｉと低周波帯域成分Ｓ_ｉに信号分解される。
【数６】

【００６０】
二項ウェーブレット変換のウェーブレット関数は、式（４）に示すように、レベルｉに関わらず、位置ｂの最小移動単位が一定であることから、二項ウェーブレット関数は、下記の特徴を有する。
【００６１】
二項ウェーブレット変換の第一の特徴として、式（６）に示す１レベルの二項ウェーブレット変換で生成される、高周波帯域成分Ｗ_ｉと低周波帯域成分Ｓ_ｉの各々の信号量は、変換前の信号Ｓ_ｉ−１と同一である。
【００６２】
二項ウェーブレット変換の第二の特徴として、スケーリング関数φ_ｉ，ｊ（ｘ）とウェーブレット関数ψ_ｉ，ｊ（ｘ）の間に、下記の関係式（７）が成立する。
【数７】

従って、二項ウェーブレット変換で生成される高周波帯域成分Ｗ_ｉは、低周波帯域成分Ｓ_ｉの１階微分（勾配）で表される。
【００６３】
二項ウェーブレット変換の第三の特徴として、ウェーブレット変換のレベルｉに応じて定められた係数γ_ｉ（上述の二項ウェーブレットに関する参考文献を参照）を高周波帯域成分に乗じたＷ_ｉ・γ_ｉ（以下、これを補正済高周波帯域成分と称す）について、入力信号の信号変化の特異性（ｓｉｎｇｕｌａｒｉｔｙ）に応じて、該変換後の補正済高周波帯域成分Ｗ_ｉ・γ_ｉの信号強度のレベル間の関係が一定の法則に従う。
【００６４】
図７に、入力信号Ｓ_０の波形と、ウェーブレット変換により得られる各レベルの補正済高周波帯域成分の波形を示す。図７において、（ａ）は入力信号Ｓ_０を示し、（ｂ）はレベル１の二項ウェーブレット変換により得られる補正済高周波帯域成分Ｗ_１・γ_１を示し、（ｃ）はレベル２の二項ウェーブレット変換により得られる補正済高周波帯域成分Ｗ_２・γ_２を示し、（ｄ）はレベル３の二項ウェーブレット変換により得られる補正済高周波帯域成分Ｗ_３・γ_３を示し、（ｅ）はレベル４の二項ウェーブレット変換により得られる補正済高周波帯域成分Ｗ・γ_４を示す。
【００６５】
各レベルにおける信号強度の変化を見ると、（ａ）において、“１”や“４”に示すなだらかな（微分可能な）信号変化に対応する補正済高周波帯域成分Ｗ_ｉ・γ_ｉは、（ｂ）→（ｅ）に示すようにレベル数ｉが増大するほど信号強度が増大する。
【００６６】
入力信号Ｓ_０において、“２”に示すステップ状の信号変化に対応する補正済高周波帯域成分Ｗ_ｉ・γ_ｉは、レベル数ｉに関わらず信号強度が一定となる。入力信号Ｓ_０において、“３”に示すδ関数状の信号変化に対応する補正済高周波帯域成分Ｗ_ｉ・γ_ｉは、（ｂ）→（ｅ）に示すように、レベル数ｉが増大するほど信号強度が減少する。
【００６７】
二項ウェーブレット変換における第四の特徴として、画像信号のような２次元信号における１レベルの二項ウェーブレット変換の方法は、以下の図８に示す方法で行われる。
【００６８】
図８に示すように、１レベルの二項ウェーブレット変換により、入力信号Ｓ_ｎ−１を、ｘ方向のローパスフィルタＬＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより、低周波帯域成分Ｓ_ｎが得られる。また、入力信号Ｓ_ｎ−１を、ｘ方向のハイパスフィルタＨＰＦｘで処理することにより、高周波帯域成分Ｗｘ_ｎが得られる。更に、入力信号Ｓ_ｎ−１を、ｙ方向のハイパスフィルタＨＰＦｙで処理することにより、もう一つの高周波帯域成分Ｗｙ_ｎが得られる。
【００６９】
このように、１レベルの二項ウェーブレット変換により、入力信号Ｓ_ｎ−１は、２つの高周波帯域成分Ｗｘ_ｎ、Ｗｙ_ｎと、１つの低周波帯域成分Ｓ_ｎに分解される。２つの高周波帯域成分Ｗｘ_ｎ、Ｗｙ_ｎは、低周波帯域成分Ｓ_ｎの２次元における変化ベクトルＶ_ｎのｘ成分とｙ成分に相当する。変化ベクトルＶ_ｎの大きさＭ_ｎと偏角Ａ_ｎは式（８）及び式（９）で与えられる。
【数８】

【数９】

式（８）は、エッジの強さを示し、式（９）は、エッジの方向を示す。
【００７０】
また二項ウェーブレット変換で得られた２つの高周波帯域成分Ｗｘ_ｎ、Ｗｙ_ｎと１つの低周波帯域成分Ｓ_ｎに、図９に示す二項ウェーブレット逆変換を施すことにより、変換前の信号Ｓ_ｎ−１を再構成することができる。すなわち、Ｓ_ｎをｘ方向のローパスフィルタＬＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより得られる信号と、Ｗｘ_ｎをｘ方向のハイパスフィルタＨＰＦｘ及びｙ方向のローパスフィルタＬＰＦｙで処理することにより得られる信号と、Ｗｙ_ｎをｘ方向のローパスフィルタＬＰＦｘ及びｙ方向のハイパスフィルタＨＰＦｙで処理することにより得られる信号と、を加算することによって、二項ウェーブレット変換前の信号Ｓ_ｎ−１を得ることができる。
【００７１】
次に、図１０のブロック図に基づいて、入力信号Ｓ_０に対してｎレベルの二項ウェーブレット変換を行い、得られた高周波帯域成分、低周波帯域成分に対して何らかの画像処理（図１０では「編集」と記述。）を行った後に、ｎレベルの二項ウェーブレット逆変換を行って出力信号Ｓ_０’を得るまでの方法について説明する。
【００７２】
入力信号Ｓ_０に対するレベル１の二項ウェーブレット変換によって、入力信号Ｓ_０は、２つの高周波帯域成分Ｗｘ_１、Ｗｙ_１と低周波帯域成分Ｓ_１に分解される。レベル２のウェーブレット変換によって、レベル１の二項ウェーブレット変換で得られた低周波帯域成分Ｓ_１は、更に２つの高周波帯域成分Ｗｘ_２、Ｗｙ_２と低周波帯域成分Ｓ_２に分解される。この様な分解操作をレベルｎまで繰り返すことにより、入力信号Ｓ_０は、複数の高周波帯域成分Ｗｘ_１、Ｗｘ_２、…、Ｗｘ_ｎ、Ｗｙ_１、Ｗｙ_２、…、Ｗｙ_ｎと、１つの低周波帯域成分Ｓ_ｎとに分解される。
【００７３】
このようにして得られた高周波帯域成分Ｗｘ_１、Ｗｘ_２、…、Ｗｘ_ｎ、Ｗｙ_１、Ｗｙ_２、…、Ｗｙ_ｎ、低周波帯域成分Ｓ_ｎに対して画像処理（編集）が行われ、高周波帯域成分Ｗｘ_１’、Ｗｘ_２’、…、Ｗｘ_ｎ’、Ｗｙ_１’、Ｗｙ_２’、…、Ｗｙ_ｎ’、低周波帯域成分Ｓ_ｎ’が得られる。
【００７４】
そして、これら高周波帯域成分Ｗｘ_１’、Ｗｘ_２’、…、Ｗｘ_ｎ’、Ｗｙ_１’、Ｗｙ_２’、…、Ｗｙ_ｎ’、低周波帯域成分Ｓ_ｎ’に、二項ウェーブレット逆変換が施される。すなわち、画像処理（編集）後のレベルｎにおける２つの高周波帯域成分Ｗｘ_ｎ’、Ｗｙ_ｎ’と低周波帯域成分Ｓ_ｎ’から、画像処理後のレベルｎ−１の低周波帯域成分Ｓ_ｎ−１’が構成される。このような操作を繰り返し、画像処理後のレベル２における２つの高周波帯域成分Ｗｘ_２’、Ｗｙ_２’と低周波帯域成分Ｓ_２’から、画像処理後のレベル１の低周波帯域成分Ｓ_１’が構成される。この低周波帯域成分Ｓ_１’と、画像処理後のレベル１における２つの高周波帯域成分Ｗｘ_１’、Ｗｙ_１’から、画像信号Ｓ_０’が構成される。
【００７５】
なお、図１０において用いられる各フィルタのフィルタ係数は二項ウェーブレット変換に応じて適切に定められる。また二項ウェーブレット変換においては、レベル毎に用いるフィルタのフィルタ係数が異なる。レベルｎにおいて使用するフィルタ係数は、レベル１のフィルタの各係数の間に２^ｎ−１−１個のゼロを挿入したものが用いられる。
【００７６】
図１１に、二項ウェーブレット変換（及び二項ウェーブレット逆変換）を用いた画像エッジ抽出処理及び鮮鋭性強調処理に係るシステムブロック図を示す。
【００７７】
本実施の形態において、二項ウェーブレット変換及び二項ウェーブレット逆変換で用いられるフィルタの係数は、表１に示すものを用いるものとする。表１及び図１１において、Ｄ＿ＨＰＦ１、Ｄ＿ＬＰＦ１は、それぞれ、二項ウェーブレット変換用のハイパスフィルタ、ローパスフィルタを示す。また、Ｄ＿ＨＰＦ’１、Ｄ＿ＬＰＦ’１は、それぞれ、二項ウェーブレット逆変換用のハイパスフィルタ、ローパスフィルタを示す。
【表１】

表１において、α＝０のフィルタ係数は、現在処理している画素に対するフィルタ係数で、α＝−１のフィルタ係数は、現在処理している画素の１つ前の画素のフィルタ係数で、α＝＋１のフィルタ係数は、現在処理している画素の１つ後の画素に対するフィルタ係数である。
【００７８】
二項ウェーブレット変換においては、レベル毎にフィルタ係数が異なる。レベルｎのフィルタ係数は、レベル１のフィルタの各係数の間に２^ｎ−１−１個のゼロを挿入したものが用いられる。
【００７９】
また二項ウェーブレット変換のレベルｉに応じて定められる補正係数γ_ｉは、下記の表２で示される。
【表２】

【００８０】
次に、本実施の形態における動作を説明する。
図１２のフローチャート及び図１１のシステムブロック図を参照して、画像調整処理部７０４において実行される画像処理について説明する。
【００８１】
まず、Ｌ画像を表す画像信号Ｓ_０に対して、レベル１の二項ウェーブレット変換が施され、高周波帯域成分信号Ｗｖ_１、Ｗｈ_１と、低周波帯域成分信号Ｓ_１が生成される。その後、Ｓ_１に対して、レベル２の二項ウェーブレット変換が施され、高周波帯域成分信号Ｗｖ_２、Ｗｈ_２と、低周波帯域成分信号Ｓ_２が生成される。次いで、Ｌ画像に対するレベル１及びレベル２の二項ウェーブレット変換により生成された各周波数帯域の画像のエッジが抽出される（ステップＳ１）。
【００８２】
次いで、Ｒ画像を表す画像信号Ｓ_０に対して、レベル１の二項ウェーブレット変換が施され、高周波帯域成分信号Ｗｖ_１、Ｗｈ_１と、低周波帯域成分信号Ｓ_１が生成される。その後、Ｓ_１に対して、レベル２の二項ウェーブレット変換が施され、高周波帯域成分信号Ｗｖ_２、Ｗｈ_２と、低周波帯域成分信号Ｓ_２が生成される。次いで、Ｒ画像に対するレベル１及びレベル２の二項ウェーブレット変換により生成された各周波数帯域の画像のエッジが抽出される（ステップＳ２）。
【００８３】
次いで、Ｌ画像とＲ画像の視点間距離Ｗが取得され（ステップＳ３）、ステップＳ１で抽出されたＬ画像のエッジ、ステップＳ２で抽出されたＲ画像のエッジ、ステップＳ３で取得された視点間距離Ｗに基づいて、Ｌ画像のエッジの画素毎に撮影距離Ｈ１が算出される（ステップＳ４）。そして、ステップＳ４において算出されたＬ画像の撮影距離のデータから、図５に示すような撮影距離に対するエッジの画素数分布（撮影距離分布）が算出される（ステップＳ５）。
【００８４】
次いで、ステップＳ１において抽出されたＬ画像のエッジのうち、撮影距離分布のメジアン部（分布が多い部分）に対応するエッジに、強調度合いが最も強い鮮鋭性強調処理が施され（ステップＳ６）、撮影距離分布の遠距離部のエッジに、エッジの減衰処理が施される（ステップＳ７）。次いで、鮮鋭性強調処理、減衰処理が施された信号に、二項ウェーブレット逆変換が行われ、処理済みの画像信号Ｓ_０’が得られ、本画像処理が終了する。なお、ステップＳ７の後に、ステップＳ６を実行するようにしてもよい。
【００８５】
以上のように、本実施の形態の画像調整処理部７０４によれば、異なる２つの視点から撮影されたＬ画像及びＲ画像のエッジを抽出し、抽出されたＬ画像及びＲ画像のエッジのデータを用いて、出力媒体に出力するＬ画像のエッジの画素毎に撮影距離を算出して、撮影距離に対するエッジの画素数分布（撮影距離分布）を取得し、取得された撮影距離分布に応じて、Ｌ画像のエッジの強調処理又は減衰処理を行うようにしたことにより、ＣＲＴ、印画紙等の出力媒体に出力されたＬ画像を鑑賞する場合、平面的な画像であるにも関わらず、自然な立体感のある画像を得ることが可能になる。また、画像のエッジの抽出方法として、二項ウェーブレット変換を用いることにより、高精度に画像のエッジを抽出することができ、アーティファクトの発生がなくなり、自然な鮮鋭性強調処理を行うことが可能になる。
【００８６】
なお、本実施の形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
【００８７】
【発明の効果】
本発明によれば、１つの被写体に対して異なる複数の視点から撮影された複数の画像のエッジの情報に基づいて、出力媒体に出力する画像のエッジの撮影距離に関する情報を取得し、取得された撮影距離情報に基づいて、出力媒体に出力する画像のエッジに画像処理を施すことにより、自然な立体感のある平面的な画像を得ることが可能になる。特に、撮影距離に対するエッジの画素数分布に応じて、出力媒体に出力する画像のエッジに対する画像処理条件が変更することにより、一層、自然な立体感のある平面的な画像を得ることが可能になる。また、ウェーブレット変換を用いて画像のエッジを抽出することにより、エッジを高精度に抽出することが可能になる。
【図面の簡単な説明】
【図１】本実施の形態における画像記録装置１の外観構成を示す斜視図である。
【図２】画像記録装置１の内部構成を示すブロック図である。
【図３】図２の画像処理部７０の機能的構成を示すブロック図である。
【図４】Ｌ画像及びＲ画像の取得に用いられる撮像装置の２つの撮像光学系（ＣＣＤ１０１、ＣＣＤ１０２）と被写体βとの関係を示す図。
【図５】画像エッジの各画像までの撮影距離（横軸）に対する画素数分布（縦軸）を示す図。
【図６】ウェーブレット関数を示す図である。
【図７】入力信号Ｓ_０の波形と、ウェーブレット変換により得られる各レベルの補正済高周波帯域成分Ｗ・γの波形を示す図である。
【図８】２次元信号における１レベルの二項ウェーブレット変換のフィルタ処理を示すシステムブロック図である。
【図９】２次元信号における１レベルの二項ウェーブレット逆変換のフィルタ処理を示すシステムブロック図である。
【図１０】入力信号Ｓ_０に対する二項ウェーブレット変換から、画像処理が施された信号Ｓ_０’を得るまでの処理を示すシステムブロック図である。
【図１１】画像調整処理部７０４の内部処理に係るシステムブロック図の一例である。
【図１２】画像調整処理部７０４において実行される画像処理を示すフローチャート。
【符号の説明】
１画像記録装置
４露光処理部
５プリント作成部
７制御部
８ＣＲＴ
９フィルムスキャナ部
１０反射原稿入力装置
１１操作部
１２情報入力手段
１４画像読込部
１５画像書込部
３０画像転送手段
３１画像搬送部
３２通信手段（入力）
３３通信手段（出力）
３４外部プリンタ
７０画像処理部（画像処理装置）
７０１フィルムスキャンデータ処理部
７０２反射原稿スキャンデータ処理部
７０３画像データ書式解読処理部
７０４画像調整処理部（画像エッジ抽出部、撮影距離取得部、エッジ処理部）
７０５ＣＲＴ固有処理部
７０６、７０７プリント固有処理部
７０８画像データ書式作成処理部
７１データ蓄積手段
１０１、１０２ＣＣＤ
β 被写体

Claims

１つの被写体に対して異なる複数の視点から撮影された複数の画像のうち、出力媒体に出力する１つの画像に対して所定の画像処理を施す画像処理方法であって、
前記撮影された複数の画像のエッジを抽出する画像エッジ抽出工程と、
前記画像エッジ抽出工程において抽出された複数の画像のエッジの情報に基づいて、前記出力媒体に出力する画像のエッジの撮影距離に関する情報を取得する撮影距離取得工程と、
前記撮影距離取得工程において取得された撮影距離に関する情報に基づいて、前記出力媒体に出力する画像のエッジに所定の画像処理を施す画像処理工程と、
を含むことを特徴とする画像処理方法。
前記撮影距離取得工程において、前記出力媒体に出力する画像のエッジの画素毎に撮影距離が算出されることにより、前記撮影距離に関する情報として、撮影距離に対するエッジの画素数分布が取得され、
前記画像処理工程において、前記取得された撮影距離に対するエッジの画素数分布に応じて、前記出力媒体に出力する画像のエッジに対する画像処理条件が変更されることを特徴とする請求項１に記載の画像処理方法。
前記画像エッジ抽出工程において、ウェーブレット変換を用いて前記複数の画像のエッジが抽出されることを特徴とする請求項１又は２に記載の画像処理方法。
１つの被写体に対して異なる複数の視点から撮影された複数の画像のうち、出力媒体に出力する１つの画像に対して所定の画像処理を施す画像処理装置であって、
前記撮影された複数の画像のエッジを抽出する画像エッジ抽出部と、
前記画像エッジ抽出部により抽出された複数の画像のエッジの情報に基づいて、前記出力媒体に出力する画像のエッジの撮影距離に関する情報を取得する撮影距離取得部と、
前記撮影距離取得部により取得された撮影距離に関する情報に基づいて、前記出力媒体に出力する画像のエッジに所定の画像処理を施すエッジ処理部と、
を備えることを特徴とする画像処理装置。
前記撮影距離取得部は、前記出力媒体に出力する画像のエッジの画素毎に撮影距離を算出することにより、前記撮影距離に関する情報として、撮影距離に対するエッジの画素数分布を取得し、
前記エッジ処理部は、前記取得された撮影距離に対するエッジの画素数分布に応じて、前記出力媒体に出力する画像のエッジに対する画像処理条件を変更することを特徴とする請求項４に記載の画像処理装置。
前記画像エッジ抽出部は、ウェーブレット変換を用いて前記複数の画像のエッジを抽出することを特徴とする請求項４又は５に記載の画像処理装置。
画像処理装置を制御するコンピュータに、
１つの被写体に対して異なる複数の視点から撮影された複数の画像のエッジを抽出する画像エッジ抽出機能と、
前記画像エッジ抽出機能により抽出された複数の画像のエッジの情報に基づいて、前記撮影された複数の画像のうち出力媒体に出力する画像のエッジの撮影距離に関する情報を取得する撮影距離取得機能と、
前記撮影距離取得機能により取得された撮影距離に関する情報に基づいて、前記出力媒体に出力する画像のエッジに所定の画像処理を施すエッジ処理機能と、
を実現させるための画像処理プログラム。
前記撮影距離取得機能を実現させる際に、前記出力媒体に出力する画像のエッジの画素毎に撮影距離を算出することにより、前記撮影距離に関する情報として、撮影距離に対するエッジの画素数分布を取得し、
前記エッジ処理機能を実現させる際に、前記取得された撮影距離に対するエッジの画素数分布に応じて、前記出力媒体に出力する画像のエッジに対する画像処理条件を変更することを特徴とする請求項７に記載の画像処理プログラム。
前記画像エッジ抽出機能を実現させる際に、ウェーブレット変換を用いて前記複数の画像のエッジを抽出することを特徴とする請求項７又は８に記載の画像処理プログラム。