JP2001238177A - 画像処理方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】撮影シーンを推定し、推定された撮影シーンに
応じた画像処理、例えば、最適な階調制御、修復処理、
画質向上を効率的に行い、高画質な画像、例えば高画質
なプリントを得ることのできる画像処理方法および装置
を提供する。 【解決手段】カメラにおいて被写体の撮影シーンの画像
データを取得するとともに、被写体の撮影時に取得また
は入力されたカメラ情報を取得し、必要に応じてさら
に、この撮影シーンに関連する関連情報を取り込み、カ
メラ情報および関連情報の少なくとも一方、またはこれ
と画像データとの組み合せにより、撮影シーンの推定を
行い、推定された撮影シーンに応じた所定の画像処理を
行うことにより、上記課題を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影日時等の撮影
情報や、撮影位置情報や、撮影方位情報や、撮影倍率情
報や、もしくはメッセージ情報などのカメラ情報を利用
した画像処理方法および装置に関する。また、本発明
は、フィルムの画像を光電的に読み取り、またはデジタ
ル画像を直接受信し、この画像が再現された（写真）プ
リントや再現画像データが記録された画像データ記録媒
体（以下、単に画像記録媒体という）を得、またネット
配信などを行うデジタルフォトプリンタ等に利用される
画像処理方法および装置に関する。

【０００２】

【従来の技術】近年、撮影の際に、様々な撮影情報を写
真フィルムに記録するようにしたカメラや、人工衛星か
らの信号に基づいて現在位置を判定するグローバルポジ
ショニングシステム（ＧＰＳ）機能を有し、写真を撮影
する際に、日時や場所も一緒に記録するＧＰＳ内蔵カメ
ラが開発されている。

【０００３】これらの各種撮影情報を記録するカメラを
用いることにより、各種撮影情報を活用して、カメラの
機能と感光材料の性能を十分に発揮させた高品質のプリ
ントが得られるようになる。例えば、特開平９−３７２
０３号公報には、ＧＰＳ機能に基づき、撮影した画面に
撮影場所等を一緒に表示する他に、撮影場所、撮影方
向、その他の撮影情報などを組み合わせて用いることに
より、被写体主題や、撮影の際の太陽光の位置等を特定
し、この太陽位置情報と撮影輝度情報とから太陽光に対
する逆光撮影か否かなどを判定して、撮影した画像の濃
度、色バランス補正を行うようにすることが開示されて
いる。

【０００４】また、特開平８−３６２２６号公報には、
撮影画像を、撮影日時、撮影場所、ストロボ使用有無、
露出量、焼き付けサイズの情報によってグループ分けを
し、各グループ毎に焼き付け条件を設定するようにする
ことが開示されている。例えば、撮影日時を所定の条件
に照らして区分してグループを形成し、この撮影日時が
同一とされたグループに対し、それに応じた露光制御を
したり、ＧＰＳシステムによって得られた撮影場所情報
によりグループを形成し、撮影場所が同一地点とされた
グループに対し、それに応じた階調制御、露光制御を行
うものである。

【０００５】ところで、従来では、ネガフィルム、リバ
ーサルフィルム等の写真フィルム（以下、フィルムとす
る。）に撮影された画像の感光材料（印画紙）への焼き
付けは、フィルムの画像を感光材料に投影して感光材料
を面露光する、いわゆる直接露光（アナログ露光）が主
流である。これに対し、近年では、デジタル露光を利用
する焼付装置、すなわち、フィルムに記録された画像を
光電的に読み取って、読み取った画像をデジタル信号と
した後、種々の画像処理を施して記録用の画像データと
し、この画像データに応じて変調した記録光によって感
光材料を走査露光して画像（潜像）を記録し、（仕上が
り）プリントとするデジタルフォトプリンタが実用化さ
れている。

【０００６】デジタルフォトプリンタでは、画像をデジ
タル画像データとして画像処理を行うことができるの
で、複数画像の合成や画像分割、さらには文字の合成等
も画像データ処理によって行うことができ、用途に応じ
て自由に編集／処理したプリントが出力可能である。し
かも、デジタルフォトプリンタでは、画像をプリント
（写真）として出力するのみならず、画像データをコン
ピュータ等に供給したり、フロッピーディスク等の記録
媒体に保存しておくこともできるので、画像データを、
写真以外の様々な用途に利用することができる。

【０００７】前述のように、デジタルフォトプリンタで
は、フィルムの画像を光電的に読み取って、デジタルの
画像データ（濃度データ）とし、この画像データを解析
することによって、画像の状態を把握し、その画像に応
じた画像処理条件を設定している。そしてこの画像処理
条件に応じて画像データを処理することによって、焼き
付け時の露光条件の規定された出力用の画像データを得
る。そのため、逆光やストロボ撮影等に起因する画像の
飛びやツブレの補正、シャープネス（鮮鋭化）処理、カ
ラーフェリアあるいは濃度フェリアの補正等を好適に行
って、従来の直接露光では得られなかった高画質な画像
が再生された高品位なプリントを得ることができる。

【０００８】ところが、フィルムに撮影される画像は、
決まったものではなく、人物、風景、花等、様々なシー
ンであるため、フィルムの画像を光電的に読み取って得
られた画像データを解析して画像処理条件を設定して
も、かならずしも、その画像に対して最適な画像処理条
件が得られない場合がある。これに対して、従来、画像
データの解析のみでなく、撮影シーンを表わす情報（シ
ーン情報）をも取り入れ、様々なシーンに応じた画像処
理条件を設定するようにしたものが提案されている。

【０００９】例えば、特開平１１−２３９２６９号公報
には、画像のコマ毎にシーン情報を付与しておき、前記
画像とともにシーン情報を取得して、プリント処理時に
シーン別に最適化された画像処理アルゴリズムを採用
し、このシーン情報に応じて、画像処理条件を設定する
ようにしたものが開示されている。なお、ここで、この
シーン情報は、例えば、人物、花、風景、夜景、室内、
花火、雪、夕日、静物等が例示され、撮影時に、撮影者
がカメラから指定して、フィルムの各コマの画像領域外
に磁気的もしくは光学的に記録することによって付与さ
れる。

【００１０】

【発明が解決しようとする課題】しかしながら、前記特
開平９−３７２０３号公報に開示されたものでは、撮影
場所の表示はできるが、逆光以外のその他の濃度フェリ
ア、カラーフェリアに対する対策は行っておらず、必ず
しもその撮影シーンに応じた適正な画像再現ができない
という問題がある。また、前記特開平８−３６２２６号
公報に開示されたものでは、撮影日時や撮影場所等様々
な撮影情報によって露光制御を行うようにしてはいる
が、被写体や撮影シーンそのものを推定して露光制御を
行っているのではないため、例えば、屋内か屋外か、あ
るいは被写体が人物か風景か、等によって露光制御を変
えることはできず、やはりその撮影シーンに応じた適正
な画像再現ができないという問題があった。

【００１１】また、撮影シーンに応じた適正な階調制御
ができないため、具体的には、従来以下のような問題が
あった。すなわち、通常屋内における撮影では、照明光
により、再現プリントが緑がかるのを防止するためのカ
ラーフェリア対策を行っているが、屋外（例えば特に森
林地帯）での撮影に対してもこのカラーフェリア対策を
施してしまうと緑がうまく再現できないという問題があ
る。また、夜景を撮影した画像において、黒い部分が薄
くべたっとなってしまったり、雪景色を撮影した場合
に、白い雪がどんよりとした絵になってしまう等の問題
があった。

【００１２】一方、可視光を用いてフィルム画像を読み
取る際に、可視光に加え、赤外線光を用いてフィルム画
像を読み取ることにより、ゴミや傷を検出して修正する
ことのできるフィルムスキャナ等が市販されている。し
かしながら、赤外線光を用いてフィルム画像を読み取る
ためには、赤外線光射出光源を始めとして、ハードウエ
アが増大するという問題があった。また、デジタル画像
データとして読み取られた画像をパーソナルコンピュー
タ（ＰＣ）などに取り込んで、そのモニタ等に表示し
て、モニタ表示された画像中の電線などの不要物をマニ
ュアルで除去するソフトウエア等も市販されている。し
かしながら、このような市販ソフトウエアによる電線消
し等の不要物除去は、ＰＣのモニタ表示を見ながらマニ
ュアルで修正するものであるので、手間がかかり、面倒
であるという問題があった。

【００１３】さらにまた、前記特開平１１−２３９２６
９号公報に開示されたものでは、撮影時に、撮影者がわ
ざわざシーン情報を入力しなければならず、面倒であ
り、撮影者の負担が大きく、また、入力されるシーン情
報も予めカメラに設定されているものから選ぶように限
定されているため、必ずしも全てのシーンに対応できな
いという問題があった。

【００１４】本発明は、前記従来技術の問題に鑑みてな
されたものであり、撮影シーンを推定し、該推定された
撮影シーンに応じて、最適な階調制御を行い、高画質な
プリントを得ることのできる画像処理方法および装置を
提供することを第１の課題とする。また、本発明は、前
記従来技術の問題に鑑みてなされたものであり、撮影シ
ーンのシミュレーション画像を作成し、作成されたシミ
ュレーション画像を用い、ゴミや傷やノイズなどの修
復、濃度むらやボケの補正、不要物の除去を効率的に行
うことができる画像処理方法および装置を提供すること
を第２の課題とする。

【００１５】さらに、本発明は、前記従来技術の問題に
鑑みてなされたものであり、撮影者に画質向上について
意識させることなく、撮影シーンに関する画像への付加
情報を利用して高画質な画像を得ることのできる画像処
理方法および装置を提供することを第３の課題とする。

【００１６】

【課題を解決するための手段】上記第１〜第３の課題を
解決するために、本発明は、カメラにおいて撮影された
被写体の撮影シーンのデジタル画像データを取得すると
ともに、前記被写体の撮影時に前記カメラにおいて取得
または入力された前記撮影シーンのカメラ情報を取得
し、または、前記カメラ情報に加えて、取得された撮影
シーンの前記デジタル画像データおよび前記カメラ情報
の少なくとも一方に基づいて、この撮影シーンに関連す
る関連情報を取り込み、前記撮影シーンの前記カメラ情
報および前記関連情報の少なくとも一方、またはこの少
なくとも一方と撮影シーンの前記デジタル画像データと
の組み合せにより、前記撮影シーンの推定を行い、推定
された前記撮影シーンに応じた所定の画像処理を前記デ
ジタル画像データに対して行うことを特徴とする画像処
理方法を提供するものである。

【００１７】ここで、上記第１の課題を解決するため
に、本発明の第１の態様の画像処理方法においては、前
記撮影シーンのカメラ情報は、前記カメラにおいて取得
される撮影情報および撮影位置情報であり、前記関連情
報は、前記カメラ情報に関連する付加情報であり、前記
撮影シーンの推定は、前記カメラ情報と前記付加情報と
から、前記撮影シーン中の前記被写体の特定または撮影
時の状況の推定を行うことであり、前記所定の画像処理
は、この特定された被写体またはこの推定された状況に
応じた画像処理であるのが好ましい。

【００１８】すなわち、本発明の第１の態様は、被写体
を撮影した撮影シーンのデジタル画像データを取得し、
取得されたデジタル画像データに所定の画像処理を施す
画像処理方法であって、前記被写体の撮影時にカメラに
おいて前記撮影シーンのカメラ情報として取得された撮
影情報および撮影位置情報を得、前記カメラ情報とこの
カメラ情報に関連する付加情報とから、前記撮影シーン
中の前記被写体の特定または撮影時の状況の推定を行
い、前記特定された被写体または前記推定された状況に
応じて前記所定の画像処理を前記取得されたデジタル画
像データに対して行うことを特徴とする画像処理方法を
提供するものである。

【００１９】ここで、前記付加情報は、地図情報を含む
のが好ましい。また、前記撮影情報は、撮影日時の情報
を含むとともに、前記付加情報は天候情報を含み、前記
カメラ情報中の撮影日時の情報および撮影位置情報と、
前記付加情報中の天候情報とから、撮影時における撮影
地の天候を特定することにより、撮影シーンの状況を推
定するのが好ましい。

【００２０】また、前記撮影情報は、撮影日時の情報を
含むとともに、前記付加情報はイベント情報を含み、前
記カメラ情報中の撮影日時の情報および撮影位置情報
と、前記付加情報中のイベント情報とから、撮影時にお
ける撮影地のイベントを特定することにより、撮影シー
ンの状況を推定するのが好ましい。

【００２１】さらに、前記所定の画像処理として、前記
撮影された１コマの画像の画面全体または前記特定の被
写体領域に限定した、濃度または色の階調制御、幾何歪
み補正、強調または平滑化処理のいずれか１つ以上を実
行するのが好ましい。

【００２２】また、上記第２の課題を解決するために、
本発明の第２の態様画像処理方法においては、前記撮影
シーンのカメラ情報は、前記カメラにおいて取得された
撮影位置情報または撮影方位情報および撮影倍率情報の
少なくとも１つであり、前記関連情報は、前記カメラ情
報に関連する地図情報または蓄積画像であり、前記撮影
シーンの推定は、前記カメラ情報と前記地図情報または
前記蓄積画像とを用いて、前記撮影シーンのシミュレー
ション画像を作成し、作成されたシミュレーション画像
と前記撮影シーンの撮影画像とを比較し、前記撮影シー
ン中の不良または不要領域を検出することであり、前記
所定の画像処理は、前記撮影シーン中の前記不良または
不要領域に行う修復処理であるのが好ましい。

【００２３】すなわち、本発明の第２の態様は、被写体
を撮影した撮影シーンの撮影画像のデジタル画像データ
を取得し、取得されたデジタル画像データに所定の画像
処理を施す画像処理方法であって、前記被写体の撮影時
にカメラにおいて前記撮影シーンのカメラ情報として取
得された撮影位置情報または撮影方位情報および撮影倍
率情報の少なくとも１つを得る工程と、前記カメラ情報
と地図情報または蓄積画像とを用いて、前記撮影シーン
のシミュレーション画像を作成する工程と、前記作成さ
れたシミュレーション画像と前記撮影画像とを比較する
工程と、前記撮影シーン中の不良または不要領域を検出
する工程と、前記撮影画像の前記不良または不要領域に
修復処理を行う工程とを有することを特徴とする画像処
理方法を提供するものである。

【００２４】ここで、前記不良または不要領域の検出
は、前記シミュレーション画像と前記撮影画像とを比較
した結果、前記シミュレーション画像と合致しない前記
撮影画像中に存在する線または点を判定することであ
り、前記修復処理は、判定された線または点を前記シミ
ュレーション画像の当該画素または前記撮影画像内の当
該画素または周辺画素を用いて修復して消去することで
あるのが好ましい。

【００２５】また、前記シミュレーション画像と前記撮
影画像との比較は、前記シミュレーション画像と前記撮
影画像との間で、前記撮影シーンの画面内の所定領域の
濃度または色の分布、あるいは鮮鋭度の分布について比
較を行うことであり、前記不良または不要領域の検出
は、前記所定領域において前記濃度または色の分布、あ
るいは前記鮮鋭度の分布に、ずれを検出することであ
り、前記修復処理は、前記所定領域について、むら補正
またはボケ補正を行うことであるのが好ましい。

【００２６】また、前記シミュレーション画像と前記撮
影画像との比較は、前記撮影シーンの画面内の全体を複
数の小領域に分割し、前記シミュレーション画像と前記
撮影画像との間で、前記複数の小領域別に濃度または色
の分布、あるいは鮮鋭度の分布について比較を行うこと
であり、前記不良または不要領域の検出は、前記複数の
小領域の中から、前記濃度または色の分布、あるいは前
記鮮鋭度の分布に、ずれのある小領域を検出することで
あり、前記修復処理は、前記ずれのある小領域につい
て、むら補正またはぼけ補正を行うことであるのが好ま
しい。

【００２７】また、前記不良または不要領域の検出は、
前記シミュレーション画像において特定の構造物の領域
を導出することであり、前記シミュレーション画像と前
記撮影画像との比較は、前記シミュレーション画像にお
いて導出された前記特定の構造物の領域と同じ領域を前
記撮影画像に設定することであり、前記修復処理は、前
記撮影画像に設定された同じ領域から前記特定の構造物
を除去する処理を行うことであるのが好ましい。

【００２８】また、上記第３の課題を解決するために、
本発明の第３の態様の画像処理方法においては、前記撮
影シーンのカメラ情報は、前記カメラにおいて取得また
は入力され、前記撮影シーンの前記デジタル画像データ
に付与される前記撮影シーンに関連するメッセージ情報
であり、前記撮影シーンの推定は、前記メッセージ情報
の内容から撮影シーンを推定することであり、前記所定
の画像処理は、この推定された撮影シーンに応じて設定
された画像処理条件による画像処理であるのが好まし
い。

【００２９】すなわち、本発明の第３の態様は、撮影シ
ーンに関連するメッセージ情報を画像に付与し、前記画
像と前記メッセージ情報を取得し、該メッセージ情報の
内容から撮影シーンを推定し、推定された撮影シーンに
応じて、画像処理条件を設定することを特徴とする画像
処理方法を提供するものである。ここで、前記メッセー
ジ情報は、音声入力情報および文書入力情報の少なくと
も一方であるのが好ましい。また、前記メッセージ情報
に、撮影時のカメラ撮影情報、画像特徴量または主要被
写体情報のいずれかを組み合わせて撮影シーンの推定を
行うのが好ましい。

【００３０】上記各態様の画像処理方法においては、前
記所定の画像処理を前記デジタル画像データに対して行
って得られた処理画像データを、プリントを作成するプ
リンタに出力するためのプリント出力用画像データ、画
像データ記録媒体への記録再生に利用する媒体出力用画
像データおよび通信手段を介しての通信に利用する通信
用画像データの少なくとも１つに変換して出力するのが
好ましい。ここで、前記カメラ情報および前記関連情報
から推定される被写体によって、データベースから被写
体関連情報を導出し、この被写体関連情報を前記プリン
トの作成時の合成付加情報、前記画像データ記録媒体で
の再生時の再生付加情報および前記通信手段を介して受
信後の再生時の再生付加情報の少なくとも一つとするの
が好ましい。

【００３１】また、上記第１〜第３の課題を解決するた
めに、本発明は、被写体を撮影して撮影シーンの撮影画
像を得るとともに、前記被写体の撮影時に前記撮影シー
ンのカメラ情報を取得または入力することができるカメ
ラにおいて撮影された前記撮影画像のデジタル画像デー
タを取得する画像データ取得手段と、前記カメラにおい
て取得された前記撮影シーンの前記カメラ情報を取得す
るカメラ情報取得手段と、前記撮影シーンの前記カメラ
情報、またはこのカメラ情報と前記撮影シーンの前記デ
ジタル画像データとの組み合せにより、前記撮影シーン
の推定を行う推定手段と、推定された前記撮影シーンに
応じた所定の画像処理を前記デジタル画像データに対し
て行う画像処理手段とを有することを特徴とする画像処
理装置を提供するものである。

【００３２】ここで、本発明は、上記画像処理装置であ
って、さらに、前記撮影シーンの前記デジタル画像デー
タおよび前記カメラ情報に関連する関連情報が格納され
ているデータベースと、前記撮影シーンの前記デジタル
画像データおよび前記カメラ情報の少なくとも一方に基
づいて、前記カメラにおいて取得された、もしくは前記
データベースに格納されている、前記撮影シーンに関連
する前記関連情報を取り込む取込手段とを有し、前記推
定手段は、前記撮影シーンの前記関連情報により、また
はこの関連情報と前記撮影シーンの前記デジタル画像デ
ータおよび前記カメラ情報の少なくとも一方との組み合
せにより、前記撮影シーンの推定を行うことを特徴とす
る画像処理装置を提供するものである。

【００３３】また、上記第１の課題を解決するために、
本発明の第１の態様の画像処理装置においては、前記カ
メラ情報取得手段は、前記撮影シーンのカメラ情報とし
て、前記カメラから撮影情報および撮影位置情報を取得
し、前記取込手段は、前記関連情報として、前記カメラ
情報に関連する付加情報を取得し、前記推定手段は、前
記カメラ情報と前記付加情報とから、前記撮影シーン中
の前記被写体の特定または撮影時の状況の推定を行い、
前記画像処理手段は、前記所定の画像処理として、特定
された被写体または推定された状況に応じた画像処理を
行うのが好ましい。

【００３４】ここで、前記付加情報は、地図情報を含む
のが好ましい。また、前記撮影情報は、撮影日時の情報
を含むとともに、前記付加情報は、天候情報を含み、前
記推定手段は、前記カメラ情報中の撮影日時の情報およ
び撮影位置情報と、前記付加情報中の天候情報とから、
撮影時における撮影地の天候を特定することにより、前
記撮影シーンの状況を推定するのが好ましい。

【００３５】また、前記撮影情報は、撮影日時の情報を
含むとともに前記付加情報はイベント情報を含み、前記
推定手段は、前記カメラ情報中の撮影日時の情報および
撮影位置情報と前記付加情報中のイベント情報とから、
撮影時における撮影地のイベントを特定することによ
り、前記撮影シーンの状況を推定するのが好ましい。ま
た、前記画像処理手段は、前記所定の画像処理として、
前記撮影された１コマの画像の画面全体または前記特定
の被写体領域に限定した、濃度または色の階調制御、幾
何歪み補正、強調または平滑化処理のいずれか１つ以上
を実行するのが好ましい。

【００３６】また、上記第２の課題を解決するために、
本発明の第２の態様の画像処理装置においては、前記カ
メラ情報取得手段は、前記撮影シーンのカメラ情報とし
て、前記カメラから撮影位置情報または撮影方位情報お
よび撮影倍率情報の少なくとも１つを取得し、前記取込
手段は、前記関連情報として、前記カメラ情報に関連す
る地図情報または蓄積画像を取得し、前記推定手段は、
前記カメラ情報と前記地図情報または前記蓄積画像とを
用いて、前記撮影シーンのシミュレーション画像を作成
する作成手段と、この作成手段によって作成された前記
シミュレーション画像と前記撮影シーンの撮影画像とを
比較する比較手段と、前記撮影シーン中の不良または不
要領域を検出する手段とを有し、前記画像処理手段は、
前記所定の画像処理として、前記撮影シーン中の前記不
良または不要領域に修復処理を行う修復処理手段である
のが好ましい。

【００３７】ここで、前記検出手段は、前記シミュレー
ション画像と前記撮影画像とを比較した結果、前記シミ
ュレーション画像と合致しない前記撮影画像中に存在す
る線または点を判定し、前記修復処理手段は、判定され
た線または点を前記シミュレーション画像の当該画素ま
たは前記撮影画像内の当該画素または周辺画素を用いて
修復して消去するのが好ましい。また、前記比較手段
は、前記シミュレーション画像と前記撮影画像との間
で、前記撮影シーンの画面内の所定領域の濃度または色
の分布、あるいは鮮鋭度の分布について比較を行い、前
記検出手段は、前記所定領域において前記濃度または色
の分布、あるいは前記鮮鋭度の分布に、ずれを検出し、
前記修復処理手段は、前記所定領域について、むら補正
またはボケ補正を行うのが好ましい。

【００３８】また、前記比較手段は、前記撮影シーンの
画面内の全体を複数の小領域に分割し、前記シミュレー
ション画像と前記撮影画像との間で、前記複数の小領域
別に濃度または色の分布、あるいは鮮鋭度の分布につい
て比較を行い、前記検出手段は、前記複数の小領域の中
から、前記濃度または色の分布、あるいは前記鮮鋭度の
分布に、ずれのある小領域を検出し、前記修復処理手段
は、前記ずれのある小領域について、むら補正またはぼ
け補正を行うのが好ましい。また、前記検出手段は、前
記シミュレーション画像において特定の構造物の領域を
導出し、前記比較手段は、前記シミュレーション画像に
おいて導出された前記特定の構造物の領域と同じ領域を
前記撮影画像に設定し、前記修復処理手段は、前記撮影
画像に設定された同じ領域から前記特定の構造物を除去
する処理を行うのが好ましい。

【００３９】また、上記第３の課題を解決するために、
本発明の第３の態様の画像処理装置においては、前記カ
メラ情報取得手段は、前記撮影シーンのカメラ情報とし
て、前記カメラにおいて取得または入力され、前記撮影
シーンの前記デジタル画像データに付与される前記撮影
シーンに関連するメッセージ情報を取得し、前記推定手
段は、前記メッセージ情報の内容から撮影シーンを推定
し、前記画像処理手段は、前記所定の画像処理として、
この推定された撮影シーンに応じて設定された画像処理
条件による画像処理を行うのが好ましい。

【００４０】ここで、前記メッセージ情報は、音声入力
情報および文書入力情報の少なくとも一方であるのが好
ましい。また、前記推定手段は、前記メッセージ情報
に、撮影時のカメラ撮影情報、画像特徴量または主要被
写体情報のいずれかを組み合わせて撮影シーンの推定を
行うのが好ましい。

【００４１】また、本発明は、上記各態様の画像処理装
置であって、さらに、前記所定の画像処理を前記デジタ
ル画像データに対して行って得られた処理画像データ
を、プリントを作成するプリンタに出力するためのプリ
ント出力用画像データ、画像データ記録媒体への記録再
生に利用する媒体出力用画像データおよび通信手段を介
しての通信に利用する通信用画像データの少なくとも１
つに変換する変換手段を有することを特徴とする画像処
理装置を提供するものである。

【００４２】また、本発明は、上記画像処理装置であっ
て、前記推定手段によって、前記カメラ情報および前記
関連情報から推定される被写体によって、前記取込手段
によって前記データベースから被写体関連情報を導出
し、さらに、前記変換手段によって変換された画像デー
タに基づいて、取込手段によって導出された被写体関連
情報を、前記プリントの作成時の合成付加情報、前記画
像データ記録媒体での再生時の再生付加情報および前記
通信手段を介して受信後の再生時の再生付加情報の少な
くとも一つとして付加する情報付加手段を有することを
特徴とする画像処理装置を提供するものである。

【００４３】

【発明の実施の形態】本発明に係る画像処理方法および
装置を添付の図面に示す好適実施形態に基づいて以下に
詳細に説明する。本発明は、被写体の撮影時に、カメラ
において取得されるＧＰＳ情報を含むカメラの撮影情報
やカメラに付与されるメッセージ情報などのカメラ情報
または撮影シーンの関連情報により、もしくはさらに撮
影シーンの画像データを用いて、撮影シーンの推定を行
い、推定された撮影シーンに応じた画像処理を行うもの
である。

【００４４】まず、本発明の第１の態様に係る画像処理
方法および装置について、好適な実施形態を挙げて説明
する。本実施形態は、人工衛星を用いたＧＰＳを利用し
得るカメラを用いて取得されるＧＰＳ情報を含むカメラ
の撮影情報（カメラ情報）により、被写体シーンの推定
（特定）を行い、被写体シーンに応じた色、階調制御を
行うものである。しかし、本発明は本実施形態に限定さ
れるわけではない。

【００４５】図１は、本発明の画像処理方法を実施する
画像処理装置を適用するデジタルフォトプリンタの一実
施例のブロック図である。図１に示されるデジタルフォ
トプリンタ１０は、基本的に、（写真）フィルムＦに撮
影された画像を光電的に読み取るスキャナ（画像読取装
置）１２と、本発明の画像処理方法を実施するととも
に、読み取られた画像データ（画像情報）の画像処理や
種々のデータ処理やデジタルフォトプリンタ１０全体の
操作および制御等を行う画像処理装置１４と、画像処理
装置１４から出力された画像データに応じて変調した光
ビームで感光材料を画像露光し、現像処理して写真プリ
ントとして出力するプリンタ１６とを有する。

【００４６】なお、画像処理装置１４から出力される本
発明の画像処理方法によって画像処理された出力画像デ
ータは、写真プリントとして出力するためにプリンタ１
６に出力されるものに限定されず、各種の画像データ記
録媒体（画像記録媒体）２５に記録（および再生）する
ために出力されるものであっても良いし、スロット２７
を経由してインターネットなどの通信手段を介して配信
されるもの、例えば、ネット転送サービス（および再
生）であっても良い。

【００４７】また、画像処理装置１４には、様々な条件
の入力や設定、処理の選択や指示、色／濃度補正などの
指示等を入力するためのキーボード１８ａおよびマウス
１８ｂを有する操作系１８と、スキャナ１２で読み取ら
れた画像、各種の操作指示、様々な条件の設定／登録画
面等を表示する画像表示装置（ディスプレイモニタ、以
下、単にモニタという）２０とが接続される。スキャナ
１２は、フィルムＦに撮影されたカラー画像を光電的に
読み取る装置で、光源２２と、可変絞り２４と、フィル
ムＦに入射する読取光をフィルムＦの面方向で均一にす
る拡散ボックス２８と、結像レンズユニット３２と、フ
ィルムの撮影画像を読み取るフォトセンサであるＣＣＤ
センサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナ
ログ／デジタル）変換器３７とを有し、さらに、スキャ
ナ１２の本体に装着自在な専用のキャリア３０から構成
される。

【００４８】キャリア３０は、例えば２４枚取りの１３
５サイズのフィルムや新写真システムフィルム（ＡＰＳ
のカートリッジ）等の、長尺なフィルムに対応する各種
専用のキャリアが用意されており、所定の読み取り位置
にフィルムＦを保持しつつ、ＣＣＤセンサ３４のライン
ＣＣＤセンサの延在方向（主走査方向）と直行する副走
査方向に、フィルムＦの長手方向を一致して搬送する、
読み取り位置を副走査方向に挟んで配置される搬送ロー
ラ対と、フィルムＦの投影光を所定のスリット状に規制
する、読み取り位置に対応して位置する主走査方向に延
在するスリットを有するマスク、更に磁気読取書込装置
とを有する。フィルムＦはこのキャリア３０によって保
持されて副走査方向に搬送されつつこのフィルムＦには
読み取り光が入射される。これにより、フィルムＦが主
走査方向に延在するスリットによって２次元的にスリッ
ト走査され、フィルムＦに撮影された各コマの画像が読
み取られる。

【００４９】ＣＣＤセンサ３４は、それぞれＲ画像、Ｇ
画像およびＢ画像の読み取りを行う３つのラインＣＣＤ
センサを有するラインセンサで、ラインセンサは主走査
方向に延在している。フィルムＦの投影光は、このＣＣ
ＤセンサによってＲ、ＧおよびＢの３原色に分解されて
光電的に読み取られる。光源２２から射出され、可変絞
り２４によって光量調整され拡散ボックス２８を通して
均一にされた読み取り光が、キャリア３０によって所定
の読み取り位置に保持されつつ搬送されるフィルムＦに
入射して、透過することにより、フィルムＦに撮影され
た画像を担持する投影光を得る。フィルムＦの投影光
は、結像レンズユニット３２によってＣＣＤセンサ３４
の受光面に結像され、ＣＣＤセンサ３４によって光電的
に読み取られ、その出力信号は、アンプ３６で増幅され
て、Ａ／Ｄ変換器３７でデジタル画像データに変換さ
れ、入力画像データとして画像処理装置１４に送られ
る。

【００５０】新写真システム（ＡＰＳ）のフィルムＦの
場合においては、周知のように、フィルムＦの裏面（非
乳化剤面）側で撮影シーンの画像、すなわち撮影画像を
記録した各コマの画像記録領域の上部および下部の領域
に磁気記録層が形成され、カートリッジＩＤやフィルム
種等や撮影情報、例えば撮影日付や撮影時刻等の撮影日
時や、撮影位置（カメラ位置）や撮影方位や撮影倍率等
のＧＰＳ情報やデータや、さらにはこれらの撮影情報に
基づく付加情報、特に、これらの撮影情報によって特定
される撮影画像の被写体自体またはこの撮影画像の撮影
状況に関連する付加情報、また、場合によっては以前の
写真プリント注文時に付加された付加情報などの撮影情
報の少なくとも一部に関連する付加情報等の関連情報
が、撮影画像の付属情報として記録されている。

【００５１】これらの記録された情報は、スキャナ１２
でフィルムＦの画像が読み取られる際に、同時にスキャ
ナ１２内の磁気読取書込装置にて読み取られる。すなわ
ち、新写真システムＡＰＳのフィルム（カートリッジ）
がそれに対応するキャリア３０にセットされ、フィルム
Ｆがキャリア３０によって副走査方向に搬送されてＣＣ
Ｄセンサ３４で読み取られる間に、磁気読取書込装置に
て磁気記録された情報が読み取られ、撮影情報を含む各
種の情報が画像処理装置１４に送られる。場合によって
は、磁気読取書込装置によって磁気記録層に撮影情報に
基づく付加情報などの必要な情報が記録される。

【００５２】また、フィルムカートリッジがＩＣメモリ
を装着したものである時、装着されたＩＣメモリにカー
トリッジＩＤやフィルム種、また撮影日時、撮影位置や
撮影（カメラ）方位や撮影倍率等の撮影情報のデータが
記録されている場合は、その情報を読み取ることがで
き、また、すでに以前の写真プリント注文時に付加され
た付加情報が記録されている場合は、その付加情報も読
み取る。また、必要な情報が場合に応じてＩＣメモリに
記録される。撮影情報やこれに基づく付加情報の取得方
法および記録方法は、ＡＰＳフィルムの磁気記録層やＩ
Ｃメモリ付きフィルムカートリッジのＩＣメモリからの
読み出しや記録に限定されないのはもちろんである。

【００５３】なお、デジタルフォトプリンタ１０を構成
するスキャナ１２は、上述のスリット走査によるものに
限定されず、１コマの画像の全面を一度に読み取る面露
光を利用したＣＣＤエリアセンサであってもよい。その
場合、図１に示す可変絞り２４と拡散ボックス２８との
間にＲ，ＧおよびＢの色フィルタを設け、そこを通過し
てＲ、ＧおよびＢに色調整された光を、フィルムＦの１
コマに入射して、透過することにより、フィルムＦに撮
影されたこのコマの画像を担持する投影光を得てもよ
い。この場合、色フィルタを順次Ｒ、ＧおよびＢについ
て３回行う必要がある。

【００５４】また、スキャナ１２における画像のＣＣＤ
センサでの読み取りは、写真プリントを出力するために
画像を読み取るファインスキャンに先立ち、画像処理条
件等を決定するために、画像を低解像度で読み取るプレ
スキャンを行ない画像処理条件を決定し、オペレータ
（またはユーザ）がモニタ２０で確認し調整した後、高
解像度で画像を読み取るファインスキャンを行うため、
スキャンはプレスキャンとファインスキャンの２回行わ
れる。そのため、Ｒ、ＧおよびＢの色フィルタを設け、
面露光を利用したＣＣＤエリアセンサを用いた場合、
Ｒ、ＧおよびＢの色フィルタを用いて３回スキャンする
必要があるため、計６回のスキャンを行うことになる。
ラインＣＣＤセンサを用いる場合は、２回で済むことに
なるので、迅速な処理にとっては有利である。また、プ
レスキャンは、フィルムＦのすべての画像を一気にプレ
スキャンで取り込んで、画像処理条件を設定した後、フ
ァインスキャンを行っているが、フィルムＦを一コマご
とにプレスキャンとファインスキャンを逐次行ってもよ
い。

【００５５】また、本発明では、ネガやリバーサル等の
フィルムに撮影された画像を光電的に読み取るスキャナ
１２以外にも、反射原稿の画像を読み取る画像読取装
置、コンピュータ通信等の通信手段（モデムを介するも
のも含む）、デジタルカメラやデジタルビデオカメラ等
の撮像デバイスや内蔵メモリ、ＰＣカードやスマートメ
ディア等のデジタルカメラ用の画像記録媒体、ＦＤ（フ
ロッピー（登録商標）ディスク）やＭＯ（光磁気記録媒
体）等の汎用の画像記録媒体などの各種の画像データ供
給源を利用することができ、これらを直接またはその駆
動装置を介して画像処理装置１４に接続することがで
き、画像処理装置１４は、これらの画像データ供給源か
らデジタル画像データやその撮影情報や付加情報を受け
取ることができる。なお、これらの画像データ供給源
は、本発明の画像処理方法による処理済画像データの出
力先としても機能する。

【００５６】特に、図１に示されるフォトプリンタ１０
では、デジタルカメラ等で撮影して得られたデジタル画
像データを記録したＰＣＭＣＩＡ（ＰＣカード）、ＡＴ
Ａカード、コンパクトフラッシュ（登録商標）カード等
のカードメモリやスマートメディア等のデジタルカメラ
用画像記録媒体２５や、ＦＤ（フロッピーディスク）、
ＣＤ−Ｒ（レコーダブルコンパクトディスク）、ＭＯ
（マグネトオプティカルディスク）、ＤＶＤ（ディジタ
ルバーサタイルディスク）やＺｉｐ等の汎用の画像記録
媒体２５から画像データやを読み出し取得するとともに
画像記録媒体２５に処理済画像データを記録して出力す
るためのドライブ装置２６が画像処理装置１４に接続さ
れている。また、（パーソナル）コンピュータやデジタ
ルカメラや他のデジタルフォトプリンタのスキャナや画
像処理装置等の種々の画像データ供給源に直接ケーブル
（例えば、ＲＳ２３２Ｃ）を介して接続して、あるいは
インターネットなどの通信ネットワークを介して接続し
て、デジタル画像データやその付属情報である撮影情報
や付加情報を取得するとともに処理済画像データを配信
するためのスロット２７等が画像処理装置１４に配置さ
れる。

【００５７】なお、図示例では、入力信号（デジタル画
像データおよび付属情報（撮影情報や付加情報））は、
スキャナ１２やドライブ装置２６等の種々の画像データ
供給源から画像処理装置１４に入力されるが、以下の説
明では、主としてスキャナ１２から画像処理装置１４に
デジタル画像データが供給される場合を代表例として説
明する。

【００５８】画像処理装置１４は、スキャナ１２で読み
取られ、デジタルデータとして、画像処理装置１４に送
られてきた画像データに所定の画像処理を施し、プリン
タ１６またはモニタ２０に出力するもので、そのブロッ
ク図が図２に示される。同図に示すように、画像処理装
置１４は、データ処理部３８、プレスキャンメモリ４
０、ファインスキャンメモリ４２、プレスキャン画像処
理部４４、ファインスキャン画像処理部４６、条件設定
部４８および撮影画像判定部６２から構成される。

【００５９】データ処理部３８では、スキャナ１２から
出力されたＲ、ＧおよびＢのデジタル画像データ（入力
画像データ信号）に、Ｌｏｇ変換、ＤＣオフセット補
正、暗時補正、シェーディング補正等を行い、処理済プ
レスキャン（画像）データはプレスキャンメモリ４０
に、処理済ファインスキャン（画像）データはファイン
スキャンメモリ４２に、それぞれ記憶（格納）される。
なお、Ａ／Ｄ変換は、スキャナ１２で行わず、このデー
タ処理部３８で行うようにしてもよい。プレスキャンメ
モリ４０およびファインスキャンメモリ４２には、デー
タ処理部３８で処理されたデジタル画像データが記憶さ
れ、必要に応じて、画像処理を施し出力するために、プ
レスキャン画像処理部４４、または、ファインスキャン
画像処理部４６に呼び出される。

【００６０】プレスキャン画像処理部４４は、画像処理
部５０と画像データ変換部５２とからなり、画像処理部
５０は、色バランス調整、コントラスト補正、明るさ補
正、さらにシャープネス処理や覆い焼処理等の従来技術
としての画像処理のほか、撮影レンズの収差特性に基づ
く歪曲収差や倍率色収差や周辺光量低下や画像ボケなど
の収差の補正処理を実施する部分である。画像データ変
換部５２では、画像処理部５０で画像処理の施された画
像データを、モニタ２０による表示に対応する画像デー
タに加工するため、３Ｄ（三次元）−ＬＵＴ等を用いて
変換する。

【００６１】ファインスキャン画像処理部４６は、画像
処理部５４および画像データ変換部５８から構成され
る。画像処理部５４では、ファインスキャン画像データ
について、プレスキャン画像データにおいて決定された
画像処理条件下、色バランス調整、コントラスト補正
（階調処理）、明るさ補正等が図示しないＬＵＴ（ルッ
クアップテーブル）による処理によって、また、彩度補
正が図示しないＭＴＸ演算によって公知の方法で行わ
れ、さらに、オペレータの指示や画像データ等に応じ
て、シャープネス処理や覆い焼き処理等が行われる他、
撮影レンズの特性による歪曲収差や倍率色収差などの補
正および写真プリントの出力サイズに応じて画像を拡大
縮小する電子変倍処理を行う。

【００６２】また、画像処理部５４は、本発明の第１の
態様では、撮影シーン中において特定された被写体また
は推定された撮影状況に応じた画像処理や、本発明の第
２の態様では、撮影シーン中において検出された不要エ
リアや不良エリアの修復処理を行う。このような画像処
理としては、１コマ撮影シーンの画像の画面全体または
特定された被写体領域に限定した、濃度または色の階調
制御、幾何歪み補正、強調または平滑化処理の少なくと
も１つであるのが好ましい。また、修復処理としては、
撮影シーンの画像中のゴミや傷やノイズの修復、濃度む
らやボケ等の補正、不要物の除去などの処理の少なくと
も一つであるのが好ましい。なお、これらの画像処理や
修復処理は、画像処理部５４だけでなく、プレスキャン
画像処理部４４の画像処理部５０でも行っても良い。画
像データ変換部５８では、画像処理部５４で画像処理の
施された処理画像データを、プリンタ１６にプリント出
力する画像データに加工するため、３Ｄ（三次元）−Ｌ
ＵＴ等を用いて変換する。

【００６３】なお、ここでは、本発明の第１〜第３の態
様の画像処理方法によって得られた処理画像データをプ
リンタ１６にプリント出力しているが、本発明はこれに
限定されず、画像データ変換部５８で、画像記録媒体２
５に記録するための画像データに変換（例えば、媒体出
力に応じたフォーマット変換など）を行って、ドライブ
装置２６に出力しても良いし、インターネットなどの通
信網や通信手段等を介して配信するための画像データに
変換（例えば、ネット出力に応じたフォーマット変換な
ど）を行って、スロット２７に出力しても良い。こうし
て、本発明においても、プリント出力のみならず、各種
の画像記録媒体への記録や再生、各種のネット配信（転
送）サービスや再生に処理画像データを利用することが
できる。この時、後述するデータベース部６２ｂから導
出した被写体関連情報や、そのたの関連情報などをプリ
ントの合成時や各種の画像記録媒体やネット転送からの
再生時、例えば、モニタ等への再生表示時の付加情報と
して用いても良い。

【００６４】条件設定部４８は、プレスキャン画像デー
タがプレスキャンメモリ４０から読み出され、画像処理
条件を決定するのに用いられる。具体的には、プレスキ
ャン画像データから、濃度ヒストグラムの作成や、平均
濃度、ＬＡＴＤ（大面積透過濃度）、ハイライト（最低
濃度）、シャドー（最高濃度）等の画像特徴量の算出等
を行い、加えて、必要に応じて行われるオペレータによ
る指示に応じて、前述のグレイバランス調整等のテーブ
ル（ＬＵＴ）や彩度補正を行うマトリクス演算の作成等
を行い、画像処理条件を決定する。決定された画像処理
条件は、さらに、キーボード１８ａおよびマウス１８ｂ
を有する操作系１８で調整され、画像処理条件が再設定
される。なお、本発明の第１および第２の態様において
は、条件設定部４８は、特定された被写体や推定された
撮影状況や濃度むらやボケなどの不良エリアの情報に応
じて画像処理条件の再設定や補正条件の設定を行うこと
ができる。

【００６５】また、撮影日時データや撮影位置などの撮
影情報の少なくとも一部に関連する付加情報を選択する
際に、ユーザの希望に応じて項目を指定するために、キ
ーボード１８ａやマウス１８ｂが用いられる。なお、モ
ニタ２０は、プレスキャン画像データの画像処理が適切
かどうか、オペレータが確認、検定するものであり、画
像データ変換部５２を介して画像処理装置１４と接続さ
れる。なお、図２は主に画像処理関連の部位を示すもの
であり、画像処理装置１４には、これ以外にも、画像処
理装置１４を含むデジタルフォトプリンタ１０全体の制
御や管理を行うＣＰＵ、デジタルフォトプリンタ１０の
作動等に必要な情報を記憶するメモリ、ファインスキャ
ンの際の可変絞り２４の絞り値やＣＣＤセンサ３４の蓄
積時間を決定する手段等が配置される。

【００６６】撮影画像判定部６２は、撮影日時等の撮影
情報や撮影位置や撮影方位や撮影倍率などのカメラ情報
を取得するカメラ情報取得部６２ａと、このカメラ情報
に基づいて撮影シーン推定に必要な付加情報等の関連情
報を選択する関連情報選択部６２ｂと、カメラ情報取得
部６２ａで取得されたカメラ情報および関連情報選択部
６２ｂで選択された関連情報に基づいて撮影シーンの画
像内の被写体の特定や撮影時の状況の推定やこれらによ
るシミュレーション画像の作成やシミュレーション画像
と撮影画像の比較や不要エリアや不良エリアの検出等を
行う撮影シーン推定部６２ｃと、関連情報として撮影シ
ーン推定部６２ｃが引用するために、関連情報選択部６
２ｂが選択するデータを蓄えた百科事典等のデータベー
スや、撮影されたシーンの画像内の被写体の特定のため
に用いられる地図データベースや、撮影シーンのシミュ
レーション画像を作成するための３次元地図データベー
スや、主要被写体となる著名な山や観光名所や有名な撮
影スポットなどの撮影画像を蓄えた撮影画像（蓄積画
像）データベース、あるいは各地の天候を記録した天候
データベースや各地のイベント情報を記録したイベント
のデータベース等々の情報を有するデータベース部６２
ｄとから構成される。

【００６７】なお、関連情報選択部６２ｂは、データベ
ース部６２ｄから付加情報等の関連情報を選択する場合
に限定されず、必要に応じて外部から取得された関連情
報を選択しても良い。撮影シーン推定部６２ｃによって
特定された被写体や推定された撮影状況や、濃度むらや
ボケなどの不良エリアの情報は、画像処理条件の再設定
や補正条件の設定のために、条件設定部４８に送られ
る。もちろん、撮影シーン推定部６２ｃにおいて、この
ような画像処理条件の再設定や補正条件の設定を行って
も良い。この場合には、再設定された画像処理条件や設
定された補正条件は、ゴミ、傷、ノイズや不要物等の不
要エリアや不良エリアなどの情報とともに、直接画像処
理部５４に送ることができる。

【００６８】また、データベース部６２ｄは、画像処理
装置１４の撮影画像判定部６２に内蔵されているものに
限定されず、外部記憶装置として画像処理装置１４に接
続されるものであっても良いし、またその数も１つに限
られず、２つ以上の記憶装置で構成されていても良い
し、さらに、フォトプリンタ１０に備えられているもの
に限定されず、インターネット等の通信手段を介して接
続可能、または検索可能なデータベースであっても良
い。

【００６９】本発明の画像処理方法を実施する本発明の
画像処理装置を適用するデジタルフォトプリンタは、基
本的に以上のように構成されるが、以下に、図１〜図３
を参照して、その作用および本発明の第１の態様の画像
処理方法および装置を説明する。最初に、ＧＰＳ情報等
のカメラ情報により、撮影場所が屋内か屋外かを判別し
て、それに応じて階調制御を行う、本発明の第１の態様
の第１実施形態について説明する。

【００７０】図３は、図１に示す本発明の第１の態様の
画像処理装置１４によって実施される本発明の第１の態
様の画像処理方法における画像情報取得から撮影シーン
に応じた階調制御までの流れの一例を示すフローチャー
トである。ＧＰＳ情報を利用することのできるカメラ６
６により、被写体を撮影するとともにＧＰＳ情報および
各種撮影情報等のカメラ情報が取得され、記録される
（ステップＳ１００）。例えばＡＰＳ（新写真システ
ム）カメラの場合、ＡＰＳ対応フィルムＦの各コマの画
像記録領域の上部および下部の領域に磁気記録層が形成
されており、ここにＧＰＳ情報等のカメラ情報が記録さ
れる。さらに、方向探知機用方位指示器を付加すると、
撮影した緯度、経度および高度さらには、水平面および
垂直面に関する撮影方位角が記録される他、撮影時の撮
影倍率などのカメラ情報も記録することができる。この
記録されたカメラ情報は、スキャナ１２のキャリア３０
に設けられている磁気読取書込装置で読み込まれ、スキ
ャナ１２から画像データと別の経路で撮影画像判定部６
２へ送られ、そのカメラ情報取得部６２ａによって撮影
画像に付属情報として関連づけて得られる撮影情報等を
含むカメラ情報が取得される（ステップＳ１０２）。

【００７１】まず、撮影画像判定部６２の関連情報選択
部６２ｂは、カメラ情報取得部６２ａが取得したカメラ
情報である撮影位置、撮影方位等から、データベース部
６２ｄ内の地図データベースを選択し、撮影シーン推定
部６２ｃは、選択された地図データベースを参照して、
撮影された画像の撮影地点や被写体を特定する（ステッ
プＳ１０４およびＳ１０６）。この撮影シーン推定部６
２ｃによる被写体や撮影地点の特定は、以下のように行
う。

【００７２】例えば、撮影された被写体が山である場
合、その山が何という山であるかとか、どの地点にある
かを特定するには、得られた撮影位置と方位から地図デ
ータベースを参照して特定する。複数の人工衛星からの
信号をもとに位置を正確に知ることのできるＧＰＳを利
用することで、撮影した位置、すなわち経度、緯度およ
び高度を得ることができる。これらの経度、緯度および
高度の位置に関する測位精度は１００ｍ以内であり実用
上問題はなく、方位角についても方向探知機用方位指示
器を用いることで方位を精度よく測定できるので、撮影
倍率データに依存して定まる地図上の所定の画角内に収
まる対象物と撮影された被写体を照合することで、撮影
被写体や撮影地点を地図データベース上の対象物として
特定することができる。なお、撮影地点には、画面内に
写っている、撮影画像内の被写体の位置、すなわち撮影
された地点（位置）のみならず、撮影者またはカメラの
位置などの撮影する位置、すなわち撮影位置を含めても
よい。こうすることにより、撮影画像の内の被写体だけ
でなく、撮影位置そのものに関する情報も付加情報とし
て撮影画像に付加することができるからである。

【００７３】さらに、一層精度が要求される場合や撮影
位置や撮影方位さらに撮影倍率の精度がなんらかの理由
で不十分な場合においても、地図データベースを参照し
て、撮影位置や撮影方位や撮影倍率を精度良く知ること
ができ、被写体や撮影地点を詳細に特定できる。つま
り、撮影情報をもとに地図データベースによる３次元コ
ンピュータグラフィック画像を公知のコンピュータグラ
フィック（以下、ＣＧと称する）作成手法により作成
し、この作成されたＣＧ画像と実際の撮影された画像と
のパターンマッチング、例えば、得られた撮影位置や撮
影方位や撮影倍率データをもとに地図データベースから
作成したＣＧ画像の山の稜線と撮影画像上の山の稜線と
の間で、２次元的にＣＧ画像の画素をずらしながらパタ
ーンマッチングを行い、もっともマッチするような位置
および方位さらに撮影倍率を算出することで、撮影位置
や撮影方位や撮影倍率を高い精度で知ることができ、そ
の結果被写体の山やその山のある地点を特定できるので
ある。なお、撮影画像上の山の稜線は、画素の色濃度の
違いからエッジを抽出して行う。

【００７４】以上のようにして、撮影位置や撮影方位や
撮影倍率を精度良く知ることで、地図データベースから
撮影された山の位置（地点）や撮影された山の一つ一つ
の山名等を詳細に特定できるのである。また、市街地で
あれば、一つ一つの建物（建造物）の名称を特定するこ
とができる。このようにして、撮影位置が特定され、そ
こが山等の自然が多い場所、例えば森林地帯であれば、
屋外で撮影された可能性が高く、そこが住宅等の建物が
密集した市街地であれば、屋内で撮影された可能性が高
いため、これにより撮影地点が屋内か屋外かを撮影シー
ン推定部６２ｃは判別する。そして、画像処理部５４
は、特定された被写体に応じた階調制御を行う（ステッ
プＳ１０８）。

【００７５】撮影地点が屋内の場合、例えば照明が蛍光
灯の場合は、再現プリントが緑がかってしまい（Ｇ味と
なり）、また照明がタングステンの場合は、再現プリン
トが赤っぽくなる（Ｒ味となる）いわゆるカラーフェリ
アが発生する虞がある。そのため、撮影場所が屋内であ
る可能性が高い場合には、画面全体の色味をグレーへシ
フトするカラーフェリア対策を行う必要がある。

【００７６】これに対し、撮影場所が屋外である可能性
が高い場合には、地図データベースの情報を用いて、被
写体エリアの色の分布を推定し、撮影シーンの色味を調
整するようにする。すなわち、例えば森林地帯のように
緑の多いエリアの場合には、前記屋内におけるカラーフ
ェリア対策を行わないようにする。従来は、このような
場合に、画面全体の色味のバランス等により、異種光源
シーンか否かを推定していたため、森林シーンのように
画面全体において緑色の比重が大である場合に、異種光
源シーンと誤判定し、本来の緑色を再現できないケース
があった。しかし、上記実施形態では、屋外において
は、屋内におけるカラーフェリア対策を行わないように
したため、緑を忠実に再現することができる。

【００７７】次に、撮影した季節あるいは日時のデータ
等から撮影シーンを推定し、画像再現プリントの色味を
調整する本発明の第１の態様の第２実施形態について説
明する。

【００７８】これは、同一被写体でも、撮影する季節に
よって、あるいは撮影する時間帯によって、色味が異な
るため、これを撮影情報から判断して、それに応じた色
味の調整をしようというものである。例えば、同じ富士
山でも、撮影時期が夏と冬とでは、撮影シーンの色味が
異なる。また、同じ海の撮影シーンでも同様である。ま
た、同じ被写体、同じ季節であっても、撮影時刻が朝、
昼あるいは夕では、色味が異なる。そこで、撮影位置情
報に、撮影日時情報を合わせて、撮影シーンを推定し、
それに合わせた色味の調整を行うようにする。

【００７９】また、撮影時刻情報の他に背景エリアの測
距データや撮影シーンの濃度分布（ポジ画像において背
景部分が高濃度等）から夜景シーンであると判断した場
合には、コントラストを強調するようにする。これによ
り、従来黒い部分が薄くべたっとなっていた失敗を解消
することができ、夜景の黒い部分がくっきりとした再現
画像を得ることができる。このとき背景エリアの測距デ
ータがあれば精度が上がるが、このデータは必ずしも必
須のものではない。また、比較的有名な被写体であれ
ば、実際の撮影画像をデータベース部６２ｄに記録して
おき、これを参照して画像を作成するようにしてもよ
い。例えば、東京タワーであれば、普段東京タワーが有
している色味を記録しておき、東京タワーを撮影した画
像の場合、これを参照して、色のバランスを変えてやる
ようにするとこともできる。

【００８０】さらに、撮影した日の該当する時間帯の天
候情報をデータベース部６２ｄから読み出して、天候シ
ミュレーションにより、再現プリントの色味を調整する
ようにしてもよい。また、このとき、天候情報は例えば
ラボ等においてインターネットを通じて得るようにして
もよい。すなわち、晴天、曇天あるいは雨天の違いに応
じて色味を変えるようにする。例えば、曇天や雨天の場
合には、彩度を意図的に上げて、くっきりした感じを補
うようにする。あるいは、逆に意図的にどんよりした印
象のプリントになるように色味を調整してもよい。

【００８１】次に、位置情報および日時情報にイベント
情報を組み合わせて、撮影シーンの推定をする、本発明
の第１の態様の第３実施形態について説明する。

【００８２】これは、特定地点、特定日時、時刻におけ
るイベント情報を用いて撮影シーンを推定するものであ
る。このとき、イベント情報は、前述したように、予め
データベース部６２ｄに記録しておいてもよいし、イン
ターネットを通じて得るようにしてもよい。また、シー
ンの濃度分布を加味してもよい。

【００８３】例えば、カメラ情報として、○月○日○
時、○○川沿いにて撮影、という撮影情報があったと
き、これに対しどのようなイベントがあったかをデータ
ベースを検索して、例えば花火大会があったことが判明
したとする。このとき、あるコマの濃度分布がシャドー
側に偏っていたとすると、このコマは花火を撮影したも
のと判断できる。そこで、前述した夜景の場合と同様
に、コントラストを強調することで、くっきりとしたプ
リントを得るようにする。これにより、従来の夜景が薄
白くなる失敗をなくすことができる。

【００８４】また、季節が冬で、撮影地点が山で、イベ
ント情報として現地でスキー場開催中であるという時
は、白を強調するようにする。これにより、従来、白い
雪がどんよりした感じのプリントになるという失敗を解
消することができる。なお、この時、イベントのプログ
ラム情報などがあれば、撮影情報中の撮影時刻情報など
と照合して、被写体推定に利用しても良い。また、この
時、データベース部６２ｂにイベント情報に関連する画
像データがあれば、パターンマッチング手法を適用し
て、被写体推定に利用しても良い。さらに、イベント情
報として付属音声情報等がある場合にも、これを単独
で、もしくは他のイベント関係の情報と照合して、被写
体推定に利用しても良い。こうすることにより、推定の
容易化やその精度の向上や時間の短縮などを図ることが
できる。

【００８５】次に、位置情報により屋外での撮影という
ことがわかっているとき、被写体として人物を含む場合
とそうでない場合において処理を分ける、本発明の第１
の態様の第４実施形態について説明する。

【００８６】これは、ＧＰＳ情報等により撮影地が屋外
であることが判明しているとき、被写体の特定により、
人物でないと判定されているエリアについては、顔抽出
処理を行わない（オフにする）または、顔抽出処理後に
その抽出エリアを除外するといった手法により顔の誤抽
出を防止するものである。このとき、人物でない、背景
であると分かっているエリアについては、最初から顔抽
出処理の対象から除外すれば、処理時間の短縮になる。
これにより、従来のような空や地面等の部分において顔
を誤抽出するという失敗を解消することができる。ま
た、シーン特定により、顔抽出適用範囲を限定でき、演
算時間を省略することができる。

【００８７】また、屋外で人物を撮影する場合に、季節
や時間帯によって、被写体である人物の顔に当たる光線
が強く、影が目立つことがある。このとき、顔として抽
出されたエリアについて、影部分の明度を上げる、また
はコントラストを緩和する様にする処理を行う。また、
撮影位置情報と時間情報とから太陽光の方向を割り出
し、被写体（人物、建物、自然）の影エリアの判定に利
用することもできる。

【００８８】最後に、ＧＰＳ情報による撮影位置情報お
よび地図データベースから抽出される特定被写体を利用
して、さらに高品質の再現プリントを得る本発明の第１
の態様の第５および第６の各実施形態について説明す
る。第５実施形態は、撮影シーン中から特定の建造物を
抽出し、その建造物の直線部分の歪み具合から、歪み補
正パターンを導出して、各画像に対しこの歪み補正パタ
ーンに基づいて歪み補正を行うものである。

【００８９】シーン中からの特定建造物の抽出は、例え
ば、前に述べたような、地図データベースを利用したＣ
Ｇ画像とのパターンマッチングにより行えばよい。そし
て、建造物の直線部分の歪み具合を検出し、歪み補正パ
ターンを導出する。この歪み補正パターンから補正関数
を作成し、これを画面全体に適用することにより、画像
の歪み補正を行う。または、補正関数は画面全体に適用
するのでなく、例えば抽出した建造物の部分のような局
所エリアのみに適用するようにしてもよい。このよう
に、補正関数を作成した場合には、これを１件分の全コ
マに適用してもよい。なお、補正関数を作成する場合
に、複数コマ分のデータを集計して用いることにより歪
み補正の精度も向上する。

【００９０】なお、被写体として人工的建造物に限ら
ず、地平線や水平線を利用することもできる。また、直
線利用の手法以外に、後述するシミュレーション画像と
の比較手法でもよい。この場合、複数の被写体から特徴
点（エッジ角度や頂点等）を抽出し、シミュレーション
画像（後述の図５、Ｓ２０８にて作成）と撮影画像間
で、それぞれ対応する各特徴点間の位置ずれに基づい
て、幾何歪み補正関数を導出する。

【００９１】第６実施形態は、特定の被写体の抽出をシ
ャープネスの局所処理に利用するものである。すなわ
ち、ＧＰＳ情報、地図データベースおよびカメラの撮影
方向から、被写体を特定するとともに撮影地点から被写
体までの距離を推定し、カメラから遠距離にある被写体
ほど、ぼかすことで遠近感を強調しようというものであ
る。このような処理をすることにより、よりめりはりの
あるシャープな再現画像を得ることができる。

【００９２】以上説明した本発明の第１の態様の画像処
理装置によって実施される画像処理方法の各実施形態に
おいては、撮影シーンの推定、被写体の特定や撮影時の
状況の推定により、その後の処理を振り分けることによ
り、処理を効率化するとともに画質の向上を図ることが
できる。

【００９３】次に、本発明の第２の態様に係る画像処理
方法および装置について好適な実施形態を挙げて説明す
る。本実施形態は、人工衛星を用いたＧＰＳを利用し得
るカメラを用いて取得されるＧＰＳ情報を含むカメラの
撮影情報（カメラ情報）等の撮影画像の付属情報とデー
タベースに蓄積されている地図データまたは蓄積画像デ
ータとを用いて、撮影シーンのシミュレーション画像を
作成し、撮影画像中のゴミや傷やノイズなどの不要エリ
アの修復、濃度むらやボケなどの不良エリアの補正、不
要物などの不要エリアの除去を行うものである。しか
し、本発明は本実施形態に限定されるわけではない。

【００９４】なお、本発明の第２の態様の画像処理方法
は、図２および図４に示す本態様の画像処理装置を適用
する図１に示すデジタルフォトプリンタによって実施さ
れるものであるので、本発明の第２の態様の画像処理方
法および装置を図１、図２、図４および図５を参照して
以下に説明する。図４は、図２に示す画像処理装置１４
の撮影画像判定部６２の撮影シーン推定部６２ｃの一実
施例の構成を示すブロック図である。

【００９５】同図に示すように、撮影シーン推定部６２
ｃは、カメラ情報取得部６２ａがカメラ情報として取得
した撮影位置情報、撮影方位情報および撮影倍率情報の
少なくとも一つと、関連情報選択部６２ｂが関連情報と
してデータベース部６２ｄから選択した地図情報または
蓄積情報とを用いて、撮影シーンのシミュレーション画
像を作成する作成部６３ａと、作成部６３ａによって作
成された撮影シーンのシミュレーション画像と撮影され
た画像（撮影画像）とを比較する比較部６３ｂと、比較
部６３ｂによる比較結果に基づいて、撮影画像に存在す
る撮影シーン中の不良領域または不要領域を検出する検
出部６３ｃとを有する。なお、撮影シーン推定部６２ｃ
の検出部６３ｃで検出された撮影シーン中の不良領域ま
たは不要領域の情報は、ファインスキャン処理部４６の
画像処理部５４に送られ、画像処理部５４で不良領域ま
たは不要領域の修復処理が行われる。

【００９６】このような構成の撮影シーン推定部６２ｃ
を持つ撮影画像判定部６２で実施される本態様の画像処
理方法として、まず、ＧＰＳ情報等のカメラ情報によ
り、主要被写体を推定して、主要被写体のデータベース
蓄積画像をシミュレーション画像として作成し、このシ
ミュレーション画像とのマッチングにより、ゴミや傷や
ノイズの存在を判定し、修復処理を行う本発明の第２の
態様の第１実施形態について説明する。

【００９７】図５は、本発明の第２の態様の画像処理方
法および装置における画像情報取得から撮影シーン中の
不要エリアや不良エリアの修復処理までの流れの一例を
示すフローチャートである。図５に示すフローチャート
と、図３に示すフローチャートは、ＧＰＳ情報を利用す
ることのできるカメラ６６による被写体の撮影およびＧ
ＰＳ情報やその他の各種撮影情報等の記録と、画像処理
装置１４による被写体の撮影画像およびＧＰＳ情報等の
撮影情報の（撮影画像判定部６２のカメラ情報取得部６
２ａによる）取得とは同様であり、撮影シーン推定部６
２ｃによる撮影位置や撮影方位等の撮影情報による被写
体の推定や地図データベース等の参照などは、略同様で
あるので、その詳細な説明は省略し、主に撮影シーン推
定部６２ｃによるシミュレーション画像の作成以降の工
程について説明する。

【００９８】前提として、例えば、著名な山や、観光名
所や有名な撮影スポットの被写体について、撮影画像を
データベース蓄積画像として撮影画像判定部６２のデー
タベース部６２ｄに蓄積しておく。まず、ステップＳ２
００においては、ステップＳ１００と同様に、顧客のＧ
ＰＳ情報を利用することのできるカメラ６６によって、
被写体が撮影される。ここで、カメラ６６には、被写体
の撮影シーンの画像とともにＧＰＳ情報やその他の各種
撮影情報等が記録される。なお、カメラ６６は、デジタ
ルスチールカメラであっても、銀塩写真式フィルムを利
用する従来型光学カメラであってもよい。

【００９９】次に、ステップＳ２０２においては、ステ
ップＳ１０２と同様に、画像処理装置１４は、カメラ６
６において記録された被写体の撮影画像と、その付属情
報であるＧＰＳ情報等の撮影情報とを、デジタルカメラ
であれば画像記録媒体２５等から直接または従来型の光
学カメラであれば撮影フィルムを現像後スキャナ１２で
読み取って、それぞれ、プレスキャンメモリ４０やファ
インスキャンメモリ４２と、撮影画像判定部６２のカメ
ラ情報取得部６２ａとに取得する。

【０１００】ステップＳ２０４においては、撮影画像判
定部６２の撮影シーン推定部６２ｃ（作成部６３ａ、図
４参照）は、取得した撮影位置や撮影方位や撮影倍率デ
ータ等のカメラ情報の少なくとも一つを用いて、特にＧ
ＰＳデータから主要被写体を推定する。この時、第１の
態様のように、データベース部６２ｄの地図データベー
ス等のデータベース情報を用いて主要被写体の推定を行
うことができる。なお、主要被写体の推定は、従来公知
の主要被写体抽出方法によって主要被写体を抽出した
後、抽出された主要被写体が何であるかを判断するよう
にしてもよい。

【０１０１】続いて、ステップＳ２０６においては、撮
影シーン推定部６２ｃの作成部６３ａは、データベース
部６２ｄを参照して、推定した主要被写体のデータベー
ス蓄積画像を撮影画像の関連情報として検索して読み出
す。なお、ステップ２０４および２０６の撮影シーン推
定部６２ｃの作成部６３ａによる主要被写体等の推定お
よびこれに基づく３次元地図画像やデータベース蓄積画
像の検索・読出は、関連情報選択部６２ｂで行っても良
い。次に、撮影シーン推定部６２ｃの作成部６３ａで
は、ステップＳ２０８において、こうして読み出された
主要被写体のデータベース蓄積画像がシミュレーション
画像として作成される。

【０１０２】続いて、撮影シーン推定部６２ｃの比較部
６３ｂは、ステップＳ２１０において、作成されたシミ
ュレーション画像と、ファインスキャンメモリ４２から
読み出した撮影画像とをマッチング等により比較し、検
出部６３ｃは、比較部６３ｂの比較結果に基づいてステ
ップ２１２において、ゴミ／傷／ノイズの存在を判定す
る。すなわち、比較部６３ｂにおいて顧客の撮影画像と
シミュレーション画像とを比較して、例えば、局所的パ
ターンマッチングによるサイズや位置の合わせを行った
後、検出部６３ｃにおいてシミュレーション画像とマッ
チングしない撮影画像中の点や線など、すなわち本来存
在しない線や点を検出した場合、ゴミ／傷／ノイズと判
断する。こうして得られたゴミ／傷／ノイズの情報は、
撮影画像判定部６２の撮影シーン推定部６２ｃ（検出部
６３ｃ）から、ファインスキャン処理部４６の画像処理
部５４に送られる。

【０１０３】最後に、画像処理部５４は、ステップ２１
４において、撮影画像判定部６２の撮影シーン推定部６
２ｃから送られたゴミ／傷／ノイズの情報に基づいて、
修復処理を行う。すなわち、画像処理部５４は、撮影画
像中のゴミ／傷／ノイズを、シミュレーション画像の当
該画素、または撮影画像の周辺画素を用いて修復する。
なお、この修復処理において、撮影画像の当該画素に係
数を掛けて用いることなども可能である。この修復処理
は、撮影画像判定部６２の撮影シーン推定部６２ｃで行
っても良い。こうして撮影画像中のゴミや傷やノイズを
効率良く修復することができ、撮影画像を再現した再現
プリントの画質を向上させることができる。

【０１０４】次に、ＧＰＳ情報等のカメラ情報と、３次
元地図データから撮影シーンのシミュレーション画像を
作成し、このシミュレーション画像とのマッチングによ
り、ゴミや傷やノイズの存在を判定し、修復処理を行う
本発明の第２の態様の第２実施形態について説明する。

【０１０５】前提として、撮影画像判定部６２のデータ
ベース部６２ｄに、３次元地図データが、デ−タベ−ス
情報として蓄積されているとする。まず、本実施形態に
おいても、第１の実施形態と同様に、ステップＳ２００
ではカメラ６６で被写体が撮影され、ＧＰＳ情報等のカ
メラ情報等が記録される。ステップＳ２０２では画像処
理装置１４のプレスキャンメモリ４０やファインスキャ
ンメモリ４２に撮影画像が、撮影画像判定部６２にＧＰ
Ｓ情報等のカメラ情報等が取得される。

【０１０６】ステップＳ２０４およびステップＳ２０６
においては、撮影画像判定部６２の撮影シーン推定部６
２ｃの作成部６３ａは、取得された撮影位置や撮影方位
（カメラ方位デ−タ）等のカメラ情報に基づいて、デー
タベース部６２ｄを参照して、そこに蓄積されている３
次元地図デ−タを読み出し、ステップＳ２０８におい
て、取得された撮影位置や撮影方位と、読み出された３
次元地図データとから、撮影画像のシミュレーション画
像を作成する。

【０１０７】続いて、比較部６３ｂでは、ステップＳ２
１０において、作成されたシミュレーション画像と撮影
画像とを比較し、検出部６３ｃでは、ステップ２１２に
おいて、被写体の輪郭ではない領域に線等が存在する場
合には、ゴミ／傷／ノイズと判定する。例えば、顧客の
撮影画像において、異なる構造物に渡り連続した直線が
有る場合に、フィルムの傷と見なす。最後に、ファイン
スキャン処理部４６の画像処理部５４は、ステップ２１
４においては、撮影画像判定部６２の撮影シーン推定部
６２ｃから送られたゴミ／傷／ノイズの情報に基づい
て、第１の実施形態と同様にして、修復処理を行う。こ
うして撮影画像中のゴミや傷やノイズを効率良く修復す
ることができ、ゴミや傷やノイズの影響のない高画質な
再現プリントを得ることができる。

【０１０８】次に、ＧＰＳ情報等のカメラ情報により、
撮影シーンに該当するデータベース蓄積画像をシミュレ
ーション画像として撮影画像と比較し、周辺減光または
ボケむらの程度を検出し、修復処理を行う本発明の第２
の態様の第３実施形態について説明する。本実施形態に
おいては、撮影画像判定部６２の撮影シーン推定部６２
ｃの作成部６３ａで撮影シーンに該当するデ−タベ−ス
蓄積画像をシミュレーション画像として作成し、比較部
６３ｂで撮影画像をシミュレーション画像と比較するま
でのステップＳ２００からステップＳ２１０までの工程
は、本態様の第１実施形態と同様に行われる。

【０１０９】ステップＳ２１２では、検出部６３ｃは、
撮影シーンの画像の周辺減光などの濃度むらまたはボケ
むらの程度を検出する。最後に、ファインスキャン処理
部４６の画像処理部５４では、ステップ２１４におい
て、撮影画像判定部６２の撮影シーン推定部６２ｃ（検
出部６３ｃ）から送られた周辺減光またはボケむらの程
度に応じて、当該撮影シ−ンの１コマ全体または当該コ
マの前後の複数コマ、もしくは類似シ−ンの複数コマ、
あるいは１件撮影画像全体に対して濃度むらまたはボケ
補正を行い、周辺減光またはボケむらの修復処理を行
う。なお、特定の被写体を抽出しておいて、抽出された
特定の被写体のみに鮮鋭化を行ってもよい。こうして撮
影画像中の周辺減光などの濃度むらまたはボケを効率良
く補正することができ、撮影画像の再現プリントの画質
を向上させることができる。

【０１１０】次に、ＧＰＳ情報等のカメラ情報と、電力
関係の地図データから撮影シーン中の電線や電柱の位置
をシミュレーションにより推定し、検出された電線や電
柱の消去処理を行う本発明の第２の態様の第４実施形態
について説明する。ここでは、前提として、電線や電柱
の位置、好ましくはさらにサイズを示す電力関係の地図
デ−タがデ−タベ−ス部６２ｄに蓄積されている、もし
くはインタ−ネットなどの通信手段を介して検索できる
ものとする。まず、本実施形態においても、撮影画像お
よびＧＰＳ情報等のカメラ情報の取得までのステップＳ
２００およびステップＳ２０２までの工程は、第２実施
形態と同様に行われる。

【０１１１】ステップＳ２０４およびステップＳ２０６
においては、撮影画像判定部６２の撮影シーン推定部６
２ｃ（作成部６３ａ）は、取得された撮影位置や撮影方
位（カメラ方位デ−タ）等のカメラ情報に基づいて、デ
ータベース部６２ｄを参照して、そこに蓄積されている
電力関係の地図デ−タを読み出し、ステップＳ２０８に
おいて、取得された撮影位置や撮影方位と読み出された
電力関係の地図データとから、撮影画像に相当するシ−
ン内の電線および電柱、例えばその位置、好ましくはそ
のサイズを推定したシミュレーション画像を作成する。

【０１１２】続いて、比較部６３ｂは、ステップＳ２１
０において、電線および電柱の推定位置や推定サイズを
示すシミュレーション画像と撮影画像とを比較し、検出
部６３ｃは、ステップ２１２において、撮影画像中にお
いて電線および電柱の推定位置に推定サイズのライン等
が存在する場合には、電線または電柱と判定する。例え
ば、顧客の撮影画像における細線の検出結果と、シミュ
レーション画像の電線および電柱の推定位置に推定サイ
ズとの合致度合いが大であれば、そのラインを電線また
は電柱とみなす。ここで、細線の検出は、フィルタ処理
やエッジ検出やラインのトレ−ス等の公知の技術の組み
合わせによって行うことができる。その後、ファインス
キャン処理部４６の画像処理部５４では、ステップ２１
４において、電線または電柱とみなされたラインに不要
物として消去処理を行う。こうして、撮影画像中の電線
や電柱などの不要物を効率良く消去することができ、不
要物のない高画質なプリントを再現することができる。

【０１１３】さらに、本発明においては、ＧＰＳ情報の
みでなく、撮影画像に付随するコメント情報などの付属
情報から、シミュレ−ション画像を作成するための主要
被写体を推定しても良い。例えば、著名な観光エリアで
あれば、コメント情報で主要被写体を概略推定し、デ−
タベ−ス蓄積画像とのパターンマッチングで主要被写体
を絞り込むことができる。このようなコメント情報とし
ては、例えば、テキストデ−タや音声データなどを挙げ
ることができる。

【０１１４】以上説明した本発明の第２の態様の画像処
理方法の各実施形態においては、ＧＰＳ情報などのカメ
ラ情報と、データベース蓄積画像または地図データ、特
に３次元地図データの充実により、画像修復処理を効率
化するとともに画像修復の精度を向上させることがで
き、再現画像の画質の向上を図ることができる。また、
上記各実施例においては、画像修復処理を完全自動化ま
たは半自動化、例えば、主要被写体をモニタに表示し、
オペレ−タの判断に任せる半自動化するにより、画像修
復の能率を向上させることができる。

【０１１５】以上、本発明の第１および第２の態様に係
る画像処理方法について、種々の実施例を挙げて詳細に
説明したが、本発明は、以上説明した実施例に限定され
るものではなく、本発明の要旨を逸脱しない範囲におい
て、様々な改良や変更を行ってもよいのはもちろんであ
る。例えば、上に説明した実施形態では、撮影位置情報
はＧＰＳから得るようにしていたが、位置情報の取得手
段はこれに限定されるものではなく、ＰＨＳによる位置
情報サービスを利用してもよいし、撮影者がマニュアル
で入力するようにしてもよい。本発明の第１および第２
の態様の画像処理方法および装置は、基本的に以上のよ
うに構成される。

【０１１６】次に、図６を参照して、本発明の第３の態
様に係る画像処理方法および装置について、好適な実施
形態を挙げて説明する。なお、図６に示すデジタルフォ
トプリンタ１１において、本発明の第３の態様の画像処
理方法を実施することができる。図６に示すデジタルフ
ォトプリンタ１１は、図１に示すデジタルフォトプリン
タ１０と類似の構成を有するものであり、また、図６に
示す画像処理装置１５は、図２に示す画像処理装置１４
の代わりに図１に示すフォトプリンタ１０に用いること
もできるものであり、画像処理装置１４と類似の構成を
有するものであるので、同一の構成要素には、同一の参
照符号を付し、その詳細な説明は省略する。

【０１１７】図６は、デジタルフォトプリンタ１１およ
びこれに用いられる画像処理装置１５の一実施例のブロ
ック図である。同図に示すように、画像処理装置（以
下、処理装置とする）１５は、基本的にデータ処理部３
８、Ｌｏｇ変換器３９、プレスキャン（フレーム）メモ
リ４０、ファインスキャン（フレーム）メモリ４２、プ
レスキャン処理部４４、ファインスキャン処理部４６、
条件設定部４８、入力データ変換部７８および音声デー
タ処理部８０を有する。

【０１１８】スキャナ１２から出力されたＲ、Ｇおよび
Ｂの画像信号は、データ処理部３８において、暗時補
正、欠陥画素補正、シェーディング補正等の所定のデー
タ処理を施された後、Ｌｏｇ変換器３９によって変換さ
れて、デジタルの画像データ（濃度データ）とされ、プ
レスキャンデータはプレスキャンメモリ４０に、ファイ
ンスキャンデータはファインスキャンメモリ４２に、そ
れぞれ記憶（格納）される。

【０１１９】一方、画像記録媒体２５およびそのドライ
ブ装置２６やインターネット等の通信ネットワークを介
して接続されたスロット２７（以上、図１参照）等の画
像データ供給源Ｒから供給された画像（デジタルの画像
信号）は、入力データ変換部７８において、間引きや補
間等の公知の処理によってプレスキャンおよびファイン
スキャンに対応する画素数（画素密度）の画像信号とさ
れ（すなわち、二つの画像信号が生成される。）、さら
に処理装置１５に対応する画像信号に変換された後、Ｌ
ｏｇ変換器３９に送られて、以下同様に、プレスキャン
データおよびファインスキャンデータとされ、プレスキ
ャンメモリ４０およびファインスキャンメモリ４２に記
憶される。

【０１２０】ここで、近年では、録音機能を備えるデジ
タル（スチル）カメラ（ＤＳＣ）も増えており、画像
（画像ファイル）に、撮影時等に録音された音声データ
が付随している場合もある。また、デジタルビデオカメ
ラで撮影された画像には、音声データが付随している。
また、新写真システムのフィルムには、磁気記録媒体が
形成されており、撮影時等に、各コマの磁気記録媒体に
音声データを録音できるようにすることも可能である。

【０１２１】ここで、本態様は、カメラにおいて入力ま
たは取得されるカメラ情報として音声データなどを撮影
シーンのメッセージ情報として用い、撮影シーンに関す
るメッセージ情報から撮影シーンを推定して、そのシー
ンに対応した画像処理を施すようにしたものである。こ
のメッセージ情報としては、例えば、音声録音機能を有
するデジタルカメラにおいて、撮影時に撮影者等によっ
て発せられた音声を記録した音声データが例示される。
すなわち、メッセージ情報は、必ずしもシーンそのもの
を示すものでなくともよく、美しい女性や花を見たとき
に思わず発する「わあきれい」という感動の言葉や、結
婚式での撮影の際に発する「おめでとう」というお祝い
の言葉等であってもよい。もちろん、被写体そのものを
示す固有名詞でもよい。音声録音機能を有するデジタル
カメラの場合、撮影者が言葉を発すれば、自動的に録音
され、撮影者が特に意識していなくてもメッセージ情報
が音声データとして入力される。

【０１２２】さらに、メッセージ情報は、音声データに
限定されるものではなく、撮影時等において、撮影者が
特に意識せず入力できるものであれば、文書データであ
ってもよい。例えば、撮影時に、ストロボ発光の有無や
撮影距離等から「室内」、「夜」、「風景」等のメッセ
ージを、撮影者が意識することなく自動的に、フィルム
の各コマ毎に記録されるようにしたものであってもよ
い。また、新写真システムに対応するカメラに録音機能
を持たせる場合には、撮影時に、この磁気記録媒体に磁
気情報として音声データを記録して、プリント作成時等
に磁気情報を読み取ることで音声データを読み取って、
画像処理装置１５に供給すればよい。

【０１２３】以下詳述するが、本実施形態においては、
音声データの付随する画像を供給された場合に、その音
声データであるメッセージ情報から、そのコマの撮影シ
ーンを推定し、そのシーンに応じた画像処理をそのコマ
に対して施すようにする。

【０１２４】デジタルカメラやデジタルビデオカメラや
画像記録媒体や通信ネットワーク等の画像供給源Ｒから
供給された画像に音声データが付随している場合には、
入力データ変換部７８は、前述のように画像信号をＬｏ
ｇ変換器３９に送ると共に、付随する音声データを音声
データ処理部８０に供給する。一方、新写真システムの
磁気記録媒体に記録され、スキャナ１２（キャリア）に
よって読み取られた磁気情報は、音声データ処理部８０
にも供給され、音声データ処理部８０は、磁気情報から
音声データを抽出する。

【０１２５】各コマに付随する音声データ（メッセージ
情報）を得た音声データ処理部８０は、この音声データ
の内容を認識して、各コマの撮影シーンを判別（推定）
し、その推定したシーンに関する情報を条件設定部４８
に送る。なお、入力データ変換部７８は、供給された画
像が、デジタルビデオカメラ等で撮影された動画である
場合には、画像（画像データ）を一連の音声毎または一
定区間毎に区切り、その音声出力中の代表的な複数コマ
の画像データと音声データとを対応付けて、Ｌｏｇ変換
器３９および音声データ処理部８０に送る。

【０１２６】プレスキャンメモリ４０に記憶されたプレ
スキャンデータは、画像データ処理部５０（以下、処理
部５０とする。）と画像データ変換部５２とを有するプ
レスキャン処理部４４に、他方、ファインスキャンメモ
リ４２に記憶されたファインスキャンデータは、画像デ
ータ処理部５４（以下、処理部５４とする。）と画像デ
ータ変換部５８とを有するファインスキャン処理部４６
に読み出され、処理される。

【０１２７】プレスキャン処理部４４の処理部５０と、
ファインスキャン処理部４６の処理部５４は、後述する
条件設定部４８が設定した処理条件に応じて、スキャナ
１２によって読み取られた画像（画像データ）に、所定
の画像処理を施す部位で、両者は、解像度が異なる以外
は、基本的に、同じ処理を行う。両処理部による画像処
理には特に限定はなく、公知の各種の画像処理が例示さ
れるが、例えば、ＬＵＴ（ルックアップテーブル）を用
いたグレイバランス調整、階調補正および濃度（明る
さ）調整、マトリクス（ＭＴＸ）による撮影光源種補正
や画像の彩度調整（色調整）、その他ローパスフィル
タ、加算器、ＬＵＴ、ＭＴＸ等を用いた、また、これら
を適宜組み合わせた平均化処理や補間演算等を用いた、
電子変倍処理、覆い焼き処理（濃度ダイナミックレンジ
の圧縮／伸長）、シャープネス（鮮鋭化）処理等が例示
される。これらの各画像処理条件は、条件設定部４８に
おいてプレスキャンデータを用いて設定される。

【０１２８】画像データ変換部５８は、処理部５４によ
って処理された画像データ（主プリントの画像データ）
を、例えば３Ｄ（三次元）ＬＵＴ等を用いて変換して、
プリンタ１６による画像記録に対応する画像データとし
てプリンタ１６に供給する。画像データ変換部５２は、
プレスキャン処理部４４の処理部５０によって処理され
た画像データを、必要に応じて間引いて、同様に３Ｄ−
ＬＵＴ等を用いて変換して、モニタ２０による表示に対
応する画像データとしてモニタ２０に供給する。ここで
の処理条件は、プレスキャンデータを用いて条件設定部
４８で設定される。

【０１２９】条件設定部４８は、ファインスキャンの読
取条件や、プレスキャン処理部４４およびファインスキ
ャン処理部４６における各種の処理条件を設定する。こ
の条件設定部４８は、セットアップ部７２、キー補正部
７４およびパラメータ統合部７６を有する。

【０１３０】セットアップ部７２は、プレスキャンデー
タから、濃度ヒストグラムの作成や、平均濃度、ハイラ
イト、シャドー等の画像特徴量の算出等を行い、ファイ
ンスキャンの読取条件を決定し、また、濃度ヒストグラ
ムや画像特徴量に加え、オペレータによる指示等に応じ
て、グレイバランス調整、階調補正および濃度調整を行
うＬＵＴの作成、ＭＴＸ演算式の作成、鮮鋭度補正係数
の算出等、プレスキャン処理部４４およびファインスキ
ャン処理部４６における各種の画像処理条件を設定し、
パラメータ統合部７６に供給する。

【０１３１】キー補正部７４は、キーボード１８ａに設
定された濃度（明るさ）、色、コントラスト、シャープ
ネス、彩度等を補正するキーやマウス１８ｂで入力され
た各種の指示等に応じて、画像の補正量を算出し、パラ
メータ統合部７６に供給するものである。パラメータ統
合部７６は、セットアップ部７２が設定した画像処理条
件を受け取り、プレスキャン処理部４４およびファイン
スキャン処理部４６の所定部位に設定し、さらに、キー
補正部７４で算出された補正量に応じて、プレスキャン
処理部４４およびファインスキャン処理部４６におい
て、画像処理条件の補正（調整）、画像処理条件の再設
定、補正を行うための画像処理条件の設定等を行う。

【０１３２】ここで、本発明に係る画像処理方法を利用
するフォトプリンタ１１においては、そのコマ（画像）
にシーンに関するメッセージ情報が付随されたものであ
る場合には、前述の処理部５４（５０）における画像処
理条件は、メッセージ情報に応じて、そのシーンの画像
が適正に仕上がるように設定される。このメッセージ情
報から推定されるシーンに対応した画像処理条件の設定
は、例えば、図６に示すように、セットアップ部７２中
に、シーンに応じた画像処理条件の情報を記憶している
処理情報記憶部７０を設けておき、そこからそのシーン
に応じた画像処理条件の情報を読み出して、これを用い
て画像処理条件を設定するようにしてもよい。

【０１３３】メッセージ情報から得られるシーンに応じ
た画像処理条件には、特に限定はなく、各種のシーンに
応じて、出力されたプリントに再生された画像が好適に
仕上がるように、適宜設定すればよい。また、前述した
ように、メッセージ情報からの撮影シーンの推定は、音
声データ処理部８０において行われる。これは、例え
ば、各種の言葉とその言葉に対応するシーンとをラボで
データベースとして、持っておき、音声データ中の言葉
と対比させてシーンを推定すればよい。例えば、○○
山、とか○○が原等の言葉があり、また撮影距離（被写
体距離）が遠ければ、「風景」であるとし、具体的な花
の名前等があり、撮影距離が短ければ、「花」を撮影し
たものであるとし、また、着物、初詣、お年玉等のお正
月関連の言葉があり、撮影時期が正月付近であれば「正
月の晴れ着」を撮影したものであるとしたり、あるい
は、新郎新婦、おめでとう等の言葉があれば結婚式で、
室内での撮影であると推定する。また、具体的に人物の
名前が呼ばれている場合、人物を撮影したものと推定す
る。また、シーンの推定にあたり、メッセージ情報の他
に、カメラ撮影情報（撮影日時、時刻、撮影倍率、距
離、輝度等、あるいはＧＰＳによる位置情報等）や各種
画像特徴量（顔抽出結果も含む）等と組み合わせて、シ
ーンの推定を行うようにするとよりシーン推定の確度が
向上する。

【０１３４】画像処理条件としては、例えば、メッセー
ジ情報から人物を撮影したものと推定された場合には、
セットアップ部７２は、顔抽出を行って人物の顔を抽出
し、特に、顔領域の肌色が美しく仕上がるように、各種
の画像処理条件を設定する。一般に、固有名詞がある場
合には、主要被写体抽出を行うようにする。ここで、顔
領域の抽出方法には、特に限定はなく、公知の顔抽出ア
ルゴリズムを用いることができる。また、「正月の晴れ
着」のシーンとされていれば、顔抽出した後、顔の下の
胴体部分の着物の鮮やかさを強調するようにする。ま
た、シーンが「花」とされている場合には、やはり鮮や
かさを強調する。また、シーンが「結婚式」とされてい
る場合には、撮影距離から室内と推定される場合は、異
種光源処理を強めて、ストロボ光が反射する金屏風対策
とし、顔の誤抽出を防ぐことが可能となる。また、人物
に対する処理条件は、上記と同様である。

【０１３５】また、その他、例えばシーンが「風景」と
された場合には、光源種補正を行わず、かつ緑や空が美
しく仕上がるように、グレーバランス補正テーブルや彩
度補正のＭＴＸ演算式等を設定する。また、シーンが
「夜景」や「花火」とされた場合には、コントラストの
高い明暗を強調した画像となるように、階調補正テーブ
ル等を設定する。さらに、シーンが「室内」とされた場
合は上記結婚式の場合と同様に、光源種補正を強めに掛
けるようにし、彩度補正のＭＴＸ演算式等を設定する。

【０１３６】なお、シーンの推定において、上述したよ
うにシーンを完全に分類（モード化）してしまうのでは
なく、各シーンらしさを点数化して、各シーン毎の処理
の強弱を調整するようにしてもよい。そのためには、ラ
ボのデータベースにおいて、メッセージ情報に含まれる
単語につき、シーンの分類において各シーンに割り当て
られる点数を設定しておき、各コマ（画像）毎にそのメ
ッセージ情報中の言葉を、これらと照らし合わせてその
コマにシーン毎の点数を配分していけばよい。例えば、
あるコマのメッセージ情報中に「○○山」等の野山を連
想させる言葉があれば、風景モードに１０点、花モード
に２点、その他のモードは０点のように、そのコマに各
シーン毎の点数を配分する。そして、実際の画像処理条
件は、風景モードとしての処理に少し花モードとしての
処理を加味するようにする。

【０１３７】さらに例を挙げれば、「おめでとう」とい
う言葉があれば、結婚式モードに１０点、（この場合、
お正月あるいは成人式等も考えられるため）着物モード
に５点、室内モードに２点その他のモードは０点とす
る。また、「きれい」という言葉があれば、花モードに
１０点、女性モードに５点、着物モードに５点、花火モ
ードに２点等とする。また、花の固有名詞があれば、花
モードに２０点とする。この場合、花の固有名詞が女性
の名前と同じという場合も多々あると考えられるが、花
モードも鮮やかさを強調するような画像処理条件を設定
するため特に問題はない。また、「○○さん」のように
人物の名前があれば、人物モードに２０点とし、さらに
それが女性名であれば、女性モードに１０点のようにす
る。なお、これらの点数化において、各モード毎に、カ
メラ情報やシーン濃度分布等の画像特徴量、顔抽出結果
等を用いて、これらと組合せて点数化するようにしても
よい。また、メッセージ情報の認識技術がさらに高度に
なれば、単語だけでなくそのメッセージの文脈からシー
ンを推定することで、よりシーン推定の確度が高まるた
め、特定のシーンのモードへの点数の配点を集中させる
ようにしてもよい。

【０１３８】ところで、新写真システムで同時プリント
を依頼すると、フィルムＦに撮影された全コマの画像を
１枚のプリントに再生したインデックスプリントが添付
される。また、通常の１３５フィルムでも、サービスと
して同様のインデックスプリントを添付するラボ店もあ
る。本発明の画像処理方法において、各コマに付与され
たメッセージ情報を用いて、インデックスプリントを編
集するようにしてもよい。すなわち、本発明の画像処理
方法によるシーン分類を用いて、撮影画像を撮影者の任
意に分類することができ、プリントを整理する便を向上
することができる。また、このようなシーン分類を用い
て撮影画像を編集したり、グループ化したりすること
は、画像データをフロッピーディスク等の磁気記録媒
体、ＭＯディスク等の光磁気記録媒体、ＣＤ−ＲＯＭ等
の光記録媒体等の各種の記録媒体に出力する際やインタ
ーネットなどの通信ネットワークを介して配信する際に
も、極めて有効である。

【０１３９】以上詳細に説明したように、本実施形態に
よれば、撮影画像に付随されたメッセージ情報、特に音
声データを認識することにより撮影シーンを推定でき、
そのシーンに応じた画像処理を施すことができ、画質を
向上させることができる。また、このとき、音声データ
は、例えば録音機能付きデジタルカメラ等により、撮影
時に撮影者等が自然に発した言葉が自動的にメッセージ
情報として記録されるため、撮影者は、メッセージ情報
の記録についてまったく意識している必要はなく、撮影
者に画質向上を意識させることなく、画像に付随された
メッセージ情報を用いて画質の向上を達成することがで
きる。さらに、デジタルビデオカメラ、音声記録機能付
きデジタルカメラ、文字メッセージ記録機能付きデジタ
ルカメラまたは撮影後のパソコンを利用したコメントデ
ータの追加等も可能であり、これらの画像付属情報を利
用して、画質を向上させることができる。

【０１４０】なお、上記本実施形態では、メッセージ情
報を用いて、そのシーンに応じた画像処理を、そのコマ
に施すようにしていたが、さらに前記音声データ処理部
８０は、各コマに付随する音声データを文字データに変
換して、その画像（コマ）に付随する文字データとし
て、プレスキャン処理部４４（処理部５０）およびファ
インスキャン処理部４６（処理部５４）に送り、音声デ
ータを変換した文字を画像中に表示するようにしてもよ
い。このとき、文字数等に応じて書体や文字数を変更し
たり、代表的な単語を選択して再現してもよい。例え
ば、そのシーン中の人物の名前であるとか、風景の地名
あるいは山や建物の名前等を表示してもよい。

【０１４１】以上、本発明の第３の態様の画像処理方法
について詳細に説明したが、本発明は、以上の例には限
定されず、本発明の要旨を逸脱しない範囲において、各
種の改良や変更を行ってもよいのはもちろんである。

【０１４２】

【発明の効果】以上説明した通り、本発明の第１の態様
によれば、撮影シーンを推定し、被写体を特定すること
により、その後の処理をそのシーンに合わせて振り分け
ることにより再現プリントなどの再現画像の画質をより
向上させることができる。

【０１４３】また、本発明の第２の態様によれば、撮影
シーンのシミュレーション画像を作成し、作成されたシ
ミュレーション画像と撮影シーンの画像を比較すること
により、撮影画像のゴミや傷やノイズなどの修復、濃度
むらやボケの補正、不要物の除去を効率的に行うことが
でき、画像修復処理を効率化するとともに画像修復の精
度を向上させることができ、再現プリントなどの再現画
像の画質の向上を図ることができる。また、本態様によ
れば、画像修復処理を完全自動化または半自動化、例え
ば、主要被写体をモニタに表示し、オペレ−タの判断に
任せる半自動化するにより、画像修復の能率を向上させ
ることができる。

【０１４４】以上詳述したように、本発明の第３の態様
によれば、撮影者に、画質向上を意識させることなく、
画像に付随されたメッセージ情報を用いて、画質の向上
を達成することができる。

【図面の簡単な説明】

【図１】 本発明の画像処理方法を実行する本発明の画
像処理装置を適用するデジタルフォトプリンタの一実施
例のブロック図である。

【図２】 図１のデジタルフォトプリンタに用いられる
本発明の画像処理装置の一実施例の構成を示すブロック
図である。

【図３】 図２の画像処理装置によって実施される本発
明の画像処理方法における画像情報取得から撮影シーン
に応じた階調制御までの流れの一例を示すフローチャー
トである。

【図４】 図２の画像処理装置に用いられる撮影画像判
定部の撮影シーン推定部の一実施例の構成を示すブロッ
ク図である。

【図５】 図４の撮影シーン推定部を用いる画像処理装
置によって実施される本発明の画像処理方法における画
像情報取得から撮影シーン中の不要または不良エリアの
修復処理までの流れの一例を示すフローチャートであ
る。

【図６】 本発明の画像処理装置の別の実施例を含むデ
ジタルフォトプリンタの別の実施例のブロック図であ
る。

【符号の説明】

１０ （デジタル）フォトプリンタ １２ スキャナ １４ 画像処理装置 １６ プリンタ １８ 操作系 １８ａ キーボード １８ｂ マウス ２０ モニタ ２２ 光源 ２４ 可変絞り ２５ 画像記録媒体 ２６ ドライブ装置 ２７ スロット ２８ 拡散ボックス ２９ マスク ３０ キャリア ３１ 磁気読取書込装置 ３２ 結像レンズユニット ３３ フィルムカートリッジ ３４ ＣＣＤセンサ ３６ アンプ ３７ Ａ／Ｄ（アナログ／デジタル）変換器 ３８ データ処理部 ４０ プレスキャン（フレーム）メモリ ４２ ファインスキャン（フレーム）メモリ ４４ プレスキャン画像処理部 ４６ ファインスキャン画像処理部 ４８ 条件設定部 ５０，５４ （画像）処理部 ５２，５８ 画像データ変換部 ６２ 撮影画像判定部 ６２ａ カメラ情報取得部 ６２ｂ 関連情報選択部 ６２ｃ 撮影シーン推定部 ６２ｄ データベース部 ６３ａ 作成部 ６３ｂ 比較部 ６３ｃ 検出部 ６６ カメラ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/387 Ｈ０４Ｎ 5/232 Ｚ 5/232 5/243 5/243 5/253 5/253 9/04 Ｂ 9/04 9/64 Ｒ 9/64 9/73 Ａ 9/73 5/91 Ｊ 9/79 9/79 Ｈ

Claims (33)

【特許請求の範囲】
1. 【請求項１】カメラにおいて撮影された被写体の撮影シ
   ーンのデジタル画像データを取得するとともに、前記被
   写体の撮影時に前記カメラにおいて取得または入力され
   た前記撮影シーンのカメラ情報を取得し、 または、前記カメラ情報に加えて、取得された撮影シー
   ンの前記デジタル画像データおよび前記カメラ情報の少
   なくとも一方に基づいて、この撮影シーンに関連する関
   連情報を取り込み、 前記撮影シーンの前記カメラ情報および前記関連情報の
   少なくとも一方、またはこの少なくとも一方と撮影シー
   ンの前記デジタル画像データとの組み合せにより、前記
   撮影シーンの推定を行い、 推定された前記撮影シーンに応じた所定の画像処理を前
   記デジタル画像データに対して行うことを特徴とする画
   像処理方法。
2. 【請求項２】前記撮影シーンのカメラ情報は、前記カメ
   ラにおいて取得される撮影情報および撮影位置情報であ
   り、 前記関連情報は、前記カメラ情報に関連する付加情報で
   あり、 前記撮影シーンの推定は、前記カメラ情報と前記付加情
   報とから、前記撮影シーン中の前記被写体の特定または
   撮影時の状況の推定を行うことであり、 前記所定の画像処理は、この特定された被写体またはこ
   の推定された状況に応じた画像処理である請求項１に記
   載の画像処理方法。
3. 【請求項３】前記付加情報は、地図情報を含む請求項２
   に記載の画像処理方法。
4. 【請求項４】前記撮影情報は、撮影日時の情報を含むと
   ともに、前記付加情報は、天候情報を含み、前記カメラ
   情報中の撮影日時の情報および撮影位置情報と、前記付
   加情報中の天候情報とから、撮影時における撮影地の天
   候を特定することにより、撮影シーンの状況を推定する
   請求項２または３に記載の画像処理方法。
5. 【請求項５】前記撮影情報は、撮影日時の情報を含むと
   ともに、前記付加情報はイベント情報を含み、前記カメ
   ラ情報中の撮影日時の情報および撮影位置情報と、前記
   付加情報中のイベント情報とから、撮影時における撮影
   地のイベントを特定することにより、撮影シーンの状況
   を推定する請求項２〜４のいずれかに記載の画像処理方
   法。
6. 【請求項６】前記所定の画像処理として、前記撮影され
   た１コマの画像の画面全体または前記特定の被写体領域
   に限定した、濃度または色の階調制御、幾何歪み補正、
   強調または平滑化処理のいずれか１つ以上を実行する請
   求項２〜５のいずれかに記載の画像処理方法。
7. 【請求項７】前記撮影シーンのカメラ情報は、前記カメ
   ラにおいて取得された撮影位置情報または撮影方位情報
   および撮影倍率情報の少なくとも１つであり、 前記関連情報は、前記カメラ情報に関連する地図情報ま
   たは蓄積画像であり、 前記撮影シーンの推定は、前記カメラ情報と前記地図情
   報または前記蓄積画像とを用いて、前記撮影シーンのシ
   ミュレーション画像を作成し、作成されたシミュレーシ
   ョン画像と前記撮影シーンの撮影画像とを比較し、前記
   撮影シーン中の不良または不要領域を検出することであ
   り、 前記所定の画像処理は、前記撮影シーン中の前記不良ま
   たは不要領域に行う修復処理である請求項１に記載の画
   像処理方法。
8. 【請求項８】前記不良または不要領域の検出は、前記シ
   ミュレーション画像と前記撮影画像とを比較した結果、
   前記シミュレーション画像と合致しない前記撮影画像中
   に存在する線または点を判定することであり、 前記修復処理は、判定された線または点を前記シミュレ
   ーション画像の当該画素または前記撮影画像内の当該画
   素または周辺画素を用いて修復して消去することである
   請求項７に記載の画像処理方法。
9. 【請求項９】前記シミュレーション画像と前記撮影画像
   との比較は、前記シミュレーション画像と前記撮影画像
   との間で、前記撮影シーンの画面内の所定領域の濃度ま
   たは色の分布、あるいは鮮鋭度の分布について比較を行
   うことであり、 前記不良または不要領域の検出は、前記所定領域におい
   て前記濃度または色の分布、あるいは前記鮮鋭度の分布
   に、ずれを検出することであり、 前記修復処理は、前記所定領域について、むら補正また
   はボケ補正を行うことである請求項７または８に記載の
   画像処理方法。
10. 【請求項１０】前記シミュレーション画像と前記撮影画
    像との比較は、前記撮影シーンの画面内の全体を複数の
    小領域に分割し、前記シミュレーション画像と前記撮影
    画像との間で、前記複数の小領域別に濃度または色の分
    布、あるいは鮮鋭度の分布について比較を行うことであ
    り、 前記不良または不要領域の検出は、前記複数の小領域の
    中から、前記濃度または色の分布、あるいは前記鮮鋭度
    の分布に、ずれのある小領域を検出することであり、 前記修復処理は、前記ずれのある小領域について、むら
    補正またはぼけ補正を行うことである請求項７または８
    に記載の画像処理方法。
11. 【請求項１１】前記不良または不要領域の検出は、前記
    シミュレーション画像において特定の構造物の領域を導
    出することであり、 前記シミュレーション画像と前記撮影画像との比較は、
    前記シミュレーション画像において導出された前記特定
    の構造物の領域と同じ領域を前記撮影画像に設定するこ
    とであり、 前記修復処理は、前記撮影画像に設定された同じ領域か
    ら前記特定の構造物を除去する処理を行うことである請
    求項７または８に記載の画像処理方法。
12. 【請求項１２】前記撮影シーンのカメラ情報は、前記カ
    メラにおいて取得または入力され、前記撮影シーンの前
    記デジタル画像データに付与される前記撮影シーンに関
    連するメッセージ情報であり、 前記撮影シーンの推定は、前記メッセージ情報の内容か
    ら撮影シーンを推定することであり、 前記所定の画像処理は、この推定された撮影シーンに応
    じて設定された画像処理条件による画像処理である請求
    項１に記載の画像処理方法。
13. 【請求項１３】前記メッセージ情報は、音声入力情報お
    よび文書入力情報の少なくとも一方である請求項１２に
    記載の画像処理方法。
14. 【請求項１４】前記メッセージ情報に、撮影時のカメラ
    撮影情報、画像特徴量または主要被写体情報のいずれか
    を組み合わせて撮影シーンの推定を行う請求項１２また
    は１３に記載の画像処理方法。
15. 【請求項１５】前記所定の画像処理を前記デジタル画像
    データに対して行って得られた処理画像データを、プリ
    ントを作成するプリンタに出力するためのプリント出力
    用画像データ、画像データ記録媒体への記録再生に利用
    する媒体出力用画像データおよび通信手段を介しての通
    信に利用する通信用画像データの少なくとも１つに変換
    して出力する請求項１〜１４のいずれかに記載の画像処
    理方法。
16. 【請求項１６】前記カメラ情報および前記関連情報から
    推定される被写体によって、データベースから被写体関
    連情報を導出し、この被写体関連情報を前記プリントの
    作成時の合成付加情報、前記画像データ記録媒体での再
    生時の再生付加情報および前記通信手段を介して受信後
    の再生時の再生付加情報の少なくとも一つとする請求項
    １５に記載の画像処理方法。
17. 【請求項１７】被写体を撮影して撮影シーンの撮影画像
    を得るとともに、前記被写体の撮影時に前記撮影シーン
    のカメラ情報を取得または入力することができるカメラ
    において撮影された前記撮影画像のデジタル画像データ
    を取得する画像データ取得手段と、 前記カメラにおいて取得された前記撮影シーンの前記カ
    メラ情報を取得するカメラ情報取得手段と、 前記撮影シーンの前記カメラ情報、またはこのカメラ情
    報と前記撮影シーンの前記デジタル画像データとの組み
    合せにより、前記撮影シーンの推定を行う推定手段と、 推定された前記撮影シーンに応じた所定の画像処理を前
    記デジタル画像データに対して行う画像処理手段とを有
    することを特徴とする画像処理装置。
18. 【請求項１８】請求項１７に記載の画像処理装置であっ
    て、 さらに、前記撮影シーンの前記デジタル画像データおよ
    び前記カメラ情報に関連する関連情報が格納されている
    データベースと、 前記撮影シーンの前記デジタル画像データおよび前記カ
    メラ情報の少なくとも一方に基づいて、前記カメラにお
    いて取得された、もしくは前記データベースに格納され
    ている、前記撮影シーンに関連する前記関連情報を取り
    込む取込手段とを有し、 前記推定手段は、前記撮影シーンの前記関連情報によ
    り、またはこの関連情報と前記撮影シーンの前記デジタ
    ル画像データおよび前記カメラ情報の少なくとも一方と
    の組み合せにより、前記撮影シーンの推定を行うことを
    特徴とする画像処理装置。
19. 【請求項１９】前記カメラ情報取得手段は、前記撮影シ
    ーンのカメラ情報として、前記カメラから撮影情報およ
    び撮影位置情報を取得し、 前記取込手段は、前記関連情報として、前記カメラ情報
    に関連する付加情報を取得し、 前記推定手段は、前記カメラ情報と前記付加情報とか
    ら、前記撮影シーン中の前記被写体の特定または撮影時
    の状況の推定を行い、 前記画像処理手段は、前記所定の画像処理として、特定
    された被写体または推定された状況に応じた画像処理を
    行う請求項１８に記載の画像処理装置。
20. 【請求項２０】前記付加情報は、地図情報を含む請求項
    １９に記載の画像処理装置。
21. 【請求項２１】前記撮影情報は、撮影日時の情報を含む
    とともに、前記付加情報は、天候情報を含み、 前記推定手段は、前記カメラ情報中の撮影日時の情報お
    よび撮影位置情報と、前記付加情報中の天候情報とか
    ら、撮影時における撮影地の天候を特定することによ
    り、前記撮影シーンの状況を推定する請求項１９または
    ２０に記載の画像処理装置。
22. 【請求項２２】前記撮影情報は、撮影日時の情報を含む
    とともに、前記付加情報はイベント情報を含み、 前記推定手段は、前記カメラ情報中の撮影日時の情報お
    よび撮影位置情報と、前記付加情報中のイベント情報と
    から、撮影時における撮影地のイベントを特定すること
    により、前記撮影シーンの状況を推定する請求項１９〜
    ２１のいずれかに記載の画像処理装置。
23. 【請求項２３】前記画像処理手段は、前記所定の画像処
    理として、前記撮影された１コマの画像の画面全体また
    は前記特定の被写体領域に限定した、濃度または色の階
    調制御、幾何歪み補正、強調または平滑化処理のいずれ
    か１つ以上を実行する請求項１９〜２２のいずれかに記
    載の画像処理装置。
24. 【請求項２４】前記カメラ情報取得手段は、前記撮影シ
    ーンのカメラ情報として、前記カメラから撮影位置情報
    または撮影方位情報および撮影倍率情報の少なくとも１
    つを取得し、 前記取込手段は、前記関連情報として、前記カメラ情報
    に関連する地図情報または蓄積画像を取得し、 前記推定手段は、前記カメラ情報と前記地図情報または
    前記蓄積画像とを用いて、前記撮影シーンのシミュレー
    ション画像を作成する作成手段と、この作成手段によっ
    て作成された前記シミュレーション画像と前記撮影シー
    ンの撮影画像とを比較する比較手段と、前記撮影シーン
    中の不良または不要領域を検出する手段とを有し、 前記画像処理手段は、前記所定の画像処理として、前記
    撮影シーン中の前記不良または不要領域に修復処理を行
    う修復処理手段である請求項１８に記載の画像処理装
    置。
25. 【請求項２５】前記検出手段は、前記シミュレーション
    画像と前記撮影画像とを比較した結果、前記シミュレー
    ション画像と合致しない前記撮影画像中に存在する線ま
    たは点を判定し、 前記修復処理手段は、判定された線または点を前記シミ
    ュレーション画像の当該画素または前記撮影画像内の当
    該画素または周辺画素を用いて修復して消去する請求項
    ２４に記載の画像処理装置。
26. 【請求項２６】前記比較手段は、前記シミュレーション
    画像と前記撮影画像との間で、前記撮影シーンの画面内
    の所定領域の濃度または色の分布、あるいは鮮鋭度の分
    布について比較を行い、 前記検出手段は、前記所定領域において前記濃度または
    色の分布、あるいは前記鮮鋭度の分布に、ずれを検出
    し、 前記修復処理手段は、前記所定領域について、むら補正
    またはボケ補正を行う請求項２４または２５に記載の画
    像処理装置。
27. 【請求項２７】前記比較手段は、前記撮影シーンの画面
    内の全体を複数の小領域に分割し、前記シミュレーショ
    ン画像と前記撮影画像との間で、前記複数の小領域別に
    濃度または色の分布、あるいは鮮鋭度の分布について比
    較を行い、 前記検出手段は、前記複数の小領域の中から、前記濃度
    または色の分布、あるいは前記鮮鋭度の分布に、ずれの
    ある小領域を検出し、 前記修復処理手段は、前記ずれのある小領域について、
    むら補正またはぼけ補正を行う請求項２４または２５に
    記載の画像処理装置。
28. 【請求項２８】前記検出手段は、前記シミュレーション
    画像において特定の構造物の領域を導出し、 前記比較手段は、前記シミュレーション画像において導
    出された前記特定の構造物の領域と同じ領域を前記撮影
    画像に設定し、 前記修復処理手段は、前記撮影画像に設定された同じ領
    域から前記特定の構造物を除去する処理を行う請求項２
    ４または２５に記載の画像処理装置。
29. 【請求項２９】前記カメラ情報取得手段は、前記撮影シ
    ーンのカメラ情報として、前記カメラにおいて取得また
    は入力され、前記撮影シーンの前記デジタル画像データ
    に付与される前記撮影シーンに関連するメッセージ情報
    を取得し、 前記推定手段は、前記メッセージ情報の内容から撮影シ
    ーンを推定し、 前記画像処理手段は、前記所定の画像処理として、この
    推定された撮影シーンに応じて設定された画像処理条件
    による画像処理を行う請求項１７に記載の画像処理装
    置。
30. 【請求項３０】前記メッセージ情報は、音声入力情報お
    よび文書入力情報の少なくとも一方である請求項２９に
    記載の画像処理装置。
31. 【請求項３１】前記推定手段は、前記メッセージ情報
    に、撮影時のカメラ撮影情報、画像特徴量または主要被
    写体情報のいずれかを組み合わせて撮影シーンの推定を
    行う請求項２９または３０に記載の画像処理装置。
32. 【請求項３２】請求項１７〜３１のいずれかに記載の画
    像処理装置であって、 さらに、前記所定の画像処理を前記デジタル画像データ
    に対して行って得られた処理画像データを、プリントを
    作成するプリンタに出力するためのプリント出力用画像
    データ、画像データ記録媒体への記録再生に利用する媒
    体出力用画像データおよび通信手段を介しての通信に利
    用する通信用画像データの少なくとも１つに変換する変
    換手段を有することを特徴とする画像処理装置。
33. 【請求項３３】請求項３２に記載の画像処理装置であっ
    て、 前記推定手段によって、前記カメラ情報および前記関連
    情報から推定される被写体によって、前記取込手段によ
    って前記データベースから被写体関連情報を導出し、 さらに、前記変換手段によって変換された画像データに
    基づいて、取込手段によって導出された被写体関連情報
    を、前記プリントの作成時の合成付加情報、前記画像デ
    ータ記録媒体での再生時の再生付加情報および前記通信
    手段を介して受信後の再生時の再生付加情報の少なくと
    も一つとして付加する情報付加手段を有することを特徴
    とする画像処理装置。