JP2001238177A - 画像処理方法および装置 - Google Patents
画像処理方法および装置Info
- Publication number
- JP2001238177A JP2001238177A JP2000329178A JP2000329178A JP2001238177A JP 2001238177 A JP2001238177 A JP 2001238177A JP 2000329178 A JP2000329178 A JP 2000329178A JP 2000329178 A JP2000329178 A JP 2000329178A JP 2001238177 A JP2001238177 A JP 2001238177A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- image processing
- shooting
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Camera Data Copying Or Recording (AREA)
- Light Sources And Details Of Projection-Printing Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Projection-Type Copiers In General (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Of Color Television Signals (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】撮影シーンを推定し、推定された撮影シーンに
応じた画像処理、例えば、最適な階調制御、修復処理、
画質向上を効率的に行い、高画質な画像、例えば高画質
なプリントを得ることのできる画像処理方法および装置
を提供する。 【解決手段】カメラにおいて被写体の撮影シーンの画像
データを取得するとともに、被写体の撮影時に取得また
は入力されたカメラ情報を取得し、必要に応じてさら
に、この撮影シーンに関連する関連情報を取り込み、カ
メラ情報および関連情報の少なくとも一方、またはこれ
と画像データとの組み合せにより、撮影シーンの推定を
行い、推定された撮影シーンに応じた所定の画像処理を
行うことにより、上記課題を解決する。
応じた画像処理、例えば、最適な階調制御、修復処理、
画質向上を効率的に行い、高画質な画像、例えば高画質
なプリントを得ることのできる画像処理方法および装置
を提供する。 【解決手段】カメラにおいて被写体の撮影シーンの画像
データを取得するとともに、被写体の撮影時に取得また
は入力されたカメラ情報を取得し、必要に応じてさら
に、この撮影シーンに関連する関連情報を取り込み、カ
メラ情報および関連情報の少なくとも一方、またはこれ
と画像データとの組み合せにより、撮影シーンの推定を
行い、推定された撮影シーンに応じた所定の画像処理を
行うことにより、上記課題を解決する。
Description
【0001】
【発明の属する技術分野】本発明は、撮影日時等の撮影
情報や、撮影位置情報や、撮影方位情報や、撮影倍率情
報や、もしくはメッセージ情報などのカメラ情報を利用
した画像処理方法および装置に関する。また、本発明
は、フィルムの画像を光電的に読み取り、またはデジタ
ル画像を直接受信し、この画像が再現された(写真)プ
リントや再現画像データが記録された画像データ記録媒
体(以下、単に画像記録媒体という)を得、またネット
配信などを行うデジタルフォトプリンタ等に利用される
画像処理方法および装置に関する。
情報や、撮影位置情報や、撮影方位情報や、撮影倍率情
報や、もしくはメッセージ情報などのカメラ情報を利用
した画像処理方法および装置に関する。また、本発明
は、フィルムの画像を光電的に読み取り、またはデジタ
ル画像を直接受信し、この画像が再現された(写真)プ
リントや再現画像データが記録された画像データ記録媒
体(以下、単に画像記録媒体という)を得、またネット
配信などを行うデジタルフォトプリンタ等に利用される
画像処理方法および装置に関する。
【0002】
【従来の技術】近年、撮影の際に、様々な撮影情報を写
真フィルムに記録するようにしたカメラや、人工衛星か
らの信号に基づいて現在位置を判定するグローバルポジ
ショニングシステム(GPS)機能を有し、写真を撮影
する際に、日時や場所も一緒に記録するGPS内蔵カメ
ラが開発されている。
真フィルムに記録するようにしたカメラや、人工衛星か
らの信号に基づいて現在位置を判定するグローバルポジ
ショニングシステム(GPS)機能を有し、写真を撮影
する際に、日時や場所も一緒に記録するGPS内蔵カメ
ラが開発されている。
【0003】これらの各種撮影情報を記録するカメラを
用いることにより、各種撮影情報を活用して、カメラの
機能と感光材料の性能を十分に発揮させた高品質のプリ
ントが得られるようになる。例えば、特開平9−372
03号公報には、GPS機能に基づき、撮影した画面に
撮影場所等を一緒に表示する他に、撮影場所、撮影方
向、その他の撮影情報などを組み合わせて用いることに
より、被写体主題や、撮影の際の太陽光の位置等を特定
し、この太陽位置情報と撮影輝度情報とから太陽光に対
する逆光撮影か否かなどを判定して、撮影した画像の濃
度、色バランス補正を行うようにすることが開示されて
いる。
用いることにより、各種撮影情報を活用して、カメラの
機能と感光材料の性能を十分に発揮させた高品質のプリ
ントが得られるようになる。例えば、特開平9−372
03号公報には、GPS機能に基づき、撮影した画面に
撮影場所等を一緒に表示する他に、撮影場所、撮影方
向、その他の撮影情報などを組み合わせて用いることに
より、被写体主題や、撮影の際の太陽光の位置等を特定
し、この太陽位置情報と撮影輝度情報とから太陽光に対
する逆光撮影か否かなどを判定して、撮影した画像の濃
度、色バランス補正を行うようにすることが開示されて
いる。
【0004】また、特開平8−36226号公報には、
撮影画像を、撮影日時、撮影場所、ストロボ使用有無、
露出量、焼き付けサイズの情報によってグループ分けを
し、各グループ毎に焼き付け条件を設定するようにする
ことが開示されている。例えば、撮影日時を所定の条件
に照らして区分してグループを形成し、この撮影日時が
同一とされたグループに対し、それに応じた露光制御を
したり、GPSシステムによって得られた撮影場所情報
によりグループを形成し、撮影場所が同一地点とされた
グループに対し、それに応じた階調制御、露光制御を行
うものである。
撮影画像を、撮影日時、撮影場所、ストロボ使用有無、
露出量、焼き付けサイズの情報によってグループ分けを
し、各グループ毎に焼き付け条件を設定するようにする
ことが開示されている。例えば、撮影日時を所定の条件
に照らして区分してグループを形成し、この撮影日時が
同一とされたグループに対し、それに応じた露光制御を
したり、GPSシステムによって得られた撮影場所情報
によりグループを形成し、撮影場所が同一地点とされた
グループに対し、それに応じた階調制御、露光制御を行
うものである。
【0005】ところで、従来では、ネガフィルム、リバ
ーサルフィルム等の写真フィルム(以下、フィルムとす
る。)に撮影された画像の感光材料(印画紙)への焼き
付けは、フィルムの画像を感光材料に投影して感光材料
を面露光する、いわゆる直接露光(アナログ露光)が主
流である。これに対し、近年では、デジタル露光を利用
する焼付装置、すなわち、フィルムに記録された画像を
光電的に読み取って、読み取った画像をデジタル信号と
した後、種々の画像処理を施して記録用の画像データと
し、この画像データに応じて変調した記録光によって感
光材料を走査露光して画像(潜像)を記録し、(仕上が
り)プリントとするデジタルフォトプリンタが実用化さ
れている。
ーサルフィルム等の写真フィルム(以下、フィルムとす
る。)に撮影された画像の感光材料(印画紙)への焼き
付けは、フィルムの画像を感光材料に投影して感光材料
を面露光する、いわゆる直接露光(アナログ露光)が主
流である。これに対し、近年では、デジタル露光を利用
する焼付装置、すなわち、フィルムに記録された画像を
光電的に読み取って、読み取った画像をデジタル信号と
した後、種々の画像処理を施して記録用の画像データと
し、この画像データに応じて変調した記録光によって感
光材料を走査露光して画像(潜像)を記録し、(仕上が
り)プリントとするデジタルフォトプリンタが実用化さ
れている。
【0006】デジタルフォトプリンタでは、画像をデジ
タル画像データとして画像処理を行うことができるの
で、複数画像の合成や画像分割、さらには文字の合成等
も画像データ処理によって行うことができ、用途に応じ
て自由に編集/処理したプリントが出力可能である。し
かも、デジタルフォトプリンタでは、画像をプリント
(写真)として出力するのみならず、画像データをコン
ピュータ等に供給したり、フロッピーディスク等の記録
媒体に保存しておくこともできるので、画像データを、
写真以外の様々な用途に利用することができる。
タル画像データとして画像処理を行うことができるの
で、複数画像の合成や画像分割、さらには文字の合成等
も画像データ処理によって行うことができ、用途に応じ
て自由に編集/処理したプリントが出力可能である。し
かも、デジタルフォトプリンタでは、画像をプリント
(写真)として出力するのみならず、画像データをコン
ピュータ等に供給したり、フロッピーディスク等の記録
媒体に保存しておくこともできるので、画像データを、
写真以外の様々な用途に利用することができる。
【0007】前述のように、デジタルフォトプリンタで
は、フィルムの画像を光電的に読み取って、デジタルの
画像データ(濃度データ)とし、この画像データを解析
することによって、画像の状態を把握し、その画像に応
じた画像処理条件を設定している。そしてこの画像処理
条件に応じて画像データを処理することによって、焼き
付け時の露光条件の規定された出力用の画像データを得
る。そのため、逆光やストロボ撮影等に起因する画像の
飛びやツブレの補正、シャープネス(鮮鋭化)処理、カ
ラーフェリアあるいは濃度フェリアの補正等を好適に行
って、従来の直接露光では得られなかった高画質な画像
が再生された高品位なプリントを得ることができる。
は、フィルムの画像を光電的に読み取って、デジタルの
画像データ(濃度データ)とし、この画像データを解析
することによって、画像の状態を把握し、その画像に応
じた画像処理条件を設定している。そしてこの画像処理
条件に応じて画像データを処理することによって、焼き
付け時の露光条件の規定された出力用の画像データを得
る。そのため、逆光やストロボ撮影等に起因する画像の
飛びやツブレの補正、シャープネス(鮮鋭化)処理、カ
ラーフェリアあるいは濃度フェリアの補正等を好適に行
って、従来の直接露光では得られなかった高画質な画像
が再生された高品位なプリントを得ることができる。
【0008】ところが、フィルムに撮影される画像は、
決まったものではなく、人物、風景、花等、様々なシー
ンであるため、フィルムの画像を光電的に読み取って得
られた画像データを解析して画像処理条件を設定して
も、かならずしも、その画像に対して最適な画像処理条
件が得られない場合がある。これに対して、従来、画像
データの解析のみでなく、撮影シーンを表わす情報(シ
ーン情報)をも取り入れ、様々なシーンに応じた画像処
理条件を設定するようにしたものが提案されている。
決まったものではなく、人物、風景、花等、様々なシー
ンであるため、フィルムの画像を光電的に読み取って得
られた画像データを解析して画像処理条件を設定して
も、かならずしも、その画像に対して最適な画像処理条
件が得られない場合がある。これに対して、従来、画像
データの解析のみでなく、撮影シーンを表わす情報(シ
ーン情報)をも取り入れ、様々なシーンに応じた画像処
理条件を設定するようにしたものが提案されている。
【0009】例えば、特開平11−239269号公報
には、画像のコマ毎にシーン情報を付与しておき、前記
画像とともにシーン情報を取得して、プリント処理時に
シーン別に最適化された画像処理アルゴリズムを採用
し、このシーン情報に応じて、画像処理条件を設定する
ようにしたものが開示されている。なお、ここで、この
シーン情報は、例えば、人物、花、風景、夜景、室内、
花火、雪、夕日、静物等が例示され、撮影時に、撮影者
がカメラから指定して、フィルムの各コマの画像領域外
に磁気的もしくは光学的に記録することによって付与さ
れる。
には、画像のコマ毎にシーン情報を付与しておき、前記
画像とともにシーン情報を取得して、プリント処理時に
シーン別に最適化された画像処理アルゴリズムを採用
し、このシーン情報に応じて、画像処理条件を設定する
ようにしたものが開示されている。なお、ここで、この
シーン情報は、例えば、人物、花、風景、夜景、室内、
花火、雪、夕日、静物等が例示され、撮影時に、撮影者
がカメラから指定して、フィルムの各コマの画像領域外
に磁気的もしくは光学的に記録することによって付与さ
れる。
【0010】
【発明が解決しようとする課題】しかしながら、前記特
開平9−37203号公報に開示されたものでは、撮影
場所の表示はできるが、逆光以外のその他の濃度フェリ
ア、カラーフェリアに対する対策は行っておらず、必ず
しもその撮影シーンに応じた適正な画像再現ができない
という問題がある。また、前記特開平8−36226号
公報に開示されたものでは、撮影日時や撮影場所等様々
な撮影情報によって露光制御を行うようにしてはいる
が、被写体や撮影シーンそのものを推定して露光制御を
行っているのではないため、例えば、屋内か屋外か、あ
るいは被写体が人物か風景か、等によって露光制御を変
えることはできず、やはりその撮影シーンに応じた適正
な画像再現ができないという問題があった。
開平9−37203号公報に開示されたものでは、撮影
場所の表示はできるが、逆光以外のその他の濃度フェリ
ア、カラーフェリアに対する対策は行っておらず、必ず
しもその撮影シーンに応じた適正な画像再現ができない
という問題がある。また、前記特開平8−36226号
公報に開示されたものでは、撮影日時や撮影場所等様々
な撮影情報によって露光制御を行うようにしてはいる
が、被写体や撮影シーンそのものを推定して露光制御を
行っているのではないため、例えば、屋内か屋外か、あ
るいは被写体が人物か風景か、等によって露光制御を変
えることはできず、やはりその撮影シーンに応じた適正
な画像再現ができないという問題があった。
【0011】また、撮影シーンに応じた適正な階調制御
ができないため、具体的には、従来以下のような問題が
あった。すなわち、通常屋内における撮影では、照明光
により、再現プリントが緑がかるのを防止するためのカ
ラーフェリア対策を行っているが、屋外(例えば特に森
林地帯)での撮影に対してもこのカラーフェリア対策を
施してしまうと緑がうまく再現できないという問題があ
る。また、夜景を撮影した画像において、黒い部分が薄
くべたっとなってしまったり、雪景色を撮影した場合
に、白い雪がどんよりとした絵になってしまう等の問題
があった。
ができないため、具体的には、従来以下のような問題が
あった。すなわち、通常屋内における撮影では、照明光
により、再現プリントが緑がかるのを防止するためのカ
ラーフェリア対策を行っているが、屋外(例えば特に森
林地帯)での撮影に対してもこのカラーフェリア対策を
施してしまうと緑がうまく再現できないという問題があ
る。また、夜景を撮影した画像において、黒い部分が薄
くべたっとなってしまったり、雪景色を撮影した場合
に、白い雪がどんよりとした絵になってしまう等の問題
があった。
【0012】一方、可視光を用いてフィルム画像を読み
取る際に、可視光に加え、赤外線光を用いてフィルム画
像を読み取ることにより、ゴミや傷を検出して修正する
ことのできるフィルムスキャナ等が市販されている。し
かしながら、赤外線光を用いてフィルム画像を読み取る
ためには、赤外線光射出光源を始めとして、ハードウエ
アが増大するという問題があった。また、デジタル画像
データとして読み取られた画像をパーソナルコンピュー
タ(PC)などに取り込んで、そのモニタ等に表示し
て、モニタ表示された画像中の電線などの不要物をマニ
ュアルで除去するソフトウエア等も市販されている。し
かしながら、このような市販ソフトウエアによる電線消
し等の不要物除去は、PCのモニタ表示を見ながらマニ
ュアルで修正するものであるので、手間がかかり、面倒
であるという問題があった。
取る際に、可視光に加え、赤外線光を用いてフィルム画
像を読み取ることにより、ゴミや傷を検出して修正する
ことのできるフィルムスキャナ等が市販されている。し
かしながら、赤外線光を用いてフィルム画像を読み取る
ためには、赤外線光射出光源を始めとして、ハードウエ
アが増大するという問題があった。また、デジタル画像
データとして読み取られた画像をパーソナルコンピュー
タ(PC)などに取り込んで、そのモニタ等に表示し
て、モニタ表示された画像中の電線などの不要物をマニ
ュアルで除去するソフトウエア等も市販されている。し
かしながら、このような市販ソフトウエアによる電線消
し等の不要物除去は、PCのモニタ表示を見ながらマニ
ュアルで修正するものであるので、手間がかかり、面倒
であるという問題があった。
【0013】さらにまた、前記特開平11−23926
9号公報に開示されたものでは、撮影時に、撮影者がわ
ざわざシーン情報を入力しなければならず、面倒であ
り、撮影者の負担が大きく、また、入力されるシーン情
報も予めカメラに設定されているものから選ぶように限
定されているため、必ずしも全てのシーンに対応できな
いという問題があった。
9号公報に開示されたものでは、撮影時に、撮影者がわ
ざわざシーン情報を入力しなければならず、面倒であ
り、撮影者の負担が大きく、また、入力されるシーン情
報も予めカメラに設定されているものから選ぶように限
定されているため、必ずしも全てのシーンに対応できな
いという問題があった。
【0014】本発明は、前記従来技術の問題に鑑みてな
されたものであり、撮影シーンを推定し、該推定された
撮影シーンに応じて、最適な階調制御を行い、高画質な
プリントを得ることのできる画像処理方法および装置を
提供することを第1の課題とする。また、本発明は、前
記従来技術の問題に鑑みてなされたものであり、撮影シ
ーンのシミュレーション画像を作成し、作成されたシミ
ュレーション画像を用い、ゴミや傷やノイズなどの修
復、濃度むらやボケの補正、不要物の除去を効率的に行
うことができる画像処理方法および装置を提供すること
を第2の課題とする。
されたものであり、撮影シーンを推定し、該推定された
撮影シーンに応じて、最適な階調制御を行い、高画質な
プリントを得ることのできる画像処理方法および装置を
提供することを第1の課題とする。また、本発明は、前
記従来技術の問題に鑑みてなされたものであり、撮影シ
ーンのシミュレーション画像を作成し、作成されたシミ
ュレーション画像を用い、ゴミや傷やノイズなどの修
復、濃度むらやボケの補正、不要物の除去を効率的に行
うことができる画像処理方法および装置を提供すること
を第2の課題とする。
【0015】さらに、本発明は、前記従来技術の問題に
鑑みてなされたものであり、撮影者に画質向上について
意識させることなく、撮影シーンに関する画像への付加
情報を利用して高画質な画像を得ることのできる画像処
理方法および装置を提供することを第3の課題とする。
鑑みてなされたものであり、撮影者に画質向上について
意識させることなく、撮影シーンに関する画像への付加
情報を利用して高画質な画像を得ることのできる画像処
理方法および装置を提供することを第3の課題とする。
【0016】
【課題を解決するための手段】上記第1〜第3の課題を
解決するために、本発明は、カメラにおいて撮影された
被写体の撮影シーンのデジタル画像データを取得すると
ともに、前記被写体の撮影時に前記カメラにおいて取得
または入力された前記撮影シーンのカメラ情報を取得
し、または、前記カメラ情報に加えて、取得された撮影
シーンの前記デジタル画像データおよび前記カメラ情報
の少なくとも一方に基づいて、この撮影シーンに関連す
る関連情報を取り込み、前記撮影シーンの前記カメラ情
報および前記関連情報の少なくとも一方、またはこの少
なくとも一方と撮影シーンの前記デジタル画像データと
の組み合せにより、前記撮影シーンの推定を行い、推定
された前記撮影シーンに応じた所定の画像処理を前記デ
ジタル画像データに対して行うことを特徴とする画像処
理方法を提供するものである。
解決するために、本発明は、カメラにおいて撮影された
被写体の撮影シーンのデジタル画像データを取得すると
ともに、前記被写体の撮影時に前記カメラにおいて取得
または入力された前記撮影シーンのカメラ情報を取得
し、または、前記カメラ情報に加えて、取得された撮影
シーンの前記デジタル画像データおよび前記カメラ情報
の少なくとも一方に基づいて、この撮影シーンに関連す
る関連情報を取り込み、前記撮影シーンの前記カメラ情
報および前記関連情報の少なくとも一方、またはこの少
なくとも一方と撮影シーンの前記デジタル画像データと
の組み合せにより、前記撮影シーンの推定を行い、推定
された前記撮影シーンに応じた所定の画像処理を前記デ
ジタル画像データに対して行うことを特徴とする画像処
理方法を提供するものである。
【0017】ここで、上記第1の課題を解決するため
に、本発明の第1の態様の画像処理方法においては、前
記撮影シーンのカメラ情報は、前記カメラにおいて取得
される撮影情報および撮影位置情報であり、前記関連情
報は、前記カメラ情報に関連する付加情報であり、前記
撮影シーンの推定は、前記カメラ情報と前記付加情報と
から、前記撮影シーン中の前記被写体の特定または撮影
時の状況の推定を行うことであり、前記所定の画像処理
は、この特定された被写体またはこの推定された状況に
応じた画像処理であるのが好ましい。
に、本発明の第1の態様の画像処理方法においては、前
記撮影シーンのカメラ情報は、前記カメラにおいて取得
される撮影情報および撮影位置情報であり、前記関連情
報は、前記カメラ情報に関連する付加情報であり、前記
撮影シーンの推定は、前記カメラ情報と前記付加情報と
から、前記撮影シーン中の前記被写体の特定または撮影
時の状況の推定を行うことであり、前記所定の画像処理
は、この特定された被写体またはこの推定された状況に
応じた画像処理であるのが好ましい。
【0018】すなわち、本発明の第1の態様は、被写体
を撮影した撮影シーンのデジタル画像データを取得し、
取得されたデジタル画像データに所定の画像処理を施す
画像処理方法であって、前記被写体の撮影時にカメラに
おいて前記撮影シーンのカメラ情報として取得された撮
影情報および撮影位置情報を得、前記カメラ情報とこの
カメラ情報に関連する付加情報とから、前記撮影シーン
中の前記被写体の特定または撮影時の状況の推定を行
い、前記特定された被写体または前記推定された状況に
応じて前記所定の画像処理を前記取得されたデジタル画
像データに対して行うことを特徴とする画像処理方法を
提供するものである。
を撮影した撮影シーンのデジタル画像データを取得し、
取得されたデジタル画像データに所定の画像処理を施す
画像処理方法であって、前記被写体の撮影時にカメラに
おいて前記撮影シーンのカメラ情報として取得された撮
影情報および撮影位置情報を得、前記カメラ情報とこの
カメラ情報に関連する付加情報とから、前記撮影シーン
中の前記被写体の特定または撮影時の状況の推定を行
い、前記特定された被写体または前記推定された状況に
応じて前記所定の画像処理を前記取得されたデジタル画
像データに対して行うことを特徴とする画像処理方法を
提供するものである。
【0019】ここで、前記付加情報は、地図情報を含む
のが好ましい。また、前記撮影情報は、撮影日時の情報
を含むとともに、前記付加情報は天候情報を含み、前記
カメラ情報中の撮影日時の情報および撮影位置情報と、
前記付加情報中の天候情報とから、撮影時における撮影
地の天候を特定することにより、撮影シーンの状況を推
定するのが好ましい。
のが好ましい。また、前記撮影情報は、撮影日時の情報
を含むとともに、前記付加情報は天候情報を含み、前記
カメラ情報中の撮影日時の情報および撮影位置情報と、
前記付加情報中の天候情報とから、撮影時における撮影
地の天候を特定することにより、撮影シーンの状況を推
定するのが好ましい。
【0020】また、前記撮影情報は、撮影日時の情報を
含むとともに、前記付加情報はイベント情報を含み、前
記カメラ情報中の撮影日時の情報および撮影位置情報
と、前記付加情報中のイベント情報とから、撮影時にお
ける撮影地のイベントを特定することにより、撮影シー
ンの状況を推定するのが好ましい。
含むとともに、前記付加情報はイベント情報を含み、前
記カメラ情報中の撮影日時の情報および撮影位置情報
と、前記付加情報中のイベント情報とから、撮影時にお
ける撮影地のイベントを特定することにより、撮影シー
ンの状況を推定するのが好ましい。
【0021】さらに、前記所定の画像処理として、前記
撮影された1コマの画像の画面全体または前記特定の被
写体領域に限定した、濃度または色の階調制御、幾何歪
み補正、強調または平滑化処理のいずれか1つ以上を実
行するのが好ましい。
撮影された1コマの画像の画面全体または前記特定の被
写体領域に限定した、濃度または色の階調制御、幾何歪
み補正、強調または平滑化処理のいずれか1つ以上を実
行するのが好ましい。
【0022】また、上記第2の課題を解決するために、
本発明の第2の態様画像処理方法においては、前記撮影
シーンのカメラ情報は、前記カメラにおいて取得された
撮影位置情報または撮影方位情報および撮影倍率情報の
少なくとも1つであり、前記関連情報は、前記カメラ情
報に関連する地図情報または蓄積画像であり、前記撮影
シーンの推定は、前記カメラ情報と前記地図情報または
前記蓄積画像とを用いて、前記撮影シーンのシミュレー
ション画像を作成し、作成されたシミュレーション画像
と前記撮影シーンの撮影画像とを比較し、前記撮影シー
ン中の不良または不要領域を検出することであり、前記
所定の画像処理は、前記撮影シーン中の前記不良または
不要領域に行う修復処理であるのが好ましい。
本発明の第2の態様画像処理方法においては、前記撮影
シーンのカメラ情報は、前記カメラにおいて取得された
撮影位置情報または撮影方位情報および撮影倍率情報の
少なくとも1つであり、前記関連情報は、前記カメラ情
報に関連する地図情報または蓄積画像であり、前記撮影
シーンの推定は、前記カメラ情報と前記地図情報または
前記蓄積画像とを用いて、前記撮影シーンのシミュレー
ション画像を作成し、作成されたシミュレーション画像
と前記撮影シーンの撮影画像とを比較し、前記撮影シー
ン中の不良または不要領域を検出することであり、前記
所定の画像処理は、前記撮影シーン中の前記不良または
不要領域に行う修復処理であるのが好ましい。
【0023】すなわち、本発明の第2の態様は、被写体
を撮影した撮影シーンの撮影画像のデジタル画像データ
を取得し、取得されたデジタル画像データに所定の画像
処理を施す画像処理方法であって、前記被写体の撮影時
にカメラにおいて前記撮影シーンのカメラ情報として取
得された撮影位置情報または撮影方位情報および撮影倍
率情報の少なくとも1つを得る工程と、前記カメラ情報
と地図情報または蓄積画像とを用いて、前記撮影シーン
のシミュレーション画像を作成する工程と、前記作成さ
れたシミュレーション画像と前記撮影画像とを比較する
工程と、前記撮影シーン中の不良または不要領域を検出
する工程と、前記撮影画像の前記不良または不要領域に
修復処理を行う工程とを有することを特徴とする画像処
理方法を提供するものである。
を撮影した撮影シーンの撮影画像のデジタル画像データ
を取得し、取得されたデジタル画像データに所定の画像
処理を施す画像処理方法であって、前記被写体の撮影時
にカメラにおいて前記撮影シーンのカメラ情報として取
得された撮影位置情報または撮影方位情報および撮影倍
率情報の少なくとも1つを得る工程と、前記カメラ情報
と地図情報または蓄積画像とを用いて、前記撮影シーン
のシミュレーション画像を作成する工程と、前記作成さ
れたシミュレーション画像と前記撮影画像とを比較する
工程と、前記撮影シーン中の不良または不要領域を検出
する工程と、前記撮影画像の前記不良または不要領域に
修復処理を行う工程とを有することを特徴とする画像処
理方法を提供するものである。
【0024】ここで、前記不良または不要領域の検出
は、前記シミュレーション画像と前記撮影画像とを比較
した結果、前記シミュレーション画像と合致しない前記
撮影画像中に存在する線または点を判定することであ
り、前記修復処理は、判定された線または点を前記シミ
ュレーション画像の当該画素または前記撮影画像内の当
該画素または周辺画素を用いて修復して消去することで
あるのが好ましい。
は、前記シミュレーション画像と前記撮影画像とを比較
した結果、前記シミュレーション画像と合致しない前記
撮影画像中に存在する線または点を判定することであ
り、前記修復処理は、判定された線または点を前記シミ
ュレーション画像の当該画素または前記撮影画像内の当
該画素または周辺画素を用いて修復して消去することで
あるのが好ましい。
【0025】また、前記シミュレーション画像と前記撮
影画像との比較は、前記シミュレーション画像と前記撮
影画像との間で、前記撮影シーンの画面内の所定領域の
濃度または色の分布、あるいは鮮鋭度の分布について比
較を行うことであり、前記不良または不要領域の検出
は、前記所定領域において前記濃度または色の分布、あ
るいは前記鮮鋭度の分布に、ずれを検出することであ
り、前記修復処理は、前記所定領域について、むら補正
またはボケ補正を行うことであるのが好ましい。
影画像との比較は、前記シミュレーション画像と前記撮
影画像との間で、前記撮影シーンの画面内の所定領域の
濃度または色の分布、あるいは鮮鋭度の分布について比
較を行うことであり、前記不良または不要領域の検出
は、前記所定領域において前記濃度または色の分布、あ
るいは前記鮮鋭度の分布に、ずれを検出することであ
り、前記修復処理は、前記所定領域について、むら補正
またはボケ補正を行うことであるのが好ましい。
【0026】また、前記シミュレーション画像と前記撮
影画像との比較は、前記撮影シーンの画面内の全体を複
数の小領域に分割し、前記シミュレーション画像と前記
撮影画像との間で、前記複数の小領域別に濃度または色
の分布、あるいは鮮鋭度の分布について比較を行うこと
であり、前記不良または不要領域の検出は、前記複数の
小領域の中から、前記濃度または色の分布、あるいは前
記鮮鋭度の分布に、ずれのある小領域を検出することで
あり、前記修復処理は、前記ずれのある小領域につい
て、むら補正またはぼけ補正を行うことであるのが好ま
しい。
影画像との比較は、前記撮影シーンの画面内の全体を複
数の小領域に分割し、前記シミュレーション画像と前記
撮影画像との間で、前記複数の小領域別に濃度または色
の分布、あるいは鮮鋭度の分布について比較を行うこと
であり、前記不良または不要領域の検出は、前記複数の
小領域の中から、前記濃度または色の分布、あるいは前
記鮮鋭度の分布に、ずれのある小領域を検出することで
あり、前記修復処理は、前記ずれのある小領域につい
て、むら補正またはぼけ補正を行うことであるのが好ま
しい。
【0027】また、前記不良または不要領域の検出は、
前記シミュレーション画像において特定の構造物の領域
を導出することであり、前記シミュレーション画像と前
記撮影画像との比較は、前記シミュレーション画像にお
いて導出された前記特定の構造物の領域と同じ領域を前
記撮影画像に設定することであり、前記修復処理は、前
記撮影画像に設定された同じ領域から前記特定の構造物
を除去する処理を行うことであるのが好ましい。
前記シミュレーション画像において特定の構造物の領域
を導出することであり、前記シミュレーション画像と前
記撮影画像との比較は、前記シミュレーション画像にお
いて導出された前記特定の構造物の領域と同じ領域を前
記撮影画像に設定することであり、前記修復処理は、前
記撮影画像に設定された同じ領域から前記特定の構造物
を除去する処理を行うことであるのが好ましい。
【0028】また、上記第3の課題を解決するために、
本発明の第3の態様の画像処理方法においては、前記撮
影シーンのカメラ情報は、前記カメラにおいて取得また
は入力され、前記撮影シーンの前記デジタル画像データ
に付与される前記撮影シーンに関連するメッセージ情報
であり、前記撮影シーンの推定は、前記メッセージ情報
の内容から撮影シーンを推定することであり、前記所定
の画像処理は、この推定された撮影シーンに応じて設定
された画像処理条件による画像処理であるのが好まし
い。
本発明の第3の態様の画像処理方法においては、前記撮
影シーンのカメラ情報は、前記カメラにおいて取得また
は入力され、前記撮影シーンの前記デジタル画像データ
に付与される前記撮影シーンに関連するメッセージ情報
であり、前記撮影シーンの推定は、前記メッセージ情報
の内容から撮影シーンを推定することであり、前記所定
の画像処理は、この推定された撮影シーンに応じて設定
された画像処理条件による画像処理であるのが好まし
い。
【0029】すなわち、本発明の第3の態様は、撮影シ
ーンに関連するメッセージ情報を画像に付与し、前記画
像と前記メッセージ情報を取得し、該メッセージ情報の
内容から撮影シーンを推定し、推定された撮影シーンに
応じて、画像処理条件を設定することを特徴とする画像
処理方法を提供するものである。ここで、前記メッセー
ジ情報は、音声入力情報および文書入力情報の少なくと
も一方であるのが好ましい。また、前記メッセージ情報
に、撮影時のカメラ撮影情報、画像特徴量または主要被
写体情報のいずれかを組み合わせて撮影シーンの推定を
行うのが好ましい。
ーンに関連するメッセージ情報を画像に付与し、前記画
像と前記メッセージ情報を取得し、該メッセージ情報の
内容から撮影シーンを推定し、推定された撮影シーンに
応じて、画像処理条件を設定することを特徴とする画像
処理方法を提供するものである。ここで、前記メッセー
ジ情報は、音声入力情報および文書入力情報の少なくと
も一方であるのが好ましい。また、前記メッセージ情報
に、撮影時のカメラ撮影情報、画像特徴量または主要被
写体情報のいずれかを組み合わせて撮影シーンの推定を
行うのが好ましい。
【0030】上記各態様の画像処理方法においては、前
記所定の画像処理を前記デジタル画像データに対して行
って得られた処理画像データを、プリントを作成するプ
リンタに出力するためのプリント出力用画像データ、画
像データ記録媒体への記録再生に利用する媒体出力用画
像データおよび通信手段を介しての通信に利用する通信
用画像データの少なくとも1つに変換して出力するのが
好ましい。ここで、前記カメラ情報および前記関連情報
から推定される被写体によって、データベースから被写
体関連情報を導出し、この被写体関連情報を前記プリン
トの作成時の合成付加情報、前記画像データ記録媒体で
の再生時の再生付加情報および前記通信手段を介して受
信後の再生時の再生付加情報の少なくとも一つとするの
が好ましい。
記所定の画像処理を前記デジタル画像データに対して行
って得られた処理画像データを、プリントを作成するプ
リンタに出力するためのプリント出力用画像データ、画
像データ記録媒体への記録再生に利用する媒体出力用画
像データおよび通信手段を介しての通信に利用する通信
用画像データの少なくとも1つに変換して出力するのが
好ましい。ここで、前記カメラ情報および前記関連情報
から推定される被写体によって、データベースから被写
体関連情報を導出し、この被写体関連情報を前記プリン
トの作成時の合成付加情報、前記画像データ記録媒体で
の再生時の再生付加情報および前記通信手段を介して受
信後の再生時の再生付加情報の少なくとも一つとするの
が好ましい。
【0031】また、上記第1〜第3の課題を解決するた
めに、本発明は、被写体を撮影して撮影シーンの撮影画
像を得るとともに、前記被写体の撮影時に前記撮影シー
ンのカメラ情報を取得または入力することができるカメ
ラにおいて撮影された前記撮影画像のデジタル画像デー
タを取得する画像データ取得手段と、前記カメラにおい
て取得された前記撮影シーンの前記カメラ情報を取得す
るカメラ情報取得手段と、前記撮影シーンの前記カメラ
情報、またはこのカメラ情報と前記撮影シーンの前記デ
ジタル画像データとの組み合せにより、前記撮影シーン
の推定を行う推定手段と、推定された前記撮影シーンに
応じた所定の画像処理を前記デジタル画像データに対し
て行う画像処理手段とを有することを特徴とする画像処
理装置を提供するものである。
めに、本発明は、被写体を撮影して撮影シーンの撮影画
像を得るとともに、前記被写体の撮影時に前記撮影シー
ンのカメラ情報を取得または入力することができるカメ
ラにおいて撮影された前記撮影画像のデジタル画像デー
タを取得する画像データ取得手段と、前記カメラにおい
て取得された前記撮影シーンの前記カメラ情報を取得す
るカメラ情報取得手段と、前記撮影シーンの前記カメラ
情報、またはこのカメラ情報と前記撮影シーンの前記デ
ジタル画像データとの組み合せにより、前記撮影シーン
の推定を行う推定手段と、推定された前記撮影シーンに
応じた所定の画像処理を前記デジタル画像データに対し
て行う画像処理手段とを有することを特徴とする画像処
理装置を提供するものである。
【0032】ここで、本発明は、上記画像処理装置であ
って、さらに、前記撮影シーンの前記デジタル画像デー
タおよび前記カメラ情報に関連する関連情報が格納され
ているデータベースと、前記撮影シーンの前記デジタル
画像データおよび前記カメラ情報の少なくとも一方に基
づいて、前記カメラにおいて取得された、もしくは前記
データベースに格納されている、前記撮影シーンに関連
する前記関連情報を取り込む取込手段とを有し、前記推
定手段は、前記撮影シーンの前記関連情報により、また
はこの関連情報と前記撮影シーンの前記デジタル画像デ
ータおよび前記カメラ情報の少なくとも一方との組み合
せにより、前記撮影シーンの推定を行うことを特徴とす
る画像処理装置を提供するものである。
って、さらに、前記撮影シーンの前記デジタル画像デー
タおよび前記カメラ情報に関連する関連情報が格納され
ているデータベースと、前記撮影シーンの前記デジタル
画像データおよび前記カメラ情報の少なくとも一方に基
づいて、前記カメラにおいて取得された、もしくは前記
データベースに格納されている、前記撮影シーンに関連
する前記関連情報を取り込む取込手段とを有し、前記推
定手段は、前記撮影シーンの前記関連情報により、また
はこの関連情報と前記撮影シーンの前記デジタル画像デ
ータおよび前記カメラ情報の少なくとも一方との組み合
せにより、前記撮影シーンの推定を行うことを特徴とす
る画像処理装置を提供するものである。
【0033】また、上記第1の課題を解決するために、
本発明の第1の態様の画像処理装置においては、前記カ
メラ情報取得手段は、前記撮影シーンのカメラ情報とし
て、前記カメラから撮影情報および撮影位置情報を取得
し、前記取込手段は、前記関連情報として、前記カメラ
情報に関連する付加情報を取得し、前記推定手段は、前
記カメラ情報と前記付加情報とから、前記撮影シーン中
の前記被写体の特定または撮影時の状況の推定を行い、
前記画像処理手段は、前記所定の画像処理として、特定
された被写体または推定された状況に応じた画像処理を
行うのが好ましい。
本発明の第1の態様の画像処理装置においては、前記カ
メラ情報取得手段は、前記撮影シーンのカメラ情報とし
て、前記カメラから撮影情報および撮影位置情報を取得
し、前記取込手段は、前記関連情報として、前記カメラ
情報に関連する付加情報を取得し、前記推定手段は、前
記カメラ情報と前記付加情報とから、前記撮影シーン中
の前記被写体の特定または撮影時の状況の推定を行い、
前記画像処理手段は、前記所定の画像処理として、特定
された被写体または推定された状況に応じた画像処理を
行うのが好ましい。
【0034】ここで、前記付加情報は、地図情報を含む
のが好ましい。また、前記撮影情報は、撮影日時の情報
を含むとともに、前記付加情報は、天候情報を含み、前
記推定手段は、前記カメラ情報中の撮影日時の情報およ
び撮影位置情報と、前記付加情報中の天候情報とから、
撮影時における撮影地の天候を特定することにより、前
記撮影シーンの状況を推定するのが好ましい。
のが好ましい。また、前記撮影情報は、撮影日時の情報
を含むとともに、前記付加情報は、天候情報を含み、前
記推定手段は、前記カメラ情報中の撮影日時の情報およ
び撮影位置情報と、前記付加情報中の天候情報とから、
撮影時における撮影地の天候を特定することにより、前
記撮影シーンの状況を推定するのが好ましい。
【0035】また、前記撮影情報は、撮影日時の情報を
含むとともに前記付加情報はイベント情報を含み、前記
推定手段は、前記カメラ情報中の撮影日時の情報および
撮影位置情報と前記付加情報中のイベント情報とから、
撮影時における撮影地のイベントを特定することによ
り、前記撮影シーンの状況を推定するのが好ましい。ま
た、前記画像処理手段は、前記所定の画像処理として、
前記撮影された1コマの画像の画面全体または前記特定
の被写体領域に限定した、濃度または色の階調制御、幾
何歪み補正、強調または平滑化処理のいずれか1つ以上
を実行するのが好ましい。
含むとともに前記付加情報はイベント情報を含み、前記
推定手段は、前記カメラ情報中の撮影日時の情報および
撮影位置情報と前記付加情報中のイベント情報とから、
撮影時における撮影地のイベントを特定することによ
り、前記撮影シーンの状況を推定するのが好ましい。ま
た、前記画像処理手段は、前記所定の画像処理として、
前記撮影された1コマの画像の画面全体または前記特定
の被写体領域に限定した、濃度または色の階調制御、幾
何歪み補正、強調または平滑化処理のいずれか1つ以上
を実行するのが好ましい。
【0036】また、上記第2の課題を解決するために、
本発明の第2の態様の画像処理装置においては、前記カ
メラ情報取得手段は、前記撮影シーンのカメラ情報とし
て、前記カメラから撮影位置情報または撮影方位情報お
よび撮影倍率情報の少なくとも1つを取得し、前記取込
手段は、前記関連情報として、前記カメラ情報に関連す
る地図情報または蓄積画像を取得し、前記推定手段は、
前記カメラ情報と前記地図情報または前記蓄積画像とを
用いて、前記撮影シーンのシミュレーション画像を作成
する作成手段と、この作成手段によって作成された前記
シミュレーション画像と前記撮影シーンの撮影画像とを
比較する比較手段と、前記撮影シーン中の不良または不
要領域を検出する手段とを有し、前記画像処理手段は、
前記所定の画像処理として、前記撮影シーン中の前記不
良または不要領域に修復処理を行う修復処理手段である
のが好ましい。
本発明の第2の態様の画像処理装置においては、前記カ
メラ情報取得手段は、前記撮影シーンのカメラ情報とし
て、前記カメラから撮影位置情報または撮影方位情報お
よび撮影倍率情報の少なくとも1つを取得し、前記取込
手段は、前記関連情報として、前記カメラ情報に関連す
る地図情報または蓄積画像を取得し、前記推定手段は、
前記カメラ情報と前記地図情報または前記蓄積画像とを
用いて、前記撮影シーンのシミュレーション画像を作成
する作成手段と、この作成手段によって作成された前記
シミュレーション画像と前記撮影シーンの撮影画像とを
比較する比較手段と、前記撮影シーン中の不良または不
要領域を検出する手段とを有し、前記画像処理手段は、
前記所定の画像処理として、前記撮影シーン中の前記不
良または不要領域に修復処理を行う修復処理手段である
のが好ましい。
【0037】ここで、前記検出手段は、前記シミュレー
ション画像と前記撮影画像とを比較した結果、前記シミ
ュレーション画像と合致しない前記撮影画像中に存在す
る線または点を判定し、前記修復処理手段は、判定され
た線または点を前記シミュレーション画像の当該画素ま
たは前記撮影画像内の当該画素または周辺画素を用いて
修復して消去するのが好ましい。また、前記比較手段
は、前記シミュレーション画像と前記撮影画像との間
で、前記撮影シーンの画面内の所定領域の濃度または色
の分布、あるいは鮮鋭度の分布について比較を行い、前
記検出手段は、前記所定領域において前記濃度または色
の分布、あるいは前記鮮鋭度の分布に、ずれを検出し、
前記修復処理手段は、前記所定領域について、むら補正
またはボケ補正を行うのが好ましい。
ション画像と前記撮影画像とを比較した結果、前記シミ
ュレーション画像と合致しない前記撮影画像中に存在す
る線または点を判定し、前記修復処理手段は、判定され
た線または点を前記シミュレーション画像の当該画素ま
たは前記撮影画像内の当該画素または周辺画素を用いて
修復して消去するのが好ましい。また、前記比較手段
は、前記シミュレーション画像と前記撮影画像との間
で、前記撮影シーンの画面内の所定領域の濃度または色
の分布、あるいは鮮鋭度の分布について比較を行い、前
記検出手段は、前記所定領域において前記濃度または色
の分布、あるいは前記鮮鋭度の分布に、ずれを検出し、
前記修復処理手段は、前記所定領域について、むら補正
またはボケ補正を行うのが好ましい。
【0038】また、前記比較手段は、前記撮影シーンの
画面内の全体を複数の小領域に分割し、前記シミュレー
ション画像と前記撮影画像との間で、前記複数の小領域
別に濃度または色の分布、あるいは鮮鋭度の分布につい
て比較を行い、前記検出手段は、前記複数の小領域の中
から、前記濃度または色の分布、あるいは前記鮮鋭度の
分布に、ずれのある小領域を検出し、前記修復処理手段
は、前記ずれのある小領域について、むら補正またはぼ
け補正を行うのが好ましい。また、前記検出手段は、前
記シミュレーション画像において特定の構造物の領域を
導出し、前記比較手段は、前記シミュレーション画像に
おいて導出された前記特定の構造物の領域と同じ領域を
前記撮影画像に設定し、前記修復処理手段は、前記撮影
画像に設定された同じ領域から前記特定の構造物を除去
する処理を行うのが好ましい。
画面内の全体を複数の小領域に分割し、前記シミュレー
ション画像と前記撮影画像との間で、前記複数の小領域
別に濃度または色の分布、あるいは鮮鋭度の分布につい
て比較を行い、前記検出手段は、前記複数の小領域の中
から、前記濃度または色の分布、あるいは前記鮮鋭度の
分布に、ずれのある小領域を検出し、前記修復処理手段
は、前記ずれのある小領域について、むら補正またはぼ
け補正を行うのが好ましい。また、前記検出手段は、前
記シミュレーション画像において特定の構造物の領域を
導出し、前記比較手段は、前記シミュレーション画像に
おいて導出された前記特定の構造物の領域と同じ領域を
前記撮影画像に設定し、前記修復処理手段は、前記撮影
画像に設定された同じ領域から前記特定の構造物を除去
する処理を行うのが好ましい。
【0039】また、上記第3の課題を解決するために、
本発明の第3の態様の画像処理装置においては、前記カ
メラ情報取得手段は、前記撮影シーンのカメラ情報とし
て、前記カメラにおいて取得または入力され、前記撮影
シーンの前記デジタル画像データに付与される前記撮影
シーンに関連するメッセージ情報を取得し、前記推定手
段は、前記メッセージ情報の内容から撮影シーンを推定
し、前記画像処理手段は、前記所定の画像処理として、
この推定された撮影シーンに応じて設定された画像処理
条件による画像処理を行うのが好ましい。
本発明の第3の態様の画像処理装置においては、前記カ
メラ情報取得手段は、前記撮影シーンのカメラ情報とし
て、前記カメラにおいて取得または入力され、前記撮影
シーンの前記デジタル画像データに付与される前記撮影
シーンに関連するメッセージ情報を取得し、前記推定手
段は、前記メッセージ情報の内容から撮影シーンを推定
し、前記画像処理手段は、前記所定の画像処理として、
この推定された撮影シーンに応じて設定された画像処理
条件による画像処理を行うのが好ましい。
【0040】ここで、前記メッセージ情報は、音声入力
情報および文書入力情報の少なくとも一方であるのが好
ましい。また、前記推定手段は、前記メッセージ情報
に、撮影時のカメラ撮影情報、画像特徴量または主要被
写体情報のいずれかを組み合わせて撮影シーンの推定を
行うのが好ましい。
情報および文書入力情報の少なくとも一方であるのが好
ましい。また、前記推定手段は、前記メッセージ情報
に、撮影時のカメラ撮影情報、画像特徴量または主要被
写体情報のいずれかを組み合わせて撮影シーンの推定を
行うのが好ましい。
【0041】また、本発明は、上記各態様の画像処理装
置であって、さらに、前記所定の画像処理を前記デジタ
ル画像データに対して行って得られた処理画像データ
を、プリントを作成するプリンタに出力するためのプリ
ント出力用画像データ、画像データ記録媒体への記録再
生に利用する媒体出力用画像データおよび通信手段を介
しての通信に利用する通信用画像データの少なくとも1
つに変換する変換手段を有することを特徴とする画像処
理装置を提供するものである。
置であって、さらに、前記所定の画像処理を前記デジタ
ル画像データに対して行って得られた処理画像データ
を、プリントを作成するプリンタに出力するためのプリ
ント出力用画像データ、画像データ記録媒体への記録再
生に利用する媒体出力用画像データおよび通信手段を介
しての通信に利用する通信用画像データの少なくとも1
つに変換する変換手段を有することを特徴とする画像処
理装置を提供するものである。
【0042】また、本発明は、上記画像処理装置であっ
て、前記推定手段によって、前記カメラ情報および前記
関連情報から推定される被写体によって、前記取込手段
によって前記データベースから被写体関連情報を導出
し、さらに、前記変換手段によって変換された画像デー
タに基づいて、取込手段によって導出された被写体関連
情報を、前記プリントの作成時の合成付加情報、前記画
像データ記録媒体での再生時の再生付加情報および前記
通信手段を介して受信後の再生時の再生付加情報の少な
くとも一つとして付加する情報付加手段を有することを
特徴とする画像処理装置を提供するものである。
て、前記推定手段によって、前記カメラ情報および前記
関連情報から推定される被写体によって、前記取込手段
によって前記データベースから被写体関連情報を導出
し、さらに、前記変換手段によって変換された画像デー
タに基づいて、取込手段によって導出された被写体関連
情報を、前記プリントの作成時の合成付加情報、前記画
像データ記録媒体での再生時の再生付加情報および前記
通信手段を介して受信後の再生時の再生付加情報の少な
くとも一つとして付加する情報付加手段を有することを
特徴とする画像処理装置を提供するものである。
【0043】
【発明の実施の形態】本発明に係る画像処理方法および
装置を添付の図面に示す好適実施形態に基づいて以下に
詳細に説明する。本発明は、被写体の撮影時に、カメラ
において取得されるGPS情報を含むカメラの撮影情報
やカメラに付与されるメッセージ情報などのカメラ情報
または撮影シーンの関連情報により、もしくはさらに撮
影シーンの画像データを用いて、撮影シーンの推定を行
い、推定された撮影シーンに応じた画像処理を行うもの
である。
装置を添付の図面に示す好適実施形態に基づいて以下に
詳細に説明する。本発明は、被写体の撮影時に、カメラ
において取得されるGPS情報を含むカメラの撮影情報
やカメラに付与されるメッセージ情報などのカメラ情報
または撮影シーンの関連情報により、もしくはさらに撮
影シーンの画像データを用いて、撮影シーンの推定を行
い、推定された撮影シーンに応じた画像処理を行うもの
である。
【0044】まず、本発明の第1の態様に係る画像処理
方法および装置について、好適な実施形態を挙げて説明
する。本実施形態は、人工衛星を用いたGPSを利用し
得るカメラを用いて取得されるGPS情報を含むカメラ
の撮影情報(カメラ情報)により、被写体シーンの推定
(特定)を行い、被写体シーンに応じた色、階調制御を
行うものである。しかし、本発明は本実施形態に限定さ
れるわけではない。
方法および装置について、好適な実施形態を挙げて説明
する。本実施形態は、人工衛星を用いたGPSを利用し
得るカメラを用いて取得されるGPS情報を含むカメラ
の撮影情報(カメラ情報)により、被写体シーンの推定
(特定)を行い、被写体シーンに応じた色、階調制御を
行うものである。しかし、本発明は本実施形態に限定さ
れるわけではない。
【0045】図1は、本発明の画像処理方法を実施する
画像処理装置を適用するデジタルフォトプリンタの一実
施例のブロック図である。図1に示されるデジタルフォ
トプリンタ10は、基本的に、(写真)フィルムFに撮
影された画像を光電的に読み取るスキャナ(画像読取装
置)12と、本発明の画像処理方法を実施するととも
に、読み取られた画像データ(画像情報)の画像処理や
種々のデータ処理やデジタルフォトプリンタ10全体の
操作および制御等を行う画像処理装置14と、画像処理
装置14から出力された画像データに応じて変調した光
ビームで感光材料を画像露光し、現像処理して写真プリ
ントとして出力するプリンタ16とを有する。
画像処理装置を適用するデジタルフォトプリンタの一実
施例のブロック図である。図1に示されるデジタルフォ
トプリンタ10は、基本的に、(写真)フィルムFに撮
影された画像を光電的に読み取るスキャナ(画像読取装
置)12と、本発明の画像処理方法を実施するととも
に、読み取られた画像データ(画像情報)の画像処理や
種々のデータ処理やデジタルフォトプリンタ10全体の
操作および制御等を行う画像処理装置14と、画像処理
装置14から出力された画像データに応じて変調した光
ビームで感光材料を画像露光し、現像処理して写真プリ
ントとして出力するプリンタ16とを有する。
【0046】なお、画像処理装置14から出力される本
発明の画像処理方法によって画像処理された出力画像デ
ータは、写真プリントとして出力するためにプリンタ1
6に出力されるものに限定されず、各種の画像データ記
録媒体(画像記録媒体)25に記録(および再生)する
ために出力されるものであっても良いし、スロット27
を経由してインターネットなどの通信手段を介して配信
されるもの、例えば、ネット転送サービス(および再
生)であっても良い。
発明の画像処理方法によって画像処理された出力画像デ
ータは、写真プリントとして出力するためにプリンタ1
6に出力されるものに限定されず、各種の画像データ記
録媒体(画像記録媒体)25に記録(および再生)する
ために出力されるものであっても良いし、スロット27
を経由してインターネットなどの通信手段を介して配信
されるもの、例えば、ネット転送サービス(および再
生)であっても良い。
【0047】また、画像処理装置14には、様々な条件
の入力や設定、処理の選択や指示、色/濃度補正などの
指示等を入力するためのキーボード18aおよびマウス
18bを有する操作系18と、スキャナ12で読み取ら
れた画像、各種の操作指示、様々な条件の設定/登録画
面等を表示する画像表示装置(ディスプレイモニタ、以
下、単にモニタという)20とが接続される。スキャナ
12は、フィルムFに撮影されたカラー画像を光電的に
読み取る装置で、光源22と、可変絞り24と、フィル
ムFに入射する読取光をフィルムFの面方向で均一にす
る拡散ボックス28と、結像レンズユニット32と、フ
ィルムの撮影画像を読み取るフォトセンサであるCCD
センサ34と、アンプ(増幅器)36と、A/D(アナ
ログ/デジタル)変換器37とを有し、さらに、スキャ
ナ12の本体に装着自在な専用のキャリア30から構成
される。
の入力や設定、処理の選択や指示、色/濃度補正などの
指示等を入力するためのキーボード18aおよびマウス
18bを有する操作系18と、スキャナ12で読み取ら
れた画像、各種の操作指示、様々な条件の設定/登録画
面等を表示する画像表示装置(ディスプレイモニタ、以
下、単にモニタという)20とが接続される。スキャナ
12は、フィルムFに撮影されたカラー画像を光電的に
読み取る装置で、光源22と、可変絞り24と、フィル
ムFに入射する読取光をフィルムFの面方向で均一にす
る拡散ボックス28と、結像レンズユニット32と、フ
ィルムの撮影画像を読み取るフォトセンサであるCCD
センサ34と、アンプ(増幅器)36と、A/D(アナ
ログ/デジタル)変換器37とを有し、さらに、スキャ
ナ12の本体に装着自在な専用のキャリア30から構成
される。
【0048】キャリア30は、例えば24枚取りの13
5サイズのフィルムや新写真システムフィルム(APS
のカートリッジ)等の、長尺なフィルムに対応する各種
専用のキャリアが用意されており、所定の読み取り位置
にフィルムFを保持しつつ、CCDセンサ34のライン
CCDセンサの延在方向(主走査方向)と直行する副走
査方向に、フィルムFの長手方向を一致して搬送する、
読み取り位置を副走査方向に挟んで配置される搬送ロー
ラ対と、フィルムFの投影光を所定のスリット状に規制
する、読み取り位置に対応して位置する主走査方向に延
在するスリットを有するマスク、更に磁気読取書込装置
とを有する。フィルムFはこのキャリア30によって保
持されて副走査方向に搬送されつつこのフィルムFには
読み取り光が入射される。これにより、フィルムFが主
走査方向に延在するスリットによって2次元的にスリッ
ト走査され、フィルムFに撮影された各コマの画像が読
み取られる。
5サイズのフィルムや新写真システムフィルム(APS
のカートリッジ)等の、長尺なフィルムに対応する各種
専用のキャリアが用意されており、所定の読み取り位置
にフィルムFを保持しつつ、CCDセンサ34のライン
CCDセンサの延在方向(主走査方向)と直行する副走
査方向に、フィルムFの長手方向を一致して搬送する、
読み取り位置を副走査方向に挟んで配置される搬送ロー
ラ対と、フィルムFの投影光を所定のスリット状に規制
する、読み取り位置に対応して位置する主走査方向に延
在するスリットを有するマスク、更に磁気読取書込装置
とを有する。フィルムFはこのキャリア30によって保
持されて副走査方向に搬送されつつこのフィルムFには
読み取り光が入射される。これにより、フィルムFが主
走査方向に延在するスリットによって2次元的にスリッ
ト走査され、フィルムFに撮影された各コマの画像が読
み取られる。
【0049】CCDセンサ34は、それぞれR画像、G
画像およびB画像の読み取りを行う3つのラインCCD
センサを有するラインセンサで、ラインセンサは主走査
方向に延在している。フィルムFの投影光は、このCC
DセンサによってR、GおよびBの3原色に分解されて
光電的に読み取られる。光源22から射出され、可変絞
り24によって光量調整され拡散ボックス28を通して
均一にされた読み取り光が、キャリア30によって所定
の読み取り位置に保持されつつ搬送されるフィルムFに
入射して、透過することにより、フィルムFに撮影され
た画像を担持する投影光を得る。フィルムFの投影光
は、結像レンズユニット32によってCCDセンサ34
の受光面に結像され、CCDセンサ34によって光電的
に読み取られ、その出力信号は、アンプ36で増幅され
て、A/D変換器37でデジタル画像データに変換さ
れ、入力画像データとして画像処理装置14に送られ
る。
画像およびB画像の読み取りを行う3つのラインCCD
センサを有するラインセンサで、ラインセンサは主走査
方向に延在している。フィルムFの投影光は、このCC
DセンサによってR、GおよびBの3原色に分解されて
光電的に読み取られる。光源22から射出され、可変絞
り24によって光量調整され拡散ボックス28を通して
均一にされた読み取り光が、キャリア30によって所定
の読み取り位置に保持されつつ搬送されるフィルムFに
入射して、透過することにより、フィルムFに撮影され
た画像を担持する投影光を得る。フィルムFの投影光
は、結像レンズユニット32によってCCDセンサ34
の受光面に結像され、CCDセンサ34によって光電的
に読み取られ、その出力信号は、アンプ36で増幅され
て、A/D変換器37でデジタル画像データに変換さ
れ、入力画像データとして画像処理装置14に送られ
る。
【0050】新写真システム(APS)のフィルムFの
場合においては、周知のように、フィルムFの裏面(非
乳化剤面)側で撮影シーンの画像、すなわち撮影画像を
記録した各コマの画像記録領域の上部および下部の領域
に磁気記録層が形成され、カートリッジIDやフィルム
種等や撮影情報、例えば撮影日付や撮影時刻等の撮影日
時や、撮影位置(カメラ位置)や撮影方位や撮影倍率等
のGPS情報やデータや、さらにはこれらの撮影情報に
基づく付加情報、特に、これらの撮影情報によって特定
される撮影画像の被写体自体またはこの撮影画像の撮影
状況に関連する付加情報、また、場合によっては以前の
写真プリント注文時に付加された付加情報などの撮影情
報の少なくとも一部に関連する付加情報等の関連情報
が、撮影画像の付属情報として記録されている。
場合においては、周知のように、フィルムFの裏面(非
乳化剤面)側で撮影シーンの画像、すなわち撮影画像を
記録した各コマの画像記録領域の上部および下部の領域
に磁気記録層が形成され、カートリッジIDやフィルム
種等や撮影情報、例えば撮影日付や撮影時刻等の撮影日
時や、撮影位置(カメラ位置)や撮影方位や撮影倍率等
のGPS情報やデータや、さらにはこれらの撮影情報に
基づく付加情報、特に、これらの撮影情報によって特定
される撮影画像の被写体自体またはこの撮影画像の撮影
状況に関連する付加情報、また、場合によっては以前の
写真プリント注文時に付加された付加情報などの撮影情
報の少なくとも一部に関連する付加情報等の関連情報
が、撮影画像の付属情報として記録されている。
【0051】これらの記録された情報は、スキャナ12
でフィルムFの画像が読み取られる際に、同時にスキャ
ナ12内の磁気読取書込装置にて読み取られる。すなわ
ち、新写真システムAPSのフィルム(カートリッジ)
がそれに対応するキャリア30にセットされ、フィルム
Fがキャリア30によって副走査方向に搬送されてCC
Dセンサ34で読み取られる間に、磁気読取書込装置に
て磁気記録された情報が読み取られ、撮影情報を含む各
種の情報が画像処理装置14に送られる。場合によって
は、磁気読取書込装置によって磁気記録層に撮影情報に
基づく付加情報などの必要な情報が記録される。
でフィルムFの画像が読み取られる際に、同時にスキャ
ナ12内の磁気読取書込装置にて読み取られる。すなわ
ち、新写真システムAPSのフィルム(カートリッジ)
がそれに対応するキャリア30にセットされ、フィルム
Fがキャリア30によって副走査方向に搬送されてCC
Dセンサ34で読み取られる間に、磁気読取書込装置に
て磁気記録された情報が読み取られ、撮影情報を含む各
種の情報が画像処理装置14に送られる。場合によって
は、磁気読取書込装置によって磁気記録層に撮影情報に
基づく付加情報などの必要な情報が記録される。
【0052】また、フィルムカートリッジがICメモリ
を装着したものである時、装着されたICメモリにカー
トリッジIDやフィルム種、また撮影日時、撮影位置や
撮影(カメラ)方位や撮影倍率等の撮影情報のデータが
記録されている場合は、その情報を読み取ることがで
き、また、すでに以前の写真プリント注文時に付加され
た付加情報が記録されている場合は、その付加情報も読
み取る。また、必要な情報が場合に応じてICメモリに
記録される。撮影情報やこれに基づく付加情報の取得方
法および記録方法は、APSフィルムの磁気記録層やI
Cメモリ付きフィルムカートリッジのICメモリからの
読み出しや記録に限定されないのはもちろんである。
を装着したものである時、装着されたICメモリにカー
トリッジIDやフィルム種、また撮影日時、撮影位置や
撮影(カメラ)方位や撮影倍率等の撮影情報のデータが
記録されている場合は、その情報を読み取ることがで
き、また、すでに以前の写真プリント注文時に付加され
た付加情報が記録されている場合は、その付加情報も読
み取る。また、必要な情報が場合に応じてICメモリに
記録される。撮影情報やこれに基づく付加情報の取得方
法および記録方法は、APSフィルムの磁気記録層やI
Cメモリ付きフィルムカートリッジのICメモリからの
読み出しや記録に限定されないのはもちろんである。
【0053】なお、デジタルフォトプリンタ10を構成
するスキャナ12は、上述のスリット走査によるものに
限定されず、1コマの画像の全面を一度に読み取る面露
光を利用したCCDエリアセンサであってもよい。その
場合、図1に示す可変絞り24と拡散ボックス28との
間にR,GおよびBの色フィルタを設け、そこを通過し
てR、GおよびBに色調整された光を、フィルムFの1
コマに入射して、透過することにより、フィルムFに撮
影されたこのコマの画像を担持する投影光を得てもよ
い。この場合、色フィルタを順次R、GおよびBについ
て3回行う必要がある。
するスキャナ12は、上述のスリット走査によるものに
限定されず、1コマの画像の全面を一度に読み取る面露
光を利用したCCDエリアセンサであってもよい。その
場合、図1に示す可変絞り24と拡散ボックス28との
間にR,GおよびBの色フィルタを設け、そこを通過し
てR、GおよびBに色調整された光を、フィルムFの1
コマに入射して、透過することにより、フィルムFに撮
影されたこのコマの画像を担持する投影光を得てもよ
い。この場合、色フィルタを順次R、GおよびBについ
て3回行う必要がある。
【0054】また、スキャナ12における画像のCCD
センサでの読み取りは、写真プリントを出力するために
画像を読み取るファインスキャンに先立ち、画像処理条
件等を決定するために、画像を低解像度で読み取るプレ
スキャンを行ない画像処理条件を決定し、オペレータ
(またはユーザ)がモニタ20で確認し調整した後、高
解像度で画像を読み取るファインスキャンを行うため、
スキャンはプレスキャンとファインスキャンの2回行わ
れる。そのため、R、GおよびBの色フィルタを設け、
面露光を利用したCCDエリアセンサを用いた場合、
R、GおよびBの色フィルタを用いて3回スキャンする
必要があるため、計6回のスキャンを行うことになる。
ラインCCDセンサを用いる場合は、2回で済むことに
なるので、迅速な処理にとっては有利である。また、プ
レスキャンは、フィルムFのすべての画像を一気にプレ
スキャンで取り込んで、画像処理条件を設定した後、フ
ァインスキャンを行っているが、フィルムFを一コマご
とにプレスキャンとファインスキャンを逐次行ってもよ
い。
センサでの読み取りは、写真プリントを出力するために
画像を読み取るファインスキャンに先立ち、画像処理条
件等を決定するために、画像を低解像度で読み取るプレ
スキャンを行ない画像処理条件を決定し、オペレータ
(またはユーザ)がモニタ20で確認し調整した後、高
解像度で画像を読み取るファインスキャンを行うため、
スキャンはプレスキャンとファインスキャンの2回行わ
れる。そのため、R、GおよびBの色フィルタを設け、
面露光を利用したCCDエリアセンサを用いた場合、
R、GおよびBの色フィルタを用いて3回スキャンする
必要があるため、計6回のスキャンを行うことになる。
ラインCCDセンサを用いる場合は、2回で済むことに
なるので、迅速な処理にとっては有利である。また、プ
レスキャンは、フィルムFのすべての画像を一気にプレ
スキャンで取り込んで、画像処理条件を設定した後、フ
ァインスキャンを行っているが、フィルムFを一コマご
とにプレスキャンとファインスキャンを逐次行ってもよ
い。
【0055】また、本発明では、ネガやリバーサル等の
フィルムに撮影された画像を光電的に読み取るスキャナ
12以外にも、反射原稿の画像を読み取る画像読取装
置、コンピュータ通信等の通信手段(モデムを介するも
のも含む)、デジタルカメラやデジタルビデオカメラ等
の撮像デバイスや内蔵メモリ、PCカードやスマートメ
ディア等のデジタルカメラ用の画像記録媒体、FD(フ
ロッピー(登録商標)ディスク)やMO(光磁気記録媒
体)等の汎用の画像記録媒体などの各種の画像データ供
給源を利用することができ、これらを直接またはその駆
動装置を介して画像処理装置14に接続することがで
き、画像処理装置14は、これらの画像データ供給源か
らデジタル画像データやその撮影情報や付加情報を受け
取ることができる。なお、これらの画像データ供給源
は、本発明の画像処理方法による処理済画像データの出
力先としても機能する。
フィルムに撮影された画像を光電的に読み取るスキャナ
12以外にも、反射原稿の画像を読み取る画像読取装
置、コンピュータ通信等の通信手段(モデムを介するも
のも含む)、デジタルカメラやデジタルビデオカメラ等
の撮像デバイスや内蔵メモリ、PCカードやスマートメ
ディア等のデジタルカメラ用の画像記録媒体、FD(フ
ロッピー(登録商標)ディスク)やMO(光磁気記録媒
体)等の汎用の画像記録媒体などの各種の画像データ供
給源を利用することができ、これらを直接またはその駆
動装置を介して画像処理装置14に接続することがで
き、画像処理装置14は、これらの画像データ供給源か
らデジタル画像データやその撮影情報や付加情報を受け
取ることができる。なお、これらの画像データ供給源
は、本発明の画像処理方法による処理済画像データの出
力先としても機能する。
【0056】特に、図1に示されるフォトプリンタ10
では、デジタルカメラ等で撮影して得られたデジタル画
像データを記録したPCMCIA(PCカード)、AT
Aカード、コンパクトフラッシュ(登録商標)カード等
のカードメモリやスマートメディア等のデジタルカメラ
用画像記録媒体25や、FD(フロッピーディスク)、
CD−R(レコーダブルコンパクトディスク)、MO
(マグネトオプティカルディスク)、DVD(ディジタ
ルバーサタイルディスク)やZip等の汎用の画像記録
媒体25から画像データやを読み出し取得するとともに
画像記録媒体25に処理済画像データを記録して出力す
るためのドライブ装置26が画像処理装置14に接続さ
れている。また、(パーソナル)コンピュータやデジタ
ルカメラや他のデジタルフォトプリンタのスキャナや画
像処理装置等の種々の画像データ供給源に直接ケーブル
(例えば、RS232C)を介して接続して、あるいは
インターネットなどの通信ネットワークを介して接続し
て、デジタル画像データやその付属情報である撮影情報
や付加情報を取得するとともに処理済画像データを配信
するためのスロット27等が画像処理装置14に配置さ
れる。
では、デジタルカメラ等で撮影して得られたデジタル画
像データを記録したPCMCIA(PCカード)、AT
Aカード、コンパクトフラッシュ(登録商標)カード等
のカードメモリやスマートメディア等のデジタルカメラ
用画像記録媒体25や、FD(フロッピーディスク)、
CD−R(レコーダブルコンパクトディスク)、MO
(マグネトオプティカルディスク)、DVD(ディジタ
ルバーサタイルディスク)やZip等の汎用の画像記録
媒体25から画像データやを読み出し取得するとともに
画像記録媒体25に処理済画像データを記録して出力す
るためのドライブ装置26が画像処理装置14に接続さ
れている。また、(パーソナル)コンピュータやデジタ
ルカメラや他のデジタルフォトプリンタのスキャナや画
像処理装置等の種々の画像データ供給源に直接ケーブル
(例えば、RS232C)を介して接続して、あるいは
インターネットなどの通信ネットワークを介して接続し
て、デジタル画像データやその付属情報である撮影情報
や付加情報を取得するとともに処理済画像データを配信
するためのスロット27等が画像処理装置14に配置さ
れる。
【0057】なお、図示例では、入力信号(デジタル画
像データおよび付属情報(撮影情報や付加情報))は、
スキャナ12やドライブ装置26等の種々の画像データ
供給源から画像処理装置14に入力されるが、以下の説
明では、主としてスキャナ12から画像処理装置14に
デジタル画像データが供給される場合を代表例として説
明する。
像データおよび付属情報(撮影情報や付加情報))は、
スキャナ12やドライブ装置26等の種々の画像データ
供給源から画像処理装置14に入力されるが、以下の説
明では、主としてスキャナ12から画像処理装置14に
デジタル画像データが供給される場合を代表例として説
明する。
【0058】画像処理装置14は、スキャナ12で読み
取られ、デジタルデータとして、画像処理装置14に送
られてきた画像データに所定の画像処理を施し、プリン
タ16またはモニタ20に出力するもので、そのブロッ
ク図が図2に示される。同図に示すように、画像処理装
置14は、データ処理部38、プレスキャンメモリ4
0、ファインスキャンメモリ42、プレスキャン画像処
理部44、ファインスキャン画像処理部46、条件設定
部48および撮影画像判定部62から構成される。
取られ、デジタルデータとして、画像処理装置14に送
られてきた画像データに所定の画像処理を施し、プリン
タ16またはモニタ20に出力するもので、そのブロッ
ク図が図2に示される。同図に示すように、画像処理装
置14は、データ処理部38、プレスキャンメモリ4
0、ファインスキャンメモリ42、プレスキャン画像処
理部44、ファインスキャン画像処理部46、条件設定
部48および撮影画像判定部62から構成される。
【0059】データ処理部38では、スキャナ12から
出力されたR、GおよびBのデジタル画像データ(入力
画像データ信号)に、Log変換、DCオフセット補
正、暗時補正、シェーディング補正等を行い、処理済プ
レスキャン(画像)データはプレスキャンメモリ40
に、処理済ファインスキャン(画像)データはファイン
スキャンメモリ42に、それぞれ記憶(格納)される。
なお、A/D変換は、スキャナ12で行わず、このデー
タ処理部38で行うようにしてもよい。プレスキャンメ
モリ40およびファインスキャンメモリ42には、デー
タ処理部38で処理されたデジタル画像データが記憶さ
れ、必要に応じて、画像処理を施し出力するために、プ
レスキャン画像処理部44、または、ファインスキャン
画像処理部46に呼び出される。
出力されたR、GおよびBのデジタル画像データ(入力
画像データ信号)に、Log変換、DCオフセット補
正、暗時補正、シェーディング補正等を行い、処理済プ
レスキャン(画像)データはプレスキャンメモリ40
に、処理済ファインスキャン(画像)データはファイン
スキャンメモリ42に、それぞれ記憶(格納)される。
なお、A/D変換は、スキャナ12で行わず、このデー
タ処理部38で行うようにしてもよい。プレスキャンメ
モリ40およびファインスキャンメモリ42には、デー
タ処理部38で処理されたデジタル画像データが記憶さ
れ、必要に応じて、画像処理を施し出力するために、プ
レスキャン画像処理部44、または、ファインスキャン
画像処理部46に呼び出される。
【0060】プレスキャン画像処理部44は、画像処理
部50と画像データ変換部52とからなり、画像処理部
50は、色バランス調整、コントラスト補正、明るさ補
正、さらにシャープネス処理や覆い焼処理等の従来技術
としての画像処理のほか、撮影レンズの収差特性に基づ
く歪曲収差や倍率色収差や周辺光量低下や画像ボケなど
の収差の補正処理を実施する部分である。画像データ変
換部52では、画像処理部50で画像処理の施された画
像データを、モニタ20による表示に対応する画像デー
タに加工するため、3D(三次元)−LUT等を用いて
変換する。
部50と画像データ変換部52とからなり、画像処理部
50は、色バランス調整、コントラスト補正、明るさ補
正、さらにシャープネス処理や覆い焼処理等の従来技術
としての画像処理のほか、撮影レンズの収差特性に基づ
く歪曲収差や倍率色収差や周辺光量低下や画像ボケなど
の収差の補正処理を実施する部分である。画像データ変
換部52では、画像処理部50で画像処理の施された画
像データを、モニタ20による表示に対応する画像デー
タに加工するため、3D(三次元)−LUT等を用いて
変換する。
【0061】ファインスキャン画像処理部46は、画像
処理部54および画像データ変換部58から構成され
る。画像処理部54では、ファインスキャン画像データ
について、プレスキャン画像データにおいて決定された
画像処理条件下、色バランス調整、コントラスト補正
(階調処理)、明るさ補正等が図示しないLUT(ルッ
クアップテーブル)による処理によって、また、彩度補
正が図示しないMTX演算によって公知の方法で行わ
れ、さらに、オペレータの指示や画像データ等に応じ
て、シャープネス処理や覆い焼き処理等が行われる他、
撮影レンズの特性による歪曲収差や倍率色収差などの補
正および写真プリントの出力サイズに応じて画像を拡大
縮小する電子変倍処理を行う。
処理部54および画像データ変換部58から構成され
る。画像処理部54では、ファインスキャン画像データ
について、プレスキャン画像データにおいて決定された
画像処理条件下、色バランス調整、コントラスト補正
(階調処理)、明るさ補正等が図示しないLUT(ルッ
クアップテーブル)による処理によって、また、彩度補
正が図示しないMTX演算によって公知の方法で行わ
れ、さらに、オペレータの指示や画像データ等に応じ
て、シャープネス処理や覆い焼き処理等が行われる他、
撮影レンズの特性による歪曲収差や倍率色収差などの補
正および写真プリントの出力サイズに応じて画像を拡大
縮小する電子変倍処理を行う。
【0062】また、画像処理部54は、本発明の第1の
態様では、撮影シーン中において特定された被写体また
は推定された撮影状況に応じた画像処理や、本発明の第
2の態様では、撮影シーン中において検出された不要エ
リアや不良エリアの修復処理を行う。このような画像処
理としては、1コマ撮影シーンの画像の画面全体または
特定された被写体領域に限定した、濃度または色の階調
制御、幾何歪み補正、強調または平滑化処理の少なくと
も1つであるのが好ましい。また、修復処理としては、
撮影シーンの画像中のゴミや傷やノイズの修復、濃度む
らやボケ等の補正、不要物の除去などの処理の少なくと
も一つであるのが好ましい。なお、これらの画像処理や
修復処理は、画像処理部54だけでなく、プレスキャン
画像処理部44の画像処理部50でも行っても良い。画
像データ変換部58では、画像処理部54で画像処理の
施された処理画像データを、プリンタ16にプリント出
力する画像データに加工するため、3D(三次元)−L
UT等を用いて変換する。
態様では、撮影シーン中において特定された被写体また
は推定された撮影状況に応じた画像処理や、本発明の第
2の態様では、撮影シーン中において検出された不要エ
リアや不良エリアの修復処理を行う。このような画像処
理としては、1コマ撮影シーンの画像の画面全体または
特定された被写体領域に限定した、濃度または色の階調
制御、幾何歪み補正、強調または平滑化処理の少なくと
も1つであるのが好ましい。また、修復処理としては、
撮影シーンの画像中のゴミや傷やノイズの修復、濃度む
らやボケ等の補正、不要物の除去などの処理の少なくと
も一つであるのが好ましい。なお、これらの画像処理や
修復処理は、画像処理部54だけでなく、プレスキャン
画像処理部44の画像処理部50でも行っても良い。画
像データ変換部58では、画像処理部54で画像処理の
施された処理画像データを、プリンタ16にプリント出
力する画像データに加工するため、3D(三次元)−L
UT等を用いて変換する。
【0063】なお、ここでは、本発明の第1〜第3の態
様の画像処理方法によって得られた処理画像データをプ
リンタ16にプリント出力しているが、本発明はこれに
限定されず、画像データ変換部58で、画像記録媒体2
5に記録するための画像データに変換(例えば、媒体出
力に応じたフォーマット変換など)を行って、ドライブ
装置26に出力しても良いし、インターネットなどの通
信網や通信手段等を介して配信するための画像データに
変換(例えば、ネット出力に応じたフォーマット変換な
ど)を行って、スロット27に出力しても良い。こうし
て、本発明においても、プリント出力のみならず、各種
の画像記録媒体への記録や再生、各種のネット配信(転
送)サービスや再生に処理画像データを利用することが
できる。この時、後述するデータベース部62bから導
出した被写体関連情報や、そのたの関連情報などをプリ
ントの合成時や各種の画像記録媒体やネット転送からの
再生時、例えば、モニタ等への再生表示時の付加情報と
して用いても良い。
様の画像処理方法によって得られた処理画像データをプ
リンタ16にプリント出力しているが、本発明はこれに
限定されず、画像データ変換部58で、画像記録媒体2
5に記録するための画像データに変換(例えば、媒体出
力に応じたフォーマット変換など)を行って、ドライブ
装置26に出力しても良いし、インターネットなどの通
信網や通信手段等を介して配信するための画像データに
変換(例えば、ネット出力に応じたフォーマット変換な
ど)を行って、スロット27に出力しても良い。こうし
て、本発明においても、プリント出力のみならず、各種
の画像記録媒体への記録や再生、各種のネット配信(転
送)サービスや再生に処理画像データを利用することが
できる。この時、後述するデータベース部62bから導
出した被写体関連情報や、そのたの関連情報などをプリ
ントの合成時や各種の画像記録媒体やネット転送からの
再生時、例えば、モニタ等への再生表示時の付加情報と
して用いても良い。
【0064】条件設定部48は、プレスキャン画像デー
タがプレスキャンメモリ40から読み出され、画像処理
条件を決定するのに用いられる。具体的には、プレスキ
ャン画像データから、濃度ヒストグラムの作成や、平均
濃度、LATD(大面積透過濃度)、ハイライト(最低
濃度)、シャドー(最高濃度)等の画像特徴量の算出等
を行い、加えて、必要に応じて行われるオペレータによ
る指示に応じて、前述のグレイバランス調整等のテーブ
ル(LUT)や彩度補正を行うマトリクス演算の作成等
を行い、画像処理条件を決定する。決定された画像処理
条件は、さらに、キーボード18aおよびマウス18b
を有する操作系18で調整され、画像処理条件が再設定
される。なお、本発明の第1および第2の態様において
は、条件設定部48は、特定された被写体や推定された
撮影状況や濃度むらやボケなどの不良エリアの情報に応
じて画像処理条件の再設定や補正条件の設定を行うこと
ができる。
タがプレスキャンメモリ40から読み出され、画像処理
条件を決定するのに用いられる。具体的には、プレスキ
ャン画像データから、濃度ヒストグラムの作成や、平均
濃度、LATD(大面積透過濃度)、ハイライト(最低
濃度)、シャドー(最高濃度)等の画像特徴量の算出等
を行い、加えて、必要に応じて行われるオペレータによ
る指示に応じて、前述のグレイバランス調整等のテーブ
ル(LUT)や彩度補正を行うマトリクス演算の作成等
を行い、画像処理条件を決定する。決定された画像処理
条件は、さらに、キーボード18aおよびマウス18b
を有する操作系18で調整され、画像処理条件が再設定
される。なお、本発明の第1および第2の態様において
は、条件設定部48は、特定された被写体や推定された
撮影状況や濃度むらやボケなどの不良エリアの情報に応
じて画像処理条件の再設定や補正条件の設定を行うこと
ができる。
【0065】また、撮影日時データや撮影位置などの撮
影情報の少なくとも一部に関連する付加情報を選択する
際に、ユーザの希望に応じて項目を指定するために、キ
ーボード18aやマウス18bが用いられる。なお、モ
ニタ20は、プレスキャン画像データの画像処理が適切
かどうか、オペレータが確認、検定するものであり、画
像データ変換部52を介して画像処理装置14と接続さ
れる。なお、図2は主に画像処理関連の部位を示すもの
であり、画像処理装置14には、これ以外にも、画像処
理装置14を含むデジタルフォトプリンタ10全体の制
御や管理を行うCPU、デジタルフォトプリンタ10の
作動等に必要な情報を記憶するメモリ、ファインスキャ
ンの際の可変絞り24の絞り値やCCDセンサ34の蓄
積時間を決定する手段等が配置される。
影情報の少なくとも一部に関連する付加情報を選択する
際に、ユーザの希望に応じて項目を指定するために、キ
ーボード18aやマウス18bが用いられる。なお、モ
ニタ20は、プレスキャン画像データの画像処理が適切
かどうか、オペレータが確認、検定するものであり、画
像データ変換部52を介して画像処理装置14と接続さ
れる。なお、図2は主に画像処理関連の部位を示すもの
であり、画像処理装置14には、これ以外にも、画像処
理装置14を含むデジタルフォトプリンタ10全体の制
御や管理を行うCPU、デジタルフォトプリンタ10の
作動等に必要な情報を記憶するメモリ、ファインスキャ
ンの際の可変絞り24の絞り値やCCDセンサ34の蓄
積時間を決定する手段等が配置される。
【0066】撮影画像判定部62は、撮影日時等の撮影
情報や撮影位置や撮影方位や撮影倍率などのカメラ情報
を取得するカメラ情報取得部62aと、このカメラ情報
に基づいて撮影シーン推定に必要な付加情報等の関連情
報を選択する関連情報選択部62bと、カメラ情報取得
部62aで取得されたカメラ情報および関連情報選択部
62bで選択された関連情報に基づいて撮影シーンの画
像内の被写体の特定や撮影時の状況の推定やこれらによ
るシミュレーション画像の作成やシミュレーション画像
と撮影画像の比較や不要エリアや不良エリアの検出等を
行う撮影シーン推定部62cと、関連情報として撮影シ
ーン推定部62cが引用するために、関連情報選択部6
2bが選択するデータを蓄えた百科事典等のデータベー
スや、撮影されたシーンの画像内の被写体の特定のため
に用いられる地図データベースや、撮影シーンのシミュ
レーション画像を作成するための3次元地図データベー
スや、主要被写体となる著名な山や観光名所や有名な撮
影スポットなどの撮影画像を蓄えた撮影画像(蓄積画
像)データベース、あるいは各地の天候を記録した天候
データベースや各地のイベント情報を記録したイベント
のデータベース等々の情報を有するデータベース部62
dとから構成される。
情報や撮影位置や撮影方位や撮影倍率などのカメラ情報
を取得するカメラ情報取得部62aと、このカメラ情報
に基づいて撮影シーン推定に必要な付加情報等の関連情
報を選択する関連情報選択部62bと、カメラ情報取得
部62aで取得されたカメラ情報および関連情報選択部
62bで選択された関連情報に基づいて撮影シーンの画
像内の被写体の特定や撮影時の状況の推定やこれらによ
るシミュレーション画像の作成やシミュレーション画像
と撮影画像の比較や不要エリアや不良エリアの検出等を
行う撮影シーン推定部62cと、関連情報として撮影シ
ーン推定部62cが引用するために、関連情報選択部6
2bが選択するデータを蓄えた百科事典等のデータベー
スや、撮影されたシーンの画像内の被写体の特定のため
に用いられる地図データベースや、撮影シーンのシミュ
レーション画像を作成するための3次元地図データベー
スや、主要被写体となる著名な山や観光名所や有名な撮
影スポットなどの撮影画像を蓄えた撮影画像(蓄積画
像)データベース、あるいは各地の天候を記録した天候
データベースや各地のイベント情報を記録したイベント
のデータベース等々の情報を有するデータベース部62
dとから構成される。
【0067】なお、関連情報選択部62bは、データベ
ース部62dから付加情報等の関連情報を選択する場合
に限定されず、必要に応じて外部から取得された関連情
報を選択しても良い。撮影シーン推定部62cによって
特定された被写体や推定された撮影状況や、濃度むらや
ボケなどの不良エリアの情報は、画像処理条件の再設定
や補正条件の設定のために、条件設定部48に送られ
る。もちろん、撮影シーン推定部62cにおいて、この
ような画像処理条件の再設定や補正条件の設定を行って
も良い。この場合には、再設定された画像処理条件や設
定された補正条件は、ゴミ、傷、ノイズや不要物等の不
要エリアや不良エリアなどの情報とともに、直接画像処
理部54に送ることができる。
ース部62dから付加情報等の関連情報を選択する場合
に限定されず、必要に応じて外部から取得された関連情
報を選択しても良い。撮影シーン推定部62cによって
特定された被写体や推定された撮影状況や、濃度むらや
ボケなどの不良エリアの情報は、画像処理条件の再設定
や補正条件の設定のために、条件設定部48に送られ
る。もちろん、撮影シーン推定部62cにおいて、この
ような画像処理条件の再設定や補正条件の設定を行って
も良い。この場合には、再設定された画像処理条件や設
定された補正条件は、ゴミ、傷、ノイズや不要物等の不
要エリアや不良エリアなどの情報とともに、直接画像処
理部54に送ることができる。
【0068】また、データベース部62dは、画像処理
装置14の撮影画像判定部62に内蔵されているものに
限定されず、外部記憶装置として画像処理装置14に接
続されるものであっても良いし、またその数も1つに限
られず、2つ以上の記憶装置で構成されていても良い
し、さらに、フォトプリンタ10に備えられているもの
に限定されず、インターネット等の通信手段を介して接
続可能、または検索可能なデータベースであっても良
い。
装置14の撮影画像判定部62に内蔵されているものに
限定されず、外部記憶装置として画像処理装置14に接
続されるものであっても良いし、またその数も1つに限
られず、2つ以上の記憶装置で構成されていても良い
し、さらに、フォトプリンタ10に備えられているもの
に限定されず、インターネット等の通信手段を介して接
続可能、または検索可能なデータベースであっても良
い。
【0069】本発明の画像処理方法を実施する本発明の
画像処理装置を適用するデジタルフォトプリンタは、基
本的に以上のように構成されるが、以下に、図1〜図3
を参照して、その作用および本発明の第1の態様の画像
処理方法および装置を説明する。最初に、GPS情報等
のカメラ情報により、撮影場所が屋内か屋外かを判別し
て、それに応じて階調制御を行う、本発明の第1の態様
の第1実施形態について説明する。
画像処理装置を適用するデジタルフォトプリンタは、基
本的に以上のように構成されるが、以下に、図1〜図3
を参照して、その作用および本発明の第1の態様の画像
処理方法および装置を説明する。最初に、GPS情報等
のカメラ情報により、撮影場所が屋内か屋外かを判別し
て、それに応じて階調制御を行う、本発明の第1の態様
の第1実施形態について説明する。
【0070】図3は、図1に示す本発明の第1の態様の
画像処理装置14によって実施される本発明の第1の態
様の画像処理方法における画像情報取得から撮影シーン
に応じた階調制御までの流れの一例を示すフローチャー
トである。GPS情報を利用することのできるカメラ6
6により、被写体を撮影するとともにGPS情報および
各種撮影情報等のカメラ情報が取得され、記録される
(ステップS100)。例えばAPS(新写真システ
ム)カメラの場合、APS対応フィルムFの各コマの画
像記録領域の上部および下部の領域に磁気記録層が形成
されており、ここにGPS情報等のカメラ情報が記録さ
れる。さらに、方向探知機用方位指示器を付加すると、
撮影した緯度、経度および高度さらには、水平面および
垂直面に関する撮影方位角が記録される他、撮影時の撮
影倍率などのカメラ情報も記録することができる。この
記録されたカメラ情報は、スキャナ12のキャリア30
に設けられている磁気読取書込装置で読み込まれ、スキ
ャナ12から画像データと別の経路で撮影画像判定部6
2へ送られ、そのカメラ情報取得部62aによって撮影
画像に付属情報として関連づけて得られる撮影情報等を
含むカメラ情報が取得される(ステップS102)。
画像処理装置14によって実施される本発明の第1の態
様の画像処理方法における画像情報取得から撮影シーン
に応じた階調制御までの流れの一例を示すフローチャー
トである。GPS情報を利用することのできるカメラ6
6により、被写体を撮影するとともにGPS情報および
各種撮影情報等のカメラ情報が取得され、記録される
(ステップS100)。例えばAPS(新写真システ
ム)カメラの場合、APS対応フィルムFの各コマの画
像記録領域の上部および下部の領域に磁気記録層が形成
されており、ここにGPS情報等のカメラ情報が記録さ
れる。さらに、方向探知機用方位指示器を付加すると、
撮影した緯度、経度および高度さらには、水平面および
垂直面に関する撮影方位角が記録される他、撮影時の撮
影倍率などのカメラ情報も記録することができる。この
記録されたカメラ情報は、スキャナ12のキャリア30
に設けられている磁気読取書込装置で読み込まれ、スキ
ャナ12から画像データと別の経路で撮影画像判定部6
2へ送られ、そのカメラ情報取得部62aによって撮影
画像に付属情報として関連づけて得られる撮影情報等を
含むカメラ情報が取得される(ステップS102)。
【0071】まず、撮影画像判定部62の関連情報選択
部62bは、カメラ情報取得部62aが取得したカメラ
情報である撮影位置、撮影方位等から、データベース部
62d内の地図データベースを選択し、撮影シーン推定
部62cは、選択された地図データベースを参照して、
撮影された画像の撮影地点や被写体を特定する(ステッ
プS104およびS106)。この撮影シーン推定部6
2cによる被写体や撮影地点の特定は、以下のように行
う。
部62bは、カメラ情報取得部62aが取得したカメラ
情報である撮影位置、撮影方位等から、データベース部
62d内の地図データベースを選択し、撮影シーン推定
部62cは、選択された地図データベースを参照して、
撮影された画像の撮影地点や被写体を特定する(ステッ
プS104およびS106)。この撮影シーン推定部6
2cによる被写体や撮影地点の特定は、以下のように行
う。
【0072】例えば、撮影された被写体が山である場
合、その山が何という山であるかとか、どの地点にある
かを特定するには、得られた撮影位置と方位から地図デ
ータベースを参照して特定する。複数の人工衛星からの
信号をもとに位置を正確に知ることのできるGPSを利
用することで、撮影した位置、すなわち経度、緯度およ
び高度を得ることができる。これらの経度、緯度および
高度の位置に関する測位精度は100m以内であり実用
上問題はなく、方位角についても方向探知機用方位指示
器を用いることで方位を精度よく測定できるので、撮影
倍率データに依存して定まる地図上の所定の画角内に収
まる対象物と撮影された被写体を照合することで、撮影
被写体や撮影地点を地図データベース上の対象物として
特定することができる。なお、撮影地点には、画面内に
写っている、撮影画像内の被写体の位置、すなわち撮影
された地点(位置)のみならず、撮影者またはカメラの
位置などの撮影する位置、すなわち撮影位置を含めても
よい。こうすることにより、撮影画像の内の被写体だけ
でなく、撮影位置そのものに関する情報も付加情報とし
て撮影画像に付加することができるからである。
合、その山が何という山であるかとか、どの地点にある
かを特定するには、得られた撮影位置と方位から地図デ
ータベースを参照して特定する。複数の人工衛星からの
信号をもとに位置を正確に知ることのできるGPSを利
用することで、撮影した位置、すなわち経度、緯度およ
び高度を得ることができる。これらの経度、緯度および
高度の位置に関する測位精度は100m以内であり実用
上問題はなく、方位角についても方向探知機用方位指示
器を用いることで方位を精度よく測定できるので、撮影
倍率データに依存して定まる地図上の所定の画角内に収
まる対象物と撮影された被写体を照合することで、撮影
被写体や撮影地点を地図データベース上の対象物として
特定することができる。なお、撮影地点には、画面内に
写っている、撮影画像内の被写体の位置、すなわち撮影
された地点(位置)のみならず、撮影者またはカメラの
位置などの撮影する位置、すなわち撮影位置を含めても
よい。こうすることにより、撮影画像の内の被写体だけ
でなく、撮影位置そのものに関する情報も付加情報とし
て撮影画像に付加することができるからである。
【0073】さらに、一層精度が要求される場合や撮影
位置や撮影方位さらに撮影倍率の精度がなんらかの理由
で不十分な場合においても、地図データベースを参照し
て、撮影位置や撮影方位や撮影倍率を精度良く知ること
ができ、被写体や撮影地点を詳細に特定できる。つま
り、撮影情報をもとに地図データベースによる3次元コ
ンピュータグラフィック画像を公知のコンピュータグラ
フィック(以下、CGと称する)作成手法により作成
し、この作成されたCG画像と実際の撮影された画像と
のパターンマッチング、例えば、得られた撮影位置や撮
影方位や撮影倍率データをもとに地図データベースから
作成したCG画像の山の稜線と撮影画像上の山の稜線と
の間で、2次元的にCG画像の画素をずらしながらパタ
ーンマッチングを行い、もっともマッチするような位置
および方位さらに撮影倍率を算出することで、撮影位置
や撮影方位や撮影倍率を高い精度で知ることができ、そ
の結果被写体の山やその山のある地点を特定できるので
ある。なお、撮影画像上の山の稜線は、画素の色濃度の
違いからエッジを抽出して行う。
位置や撮影方位さらに撮影倍率の精度がなんらかの理由
で不十分な場合においても、地図データベースを参照し
て、撮影位置や撮影方位や撮影倍率を精度良く知ること
ができ、被写体や撮影地点を詳細に特定できる。つま
り、撮影情報をもとに地図データベースによる3次元コ
ンピュータグラフィック画像を公知のコンピュータグラ
フィック(以下、CGと称する)作成手法により作成
し、この作成されたCG画像と実際の撮影された画像と
のパターンマッチング、例えば、得られた撮影位置や撮
影方位や撮影倍率データをもとに地図データベースから
作成したCG画像の山の稜線と撮影画像上の山の稜線と
の間で、2次元的にCG画像の画素をずらしながらパタ
ーンマッチングを行い、もっともマッチするような位置
および方位さらに撮影倍率を算出することで、撮影位置
や撮影方位や撮影倍率を高い精度で知ることができ、そ
の結果被写体の山やその山のある地点を特定できるので
ある。なお、撮影画像上の山の稜線は、画素の色濃度の
違いからエッジを抽出して行う。
【0074】以上のようにして、撮影位置や撮影方位や
撮影倍率を精度良く知ることで、地図データベースから
撮影された山の位置(地点)や撮影された山の一つ一つ
の山名等を詳細に特定できるのである。また、市街地で
あれば、一つ一つの建物(建造物)の名称を特定するこ
とができる。このようにして、撮影位置が特定され、そ
こが山等の自然が多い場所、例えば森林地帯であれば、
屋外で撮影された可能性が高く、そこが住宅等の建物が
密集した市街地であれば、屋内で撮影された可能性が高
いため、これにより撮影地点が屋内か屋外かを撮影シー
ン推定部62cは判別する。そして、画像処理部54
は、特定された被写体に応じた階調制御を行う(ステッ
プS108)。
撮影倍率を精度良く知ることで、地図データベースから
撮影された山の位置(地点)や撮影された山の一つ一つ
の山名等を詳細に特定できるのである。また、市街地で
あれば、一つ一つの建物(建造物)の名称を特定するこ
とができる。このようにして、撮影位置が特定され、そ
こが山等の自然が多い場所、例えば森林地帯であれば、
屋外で撮影された可能性が高く、そこが住宅等の建物が
密集した市街地であれば、屋内で撮影された可能性が高
いため、これにより撮影地点が屋内か屋外かを撮影シー
ン推定部62cは判別する。そして、画像処理部54
は、特定された被写体に応じた階調制御を行う(ステッ
プS108)。
【0075】撮影地点が屋内の場合、例えば照明が蛍光
灯の場合は、再現プリントが緑がかってしまい(G味と
なり)、また照明がタングステンの場合は、再現プリン
トが赤っぽくなる(R味となる)いわゆるカラーフェリ
アが発生する虞がある。そのため、撮影場所が屋内であ
る可能性が高い場合には、画面全体の色味をグレーへシ
フトするカラーフェリア対策を行う必要がある。
灯の場合は、再現プリントが緑がかってしまい(G味と
なり)、また照明がタングステンの場合は、再現プリン
トが赤っぽくなる(R味となる)いわゆるカラーフェリ
アが発生する虞がある。そのため、撮影場所が屋内であ
る可能性が高い場合には、画面全体の色味をグレーへシ
フトするカラーフェリア対策を行う必要がある。
【0076】これに対し、撮影場所が屋外である可能性
が高い場合には、地図データベースの情報を用いて、被
写体エリアの色の分布を推定し、撮影シーンの色味を調
整するようにする。すなわち、例えば森林地帯のように
緑の多いエリアの場合には、前記屋内におけるカラーフ
ェリア対策を行わないようにする。従来は、このような
場合に、画面全体の色味のバランス等により、異種光源
シーンか否かを推定していたため、森林シーンのように
画面全体において緑色の比重が大である場合に、異種光
源シーンと誤判定し、本来の緑色を再現できないケース
があった。しかし、上記実施形態では、屋外において
は、屋内におけるカラーフェリア対策を行わないように
したため、緑を忠実に再現することができる。
が高い場合には、地図データベースの情報を用いて、被
写体エリアの色の分布を推定し、撮影シーンの色味を調
整するようにする。すなわち、例えば森林地帯のように
緑の多いエリアの場合には、前記屋内におけるカラーフ
ェリア対策を行わないようにする。従来は、このような
場合に、画面全体の色味のバランス等により、異種光源
シーンか否かを推定していたため、森林シーンのように
画面全体において緑色の比重が大である場合に、異種光
源シーンと誤判定し、本来の緑色を再現できないケース
があった。しかし、上記実施形態では、屋外において
は、屋内におけるカラーフェリア対策を行わないように
したため、緑を忠実に再現することができる。
【0077】次に、撮影した季節あるいは日時のデータ
等から撮影シーンを推定し、画像再現プリントの色味を
調整する本発明の第1の態様の第2実施形態について説
明する。
等から撮影シーンを推定し、画像再現プリントの色味を
調整する本発明の第1の態様の第2実施形態について説
明する。
【0078】これは、同一被写体でも、撮影する季節に
よって、あるいは撮影する時間帯によって、色味が異な
るため、これを撮影情報から判断して、それに応じた色
味の調整をしようというものである。例えば、同じ富士
山でも、撮影時期が夏と冬とでは、撮影シーンの色味が
異なる。また、同じ海の撮影シーンでも同様である。ま
た、同じ被写体、同じ季節であっても、撮影時刻が朝、
昼あるいは夕では、色味が異なる。そこで、撮影位置情
報に、撮影日時情報を合わせて、撮影シーンを推定し、
それに合わせた色味の調整を行うようにする。
よって、あるいは撮影する時間帯によって、色味が異な
るため、これを撮影情報から判断して、それに応じた色
味の調整をしようというものである。例えば、同じ富士
山でも、撮影時期が夏と冬とでは、撮影シーンの色味が
異なる。また、同じ海の撮影シーンでも同様である。ま
た、同じ被写体、同じ季節であっても、撮影時刻が朝、
昼あるいは夕では、色味が異なる。そこで、撮影位置情
報に、撮影日時情報を合わせて、撮影シーンを推定し、
それに合わせた色味の調整を行うようにする。
【0079】また、撮影時刻情報の他に背景エリアの測
距データや撮影シーンの濃度分布(ポジ画像において背
景部分が高濃度等)から夜景シーンであると判断した場
合には、コントラストを強調するようにする。これによ
り、従来黒い部分が薄くべたっとなっていた失敗を解消
することができ、夜景の黒い部分がくっきりとした再現
画像を得ることができる。このとき背景エリアの測距デ
ータがあれば精度が上がるが、このデータは必ずしも必
須のものではない。また、比較的有名な被写体であれ
ば、実際の撮影画像をデータベース部62dに記録して
おき、これを参照して画像を作成するようにしてもよ
い。例えば、東京タワーであれば、普段東京タワーが有
している色味を記録しておき、東京タワーを撮影した画
像の場合、これを参照して、色のバランスを変えてやる
ようにするとこともできる。
距データや撮影シーンの濃度分布(ポジ画像において背
景部分が高濃度等)から夜景シーンであると判断した場
合には、コントラストを強調するようにする。これによ
り、従来黒い部分が薄くべたっとなっていた失敗を解消
することができ、夜景の黒い部分がくっきりとした再現
画像を得ることができる。このとき背景エリアの測距デ
ータがあれば精度が上がるが、このデータは必ずしも必
須のものではない。また、比較的有名な被写体であれ
ば、実際の撮影画像をデータベース部62dに記録して
おき、これを参照して画像を作成するようにしてもよ
い。例えば、東京タワーであれば、普段東京タワーが有
している色味を記録しておき、東京タワーを撮影した画
像の場合、これを参照して、色のバランスを変えてやる
ようにするとこともできる。
【0080】さらに、撮影した日の該当する時間帯の天
候情報をデータベース部62dから読み出して、天候シ
ミュレーションにより、再現プリントの色味を調整する
ようにしてもよい。また、このとき、天候情報は例えば
ラボ等においてインターネットを通じて得るようにして
もよい。すなわち、晴天、曇天あるいは雨天の違いに応
じて色味を変えるようにする。例えば、曇天や雨天の場
合には、彩度を意図的に上げて、くっきりした感じを補
うようにする。あるいは、逆に意図的にどんよりした印
象のプリントになるように色味を調整してもよい。
候情報をデータベース部62dから読み出して、天候シ
ミュレーションにより、再現プリントの色味を調整する
ようにしてもよい。また、このとき、天候情報は例えば
ラボ等においてインターネットを通じて得るようにして
もよい。すなわち、晴天、曇天あるいは雨天の違いに応
じて色味を変えるようにする。例えば、曇天や雨天の場
合には、彩度を意図的に上げて、くっきりした感じを補
うようにする。あるいは、逆に意図的にどんよりした印
象のプリントになるように色味を調整してもよい。
【0081】次に、位置情報および日時情報にイベント
情報を組み合わせて、撮影シーンの推定をする、本発明
の第1の態様の第3実施形態について説明する。
情報を組み合わせて、撮影シーンの推定をする、本発明
の第1の態様の第3実施形態について説明する。
【0082】これは、特定地点、特定日時、時刻におけ
るイベント情報を用いて撮影シーンを推定するものであ
る。このとき、イベント情報は、前述したように、予め
データベース部62dに記録しておいてもよいし、イン
ターネットを通じて得るようにしてもよい。また、シー
ンの濃度分布を加味してもよい。
るイベント情報を用いて撮影シーンを推定するものであ
る。このとき、イベント情報は、前述したように、予め
データベース部62dに記録しておいてもよいし、イン
ターネットを通じて得るようにしてもよい。また、シー
ンの濃度分布を加味してもよい。
【0083】例えば、カメラ情報として、○月○日○
時、○○川沿いにて撮影、という撮影情報があったと
き、これに対しどのようなイベントがあったかをデータ
ベースを検索して、例えば花火大会があったことが判明
したとする。このとき、あるコマの濃度分布がシャドー
側に偏っていたとすると、このコマは花火を撮影したも
のと判断できる。そこで、前述した夜景の場合と同様
に、コントラストを強調することで、くっきりとしたプ
リントを得るようにする。これにより、従来の夜景が薄
白くなる失敗をなくすことができる。
時、○○川沿いにて撮影、という撮影情報があったと
き、これに対しどのようなイベントがあったかをデータ
ベースを検索して、例えば花火大会があったことが判明
したとする。このとき、あるコマの濃度分布がシャドー
側に偏っていたとすると、このコマは花火を撮影したも
のと判断できる。そこで、前述した夜景の場合と同様
に、コントラストを強調することで、くっきりとしたプ
リントを得るようにする。これにより、従来の夜景が薄
白くなる失敗をなくすことができる。
【0084】また、季節が冬で、撮影地点が山で、イベ
ント情報として現地でスキー場開催中であるという時
は、白を強調するようにする。これにより、従来、白い
雪がどんよりした感じのプリントになるという失敗を解
消することができる。なお、この時、イベントのプログ
ラム情報などがあれば、撮影情報中の撮影時刻情報など
と照合して、被写体推定に利用しても良い。また、この
時、データベース部62bにイベント情報に関連する画
像データがあれば、パターンマッチング手法を適用し
て、被写体推定に利用しても良い。さらに、イベント情
報として付属音声情報等がある場合にも、これを単独
で、もしくは他のイベント関係の情報と照合して、被写
体推定に利用しても良い。こうすることにより、推定の
容易化やその精度の向上や時間の短縮などを図ることが
できる。
ント情報として現地でスキー場開催中であるという時
は、白を強調するようにする。これにより、従来、白い
雪がどんよりした感じのプリントになるという失敗を解
消することができる。なお、この時、イベントのプログ
ラム情報などがあれば、撮影情報中の撮影時刻情報など
と照合して、被写体推定に利用しても良い。また、この
時、データベース部62bにイベント情報に関連する画
像データがあれば、パターンマッチング手法を適用し
て、被写体推定に利用しても良い。さらに、イベント情
報として付属音声情報等がある場合にも、これを単独
で、もしくは他のイベント関係の情報と照合して、被写
体推定に利用しても良い。こうすることにより、推定の
容易化やその精度の向上や時間の短縮などを図ることが
できる。
【0085】次に、位置情報により屋外での撮影という
ことがわかっているとき、被写体として人物を含む場合
とそうでない場合において処理を分ける、本発明の第1
の態様の第4実施形態について説明する。
ことがわかっているとき、被写体として人物を含む場合
とそうでない場合において処理を分ける、本発明の第1
の態様の第4実施形態について説明する。
【0086】これは、GPS情報等により撮影地が屋外
であることが判明しているとき、被写体の特定により、
人物でないと判定されているエリアについては、顔抽出
処理を行わない(オフにする)または、顔抽出処理後に
その抽出エリアを除外するといった手法により顔の誤抽
出を防止するものである。このとき、人物でない、背景
であると分かっているエリアについては、最初から顔抽
出処理の対象から除外すれば、処理時間の短縮になる。
これにより、従来のような空や地面等の部分において顔
を誤抽出するという失敗を解消することができる。ま
た、シーン特定により、顔抽出適用範囲を限定でき、演
算時間を省略することができる。
であることが判明しているとき、被写体の特定により、
人物でないと判定されているエリアについては、顔抽出
処理を行わない(オフにする)または、顔抽出処理後に
その抽出エリアを除外するといった手法により顔の誤抽
出を防止するものである。このとき、人物でない、背景
であると分かっているエリアについては、最初から顔抽
出処理の対象から除外すれば、処理時間の短縮になる。
これにより、従来のような空や地面等の部分において顔
を誤抽出するという失敗を解消することができる。ま
た、シーン特定により、顔抽出適用範囲を限定でき、演
算時間を省略することができる。
【0087】また、屋外で人物を撮影する場合に、季節
や時間帯によって、被写体である人物の顔に当たる光線
が強く、影が目立つことがある。このとき、顔として抽
出されたエリアについて、影部分の明度を上げる、また
はコントラストを緩和する様にする処理を行う。また、
撮影位置情報と時間情報とから太陽光の方向を割り出
し、被写体(人物、建物、自然)の影エリアの判定に利
用することもできる。
や時間帯によって、被写体である人物の顔に当たる光線
が強く、影が目立つことがある。このとき、顔として抽
出されたエリアについて、影部分の明度を上げる、また
はコントラストを緩和する様にする処理を行う。また、
撮影位置情報と時間情報とから太陽光の方向を割り出
し、被写体(人物、建物、自然)の影エリアの判定に利
用することもできる。
【0088】最後に、GPS情報による撮影位置情報お
よび地図データベースから抽出される特定被写体を利用
して、さらに高品質の再現プリントを得る本発明の第1
の態様の第5および第6の各実施形態について説明す
る。第5実施形態は、撮影シーン中から特定の建造物を
抽出し、その建造物の直線部分の歪み具合から、歪み補
正パターンを導出して、各画像に対しこの歪み補正パタ
ーンに基づいて歪み補正を行うものである。
よび地図データベースから抽出される特定被写体を利用
して、さらに高品質の再現プリントを得る本発明の第1
の態様の第5および第6の各実施形態について説明す
る。第5実施形態は、撮影シーン中から特定の建造物を
抽出し、その建造物の直線部分の歪み具合から、歪み補
正パターンを導出して、各画像に対しこの歪み補正パタ
ーンに基づいて歪み補正を行うものである。
【0089】シーン中からの特定建造物の抽出は、例え
ば、前に述べたような、地図データベースを利用したC
G画像とのパターンマッチングにより行えばよい。そし
て、建造物の直線部分の歪み具合を検出し、歪み補正パ
ターンを導出する。この歪み補正パターンから補正関数
を作成し、これを画面全体に適用することにより、画像
の歪み補正を行う。または、補正関数は画面全体に適用
するのでなく、例えば抽出した建造物の部分のような局
所エリアのみに適用するようにしてもよい。このよう
に、補正関数を作成した場合には、これを1件分の全コ
マに適用してもよい。なお、補正関数を作成する場合
に、複数コマ分のデータを集計して用いることにより歪
み補正の精度も向上する。
ば、前に述べたような、地図データベースを利用したC
G画像とのパターンマッチングにより行えばよい。そし
て、建造物の直線部分の歪み具合を検出し、歪み補正パ
ターンを導出する。この歪み補正パターンから補正関数
を作成し、これを画面全体に適用することにより、画像
の歪み補正を行う。または、補正関数は画面全体に適用
するのでなく、例えば抽出した建造物の部分のような局
所エリアのみに適用するようにしてもよい。このよう
に、補正関数を作成した場合には、これを1件分の全コ
マに適用してもよい。なお、補正関数を作成する場合
に、複数コマ分のデータを集計して用いることにより歪
み補正の精度も向上する。
【0090】なお、被写体として人工的建造物に限ら
ず、地平線や水平線を利用することもできる。また、直
線利用の手法以外に、後述するシミュレーション画像と
の比較手法でもよい。この場合、複数の被写体から特徴
点(エッジ角度や頂点等)を抽出し、シミュレーション
画像(後述の図5、S208にて作成)と撮影画像間
で、それぞれ対応する各特徴点間の位置ずれに基づい
て、幾何歪み補正関数を導出する。
ず、地平線や水平線を利用することもできる。また、直
線利用の手法以外に、後述するシミュレーション画像と
の比較手法でもよい。この場合、複数の被写体から特徴
点(エッジ角度や頂点等)を抽出し、シミュレーション
画像(後述の図5、S208にて作成)と撮影画像間
で、それぞれ対応する各特徴点間の位置ずれに基づい
て、幾何歪み補正関数を導出する。
【0091】第6実施形態は、特定の被写体の抽出をシ
ャープネスの局所処理に利用するものである。すなわ
ち、GPS情報、地図データベースおよびカメラの撮影
方向から、被写体を特定するとともに撮影地点から被写
体までの距離を推定し、カメラから遠距離にある被写体
ほど、ぼかすことで遠近感を強調しようというものであ
る。このような処理をすることにより、よりめりはりの
あるシャープな再現画像を得ることができる。
ャープネスの局所処理に利用するものである。すなわ
ち、GPS情報、地図データベースおよびカメラの撮影
方向から、被写体を特定するとともに撮影地点から被写
体までの距離を推定し、カメラから遠距離にある被写体
ほど、ぼかすことで遠近感を強調しようというものであ
る。このような処理をすることにより、よりめりはりの
あるシャープな再現画像を得ることができる。
【0092】以上説明した本発明の第1の態様の画像処
理装置によって実施される画像処理方法の各実施形態に
おいては、撮影シーンの推定、被写体の特定や撮影時の
状況の推定により、その後の処理を振り分けることによ
り、処理を効率化するとともに画質の向上を図ることが
できる。
理装置によって実施される画像処理方法の各実施形態に
おいては、撮影シーンの推定、被写体の特定や撮影時の
状況の推定により、その後の処理を振り分けることによ
り、処理を効率化するとともに画質の向上を図ることが
できる。
【0093】次に、本発明の第2の態様に係る画像処理
方法および装置について好適な実施形態を挙げて説明す
る。本実施形態は、人工衛星を用いたGPSを利用し得
るカメラを用いて取得されるGPS情報を含むカメラの
撮影情報(カメラ情報)等の撮影画像の付属情報とデー
タベースに蓄積されている地図データまたは蓄積画像デ
ータとを用いて、撮影シーンのシミュレーション画像を
作成し、撮影画像中のゴミや傷やノイズなどの不要エリ
アの修復、濃度むらやボケなどの不良エリアの補正、不
要物などの不要エリアの除去を行うものである。しか
し、本発明は本実施形態に限定されるわけではない。
方法および装置について好適な実施形態を挙げて説明す
る。本実施形態は、人工衛星を用いたGPSを利用し得
るカメラを用いて取得されるGPS情報を含むカメラの
撮影情報(カメラ情報)等の撮影画像の付属情報とデー
タベースに蓄積されている地図データまたは蓄積画像デ
ータとを用いて、撮影シーンのシミュレーション画像を
作成し、撮影画像中のゴミや傷やノイズなどの不要エリ
アの修復、濃度むらやボケなどの不良エリアの補正、不
要物などの不要エリアの除去を行うものである。しか
し、本発明は本実施形態に限定されるわけではない。
【0094】なお、本発明の第2の態様の画像処理方法
は、図2および図4に示す本態様の画像処理装置を適用
する図1に示すデジタルフォトプリンタによって実施さ
れるものであるので、本発明の第2の態様の画像処理方
法および装置を図1、図2、図4および図5を参照して
以下に説明する。図4は、図2に示す画像処理装置14
の撮影画像判定部62の撮影シーン推定部62cの一実
施例の構成を示すブロック図である。
は、図2および図4に示す本態様の画像処理装置を適用
する図1に示すデジタルフォトプリンタによって実施さ
れるものであるので、本発明の第2の態様の画像処理方
法および装置を図1、図2、図4および図5を参照して
以下に説明する。図4は、図2に示す画像処理装置14
の撮影画像判定部62の撮影シーン推定部62cの一実
施例の構成を示すブロック図である。
【0095】同図に示すように、撮影シーン推定部62
cは、カメラ情報取得部62aがカメラ情報として取得
した撮影位置情報、撮影方位情報および撮影倍率情報の
少なくとも一つと、関連情報選択部62bが関連情報と
してデータベース部62dから選択した地図情報または
蓄積情報とを用いて、撮影シーンのシミュレーション画
像を作成する作成部63aと、作成部63aによって作
成された撮影シーンのシミュレーション画像と撮影され
た画像(撮影画像)とを比較する比較部63bと、比較
部63bによる比較結果に基づいて、撮影画像に存在す
る撮影シーン中の不良領域または不要領域を検出する検
出部63cとを有する。なお、撮影シーン推定部62c
の検出部63cで検出された撮影シーン中の不良領域ま
たは不要領域の情報は、ファインスキャン処理部46の
画像処理部54に送られ、画像処理部54で不良領域ま
たは不要領域の修復処理が行われる。
cは、カメラ情報取得部62aがカメラ情報として取得
した撮影位置情報、撮影方位情報および撮影倍率情報の
少なくとも一つと、関連情報選択部62bが関連情報と
してデータベース部62dから選択した地図情報または
蓄積情報とを用いて、撮影シーンのシミュレーション画
像を作成する作成部63aと、作成部63aによって作
成された撮影シーンのシミュレーション画像と撮影され
た画像(撮影画像)とを比較する比較部63bと、比較
部63bによる比較結果に基づいて、撮影画像に存在す
る撮影シーン中の不良領域または不要領域を検出する検
出部63cとを有する。なお、撮影シーン推定部62c
の検出部63cで検出された撮影シーン中の不良領域ま
たは不要領域の情報は、ファインスキャン処理部46の
画像処理部54に送られ、画像処理部54で不良領域ま
たは不要領域の修復処理が行われる。
【0096】このような構成の撮影シーン推定部62c
を持つ撮影画像判定部62で実施される本態様の画像処
理方法として、まず、GPS情報等のカメラ情報によ
り、主要被写体を推定して、主要被写体のデータベース
蓄積画像をシミュレーション画像として作成し、このシ
ミュレーション画像とのマッチングにより、ゴミや傷や
ノイズの存在を判定し、修復処理を行う本発明の第2の
態様の第1実施形態について説明する。
を持つ撮影画像判定部62で実施される本態様の画像処
理方法として、まず、GPS情報等のカメラ情報によ
り、主要被写体を推定して、主要被写体のデータベース
蓄積画像をシミュレーション画像として作成し、このシ
ミュレーション画像とのマッチングにより、ゴミや傷や
ノイズの存在を判定し、修復処理を行う本発明の第2の
態様の第1実施形態について説明する。
【0097】図5は、本発明の第2の態様の画像処理方
法および装置における画像情報取得から撮影シーン中の
不要エリアや不良エリアの修復処理までの流れの一例を
示すフローチャートである。図5に示すフローチャート
と、図3に示すフローチャートは、GPS情報を利用す
ることのできるカメラ66による被写体の撮影およびG
PS情報やその他の各種撮影情報等の記録と、画像処理
装置14による被写体の撮影画像およびGPS情報等の
撮影情報の(撮影画像判定部62のカメラ情報取得部6
2aによる)取得とは同様であり、撮影シーン推定部6
2cによる撮影位置や撮影方位等の撮影情報による被写
体の推定や地図データベース等の参照などは、略同様で
あるので、その詳細な説明は省略し、主に撮影シーン推
定部62cによるシミュレーション画像の作成以降の工
程について説明する。
法および装置における画像情報取得から撮影シーン中の
不要エリアや不良エリアの修復処理までの流れの一例を
示すフローチャートである。図5に示すフローチャート
と、図3に示すフローチャートは、GPS情報を利用す
ることのできるカメラ66による被写体の撮影およびG
PS情報やその他の各種撮影情報等の記録と、画像処理
装置14による被写体の撮影画像およびGPS情報等の
撮影情報の(撮影画像判定部62のカメラ情報取得部6
2aによる)取得とは同様であり、撮影シーン推定部6
2cによる撮影位置や撮影方位等の撮影情報による被写
体の推定や地図データベース等の参照などは、略同様で
あるので、その詳細な説明は省略し、主に撮影シーン推
定部62cによるシミュレーション画像の作成以降の工
程について説明する。
【0098】前提として、例えば、著名な山や、観光名
所や有名な撮影スポットの被写体について、撮影画像を
データベース蓄積画像として撮影画像判定部62のデー
タベース部62dに蓄積しておく。まず、ステップS2
00においては、ステップS100と同様に、顧客のG
PS情報を利用することのできるカメラ66によって、
被写体が撮影される。ここで、カメラ66には、被写体
の撮影シーンの画像とともにGPS情報やその他の各種
撮影情報等が記録される。なお、カメラ66は、デジタ
ルスチールカメラであっても、銀塩写真式フィルムを利
用する従来型光学カメラであってもよい。
所や有名な撮影スポットの被写体について、撮影画像を
データベース蓄積画像として撮影画像判定部62のデー
タベース部62dに蓄積しておく。まず、ステップS2
00においては、ステップS100と同様に、顧客のG
PS情報を利用することのできるカメラ66によって、
被写体が撮影される。ここで、カメラ66には、被写体
の撮影シーンの画像とともにGPS情報やその他の各種
撮影情報等が記録される。なお、カメラ66は、デジタ
ルスチールカメラであっても、銀塩写真式フィルムを利
用する従来型光学カメラであってもよい。
【0099】次に、ステップS202においては、ステ
ップS102と同様に、画像処理装置14は、カメラ6
6において記録された被写体の撮影画像と、その付属情
報であるGPS情報等の撮影情報とを、デジタルカメラ
であれば画像記録媒体25等から直接または従来型の光
学カメラであれば撮影フィルムを現像後スキャナ12で
読み取って、それぞれ、プレスキャンメモリ40やファ
インスキャンメモリ42と、撮影画像判定部62のカメ
ラ情報取得部62aとに取得する。
ップS102と同様に、画像処理装置14は、カメラ6
6において記録された被写体の撮影画像と、その付属情
報であるGPS情報等の撮影情報とを、デジタルカメラ
であれば画像記録媒体25等から直接または従来型の光
学カメラであれば撮影フィルムを現像後スキャナ12で
読み取って、それぞれ、プレスキャンメモリ40やファ
インスキャンメモリ42と、撮影画像判定部62のカメ
ラ情報取得部62aとに取得する。
【0100】ステップS204においては、撮影画像判
定部62の撮影シーン推定部62c(作成部63a、図
4参照)は、取得した撮影位置や撮影方位や撮影倍率デ
ータ等のカメラ情報の少なくとも一つを用いて、特にG
PSデータから主要被写体を推定する。この時、第1の
態様のように、データベース部62dの地図データベー
ス等のデータベース情報を用いて主要被写体の推定を行
うことができる。なお、主要被写体の推定は、従来公知
の主要被写体抽出方法によって主要被写体を抽出した
後、抽出された主要被写体が何であるかを判断するよう
にしてもよい。
定部62の撮影シーン推定部62c(作成部63a、図
4参照)は、取得した撮影位置や撮影方位や撮影倍率デ
ータ等のカメラ情報の少なくとも一つを用いて、特にG
PSデータから主要被写体を推定する。この時、第1の
態様のように、データベース部62dの地図データベー
ス等のデータベース情報を用いて主要被写体の推定を行
うことができる。なお、主要被写体の推定は、従来公知
の主要被写体抽出方法によって主要被写体を抽出した
後、抽出された主要被写体が何であるかを判断するよう
にしてもよい。
【0101】続いて、ステップS206においては、撮
影シーン推定部62cの作成部63aは、データベース
部62dを参照して、推定した主要被写体のデータベー
ス蓄積画像を撮影画像の関連情報として検索して読み出
す。なお、ステップ204および206の撮影シーン推
定部62cの作成部63aによる主要被写体等の推定お
よびこれに基づく3次元地図画像やデータベース蓄積画
像の検索・読出は、関連情報選択部62bで行っても良
い。次に、撮影シーン推定部62cの作成部63aで
は、ステップS208において、こうして読み出された
主要被写体のデータベース蓄積画像がシミュレーション
画像として作成される。
影シーン推定部62cの作成部63aは、データベース
部62dを参照して、推定した主要被写体のデータベー
ス蓄積画像を撮影画像の関連情報として検索して読み出
す。なお、ステップ204および206の撮影シーン推
定部62cの作成部63aによる主要被写体等の推定お
よびこれに基づく3次元地図画像やデータベース蓄積画
像の検索・読出は、関連情報選択部62bで行っても良
い。次に、撮影シーン推定部62cの作成部63aで
は、ステップS208において、こうして読み出された
主要被写体のデータベース蓄積画像がシミュレーション
画像として作成される。
【0102】続いて、撮影シーン推定部62cの比較部
63bは、ステップS210において、作成されたシミ
ュレーション画像と、ファインスキャンメモリ42から
読み出した撮影画像とをマッチング等により比較し、検
出部63cは、比較部63bの比較結果に基づいてステ
ップ212において、ゴミ/傷/ノイズの存在を判定す
る。すなわち、比較部63bにおいて顧客の撮影画像と
シミュレーション画像とを比較して、例えば、局所的パ
ターンマッチングによるサイズや位置の合わせを行った
後、検出部63cにおいてシミュレーション画像とマッ
チングしない撮影画像中の点や線など、すなわち本来存
在しない線や点を検出した場合、ゴミ/傷/ノイズと判
断する。こうして得られたゴミ/傷/ノイズの情報は、
撮影画像判定部62の撮影シーン推定部62c(検出部
63c)から、ファインスキャン処理部46の画像処理
部54に送られる。
63bは、ステップS210において、作成されたシミ
ュレーション画像と、ファインスキャンメモリ42から
読み出した撮影画像とをマッチング等により比較し、検
出部63cは、比較部63bの比較結果に基づいてステ
ップ212において、ゴミ/傷/ノイズの存在を判定す
る。すなわち、比較部63bにおいて顧客の撮影画像と
シミュレーション画像とを比較して、例えば、局所的パ
ターンマッチングによるサイズや位置の合わせを行った
後、検出部63cにおいてシミュレーション画像とマッ
チングしない撮影画像中の点や線など、すなわち本来存
在しない線や点を検出した場合、ゴミ/傷/ノイズと判
断する。こうして得られたゴミ/傷/ノイズの情報は、
撮影画像判定部62の撮影シーン推定部62c(検出部
63c)から、ファインスキャン処理部46の画像処理
部54に送られる。
【0103】最後に、画像処理部54は、ステップ21
4において、撮影画像判定部62の撮影シーン推定部6
2cから送られたゴミ/傷/ノイズの情報に基づいて、
修復処理を行う。すなわち、画像処理部54は、撮影画
像中のゴミ/傷/ノイズを、シミュレーション画像の当
該画素、または撮影画像の周辺画素を用いて修復する。
なお、この修復処理において、撮影画像の当該画素に係
数を掛けて用いることなども可能である。この修復処理
は、撮影画像判定部62の撮影シーン推定部62cで行
っても良い。こうして撮影画像中のゴミや傷やノイズを
効率良く修復することができ、撮影画像を再現した再現
プリントの画質を向上させることができる。
4において、撮影画像判定部62の撮影シーン推定部6
2cから送られたゴミ/傷/ノイズの情報に基づいて、
修復処理を行う。すなわち、画像処理部54は、撮影画
像中のゴミ/傷/ノイズを、シミュレーション画像の当
該画素、または撮影画像の周辺画素を用いて修復する。
なお、この修復処理において、撮影画像の当該画素に係
数を掛けて用いることなども可能である。この修復処理
は、撮影画像判定部62の撮影シーン推定部62cで行
っても良い。こうして撮影画像中のゴミや傷やノイズを
効率良く修復することができ、撮影画像を再現した再現
プリントの画質を向上させることができる。
【0104】次に、GPS情報等のカメラ情報と、3次
元地図データから撮影シーンのシミュレーション画像を
作成し、このシミュレーション画像とのマッチングによ
り、ゴミや傷やノイズの存在を判定し、修復処理を行う
本発明の第2の態様の第2実施形態について説明する。
元地図データから撮影シーンのシミュレーション画像を
作成し、このシミュレーション画像とのマッチングによ
り、ゴミや傷やノイズの存在を判定し、修復処理を行う
本発明の第2の態様の第2実施形態について説明する。
【0105】前提として、撮影画像判定部62のデータ
ベース部62dに、3次元地図データが、デ−タベ−ス
情報として蓄積されているとする。まず、本実施形態に
おいても、第1の実施形態と同様に、ステップS200
ではカメラ66で被写体が撮影され、GPS情報等のカ
メラ情報等が記録される。ステップS202では画像処
理装置14のプレスキャンメモリ40やファインスキャ
ンメモリ42に撮影画像が、撮影画像判定部62にGP
S情報等のカメラ情報等が取得される。
ベース部62dに、3次元地図データが、デ−タベ−ス
情報として蓄積されているとする。まず、本実施形態に
おいても、第1の実施形態と同様に、ステップS200
ではカメラ66で被写体が撮影され、GPS情報等のカ
メラ情報等が記録される。ステップS202では画像処
理装置14のプレスキャンメモリ40やファインスキャ
ンメモリ42に撮影画像が、撮影画像判定部62にGP
S情報等のカメラ情報等が取得される。
【0106】ステップS204およびステップS206
においては、撮影画像判定部62の撮影シーン推定部6
2cの作成部63aは、取得された撮影位置や撮影方位
(カメラ方位デ−タ)等のカメラ情報に基づいて、デー
タベース部62dを参照して、そこに蓄積されている3
次元地図デ−タを読み出し、ステップS208におい
て、取得された撮影位置や撮影方位と、読み出された3
次元地図データとから、撮影画像のシミュレーション画
像を作成する。
においては、撮影画像判定部62の撮影シーン推定部6
2cの作成部63aは、取得された撮影位置や撮影方位
(カメラ方位デ−タ)等のカメラ情報に基づいて、デー
タベース部62dを参照して、そこに蓄積されている3
次元地図デ−タを読み出し、ステップS208におい
て、取得された撮影位置や撮影方位と、読み出された3
次元地図データとから、撮影画像のシミュレーション画
像を作成する。
【0107】続いて、比較部63bでは、ステップS2
10において、作成されたシミュレーション画像と撮影
画像とを比較し、検出部63cでは、ステップ212に
おいて、被写体の輪郭ではない領域に線等が存在する場
合には、ゴミ/傷/ノイズと判定する。例えば、顧客の
撮影画像において、異なる構造物に渡り連続した直線が
有る場合に、フィルムの傷と見なす。最後に、ファイン
スキャン処理部46の画像処理部54は、ステップ21
4においては、撮影画像判定部62の撮影シーン推定部
62cから送られたゴミ/傷/ノイズの情報に基づい
て、第1の実施形態と同様にして、修復処理を行う。こ
うして撮影画像中のゴミや傷やノイズを効率良く修復す
ることができ、ゴミや傷やノイズの影響のない高画質な
再現プリントを得ることができる。
10において、作成されたシミュレーション画像と撮影
画像とを比較し、検出部63cでは、ステップ212に
おいて、被写体の輪郭ではない領域に線等が存在する場
合には、ゴミ/傷/ノイズと判定する。例えば、顧客の
撮影画像において、異なる構造物に渡り連続した直線が
有る場合に、フィルムの傷と見なす。最後に、ファイン
スキャン処理部46の画像処理部54は、ステップ21
4においては、撮影画像判定部62の撮影シーン推定部
62cから送られたゴミ/傷/ノイズの情報に基づい
て、第1の実施形態と同様にして、修復処理を行う。こ
うして撮影画像中のゴミや傷やノイズを効率良く修復す
ることができ、ゴミや傷やノイズの影響のない高画質な
再現プリントを得ることができる。
【0108】次に、GPS情報等のカメラ情報により、
撮影シーンに該当するデータベース蓄積画像をシミュレ
ーション画像として撮影画像と比較し、周辺減光または
ボケむらの程度を検出し、修復処理を行う本発明の第2
の態様の第3実施形態について説明する。本実施形態に
おいては、撮影画像判定部62の撮影シーン推定部62
cの作成部63aで撮影シーンに該当するデ−タベ−ス
蓄積画像をシミュレーション画像として作成し、比較部
63bで撮影画像をシミュレーション画像と比較するま
でのステップS200からステップS210までの工程
は、本態様の第1実施形態と同様に行われる。
撮影シーンに該当するデータベース蓄積画像をシミュレ
ーション画像として撮影画像と比較し、周辺減光または
ボケむらの程度を検出し、修復処理を行う本発明の第2
の態様の第3実施形態について説明する。本実施形態に
おいては、撮影画像判定部62の撮影シーン推定部62
cの作成部63aで撮影シーンに該当するデ−タベ−ス
蓄積画像をシミュレーション画像として作成し、比較部
63bで撮影画像をシミュレーション画像と比較するま
でのステップS200からステップS210までの工程
は、本態様の第1実施形態と同様に行われる。
【0109】ステップS212では、検出部63cは、
撮影シーンの画像の周辺減光などの濃度むらまたはボケ
むらの程度を検出する。最後に、ファインスキャン処理
部46の画像処理部54では、ステップ214におい
て、撮影画像判定部62の撮影シーン推定部62c(検
出部63c)から送られた周辺減光またはボケむらの程
度に応じて、当該撮影シ−ンの1コマ全体または当該コ
マの前後の複数コマ、もしくは類似シ−ンの複数コマ、
あるいは1件撮影画像全体に対して濃度むらまたはボケ
補正を行い、周辺減光またはボケむらの修復処理を行
う。なお、特定の被写体を抽出しておいて、抽出された
特定の被写体のみに鮮鋭化を行ってもよい。こうして撮
影画像中の周辺減光などの濃度むらまたはボケを効率良
く補正することができ、撮影画像の再現プリントの画質
を向上させることができる。
撮影シーンの画像の周辺減光などの濃度むらまたはボケ
むらの程度を検出する。最後に、ファインスキャン処理
部46の画像処理部54では、ステップ214におい
て、撮影画像判定部62の撮影シーン推定部62c(検
出部63c)から送られた周辺減光またはボケむらの程
度に応じて、当該撮影シ−ンの1コマ全体または当該コ
マの前後の複数コマ、もしくは類似シ−ンの複数コマ、
あるいは1件撮影画像全体に対して濃度むらまたはボケ
補正を行い、周辺減光またはボケむらの修復処理を行
う。なお、特定の被写体を抽出しておいて、抽出された
特定の被写体のみに鮮鋭化を行ってもよい。こうして撮
影画像中の周辺減光などの濃度むらまたはボケを効率良
く補正することができ、撮影画像の再現プリントの画質
を向上させることができる。
【0110】次に、GPS情報等のカメラ情報と、電力
関係の地図データから撮影シーン中の電線や電柱の位置
をシミュレーションにより推定し、検出された電線や電
柱の消去処理を行う本発明の第2の態様の第4実施形態
について説明する。ここでは、前提として、電線や電柱
の位置、好ましくはさらにサイズを示す電力関係の地図
デ−タがデ−タベ−ス部62dに蓄積されている、もし
くはインタ−ネットなどの通信手段を介して検索できる
ものとする。まず、本実施形態においても、撮影画像お
よびGPS情報等のカメラ情報の取得までのステップS
200およびステップS202までの工程は、第2実施
形態と同様に行われる。
関係の地図データから撮影シーン中の電線や電柱の位置
をシミュレーションにより推定し、検出された電線や電
柱の消去処理を行う本発明の第2の態様の第4実施形態
について説明する。ここでは、前提として、電線や電柱
の位置、好ましくはさらにサイズを示す電力関係の地図
デ−タがデ−タベ−ス部62dに蓄積されている、もし
くはインタ−ネットなどの通信手段を介して検索できる
ものとする。まず、本実施形態においても、撮影画像お
よびGPS情報等のカメラ情報の取得までのステップS
200およびステップS202までの工程は、第2実施
形態と同様に行われる。
【0111】ステップS204およびステップS206
においては、撮影画像判定部62の撮影シーン推定部6
2c(作成部63a)は、取得された撮影位置や撮影方
位(カメラ方位デ−タ)等のカメラ情報に基づいて、デ
ータベース部62dを参照して、そこに蓄積されている
電力関係の地図デ−タを読み出し、ステップS208に
おいて、取得された撮影位置や撮影方位と読み出された
電力関係の地図データとから、撮影画像に相当するシ−
ン内の電線および電柱、例えばその位置、好ましくはそ
のサイズを推定したシミュレーション画像を作成する。
においては、撮影画像判定部62の撮影シーン推定部6
2c(作成部63a)は、取得された撮影位置や撮影方
位(カメラ方位デ−タ)等のカメラ情報に基づいて、デ
ータベース部62dを参照して、そこに蓄積されている
電力関係の地図デ−タを読み出し、ステップS208に
おいて、取得された撮影位置や撮影方位と読み出された
電力関係の地図データとから、撮影画像に相当するシ−
ン内の電線および電柱、例えばその位置、好ましくはそ
のサイズを推定したシミュレーション画像を作成する。
【0112】続いて、比較部63bは、ステップS21
0において、電線および電柱の推定位置や推定サイズを
示すシミュレーション画像と撮影画像とを比較し、検出
部63cは、ステップ212において、撮影画像中にお
いて電線および電柱の推定位置に推定サイズのライン等
が存在する場合には、電線または電柱と判定する。例え
ば、顧客の撮影画像における細線の検出結果と、シミュ
レーション画像の電線および電柱の推定位置に推定サイ
ズとの合致度合いが大であれば、そのラインを電線また
は電柱とみなす。ここで、細線の検出は、フィルタ処理
やエッジ検出やラインのトレ−ス等の公知の技術の組み
合わせによって行うことができる。その後、ファインス
キャン処理部46の画像処理部54では、ステップ21
4において、電線または電柱とみなされたラインに不要
物として消去処理を行う。こうして、撮影画像中の電線
や電柱などの不要物を効率良く消去することができ、不
要物のない高画質なプリントを再現することができる。
0において、電線および電柱の推定位置や推定サイズを
示すシミュレーション画像と撮影画像とを比較し、検出
部63cは、ステップ212において、撮影画像中にお
いて電線および電柱の推定位置に推定サイズのライン等
が存在する場合には、電線または電柱と判定する。例え
ば、顧客の撮影画像における細線の検出結果と、シミュ
レーション画像の電線および電柱の推定位置に推定サイ
ズとの合致度合いが大であれば、そのラインを電線また
は電柱とみなす。ここで、細線の検出は、フィルタ処理
やエッジ検出やラインのトレ−ス等の公知の技術の組み
合わせによって行うことができる。その後、ファインス
キャン処理部46の画像処理部54では、ステップ21
4において、電線または電柱とみなされたラインに不要
物として消去処理を行う。こうして、撮影画像中の電線
や電柱などの不要物を効率良く消去することができ、不
要物のない高画質なプリントを再現することができる。
【0113】さらに、本発明においては、GPS情報の
みでなく、撮影画像に付随するコメント情報などの付属
情報から、シミュレ−ション画像を作成するための主要
被写体を推定しても良い。例えば、著名な観光エリアで
あれば、コメント情報で主要被写体を概略推定し、デ−
タベ−ス蓄積画像とのパターンマッチングで主要被写体
を絞り込むことができる。このようなコメント情報とし
ては、例えば、テキストデ−タや音声データなどを挙げ
ることができる。
みでなく、撮影画像に付随するコメント情報などの付属
情報から、シミュレ−ション画像を作成するための主要
被写体を推定しても良い。例えば、著名な観光エリアで
あれば、コメント情報で主要被写体を概略推定し、デ−
タベ−ス蓄積画像とのパターンマッチングで主要被写体
を絞り込むことができる。このようなコメント情報とし
ては、例えば、テキストデ−タや音声データなどを挙げ
ることができる。
【0114】以上説明した本発明の第2の態様の画像処
理方法の各実施形態においては、GPS情報などのカメ
ラ情報と、データベース蓄積画像または地図データ、特
に3次元地図データの充実により、画像修復処理を効率
化するとともに画像修復の精度を向上させることがで
き、再現画像の画質の向上を図ることができる。また、
上記各実施例においては、画像修復処理を完全自動化ま
たは半自動化、例えば、主要被写体をモニタに表示し、
オペレ−タの判断に任せる半自動化するにより、画像修
復の能率を向上させることができる。
理方法の各実施形態においては、GPS情報などのカメ
ラ情報と、データベース蓄積画像または地図データ、特
に3次元地図データの充実により、画像修復処理を効率
化するとともに画像修復の精度を向上させることがで
き、再現画像の画質の向上を図ることができる。また、
上記各実施例においては、画像修復処理を完全自動化ま
たは半自動化、例えば、主要被写体をモニタに表示し、
オペレ−タの判断に任せる半自動化するにより、画像修
復の能率を向上させることができる。
【0115】以上、本発明の第1および第2の態様に係
る画像処理方法について、種々の実施例を挙げて詳細に
説明したが、本発明は、以上説明した実施例に限定され
るものではなく、本発明の要旨を逸脱しない範囲におい
て、様々な改良や変更を行ってもよいのはもちろんであ
る。例えば、上に説明した実施形態では、撮影位置情報
はGPSから得るようにしていたが、位置情報の取得手
段はこれに限定されるものではなく、PHSによる位置
情報サービスを利用してもよいし、撮影者がマニュアル
で入力するようにしてもよい。本発明の第1および第2
の態様の画像処理方法および装置は、基本的に以上のよ
うに構成される。
る画像処理方法について、種々の実施例を挙げて詳細に
説明したが、本発明は、以上説明した実施例に限定され
るものではなく、本発明の要旨を逸脱しない範囲におい
て、様々な改良や変更を行ってもよいのはもちろんであ
る。例えば、上に説明した実施形態では、撮影位置情報
はGPSから得るようにしていたが、位置情報の取得手
段はこれに限定されるものではなく、PHSによる位置
情報サービスを利用してもよいし、撮影者がマニュアル
で入力するようにしてもよい。本発明の第1および第2
の態様の画像処理方法および装置は、基本的に以上のよ
うに構成される。
【0116】次に、図6を参照して、本発明の第3の態
様に係る画像処理方法および装置について、好適な実施
形態を挙げて説明する。なお、図6に示すデジタルフォ
トプリンタ11において、本発明の第3の態様の画像処
理方法を実施することができる。図6に示すデジタルフ
ォトプリンタ11は、図1に示すデジタルフォトプリン
タ10と類似の構成を有するものであり、また、図6に
示す画像処理装置15は、図2に示す画像処理装置14
の代わりに図1に示すフォトプリンタ10に用いること
もできるものであり、画像処理装置14と類似の構成を
有するものであるので、同一の構成要素には、同一の参
照符号を付し、その詳細な説明は省略する。
様に係る画像処理方法および装置について、好適な実施
形態を挙げて説明する。なお、図6に示すデジタルフォ
トプリンタ11において、本発明の第3の態様の画像処
理方法を実施することができる。図6に示すデジタルフ
ォトプリンタ11は、図1に示すデジタルフォトプリン
タ10と類似の構成を有するものであり、また、図6に
示す画像処理装置15は、図2に示す画像処理装置14
の代わりに図1に示すフォトプリンタ10に用いること
もできるものであり、画像処理装置14と類似の構成を
有するものであるので、同一の構成要素には、同一の参
照符号を付し、その詳細な説明は省略する。
【0117】図6は、デジタルフォトプリンタ11およ
びこれに用いられる画像処理装置15の一実施例のブロ
ック図である。同図に示すように、画像処理装置(以
下、処理装置とする)15は、基本的にデータ処理部3
8、Log変換器39、プレスキャン(フレーム)メモ
リ40、ファインスキャン(フレーム)メモリ42、プ
レスキャン処理部44、ファインスキャン処理部46、
条件設定部48、入力データ変換部78および音声デー
タ処理部80を有する。
びこれに用いられる画像処理装置15の一実施例のブロ
ック図である。同図に示すように、画像処理装置(以
下、処理装置とする)15は、基本的にデータ処理部3
8、Log変換器39、プレスキャン(フレーム)メモ
リ40、ファインスキャン(フレーム)メモリ42、プ
レスキャン処理部44、ファインスキャン処理部46、
条件設定部48、入力データ変換部78および音声デー
タ処理部80を有する。
【0118】スキャナ12から出力されたR、Gおよび
Bの画像信号は、データ処理部38において、暗時補
正、欠陥画素補正、シェーディング補正等の所定のデー
タ処理を施された後、Log変換器39によって変換さ
れて、デジタルの画像データ(濃度データ)とされ、プ
レスキャンデータはプレスキャンメモリ40に、ファイ
ンスキャンデータはファインスキャンメモリ42に、そ
れぞれ記憶(格納)される。
Bの画像信号は、データ処理部38において、暗時補
正、欠陥画素補正、シェーディング補正等の所定のデー
タ処理を施された後、Log変換器39によって変換さ
れて、デジタルの画像データ(濃度データ)とされ、プ
レスキャンデータはプレスキャンメモリ40に、ファイ
ンスキャンデータはファインスキャンメモリ42に、そ
れぞれ記憶(格納)される。
【0119】一方、画像記録媒体25およびそのドライ
ブ装置26やインターネット等の通信ネットワークを介
して接続されたスロット27(以上、図1参照)等の画
像データ供給源Rから供給された画像(デジタルの画像
信号)は、入力データ変換部78において、間引きや補
間等の公知の処理によってプレスキャンおよびファイン
スキャンに対応する画素数(画素密度)の画像信号とさ
れ(すなわち、二つの画像信号が生成される。)、さら
に処理装置15に対応する画像信号に変換された後、L
og変換器39に送られて、以下同様に、プレスキャン
データおよびファインスキャンデータとされ、プレスキ
ャンメモリ40およびファインスキャンメモリ42に記
憶される。
ブ装置26やインターネット等の通信ネットワークを介
して接続されたスロット27(以上、図1参照)等の画
像データ供給源Rから供給された画像(デジタルの画像
信号)は、入力データ変換部78において、間引きや補
間等の公知の処理によってプレスキャンおよびファイン
スキャンに対応する画素数(画素密度)の画像信号とさ
れ(すなわち、二つの画像信号が生成される。)、さら
に処理装置15に対応する画像信号に変換された後、L
og変換器39に送られて、以下同様に、プレスキャン
データおよびファインスキャンデータとされ、プレスキ
ャンメモリ40およびファインスキャンメモリ42に記
憶される。
【0120】ここで、近年では、録音機能を備えるデジ
タル(スチル)カメラ(DSC)も増えており、画像
(画像ファイル)に、撮影時等に録音された音声データ
が付随している場合もある。また、デジタルビデオカメ
ラで撮影された画像には、音声データが付随している。
また、新写真システムのフィルムには、磁気記録媒体が
形成されており、撮影時等に、各コマの磁気記録媒体に
音声データを録音できるようにすることも可能である。
タル(スチル)カメラ(DSC)も増えており、画像
(画像ファイル)に、撮影時等に録音された音声データ
が付随している場合もある。また、デジタルビデオカメ
ラで撮影された画像には、音声データが付随している。
また、新写真システムのフィルムには、磁気記録媒体が
形成されており、撮影時等に、各コマの磁気記録媒体に
音声データを録音できるようにすることも可能である。
【0121】ここで、本態様は、カメラにおいて入力ま
たは取得されるカメラ情報として音声データなどを撮影
シーンのメッセージ情報として用い、撮影シーンに関す
るメッセージ情報から撮影シーンを推定して、そのシー
ンに対応した画像処理を施すようにしたものである。こ
のメッセージ情報としては、例えば、音声録音機能を有
するデジタルカメラにおいて、撮影時に撮影者等によっ
て発せられた音声を記録した音声データが例示される。
すなわち、メッセージ情報は、必ずしもシーンそのもの
を示すものでなくともよく、美しい女性や花を見たとき
に思わず発する「わあきれい」という感動の言葉や、結
婚式での撮影の際に発する「おめでとう」というお祝い
の言葉等であってもよい。もちろん、被写体そのものを
示す固有名詞でもよい。音声録音機能を有するデジタル
カメラの場合、撮影者が言葉を発すれば、自動的に録音
され、撮影者が特に意識していなくてもメッセージ情報
が音声データとして入力される。
たは取得されるカメラ情報として音声データなどを撮影
シーンのメッセージ情報として用い、撮影シーンに関す
るメッセージ情報から撮影シーンを推定して、そのシー
ンに対応した画像処理を施すようにしたものである。こ
のメッセージ情報としては、例えば、音声録音機能を有
するデジタルカメラにおいて、撮影時に撮影者等によっ
て発せられた音声を記録した音声データが例示される。
すなわち、メッセージ情報は、必ずしもシーンそのもの
を示すものでなくともよく、美しい女性や花を見たとき
に思わず発する「わあきれい」という感動の言葉や、結
婚式での撮影の際に発する「おめでとう」というお祝い
の言葉等であってもよい。もちろん、被写体そのものを
示す固有名詞でもよい。音声録音機能を有するデジタル
カメラの場合、撮影者が言葉を発すれば、自動的に録音
され、撮影者が特に意識していなくてもメッセージ情報
が音声データとして入力される。
【0122】さらに、メッセージ情報は、音声データに
限定されるものではなく、撮影時等において、撮影者が
特に意識せず入力できるものであれば、文書データであ
ってもよい。例えば、撮影時に、ストロボ発光の有無や
撮影距離等から「室内」、「夜」、「風景」等のメッセ
ージを、撮影者が意識することなく自動的に、フィルム
の各コマ毎に記録されるようにしたものであってもよ
い。また、新写真システムに対応するカメラに録音機能
を持たせる場合には、撮影時に、この磁気記録媒体に磁
気情報として音声データを記録して、プリント作成時等
に磁気情報を読み取ることで音声データを読み取って、
画像処理装置15に供給すればよい。
限定されるものではなく、撮影時等において、撮影者が
特に意識せず入力できるものであれば、文書データであ
ってもよい。例えば、撮影時に、ストロボ発光の有無や
撮影距離等から「室内」、「夜」、「風景」等のメッセ
ージを、撮影者が意識することなく自動的に、フィルム
の各コマ毎に記録されるようにしたものであってもよ
い。また、新写真システムに対応するカメラに録音機能
を持たせる場合には、撮影時に、この磁気記録媒体に磁
気情報として音声データを記録して、プリント作成時等
に磁気情報を読み取ることで音声データを読み取って、
画像処理装置15に供給すればよい。
【0123】以下詳述するが、本実施形態においては、
音声データの付随する画像を供給された場合に、その音
声データであるメッセージ情報から、そのコマの撮影シ
ーンを推定し、そのシーンに応じた画像処理をそのコマ
に対して施すようにする。
音声データの付随する画像を供給された場合に、その音
声データであるメッセージ情報から、そのコマの撮影シ
ーンを推定し、そのシーンに応じた画像処理をそのコマ
に対して施すようにする。
【0124】デジタルカメラやデジタルビデオカメラや
画像記録媒体や通信ネットワーク等の画像供給源Rから
供給された画像に音声データが付随している場合には、
入力データ変換部78は、前述のように画像信号をLo
g変換器39に送ると共に、付随する音声データを音声
データ処理部80に供給する。一方、新写真システムの
磁気記録媒体に記録され、スキャナ12(キャリア)に
よって読み取られた磁気情報は、音声データ処理部80
にも供給され、音声データ処理部80は、磁気情報から
音声データを抽出する。
画像記録媒体や通信ネットワーク等の画像供給源Rから
供給された画像に音声データが付随している場合には、
入力データ変換部78は、前述のように画像信号をLo
g変換器39に送ると共に、付随する音声データを音声
データ処理部80に供給する。一方、新写真システムの
磁気記録媒体に記録され、スキャナ12(キャリア)に
よって読み取られた磁気情報は、音声データ処理部80
にも供給され、音声データ処理部80は、磁気情報から
音声データを抽出する。
【0125】各コマに付随する音声データ(メッセージ
情報)を得た音声データ処理部80は、この音声データ
の内容を認識して、各コマの撮影シーンを判別(推定)
し、その推定したシーンに関する情報を条件設定部48
に送る。なお、入力データ変換部78は、供給された画
像が、デジタルビデオカメラ等で撮影された動画である
場合には、画像(画像データ)を一連の音声毎または一
定区間毎に区切り、その音声出力中の代表的な複数コマ
の画像データと音声データとを対応付けて、Log変換
器39および音声データ処理部80に送る。
情報)を得た音声データ処理部80は、この音声データ
の内容を認識して、各コマの撮影シーンを判別(推定)
し、その推定したシーンに関する情報を条件設定部48
に送る。なお、入力データ変換部78は、供給された画
像が、デジタルビデオカメラ等で撮影された動画である
場合には、画像(画像データ)を一連の音声毎または一
定区間毎に区切り、その音声出力中の代表的な複数コマ
の画像データと音声データとを対応付けて、Log変換
器39および音声データ処理部80に送る。
【0126】プレスキャンメモリ40に記憶されたプレ
スキャンデータは、画像データ処理部50(以下、処理
部50とする。)と画像データ変換部52とを有するプ
レスキャン処理部44に、他方、ファインスキャンメモ
リ42に記憶されたファインスキャンデータは、画像デ
ータ処理部54(以下、処理部54とする。)と画像デ
ータ変換部58とを有するファインスキャン処理部46
に読み出され、処理される。
スキャンデータは、画像データ処理部50(以下、処理
部50とする。)と画像データ変換部52とを有するプ
レスキャン処理部44に、他方、ファインスキャンメモ
リ42に記憶されたファインスキャンデータは、画像デ
ータ処理部54(以下、処理部54とする。)と画像デ
ータ変換部58とを有するファインスキャン処理部46
に読み出され、処理される。
【0127】プレスキャン処理部44の処理部50と、
ファインスキャン処理部46の処理部54は、後述する
条件設定部48が設定した処理条件に応じて、スキャナ
12によって読み取られた画像(画像データ)に、所定
の画像処理を施す部位で、両者は、解像度が異なる以外
は、基本的に、同じ処理を行う。両処理部による画像処
理には特に限定はなく、公知の各種の画像処理が例示さ
れるが、例えば、LUT(ルックアップテーブル)を用
いたグレイバランス調整、階調補正および濃度(明る
さ)調整、マトリクス(MTX)による撮影光源種補正
や画像の彩度調整(色調整)、その他ローパスフィル
タ、加算器、LUT、MTX等を用いた、また、これら
を適宜組み合わせた平均化処理や補間演算等を用いた、
電子変倍処理、覆い焼き処理(濃度ダイナミックレンジ
の圧縮/伸長)、シャープネス(鮮鋭化)処理等が例示
される。これらの各画像処理条件は、条件設定部48に
おいてプレスキャンデータを用いて設定される。
ファインスキャン処理部46の処理部54は、後述する
条件設定部48が設定した処理条件に応じて、スキャナ
12によって読み取られた画像(画像データ)に、所定
の画像処理を施す部位で、両者は、解像度が異なる以外
は、基本的に、同じ処理を行う。両処理部による画像処
理には特に限定はなく、公知の各種の画像処理が例示さ
れるが、例えば、LUT(ルックアップテーブル)を用
いたグレイバランス調整、階調補正および濃度(明る
さ)調整、マトリクス(MTX)による撮影光源種補正
や画像の彩度調整(色調整)、その他ローパスフィル
タ、加算器、LUT、MTX等を用いた、また、これら
を適宜組み合わせた平均化処理や補間演算等を用いた、
電子変倍処理、覆い焼き処理(濃度ダイナミックレンジ
の圧縮/伸長)、シャープネス(鮮鋭化)処理等が例示
される。これらの各画像処理条件は、条件設定部48に
おいてプレスキャンデータを用いて設定される。
【0128】画像データ変換部58は、処理部54によ
って処理された画像データ(主プリントの画像データ)
を、例えば3D(三次元)LUT等を用いて変換して、
プリンタ16による画像記録に対応する画像データとし
てプリンタ16に供給する。画像データ変換部52は、
プレスキャン処理部44の処理部50によって処理され
た画像データを、必要に応じて間引いて、同様に3D−
LUT等を用いて変換して、モニタ20による表示に対
応する画像データとしてモニタ20に供給する。ここで
の処理条件は、プレスキャンデータを用いて条件設定部
48で設定される。
って処理された画像データ(主プリントの画像データ)
を、例えば3D(三次元)LUT等を用いて変換して、
プリンタ16による画像記録に対応する画像データとし
てプリンタ16に供給する。画像データ変換部52は、
プレスキャン処理部44の処理部50によって処理され
た画像データを、必要に応じて間引いて、同様に3D−
LUT等を用いて変換して、モニタ20による表示に対
応する画像データとしてモニタ20に供給する。ここで
の処理条件は、プレスキャンデータを用いて条件設定部
48で設定される。
【0129】条件設定部48は、ファインスキャンの読
取条件や、プレスキャン処理部44およびファインスキ
ャン処理部46における各種の処理条件を設定する。こ
の条件設定部48は、セットアップ部72、キー補正部
74およびパラメータ統合部76を有する。
取条件や、プレスキャン処理部44およびファインスキ
ャン処理部46における各種の処理条件を設定する。こ
の条件設定部48は、セットアップ部72、キー補正部
74およびパラメータ統合部76を有する。
【0130】セットアップ部72は、プレスキャンデー
タから、濃度ヒストグラムの作成や、平均濃度、ハイラ
イト、シャドー等の画像特徴量の算出等を行い、ファイ
ンスキャンの読取条件を決定し、また、濃度ヒストグラ
ムや画像特徴量に加え、オペレータによる指示等に応じ
て、グレイバランス調整、階調補正および濃度調整を行
うLUTの作成、MTX演算式の作成、鮮鋭度補正係数
の算出等、プレスキャン処理部44およびファインスキ
ャン処理部46における各種の画像処理条件を設定し、
パラメータ統合部76に供給する。
タから、濃度ヒストグラムの作成や、平均濃度、ハイラ
イト、シャドー等の画像特徴量の算出等を行い、ファイ
ンスキャンの読取条件を決定し、また、濃度ヒストグラ
ムや画像特徴量に加え、オペレータによる指示等に応じ
て、グレイバランス調整、階調補正および濃度調整を行
うLUTの作成、MTX演算式の作成、鮮鋭度補正係数
の算出等、プレスキャン処理部44およびファインスキ
ャン処理部46における各種の画像処理条件を設定し、
パラメータ統合部76に供給する。
【0131】キー補正部74は、キーボード18aに設
定された濃度(明るさ)、色、コントラスト、シャープ
ネス、彩度等を補正するキーやマウス18bで入力され
た各種の指示等に応じて、画像の補正量を算出し、パラ
メータ統合部76に供給するものである。パラメータ統
合部76は、セットアップ部72が設定した画像処理条
件を受け取り、プレスキャン処理部44およびファイン
スキャン処理部46の所定部位に設定し、さらに、キー
補正部74で算出された補正量に応じて、プレスキャン
処理部44およびファインスキャン処理部46におい
て、画像処理条件の補正(調整)、画像処理条件の再設
定、補正を行うための画像処理条件の設定等を行う。
定された濃度(明るさ)、色、コントラスト、シャープ
ネス、彩度等を補正するキーやマウス18bで入力され
た各種の指示等に応じて、画像の補正量を算出し、パラ
メータ統合部76に供給するものである。パラメータ統
合部76は、セットアップ部72が設定した画像処理条
件を受け取り、プレスキャン処理部44およびファイン
スキャン処理部46の所定部位に設定し、さらに、キー
補正部74で算出された補正量に応じて、プレスキャン
処理部44およびファインスキャン処理部46におい
て、画像処理条件の補正(調整)、画像処理条件の再設
定、補正を行うための画像処理条件の設定等を行う。
【0132】ここで、本発明に係る画像処理方法を利用
するフォトプリンタ11においては、そのコマ(画像)
にシーンに関するメッセージ情報が付随されたものであ
る場合には、前述の処理部54(50)における画像処
理条件は、メッセージ情報に応じて、そのシーンの画像
が適正に仕上がるように設定される。このメッセージ情
報から推定されるシーンに対応した画像処理条件の設定
は、例えば、図6に示すように、セットアップ部72中
に、シーンに応じた画像処理条件の情報を記憶している
処理情報記憶部70を設けておき、そこからそのシーン
に応じた画像処理条件の情報を読み出して、これを用い
て画像処理条件を設定するようにしてもよい。
するフォトプリンタ11においては、そのコマ(画像)
にシーンに関するメッセージ情報が付随されたものであ
る場合には、前述の処理部54(50)における画像処
理条件は、メッセージ情報に応じて、そのシーンの画像
が適正に仕上がるように設定される。このメッセージ情
報から推定されるシーンに対応した画像処理条件の設定
は、例えば、図6に示すように、セットアップ部72中
に、シーンに応じた画像処理条件の情報を記憶している
処理情報記憶部70を設けておき、そこからそのシーン
に応じた画像処理条件の情報を読み出して、これを用い
て画像処理条件を設定するようにしてもよい。
【0133】メッセージ情報から得られるシーンに応じ
た画像処理条件には、特に限定はなく、各種のシーンに
応じて、出力されたプリントに再生された画像が好適に
仕上がるように、適宜設定すればよい。また、前述した
ように、メッセージ情報からの撮影シーンの推定は、音
声データ処理部80において行われる。これは、例え
ば、各種の言葉とその言葉に対応するシーンとをラボで
データベースとして、持っておき、音声データ中の言葉
と対比させてシーンを推定すればよい。例えば、○○
山、とか○○が原等の言葉があり、また撮影距離(被写
体距離)が遠ければ、「風景」であるとし、具体的な花
の名前等があり、撮影距離が短ければ、「花」を撮影し
たものであるとし、また、着物、初詣、お年玉等のお正
月関連の言葉があり、撮影時期が正月付近であれば「正
月の晴れ着」を撮影したものであるとしたり、あるい
は、新郎新婦、おめでとう等の言葉があれば結婚式で、
室内での撮影であると推定する。また、具体的に人物の
名前が呼ばれている場合、人物を撮影したものと推定す
る。また、シーンの推定にあたり、メッセージ情報の他
に、カメラ撮影情報(撮影日時、時刻、撮影倍率、距
離、輝度等、あるいはGPSによる位置情報等)や各種
画像特徴量(顔抽出結果も含む)等と組み合わせて、シ
ーンの推定を行うようにするとよりシーン推定の確度が
向上する。
た画像処理条件には、特に限定はなく、各種のシーンに
応じて、出力されたプリントに再生された画像が好適に
仕上がるように、適宜設定すればよい。また、前述した
ように、メッセージ情報からの撮影シーンの推定は、音
声データ処理部80において行われる。これは、例え
ば、各種の言葉とその言葉に対応するシーンとをラボで
データベースとして、持っておき、音声データ中の言葉
と対比させてシーンを推定すればよい。例えば、○○
山、とか○○が原等の言葉があり、また撮影距離(被写
体距離)が遠ければ、「風景」であるとし、具体的な花
の名前等があり、撮影距離が短ければ、「花」を撮影し
たものであるとし、また、着物、初詣、お年玉等のお正
月関連の言葉があり、撮影時期が正月付近であれば「正
月の晴れ着」を撮影したものであるとしたり、あるい
は、新郎新婦、おめでとう等の言葉があれば結婚式で、
室内での撮影であると推定する。また、具体的に人物の
名前が呼ばれている場合、人物を撮影したものと推定す
る。また、シーンの推定にあたり、メッセージ情報の他
に、カメラ撮影情報(撮影日時、時刻、撮影倍率、距
離、輝度等、あるいはGPSによる位置情報等)や各種
画像特徴量(顔抽出結果も含む)等と組み合わせて、シ
ーンの推定を行うようにするとよりシーン推定の確度が
向上する。
【0134】画像処理条件としては、例えば、メッセー
ジ情報から人物を撮影したものと推定された場合には、
セットアップ部72は、顔抽出を行って人物の顔を抽出
し、特に、顔領域の肌色が美しく仕上がるように、各種
の画像処理条件を設定する。一般に、固有名詞がある場
合には、主要被写体抽出を行うようにする。ここで、顔
領域の抽出方法には、特に限定はなく、公知の顔抽出ア
ルゴリズムを用いることができる。また、「正月の晴れ
着」のシーンとされていれば、顔抽出した後、顔の下の
胴体部分の着物の鮮やかさを強調するようにする。ま
た、シーンが「花」とされている場合には、やはり鮮や
かさを強調する。また、シーンが「結婚式」とされてい
る場合には、撮影距離から室内と推定される場合は、異
種光源処理を強めて、ストロボ光が反射する金屏風対策
とし、顔の誤抽出を防ぐことが可能となる。また、人物
に対する処理条件は、上記と同様である。
ジ情報から人物を撮影したものと推定された場合には、
セットアップ部72は、顔抽出を行って人物の顔を抽出
し、特に、顔領域の肌色が美しく仕上がるように、各種
の画像処理条件を設定する。一般に、固有名詞がある場
合には、主要被写体抽出を行うようにする。ここで、顔
領域の抽出方法には、特に限定はなく、公知の顔抽出ア
ルゴリズムを用いることができる。また、「正月の晴れ
着」のシーンとされていれば、顔抽出した後、顔の下の
胴体部分の着物の鮮やかさを強調するようにする。ま
た、シーンが「花」とされている場合には、やはり鮮や
かさを強調する。また、シーンが「結婚式」とされてい
る場合には、撮影距離から室内と推定される場合は、異
種光源処理を強めて、ストロボ光が反射する金屏風対策
とし、顔の誤抽出を防ぐことが可能となる。また、人物
に対する処理条件は、上記と同様である。
【0135】また、その他、例えばシーンが「風景」と
された場合には、光源種補正を行わず、かつ緑や空が美
しく仕上がるように、グレーバランス補正テーブルや彩
度補正のMTX演算式等を設定する。また、シーンが
「夜景」や「花火」とされた場合には、コントラストの
高い明暗を強調した画像となるように、階調補正テーブ
ル等を設定する。さらに、シーンが「室内」とされた場
合は上記結婚式の場合と同様に、光源種補正を強めに掛
けるようにし、彩度補正のMTX演算式等を設定する。
された場合には、光源種補正を行わず、かつ緑や空が美
しく仕上がるように、グレーバランス補正テーブルや彩
度補正のMTX演算式等を設定する。また、シーンが
「夜景」や「花火」とされた場合には、コントラストの
高い明暗を強調した画像となるように、階調補正テーブ
ル等を設定する。さらに、シーンが「室内」とされた場
合は上記結婚式の場合と同様に、光源種補正を強めに掛
けるようにし、彩度補正のMTX演算式等を設定する。
【0136】なお、シーンの推定において、上述したよ
うにシーンを完全に分類(モード化)してしまうのでは
なく、各シーンらしさを点数化して、各シーン毎の処理
の強弱を調整するようにしてもよい。そのためには、ラ
ボのデータベースにおいて、メッセージ情報に含まれる
単語につき、シーンの分類において各シーンに割り当て
られる点数を設定しておき、各コマ(画像)毎にそのメ
ッセージ情報中の言葉を、これらと照らし合わせてその
コマにシーン毎の点数を配分していけばよい。例えば、
あるコマのメッセージ情報中に「○○山」等の野山を連
想させる言葉があれば、風景モードに10点、花モード
に2点、その他のモードは0点のように、そのコマに各
シーン毎の点数を配分する。そして、実際の画像処理条
件は、風景モードとしての処理に少し花モードとしての
処理を加味するようにする。
うにシーンを完全に分類(モード化)してしまうのでは
なく、各シーンらしさを点数化して、各シーン毎の処理
の強弱を調整するようにしてもよい。そのためには、ラ
ボのデータベースにおいて、メッセージ情報に含まれる
単語につき、シーンの分類において各シーンに割り当て
られる点数を設定しておき、各コマ(画像)毎にそのメ
ッセージ情報中の言葉を、これらと照らし合わせてその
コマにシーン毎の点数を配分していけばよい。例えば、
あるコマのメッセージ情報中に「○○山」等の野山を連
想させる言葉があれば、風景モードに10点、花モード
に2点、その他のモードは0点のように、そのコマに各
シーン毎の点数を配分する。そして、実際の画像処理条
件は、風景モードとしての処理に少し花モードとしての
処理を加味するようにする。
【0137】さらに例を挙げれば、「おめでとう」とい
う言葉があれば、結婚式モードに10点、(この場合、
お正月あるいは成人式等も考えられるため)着物モード
に5点、室内モードに2点その他のモードは0点とす
る。また、「きれい」という言葉があれば、花モードに
10点、女性モードに5点、着物モードに5点、花火モ
ードに2点等とする。また、花の固有名詞があれば、花
モードに20点とする。この場合、花の固有名詞が女性
の名前と同じという場合も多々あると考えられるが、花
モードも鮮やかさを強調するような画像処理条件を設定
するため特に問題はない。また、「○○さん」のように
人物の名前があれば、人物モードに20点とし、さらに
それが女性名であれば、女性モードに10点のようにす
る。なお、これらの点数化において、各モード毎に、カ
メラ情報やシーン濃度分布等の画像特徴量、顔抽出結果
等を用いて、これらと組合せて点数化するようにしても
よい。また、メッセージ情報の認識技術がさらに高度に
なれば、単語だけでなくそのメッセージの文脈からシー
ンを推定することで、よりシーン推定の確度が高まるた
め、特定のシーンのモードへの点数の配点を集中させる
ようにしてもよい。
う言葉があれば、結婚式モードに10点、(この場合、
お正月あるいは成人式等も考えられるため)着物モード
に5点、室内モードに2点その他のモードは0点とす
る。また、「きれい」という言葉があれば、花モードに
10点、女性モードに5点、着物モードに5点、花火モ
ードに2点等とする。また、花の固有名詞があれば、花
モードに20点とする。この場合、花の固有名詞が女性
の名前と同じという場合も多々あると考えられるが、花
モードも鮮やかさを強調するような画像処理条件を設定
するため特に問題はない。また、「○○さん」のように
人物の名前があれば、人物モードに20点とし、さらに
それが女性名であれば、女性モードに10点のようにす
る。なお、これらの点数化において、各モード毎に、カ
メラ情報やシーン濃度分布等の画像特徴量、顔抽出結果
等を用いて、これらと組合せて点数化するようにしても
よい。また、メッセージ情報の認識技術がさらに高度に
なれば、単語だけでなくそのメッセージの文脈からシー
ンを推定することで、よりシーン推定の確度が高まるた
め、特定のシーンのモードへの点数の配点を集中させる
ようにしてもよい。
【0138】ところで、新写真システムで同時プリント
を依頼すると、フィルムFに撮影された全コマの画像を
1枚のプリントに再生したインデックスプリントが添付
される。また、通常の135フィルムでも、サービスと
して同様のインデックスプリントを添付するラボ店もあ
る。本発明の画像処理方法において、各コマに付与され
たメッセージ情報を用いて、インデックスプリントを編
集するようにしてもよい。すなわち、本発明の画像処理
方法によるシーン分類を用いて、撮影画像を撮影者の任
意に分類することができ、プリントを整理する便を向上
することができる。また、このようなシーン分類を用い
て撮影画像を編集したり、グループ化したりすること
は、画像データをフロッピーディスク等の磁気記録媒
体、MOディスク等の光磁気記録媒体、CD−ROM等
の光記録媒体等の各種の記録媒体に出力する際やインタ
ーネットなどの通信ネットワークを介して配信する際に
も、極めて有効である。
を依頼すると、フィルムFに撮影された全コマの画像を
1枚のプリントに再生したインデックスプリントが添付
される。また、通常の135フィルムでも、サービスと
して同様のインデックスプリントを添付するラボ店もあ
る。本発明の画像処理方法において、各コマに付与され
たメッセージ情報を用いて、インデックスプリントを編
集するようにしてもよい。すなわち、本発明の画像処理
方法によるシーン分類を用いて、撮影画像を撮影者の任
意に分類することができ、プリントを整理する便を向上
することができる。また、このようなシーン分類を用い
て撮影画像を編集したり、グループ化したりすること
は、画像データをフロッピーディスク等の磁気記録媒
体、MOディスク等の光磁気記録媒体、CD−ROM等
の光記録媒体等の各種の記録媒体に出力する際やインタ
ーネットなどの通信ネットワークを介して配信する際に
も、極めて有効である。
【0139】以上詳細に説明したように、本実施形態に
よれば、撮影画像に付随されたメッセージ情報、特に音
声データを認識することにより撮影シーンを推定でき、
そのシーンに応じた画像処理を施すことができ、画質を
向上させることができる。また、このとき、音声データ
は、例えば録音機能付きデジタルカメラ等により、撮影
時に撮影者等が自然に発した言葉が自動的にメッセージ
情報として記録されるため、撮影者は、メッセージ情報
の記録についてまったく意識している必要はなく、撮影
者に画質向上を意識させることなく、画像に付随された
メッセージ情報を用いて画質の向上を達成することがで
きる。さらに、デジタルビデオカメラ、音声記録機能付
きデジタルカメラ、文字メッセージ記録機能付きデジタ
ルカメラまたは撮影後のパソコンを利用したコメントデ
ータの追加等も可能であり、これらの画像付属情報を利
用して、画質を向上させることができる。
よれば、撮影画像に付随されたメッセージ情報、特に音
声データを認識することにより撮影シーンを推定でき、
そのシーンに応じた画像処理を施すことができ、画質を
向上させることができる。また、このとき、音声データ
は、例えば録音機能付きデジタルカメラ等により、撮影
時に撮影者等が自然に発した言葉が自動的にメッセージ
情報として記録されるため、撮影者は、メッセージ情報
の記録についてまったく意識している必要はなく、撮影
者に画質向上を意識させることなく、画像に付随された
メッセージ情報を用いて画質の向上を達成することがで
きる。さらに、デジタルビデオカメラ、音声記録機能付
きデジタルカメラ、文字メッセージ記録機能付きデジタ
ルカメラまたは撮影後のパソコンを利用したコメントデ
ータの追加等も可能であり、これらの画像付属情報を利
用して、画質を向上させることができる。
【0140】なお、上記本実施形態では、メッセージ情
報を用いて、そのシーンに応じた画像処理を、そのコマ
に施すようにしていたが、さらに前記音声データ処理部
80は、各コマに付随する音声データを文字データに変
換して、その画像(コマ)に付随する文字データとし
て、プレスキャン処理部44(処理部50)およびファ
インスキャン処理部46(処理部54)に送り、音声デ
ータを変換した文字を画像中に表示するようにしてもよ
い。このとき、文字数等に応じて書体や文字数を変更し
たり、代表的な単語を選択して再現してもよい。例え
ば、そのシーン中の人物の名前であるとか、風景の地名
あるいは山や建物の名前等を表示してもよい。
報を用いて、そのシーンに応じた画像処理を、そのコマ
に施すようにしていたが、さらに前記音声データ処理部
80は、各コマに付随する音声データを文字データに変
換して、その画像(コマ)に付随する文字データとし
て、プレスキャン処理部44(処理部50)およびファ
インスキャン処理部46(処理部54)に送り、音声デ
ータを変換した文字を画像中に表示するようにしてもよ
い。このとき、文字数等に応じて書体や文字数を変更し
たり、代表的な単語を選択して再現してもよい。例え
ば、そのシーン中の人物の名前であるとか、風景の地名
あるいは山や建物の名前等を表示してもよい。
【0141】以上、本発明の第3の態様の画像処理方法
について詳細に説明したが、本発明は、以上の例には限
定されず、本発明の要旨を逸脱しない範囲において、各
種の改良や変更を行ってもよいのはもちろんである。
について詳細に説明したが、本発明は、以上の例には限
定されず、本発明の要旨を逸脱しない範囲において、各
種の改良や変更を行ってもよいのはもちろんである。
【0142】
【発明の効果】以上説明した通り、本発明の第1の態様
によれば、撮影シーンを推定し、被写体を特定すること
により、その後の処理をそのシーンに合わせて振り分け
ることにより再現プリントなどの再現画像の画質をより
向上させることができる。
によれば、撮影シーンを推定し、被写体を特定すること
により、その後の処理をそのシーンに合わせて振り分け
ることにより再現プリントなどの再現画像の画質をより
向上させることができる。
【0143】また、本発明の第2の態様によれば、撮影
シーンのシミュレーション画像を作成し、作成されたシ
ミュレーション画像と撮影シーンの画像を比較すること
により、撮影画像のゴミや傷やノイズなどの修復、濃度
むらやボケの補正、不要物の除去を効率的に行うことが
でき、画像修復処理を効率化するとともに画像修復の精
度を向上させることができ、再現プリントなどの再現画
像の画質の向上を図ることができる。また、本態様によ
れば、画像修復処理を完全自動化または半自動化、例え
ば、主要被写体をモニタに表示し、オペレ−タの判断に
任せる半自動化するにより、画像修復の能率を向上させ
ることができる。
シーンのシミュレーション画像を作成し、作成されたシ
ミュレーション画像と撮影シーンの画像を比較すること
により、撮影画像のゴミや傷やノイズなどの修復、濃度
むらやボケの補正、不要物の除去を効率的に行うことが
でき、画像修復処理を効率化するとともに画像修復の精
度を向上させることができ、再現プリントなどの再現画
像の画質の向上を図ることができる。また、本態様によ
れば、画像修復処理を完全自動化または半自動化、例え
ば、主要被写体をモニタに表示し、オペレ−タの判断に
任せる半自動化するにより、画像修復の能率を向上させ
ることができる。
【0144】以上詳述したように、本発明の第3の態様
によれば、撮影者に、画質向上を意識させることなく、
画像に付随されたメッセージ情報を用いて、画質の向上
を達成することができる。
によれば、撮影者に、画質向上を意識させることなく、
画像に付随されたメッセージ情報を用いて、画質の向上
を達成することができる。
【図1】 本発明の画像処理方法を実行する本発明の画
像処理装置を適用するデジタルフォトプリンタの一実施
例のブロック図である。
像処理装置を適用するデジタルフォトプリンタの一実施
例のブロック図である。
【図2】 図1のデジタルフォトプリンタに用いられる
本発明の画像処理装置の一実施例の構成を示すブロック
図である。
本発明の画像処理装置の一実施例の構成を示すブロック
図である。
【図3】 図2の画像処理装置によって実施される本発
明の画像処理方法における画像情報取得から撮影シーン
に応じた階調制御までの流れの一例を示すフローチャー
トである。
明の画像処理方法における画像情報取得から撮影シーン
に応じた階調制御までの流れの一例を示すフローチャー
トである。
【図4】 図2の画像処理装置に用いられる撮影画像判
定部の撮影シーン推定部の一実施例の構成を示すブロッ
ク図である。
定部の撮影シーン推定部の一実施例の構成を示すブロッ
ク図である。
【図5】 図4の撮影シーン推定部を用いる画像処理装
置によって実施される本発明の画像処理方法における画
像情報取得から撮影シーン中の不要または不良エリアの
修復処理までの流れの一例を示すフローチャートであ
る。
置によって実施される本発明の画像処理方法における画
像情報取得から撮影シーン中の不要または不良エリアの
修復処理までの流れの一例を示すフローチャートであ
る。
【図6】 本発明の画像処理装置の別の実施例を含むデ
ジタルフォトプリンタの別の実施例のブロック図であ
る。
ジタルフォトプリンタの別の実施例のブロック図であ
る。
10 (デジタル)フォトプリンタ 12 スキャナ 14 画像処理装置 16 プリンタ 18 操作系 18a キーボード 18b マウス 20 モニタ 22 光源 24 可変絞り 25 画像記録媒体 26 ドライブ装置 27 スロット 28 拡散ボックス 29 マスク 30 キャリア 31 磁気読取書込装置 32 結像レンズユニット 33 フィルムカートリッジ 34 CCDセンサ 36 アンプ 37 A/D(アナログ/デジタル)変換器 38 データ処理部 40 プレスキャン(フレーム)メモリ 42 ファインスキャン(フレーム)メモリ 44 プレスキャン画像処理部 46 ファインスキャン画像処理部 48 条件設定部 50,54 (画像)処理部 52,58 画像データ変換部 62 撮影画像判定部 62a カメラ情報取得部 62b 関連情報選択部 62c 撮影シーン推定部 62d データベース部 63a 作成部 63b 比較部 63c 検出部 66 カメラ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/387 H04N 5/232 Z 5/232 5/243 5/243 5/253 5/253 9/04 B 9/04 9/64 R 9/64 9/73 A 9/73 5/91 J 9/79 9/79 H
Claims (33)
- 【請求項1】カメラにおいて撮影された被写体の撮影シ
ーンのデジタル画像データを取得するとともに、前記被
写体の撮影時に前記カメラにおいて取得または入力され
た前記撮影シーンのカメラ情報を取得し、 または、前記カメラ情報に加えて、取得された撮影シー
ンの前記デジタル画像データおよび前記カメラ情報の少
なくとも一方に基づいて、この撮影シーンに関連する関
連情報を取り込み、 前記撮影シーンの前記カメラ情報および前記関連情報の
少なくとも一方、またはこの少なくとも一方と撮影シー
ンの前記デジタル画像データとの組み合せにより、前記
撮影シーンの推定を行い、 推定された前記撮影シーンに応じた所定の画像処理を前
記デジタル画像データに対して行うことを特徴とする画
像処理方法。 - 【請求項2】前記撮影シーンのカメラ情報は、前記カメ
ラにおいて取得される撮影情報および撮影位置情報であ
り、 前記関連情報は、前記カメラ情報に関連する付加情報で
あり、 前記撮影シーンの推定は、前記カメラ情報と前記付加情
報とから、前記撮影シーン中の前記被写体の特定または
撮影時の状況の推定を行うことであり、 前記所定の画像処理は、この特定された被写体またはこ
の推定された状況に応じた画像処理である請求項1に記
載の画像処理方法。 - 【請求項3】前記付加情報は、地図情報を含む請求項2
に記載の画像処理方法。 - 【請求項4】前記撮影情報は、撮影日時の情報を含むと
ともに、前記付加情報は、天候情報を含み、前記カメラ
情報中の撮影日時の情報および撮影位置情報と、前記付
加情報中の天候情報とから、撮影時における撮影地の天
候を特定することにより、撮影シーンの状況を推定する
請求項2または3に記載の画像処理方法。 - 【請求項5】前記撮影情報は、撮影日時の情報を含むと
ともに、前記付加情報はイベント情報を含み、前記カメ
ラ情報中の撮影日時の情報および撮影位置情報と、前記
付加情報中のイベント情報とから、撮影時における撮影
地のイベントを特定することにより、撮影シーンの状況
を推定する請求項2〜4のいずれかに記載の画像処理方
法。 - 【請求項6】前記所定の画像処理として、前記撮影され
た1コマの画像の画面全体または前記特定の被写体領域
に限定した、濃度または色の階調制御、幾何歪み補正、
強調または平滑化処理のいずれか1つ以上を実行する請
求項2〜5のいずれかに記載の画像処理方法。 - 【請求項7】前記撮影シーンのカメラ情報は、前記カメ
ラにおいて取得された撮影位置情報または撮影方位情報
および撮影倍率情報の少なくとも1つであり、 前記関連情報は、前記カメラ情報に関連する地図情報ま
たは蓄積画像であり、 前記撮影シーンの推定は、前記カメラ情報と前記地図情
報または前記蓄積画像とを用いて、前記撮影シーンのシ
ミュレーション画像を作成し、作成されたシミュレーシ
ョン画像と前記撮影シーンの撮影画像とを比較し、前記
撮影シーン中の不良または不要領域を検出することであ
り、 前記所定の画像処理は、前記撮影シーン中の前記不良ま
たは不要領域に行う修復処理である請求項1に記載の画
像処理方法。 - 【請求項8】前記不良または不要領域の検出は、前記シ
ミュレーション画像と前記撮影画像とを比較した結果、
前記シミュレーション画像と合致しない前記撮影画像中
に存在する線または点を判定することであり、 前記修復処理は、判定された線または点を前記シミュレ
ーション画像の当該画素または前記撮影画像内の当該画
素または周辺画素を用いて修復して消去することである
請求項7に記載の画像処理方法。 - 【請求項9】前記シミュレーション画像と前記撮影画像
との比較は、前記シミュレーション画像と前記撮影画像
との間で、前記撮影シーンの画面内の所定領域の濃度ま
たは色の分布、あるいは鮮鋭度の分布について比較を行
うことであり、 前記不良または不要領域の検出は、前記所定領域におい
て前記濃度または色の分布、あるいは前記鮮鋭度の分布
に、ずれを検出することであり、 前記修復処理は、前記所定領域について、むら補正また
はボケ補正を行うことである請求項7または8に記載の
画像処理方法。 - 【請求項10】前記シミュレーション画像と前記撮影画
像との比較は、前記撮影シーンの画面内の全体を複数の
小領域に分割し、前記シミュレーション画像と前記撮影
画像との間で、前記複数の小領域別に濃度または色の分
布、あるいは鮮鋭度の分布について比較を行うことであ
り、 前記不良または不要領域の検出は、前記複数の小領域の
中から、前記濃度または色の分布、あるいは前記鮮鋭度
の分布に、ずれのある小領域を検出することであり、 前記修復処理は、前記ずれのある小領域について、むら
補正またはぼけ補正を行うことである請求項7または8
に記載の画像処理方法。 - 【請求項11】前記不良または不要領域の検出は、前記
シミュレーション画像において特定の構造物の領域を導
出することであり、 前記シミュレーション画像と前記撮影画像との比較は、
前記シミュレーション画像において導出された前記特定
の構造物の領域と同じ領域を前記撮影画像に設定するこ
とであり、 前記修復処理は、前記撮影画像に設定された同じ領域か
ら前記特定の構造物を除去する処理を行うことである請
求項7または8に記載の画像処理方法。 - 【請求項12】前記撮影シーンのカメラ情報は、前記カ
メラにおいて取得または入力され、前記撮影シーンの前
記デジタル画像データに付与される前記撮影シーンに関
連するメッセージ情報であり、 前記撮影シーンの推定は、前記メッセージ情報の内容か
ら撮影シーンを推定することであり、 前記所定の画像処理は、この推定された撮影シーンに応
じて設定された画像処理条件による画像処理である請求
項1に記載の画像処理方法。 - 【請求項13】前記メッセージ情報は、音声入力情報お
よび文書入力情報の少なくとも一方である請求項12に
記載の画像処理方法。 - 【請求項14】前記メッセージ情報に、撮影時のカメラ
撮影情報、画像特徴量または主要被写体情報のいずれか
を組み合わせて撮影シーンの推定を行う請求項12また
は13に記載の画像処理方法。 - 【請求項15】前記所定の画像処理を前記デジタル画像
データに対して行って得られた処理画像データを、プリ
ントを作成するプリンタに出力するためのプリント出力
用画像データ、画像データ記録媒体への記録再生に利用
する媒体出力用画像データおよび通信手段を介しての通
信に利用する通信用画像データの少なくとも1つに変換
して出力する請求項1〜14のいずれかに記載の画像処
理方法。 - 【請求項16】前記カメラ情報および前記関連情報から
推定される被写体によって、データベースから被写体関
連情報を導出し、この被写体関連情報を前記プリントの
作成時の合成付加情報、前記画像データ記録媒体での再
生時の再生付加情報および前記通信手段を介して受信後
の再生時の再生付加情報の少なくとも一つとする請求項
15に記載の画像処理方法。 - 【請求項17】被写体を撮影して撮影シーンの撮影画像
を得るとともに、前記被写体の撮影時に前記撮影シーン
のカメラ情報を取得または入力することができるカメラ
において撮影された前記撮影画像のデジタル画像データ
を取得する画像データ取得手段と、 前記カメラにおいて取得された前記撮影シーンの前記カ
メラ情報を取得するカメラ情報取得手段と、 前記撮影シーンの前記カメラ情報、またはこのカメラ情
報と前記撮影シーンの前記デジタル画像データとの組み
合せにより、前記撮影シーンの推定を行う推定手段と、 推定された前記撮影シーンに応じた所定の画像処理を前
記デジタル画像データに対して行う画像処理手段とを有
することを特徴とする画像処理装置。 - 【請求項18】請求項17に記載の画像処理装置であっ
て、 さらに、前記撮影シーンの前記デジタル画像データおよ
び前記カメラ情報に関連する関連情報が格納されている
データベースと、 前記撮影シーンの前記デジタル画像データおよび前記カ
メラ情報の少なくとも一方に基づいて、前記カメラにお
いて取得された、もしくは前記データベースに格納され
ている、前記撮影シーンに関連する前記関連情報を取り
込む取込手段とを有し、 前記推定手段は、前記撮影シーンの前記関連情報によ
り、またはこの関連情報と前記撮影シーンの前記デジタ
ル画像データおよび前記カメラ情報の少なくとも一方と
の組み合せにより、前記撮影シーンの推定を行うことを
特徴とする画像処理装置。 - 【請求項19】前記カメラ情報取得手段は、前記撮影シ
ーンのカメラ情報として、前記カメラから撮影情報およ
び撮影位置情報を取得し、 前記取込手段は、前記関連情報として、前記カメラ情報
に関連する付加情報を取得し、 前記推定手段は、前記カメラ情報と前記付加情報とか
ら、前記撮影シーン中の前記被写体の特定または撮影時
の状況の推定を行い、 前記画像処理手段は、前記所定の画像処理として、特定
された被写体または推定された状況に応じた画像処理を
行う請求項18に記載の画像処理装置。 - 【請求項20】前記付加情報は、地図情報を含む請求項
19に記載の画像処理装置。 - 【請求項21】前記撮影情報は、撮影日時の情報を含む
とともに、前記付加情報は、天候情報を含み、 前記推定手段は、前記カメラ情報中の撮影日時の情報お
よび撮影位置情報と、前記付加情報中の天候情報とか
ら、撮影時における撮影地の天候を特定することによ
り、前記撮影シーンの状況を推定する請求項19または
20に記載の画像処理装置。 - 【請求項22】前記撮影情報は、撮影日時の情報を含む
とともに、前記付加情報はイベント情報を含み、 前記推定手段は、前記カメラ情報中の撮影日時の情報お
よび撮影位置情報と、前記付加情報中のイベント情報と
から、撮影時における撮影地のイベントを特定すること
により、前記撮影シーンの状況を推定する請求項19〜
21のいずれかに記載の画像処理装置。 - 【請求項23】前記画像処理手段は、前記所定の画像処
理として、前記撮影された1コマの画像の画面全体また
は前記特定の被写体領域に限定した、濃度または色の階
調制御、幾何歪み補正、強調または平滑化処理のいずれ
か1つ以上を実行する請求項19〜22のいずれかに記
載の画像処理装置。 - 【請求項24】前記カメラ情報取得手段は、前記撮影シ
ーンのカメラ情報として、前記カメラから撮影位置情報
または撮影方位情報および撮影倍率情報の少なくとも1
つを取得し、 前記取込手段は、前記関連情報として、前記カメラ情報
に関連する地図情報または蓄積画像を取得し、 前記推定手段は、前記カメラ情報と前記地図情報または
前記蓄積画像とを用いて、前記撮影シーンのシミュレー
ション画像を作成する作成手段と、この作成手段によっ
て作成された前記シミュレーション画像と前記撮影シー
ンの撮影画像とを比較する比較手段と、前記撮影シーン
中の不良または不要領域を検出する手段とを有し、 前記画像処理手段は、前記所定の画像処理として、前記
撮影シーン中の前記不良または不要領域に修復処理を行
う修復処理手段である請求項18に記載の画像処理装
置。 - 【請求項25】前記検出手段は、前記シミュレーション
画像と前記撮影画像とを比較した結果、前記シミュレー
ション画像と合致しない前記撮影画像中に存在する線ま
たは点を判定し、 前記修復処理手段は、判定された線または点を前記シミ
ュレーション画像の当該画素または前記撮影画像内の当
該画素または周辺画素を用いて修復して消去する請求項
24に記載の画像処理装置。 - 【請求項26】前記比較手段は、前記シミュレーション
画像と前記撮影画像との間で、前記撮影シーンの画面内
の所定領域の濃度または色の分布、あるいは鮮鋭度の分
布について比較を行い、 前記検出手段は、前記所定領域において前記濃度または
色の分布、あるいは前記鮮鋭度の分布に、ずれを検出
し、 前記修復処理手段は、前記所定領域について、むら補正
またはボケ補正を行う請求項24または25に記載の画
像処理装置。 - 【請求項27】前記比較手段は、前記撮影シーンの画面
内の全体を複数の小領域に分割し、前記シミュレーショ
ン画像と前記撮影画像との間で、前記複数の小領域別に
濃度または色の分布、あるいは鮮鋭度の分布について比
較を行い、 前記検出手段は、前記複数の小領域の中から、前記濃度
または色の分布、あるいは前記鮮鋭度の分布に、ずれの
ある小領域を検出し、 前記修復処理手段は、前記ずれのある小領域について、
むら補正またはぼけ補正を行う請求項24または25に
記載の画像処理装置。 - 【請求項28】前記検出手段は、前記シミュレーション
画像において特定の構造物の領域を導出し、 前記比較手段は、前記シミュレーション画像において導
出された前記特定の構造物の領域と同じ領域を前記撮影
画像に設定し、 前記修復処理手段は、前記撮影画像に設定された同じ領
域から前記特定の構造物を除去する処理を行う請求項2
4または25に記載の画像処理装置。 - 【請求項29】前記カメラ情報取得手段は、前記撮影シ
ーンのカメラ情報として、前記カメラにおいて取得また
は入力され、前記撮影シーンの前記デジタル画像データ
に付与される前記撮影シーンに関連するメッセージ情報
を取得し、 前記推定手段は、前記メッセージ情報の内容から撮影シ
ーンを推定し、 前記画像処理手段は、前記所定の画像処理として、この
推定された撮影シーンに応じて設定された画像処理条件
による画像処理を行う請求項17に記載の画像処理装
置。 - 【請求項30】前記メッセージ情報は、音声入力情報お
よび文書入力情報の少なくとも一方である請求項29に
記載の画像処理装置。 - 【請求項31】前記推定手段は、前記メッセージ情報
に、撮影時のカメラ撮影情報、画像特徴量または主要被
写体情報のいずれかを組み合わせて撮影シーンの推定を
行う請求項29または30に記載の画像処理装置。 - 【請求項32】請求項17〜31のいずれかに記載の画
像処理装置であって、 さらに、前記所定の画像処理を前記デジタル画像データ
に対して行って得られた処理画像データを、プリントを
作成するプリンタに出力するためのプリント出力用画像
データ、画像データ記録媒体への記録再生に利用する媒
体出力用画像データおよび通信手段を介しての通信に利
用する通信用画像データの少なくとも1つに変換する変
換手段を有することを特徴とする画像処理装置。 - 【請求項33】請求項32に記載の画像処理装置であっ
て、 前記推定手段によって、前記カメラ情報および前記関連
情報から推定される被写体によって、前記取込手段によ
って前記データベースから被写体関連情報を導出し、 さらに、前記変換手段によって変換された画像データに
基づいて、取込手段によって導出された被写体関連情報
を、前記プリントの作成時の合成付加情報、前記画像デ
ータ記録媒体での再生時の再生付加情報および前記通信
手段を介して受信後の再生時の再生付加情報の少なくと
も一つとして付加する情報付加手段を有することを特徴
とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000329178A JP2001238177A (ja) | 1999-10-28 | 2000-10-27 | 画像処理方法および装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30660099 | 1999-10-28 | ||
JP11-358595 | 1999-12-17 | ||
JP35859599 | 1999-12-17 | ||
JP11-306600 | 1999-12-17 | ||
JP2000329178A JP2001238177A (ja) | 1999-10-28 | 2000-10-27 | 画像処理方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001238177A true JP2001238177A (ja) | 2001-08-31 |
Family
ID=27338849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000329178A Withdrawn JP2001238177A (ja) | 1999-10-28 | 2000-10-27 | 画像処理方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001238177A (ja) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003259156A (ja) * | 2002-03-05 | 2003-09-12 | Fuji Photo Film Co Ltd | 画像処理装置およびプログラム |
US6739767B2 (en) * | 2002-02-21 | 2004-05-25 | Konica Corporation | Image processing method, image processing apparatus and image recording apparatus |
US6801296B2 (en) | 2002-02-21 | 2004-10-05 | Konica Corporation | Image processing method, image processing apparatus and image recording apparatus |
JP2005122327A (ja) * | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | 撮影装置、その画像処理方法及びプログラム |
JP2005122323A (ja) * | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | 撮影装置、画像処理装置、撮影装置の画像処理方法及びプログラム |
JP2006246014A (ja) * | 2005-03-03 | 2006-09-14 | Nikon Corp | デジタルカメラ及びデジタルカメラの画像処理方法 |
WO2006109702A1 (ja) * | 2005-04-12 | 2006-10-19 | Olympus Corporation | 画像処理装置と撮像装置、および画像処理プログラム |
US7269282B2 (en) | 2003-04-24 | 2007-09-11 | Noritsu Koki Co., Ltd. | Method for determining whether photographic image is different-light-source photographic image and photographic image processing apparatus |
US7272257B2 (en) | 2003-04-24 | 2007-09-18 | Noritsu Koki Co., Ltd. | Method for determining whether photographic image is different-color-structure photographic image and photographic image processing apparatus |
US7340095B2 (en) | 2002-12-27 | 2008-03-04 | Fujifilm Corporation | Subject estimating method, device, and program |
US7355754B2 (en) | 2002-05-29 | 2008-04-08 | Fujifilm Corporation | Method, apparatus, and program for image processing |
US7359571B2 (en) | 2002-02-19 | 2008-04-15 | Fujifilm Corporation | Method, apparatus and program for image processing |
JP2008102961A (ja) * | 2007-12-25 | 2008-05-01 | Fujifilm Corp | 画像処理システムおよびその方法 |
JP2008166963A (ja) * | 2006-12-27 | 2008-07-17 | Noritsu Koki Co Ltd | 画像濃度補正方法とこの方法を実施する画像処理ユニット |
EP1959668A2 (en) | 2007-02-19 | 2008-08-20 | Seiko Epson Corporation | Information processing method, information processing apparatus, and program |
JP2008217816A (ja) * | 2008-04-11 | 2008-09-18 | Fujifilm Corp | 画像処理システムおよびその方法 |
JP2008271417A (ja) * | 2007-04-24 | 2008-11-06 | Fujitsu Ten Ltd | 画像調整方法 |
JP2009055639A (ja) * | 2008-11-17 | 2009-03-12 | Seiko Epson Corp | 画像修整についての方法、装置およびコンピュータプログラム |
US7932928B2 (en) | 2002-08-07 | 2011-04-26 | Seiko Epson Corporation | Method, apparatus, and computer program product for image processing with scene-dependent image processing condition |
KR20110066133A (ko) * | 2008-09-02 | 2011-06-16 | 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) | 휴대용 디바이스 상의 이미지 주석 |
JP2011139332A (ja) * | 2009-12-28 | 2011-07-14 | Nec Corp | 非接触スキャナ装置、画像補正方法およびプログラム |
US8243328B2 (en) | 2007-04-20 | 2012-08-14 | Seiko Epson Corporation | Printing method, printing apparatus, and storage medium storing a program |
JP2013534342A (ja) * | 2010-07-30 | 2013-09-02 | クゥアルコム・インコーポレイテッド | インクリメントな特徴抽出を使用するオブジェクト認識 |
JP2013183332A (ja) * | 2012-03-02 | 2013-09-12 | Nikon Corp | 画像処理装置 |
US8675096B2 (en) | 2009-03-31 | 2014-03-18 | Panasonic Corporation | Image capturing device for setting one or more setting values for an imaging mechanism based on acquired sound data that includes information reflecting an imaging environment |
US8810667B2 (en) | 2009-05-26 | 2014-08-19 | Olympus Imaging Corp. | Imaging device |
US9042675B2 (en) | 2010-08-03 | 2015-05-26 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and computer-readable recording medium which corrects an image such that some of warping of the image is left |
US9185300B2 (en) | 2012-11-19 | 2015-11-10 | Samsung Electronics Co., Ltd. | Photographing apparatus for scene catergory determination and method for controlling thereof |
-
2000
- 2000-10-27 JP JP2000329178A patent/JP2001238177A/ja not_active Withdrawn
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7359571B2 (en) | 2002-02-19 | 2008-04-15 | Fujifilm Corporation | Method, apparatus and program for image processing |
US6739767B2 (en) * | 2002-02-21 | 2004-05-25 | Konica Corporation | Image processing method, image processing apparatus and image recording apparatus |
US6801296B2 (en) | 2002-02-21 | 2004-10-05 | Konica Corporation | Image processing method, image processing apparatus and image recording apparatus |
JP2003259156A (ja) * | 2002-03-05 | 2003-09-12 | Fuji Photo Film Co Ltd | 画像処理装置およびプログラム |
US7355754B2 (en) | 2002-05-29 | 2008-04-08 | Fujifilm Corporation | Method, apparatus, and program for image processing |
US7932928B2 (en) | 2002-08-07 | 2011-04-26 | Seiko Epson Corporation | Method, apparatus, and computer program product for image processing with scene-dependent image processing condition |
US7340095B2 (en) | 2002-12-27 | 2008-03-04 | Fujifilm Corporation | Subject estimating method, device, and program |
US7269282B2 (en) | 2003-04-24 | 2007-09-11 | Noritsu Koki Co., Ltd. | Method for determining whether photographic image is different-light-source photographic image and photographic image processing apparatus |
US7272257B2 (en) | 2003-04-24 | 2007-09-18 | Noritsu Koki Co., Ltd. | Method for determining whether photographic image is different-color-structure photographic image and photographic image processing apparatus |
JP2005122323A (ja) * | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | 撮影装置、画像処理装置、撮影装置の画像処理方法及びプログラム |
JP2005122327A (ja) * | 2003-10-14 | 2005-05-12 | Casio Comput Co Ltd | 撮影装置、その画像処理方法及びプログラム |
JP4586578B2 (ja) * | 2005-03-03 | 2010-11-24 | 株式会社ニコン | デジタルカメラ及びプログラム |
JP2006246014A (ja) * | 2005-03-03 | 2006-09-14 | Nikon Corp | デジタルカメラ及びデジタルカメラの画像処理方法 |
JP2006295582A (ja) * | 2005-04-12 | 2006-10-26 | Olympus Corp | 画像処理装置と撮像装置、および画像処理プログラム |
WO2006109702A1 (ja) * | 2005-04-12 | 2006-10-19 | Olympus Corporation | 画像処理装置と撮像装置、および画像処理プログラム |
JP2008166963A (ja) * | 2006-12-27 | 2008-07-17 | Noritsu Koki Co Ltd | 画像濃度補正方法とこの方法を実施する画像処理ユニット |
EP1959668A2 (en) | 2007-02-19 | 2008-08-20 | Seiko Epson Corporation | Information processing method, information processing apparatus, and program |
US8243328B2 (en) | 2007-04-20 | 2012-08-14 | Seiko Epson Corporation | Printing method, printing apparatus, and storage medium storing a program |
JP2008271417A (ja) * | 2007-04-24 | 2008-11-06 | Fujitsu Ten Ltd | 画像調整方法 |
JP2008102961A (ja) * | 2007-12-25 | 2008-05-01 | Fujifilm Corp | 画像処理システムおよびその方法 |
JP2008217816A (ja) * | 2008-04-11 | 2008-09-18 | Fujifilm Corp | 画像処理システムおよびその方法 |
KR20110066133A (ko) * | 2008-09-02 | 2011-06-16 | 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) | 휴대용 디바이스 상의 이미지 주석 |
JP2012507761A (ja) * | 2008-09-02 | 2012-03-29 | エコール ポリテクニーク フェデラル ドゥ ローザンヌ(エーペーエフエル) | ポータブル・デバイス上での画像アノテーション |
KR101661269B1 (ko) | 2008-09-02 | 2016-09-29 | 에꼴 뽈리떼끄닉 뻬데랄 드 로잔느 (으뻬에프엘) | 휴대용 디바이스 상의 이미지 주석 |
JP2009055639A (ja) * | 2008-11-17 | 2009-03-12 | Seiko Epson Corp | 画像修整についての方法、装置およびコンピュータプログラム |
US8675096B2 (en) | 2009-03-31 | 2014-03-18 | Panasonic Corporation | Image capturing device for setting one or more setting values for an imaging mechanism based on acquired sound data that includes information reflecting an imaging environment |
JP5451749B2 (ja) * | 2009-03-31 | 2014-03-26 | パナソニック株式会社 | 撮像装置、集積回路、撮像方法、プログラム及び記録媒体 |
US8810667B2 (en) | 2009-05-26 | 2014-08-19 | Olympus Imaging Corp. | Imaging device |
JP2011139332A (ja) * | 2009-12-28 | 2011-07-14 | Nec Corp | 非接触スキャナ装置、画像補正方法およびプログラム |
JP2013534342A (ja) * | 2010-07-30 | 2013-09-02 | クゥアルコム・インコーポレイテッド | インクリメントな特徴抽出を使用するオブジェクト認識 |
US9042675B2 (en) | 2010-08-03 | 2015-05-26 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and computer-readable recording medium which corrects an image such that some of warping of the image is left |
JP2013183332A (ja) * | 2012-03-02 | 2013-09-12 | Nikon Corp | 画像処理装置 |
US9185300B2 (en) | 2012-11-19 | 2015-11-10 | Samsung Electronics Co., Ltd. | Photographing apparatus for scene catergory determination and method for controlling thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2001238177A (ja) | 画像処理方法および装置 | |
US7145597B1 (en) | Method and apparatus for image processing | |
US7170632B1 (en) | Image reproducing method and apparatus, image processing method and apparatus, and photographing support system | |
JP4152340B2 (ja) | 画像処理システムおよびその方法 | |
US6798921B2 (en) | Method for image designating and modifying process | |
US6728428B1 (en) | Image processing method | |
US20040247175A1 (en) | Image processing method, image capturing apparatus, image processing apparatus and image recording apparatus | |
US20040070778A1 (en) | Image processing apparatus | |
JP3907816B2 (ja) | 画像処理方法 | |
JP2003244467A (ja) | 画像処理方法、画像処理装置、及び画像記録装置 | |
US6834127B1 (en) | Method of adjusting output image areas | |
US20040041920A1 (en) | Image forming method, image processing apparatus, and image recording apparatus | |
JP3808662B2 (ja) | 画像再生方法および装置 | |
JP4268612B2 (ja) | 画像再生装置 | |
US7277598B2 (en) | Image processing apparatus, certification photograph taking apparatus, and certification photograph creation system | |
US7119923B1 (en) | Apparatus and method for image processing | |
US6668096B1 (en) | Image verification method | |
JP4339730B2 (ja) | 画像処理方法および装置 | |
JP4829269B2 (ja) | 画像処理システムおよびその方法 | |
US7307763B2 (en) | Image processing method | |
JP3386373B2 (ja) | 撮影画像の類似性判定方法およびこれを用いた画像処理方法および画像処理装置 | |
JP2004328534A (ja) | 画像形成方法、画像処理装置及び画像記録装置 | |
JP4285868B2 (ja) | 主要被写体抽出方法、画像処理装置および撮像装置 | |
JP2003244627A (ja) | 画像処理方法、画像処理プログラム、該画像処理プログラムを記録した記録媒体、画像処理装置及び画像記録装置 | |
JPH1079854A (ja) | 画情報の変換方法、画情報の変換条件設定方法及び画像記録装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080108 |