JP2005286395A - 画像処理システムおよびその方法 - Google Patents

Abstract

【課題】ユーザの希望に合わせて、フィルムに記録された画像から光電的に読み取られたデジタル画像データ、あるいはデジタルカメラ等で撮影して得られたデジタル画像データに、様々な撮影画像の加工を行なうことができる画像処理システムを提供する。
【解決手段】被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、同定した前記被写体の３次元構造データまたは前記被写体の２次元データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成手段と、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理手段とを備える。
【選択図】図１

Description

本発明は、画像処理システムおよびその方法に関し、さらに詳しくは従来型カメラによって写真フィルムに被写体が撮影された画像を光電的に読み取りデジタル画像データを取得し、あるいはデジタルカメラによって被写体が撮影された画像のデジタル画像データを取得し、所定の画像処理を施したあと、可視画像として再生した写真プリントや表示装置に出力する際の画像処理に関する。

現在、ネガフィルム、リバーサルフィルム等の写真フィルム（以下、フィルムとする）に撮影された画像の感光材料（印画紙）への焼き付けは、フィルムの画像を感光材料に投影して感光材料を面露光する、いわゆる直接露光（アナログ露光）によって行われている。

これに対して、近年では、デジタル露光を利用する焼付装置、すなわち従来型カメラによって撮影され、写真フィルムに記録された撮影コマの画像を光電的に読み取り、読み取った画像をデジタル画像データとして得た後、あるいはデジタルカメラによって撮影された撮影コマの画像のデジタル画像データを得た後、種々の画像処理を施して記録用画像データとし、この画像データに応じて変調した記録光によって感光材料を走査露光して画像（潜像）を記録し、（仕上がり）写真プリントとするデジタルフォトプリンタが実用化されている。

デジタルフォトプリンタでは、画像をデジタル画像データとして、画像データ処理によって焼付時の露光条件を決定することができるので、逆光やストロボ撮影等に起因する画像の飛びやツブレの補正、シャープネス（鮮鋭化）処理、カラーフェリアや濃度フェリアの補正、アンダー露光やオーバー露光の補正、周辺光量不足の補正等を好適に行って、従来の直接露光では得られなかった高品位な写真プリントを得ることができる。
また、複数画像の合成や画像分割、さらには文字の合成等も画像データ処理によって行うことができ、用途に応じて自由に編集／処理した写真プリントも出力可能である。
さらに、デジタルフォトプリンタによれば、画像を写真プリントとして出力するのみならず、画像データをコンピュータ等に供給したり、フロッピー（登録商標）ディスク等の画像記録媒体に保存しておくこともできるので、画像データを、写真以外の様々な用途に利用することができる。

このようなデジタルフォトプリンタは、基本的に、フィルムに記録された画像を光電的に読み取るスキャナ（画像読取装置）、読み取った画像を画像処理して記録画像データ（露光条件）とする画像処理装置、および、この記録（出力）画像データに応じて感光材料を走査露光して現像処理を施して写真プリントとするプリンタ（画像記録装置）より構成される。

スキャナでは、光源から射出された読取光をフィルムに入射して、フィルムに撮影された画像を担持する投影光を得て、この投影光を結像レンズによってＣＣＤセンサ等のイメージセンサに結像して光電変換することにより画像を読み取り、必要に応じて各種の画像処理を施した後に、フィルムの入力画像データ（画像データ信号）として画像処理装置に送る。画像処理装置は、スキャナによって読み取られて、または画像記録媒体から読み出されて、画像処理装置に送られてきた入力画像データから画像処理条件を設定し、設定した条件に応じた画像処理を入力画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送る。
プリンタでは、例えば、光ビーム走査露光を利用する装置であれば、画像処理装置から送られた出力画像データに応じて光ビームを変調して、感光材料を二次元的に走査露光（焼付け）して潜像を形成し、次いで、所定の現像処理等を施して、フィルムに撮影された画像が可視再生画像として再生された写真プリントを出力する。

また、撮影された画像をスキャナで読み取りデジタル画像データを得る方法以外に、例えば、デジタルカメラ等で撮影され、フロッピー（登録商標）ディスクやＭＯやＺｉｐ等の画像記録媒体に記録されたデジタル画像の画像データを得、またネットワークを介してデジタル画像データを得て、入力画像データとすることができ、この入力画像データから画像処理条件を設定し、設定した条件に応じた画像処理を入力画像データに施し、画像記録のための出力画像データ（露光条件）としてプリンタに送り可視再生画像としてプリント出力することができる。

このようなデジタルカメラではＣＣＤ等の撮像素子の解像度に限界があるため、これらカメラで撮影された画像を大伸ばしするには限界があり、また、銀塩写真方式カメラでは撮影用フイルムの粒状性に限界があった。
そこで、カメラを大型化することなく、高精細なプリントが得られるように、高精細撮影モードで撮影された複数枚の画像データを、撮影制御情報に基づき画像合成する技術が提案されている（例えば、特許文献１参照。）。

また、デジタルフォトプリンタによれば、従来型のカメラによってフィルムに撮影した画像やデジタルカメラによって撮影されたデジタル画像を単に写真プリントとして出力するだけでなく、撮影時の不適切な撮影条件によって画像の再現性の良くないものについても、デジタル画像処理を施して、逆光シーン、ハイコントラストシーン、アンダー露光ネガ、シャープネス、周辺光量不足等の補正を行うことで、高品位で美しい画像を容易に写真プリントとして出力することができる特徴を有している。

現状のデジタルフォトプリントのデジタル処理による写真プリントサービスにおいて、撮影日時がフィルムに光学的に記録された場合や、撮影日時が磁気記録されている新写真システムＡＰＳの場合に、仕上がりプリント上に撮影された日付や撮影時刻が表示されるサービスを受けることができる。
そして、そのサービスは、プリントされた画像と撮影日付や撮影時刻を見て撮影時の状況を振り返る場合に役立つ。
しかし、撮影日付や撮影時刻の情報のみからでは、撮影当時の種々の状況を十分に振り返ることが難しい場合もある。すなわち、これらの写真プリントの画像を後日鑑賞する場合、撮影日時を手がかりとしてプリントされた画像を振り返るが、何を目的とし、どうゆう状況下で撮影したのか十分思い出せない場合も多い。
また、例えば、人物を撮影した画像の背景に山が撮影されている場合、その背景の山の名前や標高や歴史を知りたい場合もある。
これに対し、撮影日付や撮影時刻だけでなく、これらに関する付帯的情報や撮影場所やその付帯情報があれば撮影当時を容易に振り返ることができる場合が多い。

一方、近年のパーソナルコンピュータの普及によって、パーソナルコンピュータでデジタル画像処理を行うことが容易となり、スキャナやデジタルカメラで取り込んで画像を合成したり、またフォトレタッチソフトを使って画像を修正することも個人的に可能となり、デジタル処理による写真プリントを含むデジタル画像は、画像合成や、画像修正により、画像を好みによって変化させる娯楽性の強いものとなっている。

そこで、フィルムに記録された画像から光電的によみとられたデジタル画像データやデジタルカメラ等で撮影して取得されたデジタル画像データに所定の画像処理を施して出力画像データを取得し、この出力画像データに応じた可視再生画像を写真プリントとして出力したり、モニタなどの表示装置に表示する際に、ユーザの希望にあわせて、撮影日時や撮影位置等に基づいた撮影画像の撮影状況や撮影画像の被写体に関連する付加情報などの、撮影画像に付随した付加情報を写真プリントや表示画像に付加し、ユーザが可視再生画像をみて容易に撮影当時を振り返ることができるとともに、写真プリントや表示画像の機能を高め、またユーザの好みに応じた娯楽性に富んだ写真プリントや表示画像をユーザに提供する技術が提案されている（例えば、特許文献２参照。）。
特開平１０−１３６２９８号公報 特開２０００−６６３１２号公報

しかしながら、特許文献１に記載の発明は、画像の作成に複数回の撮影が必要であり、手間がかかり、カメラにも特殊な撮影モード機能が必要であった。
また、特許文献２に記載の発明は、ユーザの好みに応じた娯楽性に富んだ写真プリントや表示画像を提供するに際して、雲に隠れて被写体が見えない画像や、被写体がピンボケで不鮮明な場合に、ＣＧ画像を作成し、ＣＧ画像と実際に撮影された画像とをパターンマッチングしたり、合成したりしているが、この発明は、撮影画像における欠損部分等について、本来であれば撮影されている画像を参照して合成しており、出力画像を高画質にするものではない。
本発明は、かかる問題点に鑑みてなされたものであり、フィルムに記録された画像から光電的に読み取られたデジタル画像データ、あるいはデジタルカメラ等で撮影して得られたデジタル画像データに、その撮影画像に対応するシミュレーション画像を合成することで、ユーザの希望に合わせて、様々な撮影画像の加工を行なうことができる画像処理システムを提供することを目的とする。

前記課題を解決するために、本発明は、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、同定した前記被写体の３次元構造データまたは前記被写体の２次元データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成手段と、前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理手段とを備えることを特徴とする画像処理システムを提供する。
また、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における高輝度エリアを抽出し、前記シミュレーション画像における前記高輝度エリアの輝度を低下して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記画像作成手段は、所定の条件に応じた平均的光線状況を反映してシミュレーション画像を作成し、前記処理手段は、前記撮影画像の色味を前記シミュレーション画像の色味に合わせて補正し、補正された前記撮影画像と前記シミュレーション画像を合成してもよい。
また、画像作成手段は、撮影画像に比して高解像度である所定の解像度でシミュレーション画像を作成し、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記シミュレーション画像の濃度および色味の少なくとも一つを前記撮影画像に合わせて補正し、補正された前記シミュレーション画像を前記撮影画像に合成してもよい。
また、前記処理手段は、前記撮影画像を拡大して拡大画像を作成し、拡大率に応じて画素値を加重平均することにより、前記拡大画像と前記シミュレーション画像とを、拡大率に応じて予め設定された比率に基づいて合成してもよい。
また、前記画像作成手段は、前記撮影画像における背景部と主要被写体のシミュレーション画像とを個別に作成してもよい。
また、前記画像作成手段は、撮影画像の主要被写体を中心に、視野を拡大したシミュレーション画像を作成してもよい。
また、前記画像作成手段は撮影画像の背景のみをシミュレーション画像で作成し、前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、濃度、色味、ぼけ具合およびカメラ露出のうち少なくとも一つの差分を検出し、その差分に応じて前記シミュレーション画像を補正し、補正した前記シミュレーション画像と前記撮影画像とを合成してもよい。
また、前記画像作成手段は、撮影画像の背景のシミュレーション画像を作成し、前記処理手段は、前記撮影画像に基づいて前記シミュレーション画像を補正し、補正した前記シミュレーション画像を前記撮影画像の背景に合成してもよい。

また、本発明は、複数の撮影画像のコマからなる動画における画像処理システムであって、被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、同定した前記被写体のシミュレーション画像を生成する画像作成手段と、前記シミュレーション画像と前記撮影画像を用いて動画を編集する編集手段とを備えることを特徴とする画像処理システムを提供する。
前記画像作成手段は、それぞれの撮影画像のコマとコマの間の撮影画像に対応するシミュレーション画像を作成し、前記編集手段は、前記シミュレーション画像をコマとコマの間に挿入してもよい。
前記画像作成手段は、撮影されていない動画の前後の撮影画像に対応するシミュレーション画像を作成し、前記編集手段は、前記シミュレーション画像を動画の前後に挿入してもよい。
前記画像作成手段および前記編集手段は、前記シミュレーション画像内の被写体を補正し、補正した前記シミュレーション画像を前記撮影画像と置換して、動画を編集してもよい。
また、前記編集手段は、前記シミュレーション画像内の前記被写体付近の背景を補正してもよい。

本発明によれば、ユーザの希望に合わせて、フィルムに記録された画像から光電的に読み取られたデジタル画像データ、あるいはデジタルカメラ等で撮影して得られたデジタル画像データに、様々な撮影画像の加工を行なうことができる画像処理システムを提供することができる。

本発明に係る画像処理システムを、添付の図面に示す好適実施形態に基づいて、以下に詳細に説明する。まず、図１〜図８を参照して、本発明に係る画像処理システムについて説明する。

図１は、本発明の第１実施形態に係る画像処理システムを構成するデジタルフォトプリンタの概略を示すブロック図である。
図１に示されるデジタルフォトプリンタ１０は、基本的に、フィルムＦに撮影された画像を光電的に読み取るスキャナ（画像入力手段）１２と、読み取られた画像データを処理して出力用の画像データとし、また、デジタルフォトプリンタ１０全体の操作および制御等を行う画像処理装置１４と、画像処理装置１４から出力された画像データに応じて変調した光ビームで感光材料（印画紙）を画像露光し、現像処理して（仕上がり）プリントとして出力するプリンタ１６等（画像出力手段）とを有する。

画像処理装置１４は、様々な条件の入力や設定、処理の選択や指示、色／濃度補正などの指示等を入力するためのキーボード１８ａおよびマウス１８ｂを有する操作系１８と、スキャナ１２で読み取られた画像、各種の操作指示、様々な条件の設定／登録画面等を表示するディスプレイ（画像表示装置）２０と接続されている。

スキャナ１２は、フィルムＦに撮影された画像を光電的に読み取る装置で、光源２２と、可変絞り２４と、フィルムＦに入射する読取光をフィルムＦの面方向で均一にする拡散ボックス２８と、結像レンズユニット３２と、フィルムの撮影画像を読み取るフォトセンサであるＣＣＤセンサ３４と、アンプ（増幅器）３６と、Ａ／Ｄ（アナログ／デジタル）変換器３８とを有し、さらに、スキャナ１２の本体に装着自在な専用のキャリア３０から構成される。

キャリア３０は、例えば２４枚取りの１３５サイズのフィルムや新写真システムフィルム（ＡＰＳのカートリッジ）等の、長尺なフィルムに対応する各種専用のキャリアが用意されており、所定の読み取り位置にフィルムＦを保持しつつ、ＣＣＤセンサ３４のラインＣＣＤセンサの延在方向（主走査方向）と直行する副走査方向に、フィルムＦの長手方向を一致して搬送する、読み取り位置を副走査方向に挟んで配置される搬送ローラ対３０ａおよび３０ｂと、フィルムＦの投影光を所定のスリット状に規制する、読み取り位置に対応して位置する主走査方向に延在するスリット２９ａを有するマスク２９、更に、磁気読取書込装置３１とを有する。
フィルムＦはこのキャリア３０によって保持されて副走査方向に搬送されつつこのフィルムＦには読み取り光が入射される。これにより、フィルムＦが主走査方向に延在するスリット２９ａによって２次元的にスリット走査され、フィルムＦに撮影された各コマの画像が読み取られる。

ＣＣＤセンサ３４は、Ｒ画像の読み取りを行うラインＣＣＤセンサ３４Ｒ、Ｇ画像の読み取りを行うラインＣＣＤセンサ３４Ｇ、Ｂ画像の読み取りを行うラインＣＣＤセンサ３４Ｂを有するラインセンサで、ラインセンサは主走査方向に延在している。
フィルムＦの投影光は、このＣＣＤセンサによってＲ、ＧおよびＢの３原色に分解されて光電的に読み取られる。光源２２から射出され、可変絞り２４によって光量調整され拡散ボックス２８を通して均一にされた読み取り光が、キャリア３０によって所定の読み取り位置に保持されつつ搬送されるフィルムＦに入射して、透過することにより、フィルムＦに撮影された画像を担持する投影光を得る。
フィルムＦの投影光は、結像レンズユニット３２によってＣＣＤセンサ３４の受光面に結像され、ＣＣＤセンサ３４によって光電的に読み取られ、その出力信号は、アンプ３６で増幅されて、Ａ／Ｄ変換器３８でデジタル画像データに変換され、入力画像データとして画像処理装置１４に送られる。

なお、デジタルフォトプリンタ１０を構成するスキャナ１２は、上述のスリット走査によるものに限定されず、１コマの画像の全面を一度に読み取る面露光を利用したＣＣＤエリアセンサであってもよい。
その場合、図１に示す可変絞り２４と拡散ボックス２８との間にＲ、ＧおよびＢの色フィルタを設け、そこを通過してＲ、ＧおよびＢに色調整された光を、フィルムＦの１コマに入射して、透過することにより、フィルムＦに撮影されたこのコマの画像を担持する投影光を得てもよい。この場合、色フィルタを順次Ｒ、ＧおよびＢについて３回行う必要がある。

また、スキャナ１２における画像のＣＣＤセンサでの読み取りは、写真プリントを出力するために画像を読み取る本スキャンに先立ち、画像処理条件等を決定するために、画像を低解像度で読み取るプレスキャンを行ない画像処理条件を決定し、オペレータ（またはユーザ）がディスプレイ２０で確認し調整した後、高解像度で画像を読み取る本スキャンを行うため、スキャンはプレスキャンと本スキャンの２回行われる。
そのため、Ｒ、ＧおよびＢの色フィルタを設け、面露光を利用したＣＣＤエリアセンサを用いた場合、Ｒ、ＧおよびＢの色フィルタを用いて３回スキャンする必要があるため、計６回のスキャンを行うことになる。
ラインＣＣＤセンサを用いる場合は、２回で済むことになるので、迅速な処理にとっては有利である。また、プレスキャンは、フィルムＦのすべての画像を一気にプレスキャンで取り込んで、画像処理条件を設定した後、本スキャンを行っているが、フィルムＦを一コマごとにプレスキャンと本スキャンを逐次行ってもよい。

なお、本発明において、スキャナ１２は、このようなスリット走査によるものに限定はされず、１コマの画像の全面を一度に読み取る、面露光を利用するものであってもよい。
この場合には、例えばエリアＣＣＤセンサを用い、光源とフィルムＦとの間に、Ｒ、ＧおよびＢの各色フィルタを順次挿入してエリアＣＣＤセンサで画像を読み取ることにより、フィルムに撮影された画像を３原色に分解して順次読み取ればよい。

前述のように、スキャナ１２からの出力信号（画像データ）は、画像処理装置１４に出力される。
また、画像処理装置１４には、デジタルカメラ等で撮影して得られたデジタル画像データを記録するスマートメディア等の画像データの記録媒体から、画像データや被写体情報等を読み出し、あるいはＦＤ、ＣＤ−Ｒ、ＭＯ、ＤＶＤやＺｉｐ等の汎用の画像データの記録媒体に処理後の画像データを出力するためのドライブ装置４２が接続されている。

さらに、本実施形態の画像処理装置１４には、パソコンやデジタルカメラ等の種々の画像データ供給源や、各被写体人物の付属情報を一括して管理する機器等と、直接ケーブルを介して接続し、あるいは、通信ネットワークを介して接続して、デジタル画像データやその撮影情報、被写体の付属情報等を取得するためのスロット４４等も接続されている。

したがって、本発明では、ネガやリバーサル等のフィルムに撮影された画像を光電的に読み取るスキャナ１２以外にも、反射原稿の画像を読み取る画像読取装置、コンピュータ通信等の通信手段（モデムを介するものも含む）、デジタルカメラやデジタルビデオカメラ等の撮像デバイスや内蔵メモリ、ＰＣカードやスマートメディア等のデジタルカメラ用の画像記録媒体、ＦＤ（フロッピー（登録商標）ディスク）やＭＯ（光磁気記録媒体）等の汎用の画像記録媒体などの各種の画像データ供給源を利用することができる。
さらに、これらを直接またはその駆動装置を介して画像処理装置１４に接続することができ、画像処理装置１４は、これらの画像データ供給源からデジタル画像データやその撮影情報や被写体情報を受け取ることができる。

なお、図示例では、入力信号（デジタル画像データ、撮影情報、付加情報）は、スキャナ１２やドライブ装置４２等の種々の画像データ供給源から画像処理装置１４に入力されるが、以下の説明では、主としてスキャナ１２から画像処理装置１４にデジタル画像データなどが供給される場合を代表例として説明する。

図２は、本発明に係る画像処理装置１４の概略構成を示すブロック図である。
画像処理装置１４は、スキャナ１２で読み取られ、デジタルデータとして画像処理装置１４に送られてきた画像データ（入力画像）に所定の画像処理を施し、プリンタ１６やディスプレイ２０等に出力するものであり、主にデータ処理部３８、プレスキャンメモリ４０、本スキャンメモリ４２、プレスキャン画像処理部４４、本スキャン画像処理部４６、条件設定部４８、および被写体情報取得手段６２から構成される。
また、本実施形態においては、画像処理装置１４は、この他に入力画像から被写体人物に関する情報を取得する被写体情報取得手段６２、撮影時にカメラによって取得され、または情報を一括管理する機器から取得された、人物や風景などの被写体情報と前記被写体情報との整合性に基づいて被写体を同定する被写体同定手段４８ａ、ＣＧ画像作成手段４８ｂ、および画像処理部５４の中に配置され、前記付属情報を、対応する撮影画像中の被写体人物に関連付けて画像合成する画像合成手段４８ｃとを有している。

データ処理部３８では、スキャナ１２から出力されたＲ、Ｇ、Ｂのデジタル画像データ（入力画像データ信号）に、Ｌｏｇ変換、ＤＣオフセット補正、暗時補正、シェーディング補正等を行い、処理済のプレスキャン（画像）データはプレスキャンメモリ４０に、同じく本スキャン（画像）データは本スキャンメモリ４２に、それぞれ記憶（格納）される。
プレスキャンメモリ４０および本スキャンメモリ４２に格納された各画像データは、必要に応じて、画像処理を施し出力するために、それぞれプレスキャン画像処理部４４および本スキャン画像処理部４６に呼び出される。

プレスキャン画像処理部４４は、プレスキャン画像処理部５０とデータ変換部５２とからなり、プレスキャン画像処理部５０は、色バランス調整、コントラスト調整、コントラスト補正、明るさ補正、さらにシャープネス処理や覆い焼き処理等その他の画像処理を実施する。
また、データ変換部５２は、プレスキャン画像処理部５０で画像処理の施された画像データを、３ＤＬＵＴ等を用いて、ディスプレイ２０による表示に対応する画像データに変換する。

本スキャン画像処理部４６は、画像処理部５４とデータ変換部６６とから構成される。本スキャン画像処理部６２では、本スキャンデータに対して、以下述べるように条件設定部５６で設定された画像処理条件に従って各種の画像処理、例えば、色バランス調整、コントラスト補正（階調処理）、明るさ補正、彩度補正、シャープネス処理や覆い焼き処理等の処理が行われる。
データ変換部５８は、画像処理後の画像データを、それぞれプリンタ１６、ドライブ装置４２、スロット４４という各画像出力手段に応じた形式に変換するものである。

被写体情報取得手段６２は、被写体情報選択手段６２ａ、データベース６２ｂとから構成され、スキャナ１２から得られる被写体情報と、データベース６２ｂ内の地図情報とを利用して撮影された画像の被写体を特定し、特定した被写体に関するデータを条件設定部４８内の被写体同定手段４８aに送る。

被写体を特定する方法としては、新写真システムＡＰＳの場合、新写真システムＡＰＳ対応フィルムＦに磁気記録層が形成されており、撮影情報を記録することができるため、人工衛星を用いたＧＰＳ（Global Positioning System)を利用し、さらに方向探知機用方位指示器を付加した新写真システムＡＰＳ対応カメラで撮影すると、撮影した緯度、経度および高度さらには、水平面および垂直面に関する撮影方位角が記録される他、撮影時の撮影倍率も記録することができる。
この記録された情報は、スキャナ１２のキャリア３０に設けられている磁気読取書込装置３１で読み込まれ、スキャナ１２から画像データと別の経路で、被写体情報として被写体情報選択手段６２aへ送られる。この被写体情報は、撮影位置からなる第１のデータ構成、撮影位置と撮影方位からなる第２のデータ構成、撮影位置と撮影倍率からなる第３のデータ構成、および撮影位置と撮影方位と撮影倍率からなる第４のデータ構成等のいずれか一つの構成のデータよりなり、被写体情報選択手段６２aは撮影画像に関連づけられる被写体情報を取得する。

被写体情報選択手段６２aは、取得した被写体情報である撮影位置、撮影方位、および撮影倍率などからなる第１〜第４のデータ構成のいずれか１つの構成のデータを用いて、データベース６２b内の地図情報を参照して、撮影された画像の被写体や撮影地点を特定する。

ＧＰＳを利用して得られる、経度、緯度および高度の位置に関する測位精度は１００ｍ以内であり実用上問題はなく、方位角についても方向探知機用方位指示器を用いることで方位を精度よく測定できる。

このようにして、被写体情報選択手段６２aは、撮影被写体や撮影地点を地図情報上の対象物として特定することができる。
なお、撮影地点としては、撮影画像内の被写体の位置、すなわち撮影された地点（位置）のみならず、撮影者またはカメラの位置などの撮影する位置、すなわち撮影位置を含めてもよい。撮影位置に関する情報は、動画撮影において、撮影された動画のコマに基づいて、被写体の中間位置にあたる移動状態を推定して、ＣＧ画像を作成しようとしたとき等に利用できる。

また、被写体情報選択手段６２aが、撮影された画像の被写体を特定する方法はこれに限定されず、ＩＣタグなどの無線通信（例えば、特開２００２−３０５７１４号公報参照）を利用することにより、スロット４４を介して被写体情報を取得し、画像被写体を特定してもよい。

条件設定部４８は、被写体同定手段４８ａ、ＣＧ画像作成手段４８ｂ、および画像合成手段４８ｃから構成され、被写体同定手段４８aにおいて撮影被写体を同定し、ＣＧ画像作成手段４８ｂによりＣＧ画像を作成し、撮影画像に補正を行なったＣＧ画像を合成する。合成画像はプリンタ１６やディスプレイ２０などの出力装置に送られ、プリンタ１６で印刷されたり、ディスプレイ２０に表示されたりする。
なお、合成前のＣＧ画像についてはユーザの要求に応じた様々な補正を施すことができる。そのような補正としては、撮影画像の欠陥部分の補正や撮影画像の濃度・色味の修正や撮影エリアに応じた輝度の調整、撮影画像に比して擬似的に高解像としたり、視野を拡大したりする補正、または撮影画像内の特定被写体を強調する補正がある。

被写体同定手段４８ａは、プレスキャン画像処理部４４で処理された撮影画像と、被写体情報選択手段６２aで特定される撮影被写体とを取得し照合することで、撮影された画像内の被写体を同定する。
被写体同定手段４８ａは、プレスキャン画像処理部４４内のプレスキャン画像処理部５０からプレスキャンデータを受け取り、被写体情報選択手段６２ａから被写体同定に用いるための情報および被写体の位置情報などの被写体情報を取得する。例えば、人物である被写体の同定に用いられる情報として、被写体人物の顔画像が好適に例示され、この場合被写体同定手段４８ａはプレスキャンデータから画像中の被写体人物の顔画像を抽出する。
このとき被写体人物の被写体情報は顔画像データを含んでおり、被写体同定手段４８ａは、この抽出された顔画像と被写体情報中の顔画像とをパターンマッチングして人物同定を行う。

ＣＧ画像作成手段４８ｂにおいて、被写体同定手段４８ａを介して得られる被写体情報や特定被写体の３次元構造データに基づいて、シミュレーション画像としてＣＧ画像が作成され、ユーザの指示に従って、このＣＧ画像に所定の補正が施される。
建物などの構造物に関する３次元構造データは、例えばヘリコプターからのレーザ計測と、ＨＤ（High Definition）カメラ及び高精細カメラによる空中撮影により獲得される。３次元構造データとしては、レーザ計測によって獲得される、ある一定の領域の高さ情報を示すDEM(Digital Elevation Map)や、高精細カメラによる空中撮影において獲得される、建物の航空写真などがある。
このような３次元構造物データはデータベース６２ｂに記憶され、ＣＧ画像作成手段４８ｂは、被写体情報選択手段６２ａを介してデータベース６２ｂから特定被写体の３次元構造物データを取得し、３次元構造物データに基づいて、公知のＣＧ画像作成技術により特定被写体のＣＧ画像を作成する。このようなＣＧ画像として作成されるものとしては、自然の構造物、人工的構造物、人体などがある。

また、物品に関する３次元構造データについては、物品に付属するＩＣタグなどの記憶媒体に３次元構造データを記憶し、そこから３次元構造データを取得することができる。
また、ＣＧ画像を作成するために利用されるデータは、３次元構造データに限定されず、２次元画像データであってもよい。このようなデータから得られるＣＧ画像としては雲や水面、樹木などが挙げられる。

図３は画像合成手段の概略構成を示すブロック図であり、撮影画像データにＣＧ画像データを合成して、合成画像を生成する処理を示す。
画像合成手段４８ｃは、平滑化フィルタと、高周波成分処理手段と、低周波成分処理手段とから構成され、被写体同定手段４８ａから得られる撮影画像データと、ＣＧ画像作成手段４８ｂから得られるＣＧ画像データとを加算し、合成画像を出力装置１６，２０に送る。

画像合成手段４８ｃでは、被写体同定手段４８ａから得られる撮影画像は分岐し、一方の撮影画像を平滑化フィルタ４９ａに通すことで撮影画像の低周波成分が得られ、他方の撮影画像から低周波成分を除去することで高周波成分が得られる。
このように撮影画像は画像低周波成分と画像高周波成分に分離されて、画像低周波処理手段５１ｂと画像高周波処理手段５１ａに送られ、以下に説明する補正処理が行なわれる。
一方、ＣＧ画像作成手段４８ｂから得られるＣＧ画像も同様に分岐し、一方のＣＧ画像を平滑化フィルタ４９ｂに通すことで低周波成分が得られ、他方のＣＧ画像から低周波成分を除去することで高周波成分が得られ、ＣＧ画像は画像低周波成分と画像高周波成分に分離されて、画像低周波処理手段５１ｂと画像高周波処理手段５１ａに送られ、以下に説明する補正処理が行なわれる。
また、ＣＧ画像作成手段４８ｂから得られる情報として、ＣＧ画像以外にエリア情報があり、エリア情報は補正処理を行なうエリア（影エリアや高輝度エリア）を特定するための情報であり、高周波成分処理手段５１ａ、および低周波処理手段５１ｂに送られる。

低周波成分処理手段は５１ｂ、撮影画像の低周波成分と、影エリアまたは高輝度エリアなどのエリア情報とを取得し、所定の画像エリアの低周波成分に対して所定の補正を行なう一方で、画像高周波成分処理手段５１ａは、撮影画像の高周波成分に関する情報を取得し、所定の画像エリアの高周波成分に対して所定の補正を行ない、両画像成分を合成することで、撮影画像に対してユーザが所望する補正を施した合成画像を生成する。合成画像はプリンタ１６やディスプレイ２０などの画像出力手段により出力画像として出力される。

図４（ａ）に示すように撮影画像の影エリア４１の濃度が濃く、図４（ｂ）に示すようなＣＧ画像のような階調濃度の影エリア４１の合成画像が所望される場合を例に挙げると、低周波成分処理手段５１ｂで、画像エリア情報から補正すべきエリア（影エリア）を判定し、そのエリアに対して撮影画像の低周波成分の濃度階調をＣＧ画像の低周波成分に合わせる補正を行い、高周波成分処理手段では高周波成分に補正を行なわずに、両画像成分を加算することにより、ユーザが所望する合成画像を生成することができる。
また、高周波成分処理部で、画像エリア情報から補正すべきエリア（例えば、撮影画像とＣＧ画像との高周波成分の比率に所定値以上の差があるエリア）を判定し、撮影画像の高周波成分の振幅をＣＧ画像の高周波成分に合わせる補正を行ない、低周波成分処理手段では低周波成分に対して補正を行わずに、画像成分を加算すると、階調濃度以外にも鮮鋭度を補正することもできる。
なお、合成画像は、撮影画像の影エリアまたは高輝度エリアだけの補正に限られず、両エリアを同時に補正することもでき、撮影画像にさまざまな補正を施した合成画像を生成することができる。

上記実施形態では画像エリア情報を抽出し、画像エリアに応じてＣＧ画像を作成したが、平均的な光線状況を考慮してＣＧ画像を作成してもよい。平均的な光線状況とは、季節、時間帯、または天候などの撮影条件によって異なる光の具合をいい、撮影情報を参照して、データベースから撮影条件に関する情報を取得し、その撮影条件に関する情報に基づいてＣＧ画像を作成する。
このようにして生成されたＣＧ画像の色味に合うように、撮影画像を補正して合成画像を生成することにより、撮影画像にユーザが所望する補正を施した合成画像を生成することができる。
例えば、撮影した画像が旅先で撮影したものであり、そのときの天候が雨であった場合には、その撮影場所における晴れの背景をＣＧ画像で作成し、そのＣＧ画像の背景に合わせて撮影画像を補正することができる。このようなＣＧ画像は、データベース６２ｂやスロット４４を介して取得される２次元データに基づいて、ＣＧ画像作成手段４８ｂが生成する。

また、撮影画像より高解像度な所定の解像度でＣＧ画像を作成し、さらにＣＧ画像の濃度や色味を撮影画像に合うように補正してもよい。こうすることにより、より高解像度で、濃度や色味の調和のとれるように撮影画像を補正することができる。
また、撮影画像を公知の手法により任意の比率で拡大し、同様な比率のＣＧ画像を参照して補正を施した合成画像を生成してもよい。
さらに、撮影画像とＣＧ画像を合成する際に、下記式（１）に示すように撮影画像の画素値ＡとＣＧ画像の画素値Ｂとを用いて、合成画像の画素値Ｃを合成してもよい。また、重み付け係数Ｋは、拡大率が大きい程、大きくなるように制御することが好ましい。

（数１）
Ｃ ＝ Ａ×（１−Ｋ） ＋ Ｂ×Ｋ・・・（１）
Ｋ：重み付け係数
Ｋ＝０．０〜１．０

一般に撮影画像を拡大すると画像がぼやけてしまうが、上述のような構成をとることにより、撮影画像の拡大比率が大きくなるに連れて、合成画像に占めるＣＧの比率が徐々に大きくなり、従来に比して鮮明かつ細密な拡大画像を作成することができる。

また、撮影画像の背景部と主要被写体のＣＧ画像を個別に作成してもよい。すなわち、複数の主要被写体が撮影画像内に存在し、特定の被写体を強調したい場合には、その特定の被写体だけを近距離で撮影したＣＧ画像を作成する。
例えば、サムネール画像のように撮影画像を縮小した場合、主要被写体も縮小されるが、主要被写体の縮小率を抑え、サイズ強調を行なうことで、従来に比して画像の内容が把握し易くなる。また、撮影画像において背景の山が印象よりも小さく感じる場合には、背景の山を拡大することができる。
このように撮影画像の背景部と主要被写体のＣＧ画像を個別に作成することにより、サイズに限らず鮮鋭度やコントラストを個別に強調することができる。

また、撮影画像の主要被写体を中心に、視野を拡大したＣＧ画像を作成してもよい。撮影画像には撮影されていない周囲の背景をＣＧ画像で作成し、撮影画像の濃度や色味に合うように補正し、撮影画像と合成することで主要被写体を中心として背景全体を把握することができる。

さらに、撮影画像中に他人や不要物が撮影されていた場合には、撮影画像の背景部分をＣＧ画像で作成してもよい。ＣＧ画像と撮影画像の共通部分での違いに基づいて、撮影画像と比較したＣＧ画像のカメラの露出、ぼけ具合、階調濃度、または色味などの差分を検出し、その差分に応じてＣＧ画像を補正することができる。
他人や不要物など障害を除去したＣＧ画像を用いて撮影画像に合成することにより、撮影画像との差分に応じた補正がＣＧ画像に対して行なわれるため、ＣＧ画像と撮影画像とのつながりをよくすることができる。

図５は動画撮影における画像処理を説明するための図であり、移動する被写体をユーザが撮影した様子を示す。
実線はユーザが撮影した撮影画像のコマ（フレーム）に対応する位置での被写体を表し、点線は撮影画像のコマとコマの間であって、挿入するコマに対応する位置での被写体を表す。また、一点鎖線は被写体の移動経路を表す。
被写体の移動経路、速度、向きは、被写体付属のナビゲータ装置やセンサ類を用いた公知の技術により推定することができる。
なお、被写体の移動経路などを推定するには、ユーザのカメラ位置を認識することが必要であるが、ユーザのカメラ位置は、被写体情報に含まれるＧＰＳやその他の情報から取得することができる。

本実施形態では、動画における撮影画像のコマ間の中間タイミングの画像をＣＧ画像で作成するため、中間タイミングの被写体の状態を公知の技術を用いて推定し、ＣＧ画像を作成し、中間タイミングの画像としてコマ間に挿入する。
例えば、ユーザが１秒間に３０コマの画像で構成される動画を撮影した場合には、コマとコマの間に１画像ずつＣＧ画像で作成した画像を挿入して動画を生成することで、１秒間に６０コマの画像を含む動画に編集することができる。

また、動画撮影において被写体の動作が所定の速度を超えると、流れた映像が映し出される。このような流れた映像に対応する部分の被写体をＣＧ画像で作成し、そのＣＧ画像を流れた映像に対応する部分の画像に合成することにより、流れのないスムーズな映像が映し出される。
このように流れた映像に対応する部分に、ＣＧ画像で作成した被写体の画像を合成することは、静止画において適用すれば、手ぶれ補正として機能する。
また、逆にＣＧ画像で流れた画像を作成して、撮影画像に合成することで、映像にスピード感を与えてもよい。

他の実施例
図６において、ネットワーク９６を通じて、サーバ（ホームサーバ）９２と接続されている。また、ホームサーバ９２はデータベース９４を有する。本実施形態では、データベース９４はホームサーバ９２と別体として示すが、ホームサーバと９２一体であってもよい。
ユーザの所有するカメラ９０にネットワーク９６を介して接続されるＤＢ管理業者が、ユーザに対して撮影依頼情報として様々なデータを提供する。ＤＢ管理業者が提供する撮影依頼情報としては、特定被写体の位置、方向、倍率や撮影画像の予測見本などがある。
例えば、図７に示す地図データ中のＸから撮影した山の画像を、ユーザに撮影依頼する場合には、ＤＢ管理業者はユーザに図８に示すような撮影画像の予測見本となるサンプル画像を送信する。
ＤＢ管理業者のデータベース９４には、複数の特定被写体データが登録されている。例えば、特定被写体が山である場合には、特定被写体データは、複数の方向から撮影された山のデータである。また、登録されているデータは、方向別の特定被写体データに限らず、季節、時間帯、撮影距離、解像度、または天候などの条件別の特定被写体データであってもよい。

このような特定被写体データを取得する方法は特に限定されないが、例えば、登録制の一定の会員ユーザを募り、その会員ユーザにデータ取得の依頼を行い、特定被写体データを業者に対して送信してもらい、業者は特定被写体データを登録することができる。なお、このような場合には、特定被写体データとして登録されるデータを送信した会員にはプリント料や会費割引など何らかの利益を提供してもよい。
また、特定被写体データのアクセスが高い特定被写体データを人気の撮影スポットとみなして、画像マップに表示したり、会員ユーザなどに公開したりすることができる。

また、特定被写体データを取得する際に、特定被写体データがデータベース９４上に登録されていない場合には、会員ユーザに依頼して特定被写体データを送信させることもできる。
データベース管理業者は、画像データベース９４の内容を充実することができ、ＣＧ画像を作成する際に最新の特定被写体データに基づいてＣＧ画像を作成することができる。
また、会員ユーザには撮影に関して娯楽性がアップするとともに、利益も還元することができる。

ネットワーク９６を利用した他の実施形態を説明する。このような実施形態では、カメラ９０はホームサーバ９２と常時接続されており、リアルタイムで通信することができる。
カメラ９０は、ネットワーク９６を介して、認識した画像データと被写体情報（位置、方位、倍率データなど）をホームサーバ９２に送信する。なお、カメラ９０は、低解像度化した画像データや、画像特徴量（濃度ヒストグラウムなど）を送信してもよい。
送信された画像データと被写体情報を受信したホームサーバ９２は、カメラ９０で認識された被写体のＣＧ画像が作成できるか否かを判定し、判定結果をカメラ９０に対して送信する。

判定結果を受信したカメラ９０は、ホームサーバ９２がＣＧ画像を作成することができると判定した場合には、そのままオートで撮影を実行する。
一方、ホームサーバがＣＧ画像を作成することができないと判定した場合には、カメラ９０は、多重撮影モード、またはマニュアル撮影モードに設定するようにメッセージをカメラ９０の表示画面に表示し、ユーザに促す。

さらに、画像データに応じて、お勧めモードを判定し、カメラ９０の表示画面に表示してもよい。このような例としては、ヒストグラムの分布が低輝度側、または高輝度側に偏っていることや、濃度域が広いことを挙げることができ、オートでは白飛びや低輝度エリアにおいて黒つぶれの虞がある場合に、また多重露出撮影を薦めることや、マニュアルにおいて露出をアップまたはダウンさせることを挙げることもできる。

また、ホームサーバ９２から判定結果を受信したカメラ９０は、ホームサーバ９２がＣＧ画像を作成することができると判定した場合には、目的シーンを通常撮影、主要被写体にズーム、主要被写体にピントで撮影し、ホームサーバ９２に撮影データを送信してもよい。
撮影データを受信したホームサーバ９２は、所定の設定にしたがってＣＧ画像を作成し、高解像度化、広角画像化、被写体別にピントを調節するなどの処理を撮影データに施す。
一方、ホームサーバ９２がＣＧ画像を作成することができないと判定した場合には、カメラ９０は、分割撮影、多重ズーム撮影、多重フォーカスなどの特殊撮影モードに設定するようにメッセージをカメラ９０の表示画面に表示し、ユーザに促してもよい。

また、ホームサーバ９２から判定結果を受信したカメラ９０は、ホームサーバ９２がＣＧ画像を作成することができると判定した場合には、上述のように撮影を行なうとともに撮影時の圧縮率を高めに制御して撮影データを記録してもよい。
圧縮率が高いと通常では画質が劣化するが、上述した画像処理によって高解像度画像を作成することができる。

また、上述の実施形態では、ホームサーバ９２によるＣＧ画像の作成の可否は、カメラ９０で認識された被写体に対して判定されたが、必ずしもこれに限定されず、被写体別に判定してもよい。
そうすることにより、ホームサーバ９２がＣＧ画像を作成することができると判定した場合における記録する撮影データを、エリア別に圧縮率を制御して記録することができる。したがって、エリア別に圧縮率を制御しないで撮影データを記憶する場合に比べて記憶するデータ量を低減することができる。

また、動画撮影において、カメラ９０は映像データをホームサーバ９２に送信し、ホームサーバ９２は映像データから動画のコマ（フレーム）をＣＧ画像で再現することができるか否かを判定し、判定結果をカメラ９０に送信する。
ホームサーバ９２が動画のコマをＣＧ画像で再現することができると判定した場合には、カメラ９０は通常撮影時に比して単位時間当たりのフレーム数を削減してフレームを記録する。なお、削除されたフレームはホームサーバ９２によってＣＧ画像として再現できるため、動画のコマ落ちするおそれはない。
そうすることにより、カメラ９０に記録されるデータ量を通常時と比べて減少させることができる。

以上、本発明に係る画像処理システムについて詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

デジタルフォトプリントの概略を示すブロック図である。 画像処理装置の概略構成を示すブロック図である。 画像合成手段の概略構成を示すブロック図である。 撮影画像データにＣＧ画像データを合成して、合成画像を生成する処理を説明するための図である。 動画撮影における画像処理を説明するための図である。 ネットワークを利用した一実施形態の概略構成を示す図である。 地図データの一例を示す図である。 サンプル画像の一例を示す図である。

符号の説明

１０ デジタルフォトプリンタ
１２ スキャナ
１４ 画像処理装置
１６ プリンタ
１８ａ キーボード
１８ｂ マウス
２０ ディスプレイ
２２ 光源
２８ 拡散ボックス
２９ａ スリット
３０ キャリア
３１ 磁気読取書込装置
３２ 結像レンズユニット
３８ データ処理部
４０ プレスキャンメモリ
４２ 本スキャンメモリ
４４ プレスキャン画像処理部
４６ 本スキャン画像処理部
５６ 条件設定部
６２ 被写体情報取得手段

Claims (30)

1. 被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、
   前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、
   同定した前記被写体の３次元構造データまたは前記被写体の２次元データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成手段と、
   前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理手段とを備えることを特徴とする画像処理システム。
2. 前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成する請求項１に記載の画像処理システム。
3. 前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における高輝度エリアを抽出し、前記シミュレーション画像における前記高輝度エリアの輝度を低下して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成する請求項１または２に記載の画像処理システム。
4. 前記画像作成手段は、所定の条件に応じた平均的光線状況を反映してシミュレーション画像を作成し、
   前記処理手段は、前記撮影画像の色味を前記シミュレーション画像の色味に合わせて補正し、補正された前記撮影画像と前記シミュレーション画像を合成する請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 画像作成手段は、撮影画像に比して高解像度である所定の解像度でシミュレーション画像を作成し、
   前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、前記シミュレーション画像の濃度および色味の少なくとも一つを前記撮影画像に合わせて補正し、補正された前記シミュレーション画像を前記撮影画像に合成する請求項１乃至４のいずれか１項に記載の画像処理システム。
6. 前記処理手段は、前記撮影画像を拡大して拡大画像を作成し、拡大率に応じて画素値を加重平均することにより、前記拡大画像と前記シミュレーション画像とを、拡大率に応じて予め設定された比率に基づいて合成する請求項１乃至５のいずれか１項に記載の画像処理システム。
7. 前記画像作成手段は、前記撮影画像における背景部と主要被写体のシミュレーション画像とを個別に作成する請求項１乃至６のいずれか１項に記載の画像処理システム。
8. 前記画像作成手段は、撮影画像の主要被写体を中心に、視野を拡大したシミュレーション画像を作成する請求項１乃至７のいずれか１項に記載の画像処理システム。
9. 前記画像作成手段は、撮影画像の背景のみをシミュレーション画像で作成し、
   前記処理手段は、前記撮影画像と前記シミュレーション画像とを比較し、濃度、色味、ぼけ具合およびカメラ露出のうち少なくとも一つの差分を検出し、その差分に応じて前記シミュレーション画像を補正し、補正した前記シミュレーション画像と前記撮影画像とを合成する請求項１乃至８のいずれか１項に記載の画像処理システム。
10. 前記画像作成手段は、撮影画像の背景のシミュレーション画像を作成し、
    前記処理手段は、前記撮影画像に基づいて前記シミュレーション画像を補正し、補正した前記シミュレーション画像を前記撮影画像の背景に合成する請求項１乃至９のいずれか１項に記載の画像処理システム。
11. 複数の撮影画像のコマからなる動画における画像処理システムであって、
    被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得する取得手段と、
    前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定する同定手段と、
    同定した前記被写体のシミュレーション画像を生成する画像作成手段と、
    前記シミュレーション画像と前記撮影画像を用いて動画を編集する編集手段とを備えることを特徴とする画像処理システム。
12. 前記画像作成手段は、それぞれの撮影画像のコマとコマの間の撮影画像に対応するシミュレーション画像を作成し、
    前記編集手段は、前記シミュレーション画像をコマとコマの間に前記撮影画像として挿入する請求項１１に記載の画像処理システム。
13. 前記画像作成手段は、撮影されていない動画の前後の撮影画像に対応するシミュレーション画像を作成し、
    前記編集手段は、前記シミュレーション画像を動画の前後に挿入する請求項１１または１２に記載の画像処理システム。
14. 前記編集手段は、前記シミュレーション画像内の被写体を補正し、補正した前記シミュレーション画像を前記撮影画像と置換して、動画を編集する請求項１１に記載の画像処理システム。
15. 前記編集手段は、前記シミュレーション画像内の前記被写体付近の背景を補正する請求項１４に記載の画像処理システム。
16. 被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得するステップと、
    前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定するステップと、
    同定した前記被写体の３次元構造データまたは前記被写体の２次元データに基づいて、前記撮影画像に対応するシミュレーション画像を作成する画像作成ステップと、
    前記シミュレーション画像に基づいて、前記撮影画像の欠陥部分を補正する、または撮影画像の濃度・色味を修正する処理ステップとを備えることを特徴とする画像処理方法。
17. 前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における影エリアを抽出し、前記シミュレーション画像における前記影エリアの輝度を増加して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成する請求項１６に記載の画像処理方法。
18. 前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、前記撮影画像における高輝度エリアを抽出し、前記シミュレーション画像における前記高輝度エリアの輝度を低下して濃度を補正し、補正された前記シミュレーション画像を前記撮影画像に合成する請求項１６または１７に記載の画像処理システム。
19. 前記画像作成ステップは、所定の条件に応じた平均的光線状況を反映してシミュレーション画像を作成し、
    前記処理ステップは、前記撮影画像の色味を前記シミュレーション画像の色味に合わせて補正し、補正された前記撮影画像と前記シミュレーション画像を合成する請求項１６乃至１８のいずれか１項に記載の画像処理方法。
20. 画像作成ステップは、撮影画像に比して高解像度である所定の解像度でシミュレーション画像を作成し、
    前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、前記シミュレーション画像の濃度および色味の少なくとも一つを前記撮影画像に合わせて補正し、補正された前記シミュレーション画像を前記撮影画像に合成する請求項１６乃至１９のいずれか１項に記載の画像処理システム。
21. 前記処理ステップは、前記撮影画像を拡大して拡大画像を作成し、拡大率に応じて画素値を加重平均することにより、前記拡大画像と前記シミュレーション画像とを、拡大率に応じて予め設定された比率に基づいて合成する請求項１４に記載の画像処理方法。
22. 前記画像作成ステップは、前記撮影画像における背景部と主要被写体のシミュレーション画像とを個別に作成する請求項１６乃至２１のいずれか１項に記載の画像処理方法。
23. 前記画像作成ステップは、撮影画像の主要被写体を中心に、視野を拡大したシミュレーション画像を作成する請求項１６乃至２２のいずれか１項に記載の画像処理方法。
24. 前記画像作成ステップは撮影画像の背景のみをシミュレーション画像で作成し、
    前記処理ステップは、前記撮影画像と前記シミュレーション画像とを比較し、濃度、色味、ぼけ具合およびカメラ露出のうち少なくとも一つの差分を検出し、その差分に応じて前記シミュレーション画像を補正し、補正した前記シミュレーション画像と前記撮影画像とを合成する請求項１６乃至２３のいずれか１項に記載の画像処理方法。
25. 前記画像作成ステップは、撮影画像の背景のシミュレーション画像を作成し、
    前記処理ステップは、前記撮影画像に基づいて前記シミュレーション画像を補正し、補正した前記シミュレーション画像を前記撮影画像の背景に合成する請求項１６乃至２４のいずれか１項に記載の画像処理方法。
26. 複数の撮影画像のコマからなる動画における画像処理方法であって、
    被写体を撮影した撮影画像とともに、前記撮影画像に関する撮影情報を取得するステップと、
    前記撮影情報を用いて、前記撮影画像内の被写体を特定し同定するステップと、
    同定した前記被写体のシミュレーション画像を生成する画像作成ステップと、
    前記シミュレーション画像と前記撮影画像を用いて動画を編集する編集ステップとを有することを特徴とする画像処理方法。
27. 前記画像作成ステップは、それぞれの撮影画像のコマとコマの間の撮影画像に対応するシミュレーション画像を作成し、
    前記編集ステップは、前記シミュレーション画像をコマとコマの間に前記撮影画像として挿入する請求項２６に記載の画像処理方法。
28. 前記画像作成ステップは、撮影されていない動画の前後の撮影画像に対応するシミュレーション画像を作成し、
    前記編集ステップは、前記シミュレーション画像を動画の前後に挿入する請求項２６または２７に記載の画像処理方法。
29. 前記編集ステップは、前記シミュレーション画像内の被写体を補正し、補正した前記シミュレーション画像を前記撮影画像と置換して、動画を編集する請求項２６に記載の画像処理方法。
30. 前記編集手段は、前記シミュレーション画像内の前記被写体付近の背景を補正する請求項２９に記載の画像処理方法。

Images