JP2014216939A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】最小限の画像データを用いて観察者に自然な印象を与えるフィルムノイズと同様な視覚効果を実現可能な画像処理装置、画像処理方法及び画像処理プログラムを提供すること。
【解決手段】Ｆｌａｓｈメモリ２３８は、フィルム撮影においてフィルムを移動させたときに生じるスクラッチに起因するノイズを再現したスクラッチ画像データと、フィルム撮影におけるフィルム現像段階に生じたゴミに起因するノイズを再現したノイズ画像データとを少なくとも記憶している。切り出し位置算出部２２０２ｃは、スクラッチ画像データとノイズ画像データの切り出し位置をそれぞれ算出する。合成部２２０２ｄは、切り出し位置算出部２２０２ｃで算出された切り出し位置に応じてスクラッチ画像データとノイズ画像データとの一部を切り出し、切り出したスクラッチ画像データとノイズ画像データとを合成対象の画像データに合成する。
【選択図】図１

Description

本発明は、映画用フィルムを用いて撮影された動画等に見られるキズやホコリ等に起因するノイズに類似した効果を画像データに重畳する画像処理装置、画像処理方法、及び画像処理プログラムに関する。

近年、撮影により得られた画像データに対して特殊効果を適用する機能を有する撮像装置が多数開発されている。また、特殊効果を適用するための技術も多く提案されている。例えば、特許文献１は、フィルムのような粒状感（ノイズ感）があり、ハイコントラストの画像を生成するための手法を提案している。特許文献１の手法により、荒々しく力強い印象の静止画や動画を撮影することが可能である。また、特許文献２は、周辺が減光された画像を生成する手法に関する提案をしている。特許文献２の手法により、トイカメラで撮影したような印象の静止画や動画を撮影することが可能である。さらに、特許文献３は、通常の動画とそれよりも早めに再生されるサイレント映画風の動画とを撮影する撮像装置に関する提案をしている。特許文献３の技術により、古いフィルムのような印象の動画を撮影することが可能である。

特開２０１０−６２８３６号公報 特開２０１０−７４２４４号公報 特開２００６−２５４０６７号公報

フィルムで撮影した動画には、フィルムが移動することに伴ってフィルムに生じるスジ状のキズ（スクラッチ）に起因するノイズ並びにフィルム表面に付着したホコリ及びフィルム現像段階に生じたゴミ等に起因するノイズ（以下、これらのノイズをフィルムノイズと言う）が見られる。ここで、フィルムノイズを画像処理によって再現するための手法として、撮影によって得られた動画データにフィルムノイズと同様の視覚効果を与える動画像データを重畳することが予想される。しかしながら、このような手法の場合、自然な印象を与える効果を実現するためには長時間の動画データが必要になり、また長時間の動画データを記録するための記録領域を確保する必要が生じる。ここで、デジタルカメラ等の組み込み機器では記録領域が限られているので、十分な時間の動画データを記録することが困難である。十分な時間の動画データを記録できないと、不自然な印象を鑑賞者に与える動画となってしまう可能性が生じる。また、動画データを高圧縮すれば少ない記録領域でも記録可能である。しかしながら、高圧縮して動画データを記録した場合には十分な品質のフィルムノイズと同様な視覚効果が得られない可能性が高い。

本発明は、前記の事情に鑑みてなされたものであり、最小限の画像データを用いて観察者に自然な印象を与えるフィルムノイズと同様な視覚効果を実現可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像処理装置は、フィルム撮影においてフィルムを移動させたときに生じるスクラッチに起因するノイズを再現したスクラッチ画像データと、フィルム撮影におけるフィルム現像段階に生じたゴミに起因するノイズを再現したノイズ画像データとを少なくとも記憶する記憶部と、前記スクラッチ画像データと前記ノイズ画像データの切り出し位置をそれぞれ算出する切り出し位置算出部と、前記切り出し位置算出部で算出された切り出し位置に応じて前記スクラッチ画像データと前記ノイズ画像データとの一部を切り出し、該切り出したスクラッチ画像データとノイズ画像データとを合成対象の画像データに合成する合成部と、を具備することを特徴とする。

前記の目的を達成するために、本発明の第２の態様の画像処理方法は、記憶部に記憶されフィルム撮影においてフィルムを移動させたときに生じるスクラッチに起因するノイズを再現したスクラッチ画像データ及び前記記憶部に記憶されフィルム撮影におけるフィルム現像段階に生じたゴミに起因するノイズを再現したノイズ画像データとの切り出し位置を切り出し位置算出部によりそれぞれ算出し、合成部により、前記切り出し位置に応じて前記スクラッチ画像データと前記ノイズ画像データとの一部を切り出し、該切り出したスクラッチ画像データとノイズ画像データとを合成対象の画像データに合成する、ことを特徴とする。

前記の目的を達成するために、本発明の第３の態様の画像処理方法は、記憶部に記憶されフィルム撮影においてフィルムを移動させたときに生じるスクラッチに起因するノイズを再現したスクラッチ画像データ及び前記記憶部に記憶されフィルム撮影におけるフィルム現像段階に生じたゴミに起因するノイズを再現したノイズ画像データとの切り出し位置をそれぞれ算出する機能と、前記切り出し位置に応じて前記スクラッチ画像データと前記ノイズ画像データとの一部を切り出し、該切り出したスクラッチ画像データとノイズ画像データとを合成対象の画像データに合成する機能と、をコンピュータに実現させる。

本発明によれば、最小限の画像データを用いて観察者に自然な印象を与えるフィルムノイズと同様な視覚効果を実現可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。

本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。 本発明の一実施形態に係るデジタルカメラのメイン動作を示すフローチャートである。 エフェクト設定処理について示すフローチャートである。 画像処理について示すフローチャートである。 基本画像処理について示すフローチャートである。 特殊画像処理について示すフローチャートである。 スクラッチ画像データを示す図である。 ノイズ画像データを示す図である。 ホコリ画像データを示す図である。 フィルムノイズエフェクトの付加処理の処理を示すフローチャートである。 ステップＳ６０２の判定に用いられるスレッシュのフレーム数との関係の一例を示す図である。 図１２（ａ）はスクラッチ画像データの切り出し位置の更新の概要を示す図であり、図１２（ｂ）はスクラッチ画像データの切り出し位置の微修正の概要を示す図であり、図１２（ｃ）は切り出し位置が上端となった後のスクラッチ画像データの切り出し位置の修正の概要を示す図である。 ステップＳ６０６の判定を行うためのフレーム数とスレッシュとの関係の一例を示す図である。 ノイズ画像データの切り出し位置の更新の概要を示す図である。 ステップＳ６０８の判定を行うためのフレーム数とスレッシュとの関係の一例を示す図である。 図１６（ａ）はホコリ画像データの合成位置の更新の概要を示す図であり、図１６（ｂ）はホコリ画像データの合成位置の微修正の概要を示す図である。 合成処理の概要を示す図である。 切り出し後のスクラッチ画像データ及びノイズ画像データのサイズが合成対象の画像データのサイズと一致していない場合の合成処理の概要を示す図である。 シェーディング処理を示すフローチャートである。 図２０（ａ）は拡大率ａが０.５のときに付加されるシェーディングエフェクトの例を示す図であり、図２０（ｂ）は拡大率ａが１.５のときに付加されるシェーディングエフェクトの例を示す図である。 粒子ノイズエフェクトの付加処理の処理を示すフローチャートである。 Ｗｎ、Ｈｎ、Ｗｉ、Ｈｉの関係を示す図である。 擬似乱数取得処理について示すフローチャートである。 ＲＡＷデータを用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。 ＲＡＷリサイズ部で縮小されたＲＡＷデータを用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。 撮影時に生成される乱数を用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。 ＲＡＷデータに対して基本画像処理を施すことによって得られるＹＣデータを用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。 撮影時の各種条件を用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。 乱数の種を生成するための情報を画像ファイルに記録する場合の、画像ファイルのファイル構造を示す図である。 再生処理について示すフローチャートである。 編集処理について示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る画像処理装置を備えた撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラ１は、レンズ交換式のデジタルカメラである。しかしながら、必ずしもレンズ交換式のデジタルカメラである必要はなく、レンズ一体式のデジタルカメラであってもよい。また、撮像機能付き携帯電話機や撮像機能付き携帯端末等であっても本実施形態の技術が適用され得る。

図１に示すデジタルカメラ１は、交換式レンズ１００と、カメラ本体２００とを有している。交換式レンズ１００は、カメラ本体２００に対して着脱自在に構成されている。カメラ本体２００に交換式レンズ１００が装着された場合に、交換式レンズ１００は、カメラ本体２００と通信自在に接続される。これにより、交換式レンズ１００は、カメラ本体２００の制御に従って動作可能な状態となる。

交換式レンズ１００は、レンズ１０２と、絞り１０４と、ドライバ１０６と、マイクロコンピュータ１０８と、Ｆｌａｓｈメモリ１１０とを有している。
レンズ１０２は、図示しない被写体からの光束をカメラ本体２００内の撮像素子２０４に集光するための光学系である。レンズ１０２は、フォーカスレンズ及びズームレンズ等の複数のレンズを有している。絞り１０４は、開閉自在に構成され、レンズ１０２を介して入射した光束の量を調整する。ドライバ１０６は、モータ等を有している。このドライバ１０６は、マイクロコンピュータ１０８の制御に従って、レンズ１０２内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞り１０４を開閉駆動させたりする。

マイクロコンピュータ１０８は、交換式レンズ１００がカメラ本体２００に装着された際にインターフェイス（Ｉ/Ｆ）１１２を介してカメラ本体２００内のマイクロコンピュータ２３４と通信自在に接続される。このマイクロコンピュータ１０８は、マイクロコンピュータ２３４からの制御に従ってドライバ１０６を駆動させる。また、マイクロコンピュータ１０８は、Ｆｌａｓｈメモリ１１０に記憶されている交換式レンズ１００のレンズ情報等を、Ｉ/Ｆ１１２を介してマイクロコンピュータ２３４に通信する。

Ｆｌａｓｈメモリ１１０は、レンズ１０２の収差情報等のレンズ情報や交換式レンズ１００の動作を実行するために必要なプログラム等を記憶している。

カメラ本体２００は、メカシャッタ２０２と、撮像素子２０４と、アナログ処理部２０６と、アナログ/デジタル（ＡＤ）変換部２０８と、ＲＡＷリサイズ部２１０と、バス２１２と、ＳＤＲＡＭ２１４と、ＡＥ処理部２１６と、ＡＦ処理部２１８と、画像処理部２２０と、被写体検出部２２２と、表示ドライバ２２４と、表示部２２６と、画像圧縮伸張部２２８と、メモリインターフェイス（Ｉ/Ｆ）２３０と、記録媒体２３２と、マイクロコンピュータ２３４と、操作部２３６と、Ｆｌａｓｈメモリ２３８とを有している。

メカシャッタ２０２は、撮像素子２０４の光電変換面を遮光状態又は露出状態とするように移動自在に構成されている。メカシャッタ２０２を移動させることにより、撮像素子２０４の露出時間が調整される。

撮像素子２０４は、レンズ１０２を介して集光された被写体からの光束が結像される光電変換面を有している。光電変換面は、複数の画素が２次元状に配置されて構成されている。また、光電変換面の光入射側には、カラーフィルタが設けられている。このような撮像素子２０４は、光電変換面に結像された光束に対応した像（被写体像）を、その光量に応じた電気信号（以下、画像信号という）に変換して出力する。ここで、撮像素子２０４は、ＣＣＤ方式やＣＭＯＳ方式等の種々の構成の撮像素子が知られている。また、カラーフィルタの色配列もベイヤ配列等の種々の配列が知られている。本実施形態は、撮像素子２０４の構成が特定の構成に限定されるものではなく、種々の構成の撮像素子を用いることが可能である。また、撮像素子２０４は、露出時間を電子的に制御する電子シャッタ機能を有していてもよい。以下の説明においては撮像素子２０４が電子シャッタ機能を有しているものとする。

アナログ処理部２０６は、撮像素子２０４により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。ＡＤ変換部２０８は、アナログ処理部２０６においてアナログ処理された画像信号をデジタル信号（以下、ＲＡＷデータという）に変換する。ここで、ＲＡＷデータとは、画像処理部２２０における画像処理が施される前の「生の」画像データである。

ＲＡＷリサイズ部２１０は、ＡＤ変換部２０８で得られたＲＡＷデータをリサイズする。リサイズは、補間処理によって行われる。例えば、リサイズ処理として縮小処理が行われる場合、例えば隣接する複数画素の平均値を縮小後の画素のデータとする処理が、ＲＡＷデータを構成する各画素に対して行われる。また、リサイズ処理として拡大処理が行われる場合、例えば隣接する複数画素の平均値の画素を隣接画素間に挿入する処理が、ＲＡＷデータを構成する各画素に対して行われる。図１に示すように、ＡＤ変換部２０８は、ＲＡＷリサイズ部２１０を介してバス２１２に接続されているとともに、ＲＡＷリサイズ部２１０を介さずにバス２１２に接続されている。したがって、本実施形態では、ＲＡＷリサイズ部２１０でリサイズされた後のＲＡＷデータとＲＡＷリサイズ部２１０でリサイズされる前のＲＡＷデータの両方を取得することができる。また、ＲＡＷリサイズ部２１０は、ＡＤ変換部２０８から出力されたＲＡＷデータをリサイズするのではなく、ＳＤＲＡＭ２１４に記憶されたＲＡＷデータをリサイズするように構成されていてもよい。なお、ＲＡＷリサイズ部２１０で行う補間処理には、上記以外、最近傍補間や線形補間等種種の補間方法を適用できる。

バス２１２は、カメラ本体２００の内部で発生した各種のデータを転送するための転送路である。ＳＤＲＡＭ２１４は、カメラ本体２００内部で発生した各種のデータを一時的に記憶するための記憶部である。このＳＤＲＡＭ２１４は、画像処理部２２０における画像処理の際のバッファメモリとしても使用される。

ＡＥ処理部２１６は、画像データ（例えばＲＡＷデータ）を用いて被写体輝度を算出する。ＡＦ処理部２１８は、画像データ（例えばＲＡＷデータ）から高周波成分の信号を取り出し、取り出した高周波成分の信号を積算してＡＦ評価値を取得する。

画像処理部２２０は、ＲＡＷデータに対する各種の画像処理を行う。ここで、画像処理部２２０で行われる画像処理は、画像データの仕上がりやエフェクトを所定のものとするための画像処理である。ここでの仕上がりとは、表示の際の見た目や作風等のことを言う。また、エフェクトとは、表示の際にユーザに所定の印象を与えるエフェクト等のことを言う。このような画像処理部２２０は、基本画像処理部２２０１と、特殊画像処理部２２０２とを有している。

基本画像処理部２２０１は、画像の表示や記録のために必要な基本的な画像処理を画像データに対して施す。この基本的な画像処理には、例えば、オプティカルブラック（ＯＢ）減算処理、ホワイトバランス（ＷＢ）補正処理、同時化処理、色再現処理、輝度変更処理、エッジ強調処理、ノイズ低減処理が含まれる。

オプティカルブラック減算処理は、ＲＡＷデータの暗電流成分（オプティカルブラック）を減算して除去する処理である。ホワイトバランス補正処理は、ＲＡＷデータの各色成分を所定のゲイン量で増幅することにより、画像の色バランスを補正する処理である。同時化処理は、ベイヤ配列に対応して撮像素子２０４を介して出力されるＲＡＷデータ等の、１つの画素が１つの色成分に対応している画像データを、１つの画素が複数の色成分に対応しているＲＧＢデータに変換する処理である。色再現処理は、画像の色再現を適切なものとするための各種の処理である。この処理としては、例えばカラーマトリクス演算処理がある。このカラーマトリクス演算処理は、ＲＧＢデータに対して、例えばホワイトバランスモードに応じたカラーマトリクス係数を乗じる処理である。この他、色再現処理として彩度・色相の補正も行う。輝度変更処理は、ＲＧＢデータをＹＣ（輝度・色差）データに変換し、Ｙデータの輝度特性を、表示や記録に適するように変更する処理である。輝度変更処理として、ＲＧＢデータの輝度特性を変更するようにしてもよい。エッジ強調処理は、画像データ（ＲＡＷデータ、ＲＧＢデータ又はＹＣデータ）からバンドパスフィルタ等を用いて抽出したエッジ信号にエッジ強調係数を乗じ、この結果をもとの画像データに加算することによって、画像データにおけるエッジ（輪郭）成分を強調する処理である。ノイズ低減処理は、コアリング処理等により、画像データ（ＲＧＢデータ又はＹＣデータ）におけるノイズ成分を除去する処理である。

特殊画像処理部２２０２は、画像データ（ＲＧＢデータ又はＹＣデータ）に対して特殊な視覚効果を与えるための特殊画像処理を施す。本実施形態における特殊画像処理部２２０２は、特殊画像処理として少なくともノイズエフェクトを付加する処理を行う。ノイズエフェクトは、画像に所定のノイズを付加することによってユーザに所定の印象（例えばフィルム撮影により得られた画像であるかのような印象）を与えるエフェクトである。ノイズエフェクトを付加する処理を行うため、特殊画像処理部２２０２は、乱数の種生成部２２０２ａと、擬似乱数生成部２２０２ｂと、切り出し位置算出部２２０２ｃと、合成部２２０２ｄとを有している。乱数の種生成部２２０２ａは、擬似乱数系列を初期化するための乱数の種（Random seed）を生成する。擬似乱数生成部２２０２ｂは、擬似乱数生成器を有し、乱数の種生成部２２０２ａで生成された乱数の種に基づいて擬似乱数系列を生成する。ここで、擬似乱数系列は、擬似的なランダム性を有する系列であって、同一の乱数の種からは同一の系列が生成されるという特徴を有する系列である。擬似乱数の生成手法は、線形合同法、ＸＯＲ ｓｈｉｆｔ法、Ｍｅｒｓｅｎｎｅ Ｔｗｉｓｔｅｒ法等が知られている。本実施形態では、擬似乱数系列が生成できるのであればその生成手法は特に限定されない。

切り出し位置算出部２２０２ｃは、擬似乱数生成部２２０２ｂで生成された擬似乱数系列を用いてノイズエフェクトを付加するために必要となる画像データであるスクラッチ画像データ及びノイズ画像データの切り出し位置を算出する。スクラッチ画像データ及びノイズ画像データについては後で詳しく説明する。合成部２２０２ｄは、切り出し位置算出部２２０２ｃで算出された切り出し位置に従ってスクラッチ画像データ及びノイズ画像データの一部を切り出し、切り出したスクラッチ画像データ及びノイズ画像データを必要に応じて拡大した上でノイズエフェクトを付加する対象の画像データに合成（重畳）する。また、合成部２２０２ｄは、ノイズエフェクトを付加するために必要に応じて用いられるホコリ画像データを、ノイズエフェクトを付加する対象の画像データに合成（重畳）する。

被写体検出部２２２は、画像データ（例えばＹＣデータ）の中の被写体（例えば人物の顔）を検出する。被写体が顔である場合には、テンプレートマッチング等の周知の顔検出技術を用いて検出を行うことができる。被写体が顔以外であってもテンプレートマッチングや特徴量検出等の周知の手法を用いて検出を行うことができる。

表示ドライバ２２４は、画像処理部２２０で得られた画像データ又は画像圧縮伸張部２２８で伸張して得られる画像データを、表示部２２６の表示サイズに応じてリサイズし、リサイズした画像データを映像信号に変換して表示部２２６に出力する。表示部２２６は、例えば液晶ディスプレイ（ＬＣＤ）である。表示部２２６は、表示ドライバ２２４から入力された映像信号に基づく画像を表示する。

画像圧縮伸張部２２８は、画像の記録時においては、画像処理部２２０における画像処理によって得られた画像データに対してＪＰＥＧ形式やＴＩＦＦ形式等の静止画圧縮処理又はＭＰＥＧ形式やＨ．２６４形式等の動画圧縮処理を施す。また、画像圧縮伸張部２２８は、画像の再生時においては、圧縮処理が施された画像データに対して伸張処理を施す。

メモリＩ/Ｆ２３０は、マイクロコンピュータ２３４等が記録媒体２３２にアクセスするためのインターフェイスである。記録媒体２３２は、例えばカメラ本体２００に着脱自在になされたメモリカードである。この記録媒体２３２は、画像ファイル等を記録する。画像ファイルは、画像圧縮伸張部２２８によって圧縮された画像データに、ヘッダ情報を付加したファイルである。記録媒体２３２は、カメラ本体２００に固定されていてもよい（着脱できなくてもよい）。

マイクロコンピュータ２３４は、メカシャッタ２０２、撮像素子２０４、表示ドライバ２２４といったカメラ本体２００の各部の動作を統括的に制御する。また、マイクロコンピュータ２３４は、ＡＥ処理部２１６で演算された被写体輝度を用いてＡＥ処理を行ったり、ＡＦ処理部２１８で演算されたＡＦ評価値を用いてＡＦ処理を行ったりもする。さらに、マイクロコンピュータ２３４は、交換式レンズ１００の装着時には、交換式レンズ１００の動作も制御する。

操作部２３６は、ユーザによって操作される各種の操作部材である。本実施形態における操作部２３６は、操作部材として、例えば、レリーズボタンと、動画ボタンと、メニューボタンと、再生ボタンと、電源ボタンとを有している。レリーズボタンは、ファースト（１ｓｔ）レリーズスイッチとセカンド（２ｎｄ）レリーズスイッチの２段スイッチを有している。レリーズボタンが半押しされて、ファーストレリーズスイッチがオンされた場合に、マイクロコンピュータ２３４は、ＡＥ処理やＡＦ処理等の撮影準備処理を実行する。また、レリーズボタンが全押しされて、セカンドレリーズスイッチがオンされた場合に、マイクロコンピュータ２３４は、静止画記録処理を実行する。動画ボタンは、マイクロコンピュータ２３４に対して動画撮影の実行を指示する。動画ボタンが押された場合、マイクロコンピュータ２３４は、動画記録処理を実行する。また、動画記録処理の実行中に動画ボタンが押された場合、マイクロコンピュータ２３４は、動画記録処理を終了する。メニューボタンは、メニュー画面の表示を指示するための操作部である。メニュー画面上において、ユーザは、カメラ本体２００の各種の設定を変更することが可能である。本実施形態においては、ユーザは、例えばメニュー画面上において、特殊画像処理モードを設定する。この特殊画像処理モードにより、特殊画像処理部２２０２で施される特殊画像処理の内容が設定される。再生ボタンは、マイクロコンピュータ２３４に対して静止画ファイル又は動画ファイルの再生を指示するための操作部である。電源ボタンは、カメラ本体２００の電源のオン又はオフを指示するための操作部である。ここで、前述したレリーズボタン、動画ボタン、メニューボタン、再生ボタンと同等の機能をタッチパネルによって実現するようにしてもよい。すなわち、ボタン等の物理的な操作部材がなくともよい。

Ｆｌａｓｈメモリ２３８は、例えばホワイトバランス補正用のホワイトバランスゲイン、カラーマトリクス演算用のカラーマトリクス係数、輝度変更用の各種の関数（ガンマ関数）といった画像処理部２２０の動作に必要なパラメータ等の、カメラ本体２００の動作に必要な各種のパラメータを記憶している。ここで、本実施形態におけるＦｌｓａｈメモリ２３８は、画像処理部２２０における特殊画像処理に必要なパラメータとして、スクラッチ画像データと、ノイズ画像データと、ホコリ画像データとを記憶している。さらに、Ｆｌａｓｈメモリ２３８は、マイクロコンピュータ２３４が実行する種々のプログラムも記憶している。

以下、前述したデジタルカメラの動作について説明する。図２は、本実施形態に係るデジタルカメラのメイン動作を示すフローチャートである。図２の動作は、例えば図１に示すデジタルカメラ１の電源がオンされた場合に行われる。

電源オン後において、マイクロコンピュータ２３４は、初期化処理を行う（ステップＳ１０１）。初期化処理において、マイクロコンピュータ２３４は、自身が有するレジスタに設定されている記録中フラグをＯｆｆにする等の処理を行う。記録中フラグは、動画記録中であるか否かを示すフラグである。記録中フラグがＯｆｆになっている間は、動画記録中でないことを示す。一方、記録中フラグがＯｎになっている間は、動画記録中であることを示す。

次に、マイクロコンピュータ２３４は、ユーザによって操作部２３６の再生ボタンが押されたか否かを判定する（ステップＳ１０２）。ステップＳ１０２において、再生ボタンが押されたと判定した場合に、マイクロコンピュータ２３４は、再生処理を実行する（ステップＳ１０３）。再生処理については後で詳しく説明する。

ステップＳ１０２において再生ボタンが押されていないと判定した場合に、マイクロコンピュータ２３４は、カメラ設定をするか否かを判定する（ステップＳ１０４）。例えば、ユーザによって操作部２３６のメニューボタンが押された場合に、マイクロコンピュータ２３４は、カメラ設定をすると判定する。

ステップＳ１０４において、カメラ設定をすると判定した場合に、マイクロコンピュータ２３４は、表示ドライバ２２４を制御して表示部２２６にメニュー画面を表示させた後、カメラ設定処理を実行する（ステップＳ１０５）。カメラ設定処理において、マイクロコンピュータ２３４は、ユーザからのカメラ設定の変更の指示を待つ。そして、何らかのカメラ設定の変更の指示がなされた場合に、マイクロコンピュータ２３４は、その指示に従ってカメラ設定を変更する。このカメラ設定処理においては、例えば静止画撮影時や動画撮影時の画像の記録形式の設定、ホワイトバランス（ＷＢ）モード、コントラスト設定、エッジ強調度（シャープネス）の設定、輝度特性変更の設定（ガンマ設定）等の画像の仕上がりに関する設定が変更される。この他、カメラ設定処理において、特殊画像処理モードの設定、例えばエフェクトの設定が行われてもよい。

ステップＳ１０４において、カメラ設定をしないと判定した場合に、マイクロコンピュータ２３４は、ユーザによって操作部２３６の動画ボタンが押されたか否かを判定する（ステップＳ１０６）。ステップＳ１０６において、動画ボタンが押されたと判定した場合に、マイクロコンピュータ２３４は、記録中フラグを反転させる（ステップＳ１０７）。すなわち、マイクロコンピュータ２３４は、記録中フラグがＯｆｆの場合にはＯｎに、Ｏｎの場合にはＯｆｆにする。その後、マイクロコンピュータ２３４は、現在、動画記録中であるか否か、すなわち記録中フラグがＯｎであるか否かを判定する（ステップＳ１０８）。

ステップＳ１０８において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３４は、動画ファイルを生成し、動画データを記録できるように準備する（ステップＳ１０９）。また、ステップＳ１０８において、記録中フラグがＯｎでないと判定した場合に、マイクロコンピュータ２３４は、動画ファイルを閉じる（ステップＳ１１０）。

ステップＳ１０６において動画ボタンが押されていないと判定した場合、ステップＳ１０９において動画ファイルを生成した後、ステップＳ１１０において動画ファイルを閉じた後、マイクロコンピュータ２３４は、エフェクト設定処理を行う（ステップＳ１１１）。エフェクト設定処理については後で説明する。

エフェクト設定処理の後、マイクロコンピュータ２３４は、現在、動画記録中であるか否か、すなわち記録中フラグがＯｎであるか否かを再び判定する（ステップＳ１１２）。ステップＳ１１２において、記録中フラグがＯｆｆであると判定した場合に、マイクロコンピュータ２３４は、ユーザによって操作部２３６のレリーズボタンが半押しされてレリーズボタンの状態がＯｆｆ状態から１ｓｔレリーズスイッチのＯｎ状態に遷移したか否かを判定する（ステップＳ１１３）。

ステップＳ１１３において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移したと判定した場合に、マイクロコンピュータ２３４は、ＡＥ処理及びＡＦ処理を行う（ステップＳ１１４）。ＡＥ処理において、マイクロコンピュータ２３４は、ＡＥ処理部２１６によって被写体輝度を算出させる。その後、マイクロコンピュータ２３４は、ＡＥ処理部２１６によって算出された被写体輝度に応じて静止画撮影の実行時におけるシャッタ速（Ｔｖ値）、絞り値（Ａｖ値）、ＩＳＯ感度を決定する。ここで、被写体検出部２２２で検出された被写体の輝度が適正となるようにシャッタ速、絞り値、ＩＳＯ感度を決定するようにしてもよい。また、ＡＦ処理において、マイクロコンピュータ２３４は、ＡＦ処理部２１８によってＡＦ評価値を取得させる。そして、マイクロコンピュータ２３４は、ＡＦ処理部２１８で取得されたＡＦ評価値により、コントラストを評価しつつ、レンズ１０２のフォーカスレンズを微少量ずつ駆動させるようにマイクロコンピュータ１０８に指示する。その後、マイクロコンピュータ２３４は、コントラストが最大となった時点でフォーカスレンズの駆動を停止させるようにマイクロコンピュータ１０８に指示する。このようなＡＦ処理は、所謂コントラスト方式のＡＦ処理である。ＡＦ処理として位相差ＡＦ処理を用いるようにしてもよい。また、被写体検出部２２２で検出された被写体にフォーカスが合うようにしてもよい。

ＡＥ処理及びＡＦ処理の後、マイクロコンピュータ２３４は、デジタルカメラ１の電源がオフされたか否かを判定する（ステップＳ１１５）。ステップＳ１１５において、デジタルカメラ１の電源がオフされていないと判定した場合に、マイクロコンピュータ２３４は、ステップＳ１０２以後の処理を実行する。一方、ステップＳ１１５において、デジタルカメラの電源がオフされたと判定した場合に、マイクロコンピュータ２３４は、図２の処理を終了させる。

ステップＳ１１３において、レリーズボタンの状態が１ｓｔレリーズスイッチのＯｎ状態に遷移していないと判定した場合に、マイクロコンピュータ２３４は、ユーザによって操作部２３６のレリーズボタンが全押しされてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態となっているか否かを判定する（ステップＳ１１６）。

ステップＳ１１６において、レリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態である場合に、マイクロコンピュータ２３４は、メカシャッタ２０２を用いた撮影処理を実行する（ステップＳ１１７）。このために、マイクロコンピュータ２３４は、ＡＥ処理において決定されるＩＳＯ感度に応じてアナログ処理部２０６におけるゲイン制御量（増幅率）を設定するとともに、ＡＥ処理において決定されるＦ値をマイクロコンピュータ１０８に送信する。その後、マイクロコンピュータ２３４は、マイクロコンピュータ１０８の制御による絞り１０４の駆動と同期して、ＡＥ処理において決定した露出時間に応じてメカシャッタ２０２を動作させて撮像素子２０４の露出を制御する。このような撮影処理により、ＲＡＷデータがＳＤＲＡＭ２１４に記憶される。

メカシャッタ２０２を用いた撮影処理を実行した後、マイクロコンピュータ２３４は、撮影処理によってＳＤＲＡＭ２１４に記憶されたＲＡＷデータに対する画像処理を、画像処理部２２０に実行させる（ステップＳ１１８）。画像処理の詳細については後で説明する。

画像処理の後、マイクロコンピュータ２３４は、画像処理の結果としてＳＤＲＡＭ２１４に記憶された画像データを、設定されている静止画記録形式で静止画ファイルとして記録する処理を行う（ステップＳ１１９）。この際、マイクロコンピュータ２３４は、ＳＤＲＡＭ２１４に記憶された画像データを画像圧縮伸張部２２８に入力して静止画圧縮処理を実行するように画像圧縮伸張部２２８に指示する。この指示を受けて画像圧縮伸張部２２８は、予め設定された記録モードに対応するように静止画圧縮処理を行い、圧縮された画像データをＳＤＲＡＭ２１４に記憶させる。その後、マイクロコンピュータ２３４は、画像圧縮伸張部２２８により圧縮された画像データをＳＤＲＡＭ２１４から読み出し、読み出した画像データから静止画ファイルを作成し、作成した静止画ファイルを記録媒体２３２に記録する。

ステップＳ１１６においてレリーズボタンの状態が２ｎｄレリーズスイッチのＯｎ状態でないと判定した場合に、マイクロコンピュータ２３４は、ＡＥ処理を実行する（ステップＳ１２０）。このＡＥ処理は、動画撮影又はライブビュー表示のための処理である。ＡＥ処理の後、マイクロコンピュータ２３４は、電子シャッタを用いた撮影処理を実行する（ステップＳ１２１）。この撮影処理において、マイクロコンピュータ２３４は、ＡＥ処理によって決定した露出時間に応じて撮像素子２０４の電子シャッタ機能を動作させて撮像素子２０４の露出を制御する。このような撮影処理により、ＲＡＷデータがＳＤＲＡＭ２１４に記憶される。

電子シャッタを用いた撮影処理を実行した後、マイクロコンピュータ２３４は、撮影処理によってＳＤＲＡＭ２１４に記憶されたＲＡＷデータに対する画像処理を、画像処理部２２０に実行させる（ステップＳ１２２）。画像処理の詳細については後で説明する。

画像処理の後、マイクロコンピュータ２３４は、ライブビュー表示を行う（ステップＳ１２３）。ライブビュー表示において、マイクロコンピュータ２３４は、画像処理の結果としてＳＤＲＡＭ２１４に記憶された画像データを表示ドライバ２２４に入力する。これを受けて表示ドライバ２２４は、入力された画像データを映像信号に変換して表示部２２６に出力する。表示部２２６は、この映像信号に基づいて画像を表示する。このようなライブビュー表示により、ユーザは、表示部２２６を用いて構図の確認等を行うことができる。

ライブビュー表示の後、マイクロコンピュータ２３４は、現在、動画記録中であるか否か、すなわち記録中フラグがＯｎであるか否かを判定する（ステップＳ１２４）。ステップＳ１２４において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３４は、ステップＳ１２５の処理をスキップする。ステップＳ１２４において、記録中フラグがＯｎであると判定した場合に、マイクロコンピュータ２３４は、画像処理の結果としてＳＤＲＡＭ２１４に記憶された画像データを、設定されている動画記録形式で動画ファイルとして記録する処理を行う（ステップＳ１２５）。この際、マイクロコンピュータ２３４は、ＳＤＲＡＭ２１４に記憶された動画データを画像圧縮伸張部２２８に入力して動画圧縮処理を実行するように画像圧縮伸張部２２８に指示する。この指示を受けて画像圧縮伸張部２２８は、予め設定された記録モードに対応するように動画圧縮処理を行い、圧縮された動画データをＳＤＲＡＭ２１４に記憶させる。その後、マイクロコンピュータ２３４は、画像圧縮伸張部２２８により圧縮された動画データをＳＤＲＡＭ２１４から読み出し、読み出した動画データを先に生成した動画ファイルに追記する。また、動画データの記録が終了した場合には、動画ファイルのヘッダ記録部にフレーム数等の情報を記録する。

図３は、エフェクト設定処理について示すフローチャートである。エフェクト設定において、ユーザは、画像（静止画又は動画或いはライブビュー）に付加するエフェクトの内容を設定する。このエフェクトの設定に応じて、後で説明する特殊画像処理の際に画像に対してエフェクトが付加される。

図３において、マイクロコンピュータ２３４は、画像にフィルムノイズエフェクトを付加するようにユーザによって指示されたか否かを判定する（ステップＳ２０１）。ユーザは、例えばカメラ設定処理と同様のメニュー画面上でフィルムノイズエフェクトを付加する旨の指示をする。ステップＳ２０１において、フィルムノイズエフェクトを付加するようにユーザによって指示されていないと判定した場合、マイクロコンピュータ２３４は、ステップＳ２０２の処理をスキップする。ステップＳ２０１において、フィルムノイズエフェクトを付加するようにユーザによって指示されたと判定した場合に、マイクロコンピュータ２３４は、フィルムノイズエフェクトを付加するように画像処理部２２０（特殊画像処理部２２０２）を設定する（ステップＳ２０２）。

続いて、マイクロコンピュータ２３４は、画像にシェーディングエフェクトを付加するようにユーザによって指示されたか否かを判定する（ステップＳ２０３）。ステップＳ２０３において、シェーディングエフェクトを付加するようにユーザによって指示されていないと判定した場合、マイクロコンピュータ２３４は、ステップＳ２０４の処理をスキップする。ステップＳ２０３において、シェーディングエフェクトを付加するようにユーザによって指示されたと判定した場合に、マイクロコンピュータ２３４は、特殊画像処理の際にシェーディングエフェクトを付加するように画像処理部２２０（特殊画像処理部２２０２）を設定する（ステップＳ２０４）。

続いて、マイクロコンピュータ２３４は、画像に粒子ノイズエフェクトを付加するようにユーザによって指示されたか否かを判定する（ステップＳ２０５）。ステップＳ２０５において、粒子ノイズエフェクトを付加するようにユーザによって指示されていないと判定した場合、マイクロコンピュータ２３４は、ステップＳ２０６の処理をスキップする。ステップＳ２０５において、粒子ノイズエフェクトを付加するようにユーザによって指示されたと判定した場合に、マイクロコンピュータ２３４は、特殊画像処理の際に粒子ノイズエフェクトを付加するように画像処理部２２０（特殊画像処理部２２０２）を設定する（ステップＳ２０６）。その後、マイクロコンピュータ２３４は、図３の処理を終了させる。

図４は、画像処理について示すフローチャートである。画像処理が開始されると、基本画像処理部２２０１は、ＳＤＲＡＭ２１４に記憶されているＲＡＷデータに対して基本画像処理を施す（ステップＳ３０１）。その後、特殊画像処理部２２０２は、基本画像処理の結果としてＳＤＲＡＭ２１４に記憶されている画像データ（ＹＣデータ）に対して特殊画像処理を施す（ステップＳ３０２）。これにより、画像処理が終了される。以下、基本画像処理と特殊画像処理とを詳しく説明する。

図５は、基本画像処理について示すフローチャートである。基本画像処理の開始後、基本画像処理部２２０１は、ＯＢ減算処理を行う（ステップＳ４０１）。ＯＢ減算処理において、基本画像処理部２２０１は、入力されたＲＡＷデータからオプティカルブラック（ＯＢ）値を減算することでＲＡＷデータにおける暗電流成分を除去する。

ＯＢ減算の後、基本画像処理部２２０１は、ＷＢ補正処理を行う（ステップＳ４０２）。ＷＢ補正処理において、基本画像処理部２２０１は、ＯＢ減算処理が施されたＲＡＷデータに対して、予めユーザが設定したＷＢモードに応じたＷＢゲインを乗じることで画像としての色バランスを補正する。ユーザがオートＷＢモードを設定している場合には、基本画像処理部２２０１は、撮影したＲＡＷデータを解析して、推定した光源に応じたＷＢゲインを乗じる。

ＷＢ補正処理の後、基本画像処理部２２０１は、ＲＡＷデータの形式がベイヤ形式の場合には、同時化処理を行う（ステップＳ４０３）。同時化処理において、基本画像処理部２２０１は、ＷＢ補正がなされたＲＡＷデータを、補間処理を用いて同時化する。これにより、１画素がＲＧＢのうちの１つの色成分を有しているＲＡＷデータを１画素がＲＧＢ３つの色成分を有するＲＧＢデータに変換する。

同時化処理の後、基本画像処理部２２０１は、色再現処理を行う（ステップＳ４０４）。色再現処理において、基本画像処理部２２０１は、設定されているＷＢモードに応じたカラーマトリクス係数をＲＧＢデータの各画素に乗じることでＲＧＢデータの色変換をする。さらに、基本画像処理部２２０１は、色変換したＲＧＢデータの色相及び彩度が適切なものとなるように色を補正することにより、画像の色再現を調整する。

色再現処理の後、基本画像処理部２２０１は、輝度変更処理を行う（ステップＳ４０５）。輝度変更処理において、基本画像処理部２２０１は、色再現処理がされたＲＧＢデータをガンマ変換し、さらにガンマ変換したＲＧＢデータをＹＣ（輝度・色差）データに変換した後、さらにＹデータをガンマ変換する。ＲＧＢ又はＹデータの何れかのみガンマ変換するようにしてもよい。

輝度変更処理の後、基本画像処理部２２０１は、エッジ強調処理を行う（ステップＳ４０６）。エッジ強調処理において、基本画像処理部２２０１は、輝度変更処理後のＹデータに対し、バンドパスフィルタ処理を施してエッジ信号を抽出し、抽出したエッジ信号にエッジ強調量に応じた係数を乗じる。そして、基本画像処理部２２０１は、係数を乗じたエッジ成分をもとのＹデータに加算することで画像のエッジ成分を強調する。

エッジ強調処理の後、基本画像処理部２２０１は、ノイズ低減（ＮＲ）処理を行う（ステップＳ４０７）。その後に基本画像処理部２２０１は、図５の処理を終了させる。ノイズ低減処理において、基本画像処理部２２０１は、エッジ強調処理がされたＹデータを周波数分解し、周波数に応じてコアリング処理等を施して画像におけるノイズ成分を低減させる。Ｃｂデータ及びＣｒデータに対してノイズ成分を低減させてもよい。ノイズ低減処理後のデータは、記録形式がＴＩＦＦ形式の場合には所定のマトリクス演算を行って再度ＲＧＢ形式に変換する。

図６は、特殊画像処理について示すフローチャートである。図６は、特殊画像処理として、フィルムノイズエフェクトの付加処理、シェーディングエフェクトの付加処理、粒子ノイズエフェクトの付加処理を行う例を示している。特殊画像処理において、図６で示した以外の特殊画像処理、例えばぼかし処理等を併せて行えるようにしてもよい。

図６において、特殊画像処理部２２０２は、フィルムノイズエフェクトを付加するように設定されているか否かを判定する（ステップＳ５０１）。ステップＳ５０１において、フィルムノイズエフェクトを付加するように設定されていないと判定した場合に、特殊画像処理部２２０２は、ステップＳ５０２の処理をスキップする。ステップＳ５０１において、フィルムノイズエフェクトを付加するように設定されていると判定した場合、マイクロコンピュータ２３４は、画像データ（ＹＣデータ）に対してフィルムノイズエフェクトを付加する処理を行う（ステップＳ５０２）。この処理については後で詳しく説明する。

続いて、特殊画像処理部２２０２は、シェーディングエフェクトを付加するように設定されているか否かを判定する（ステップＳ５０３）。ステップＳ５０３において、シェーディングエフェクトを付加するように設定されていないと判定した場合に、特殊画像処理部２２０２は、ステップＳ５０４の処理をスキップする。ステップＳ５０３において、シェーディングエフェクトを付加するように設定されていると判定した場合、マイクロコンピュータ２３４は、画像データ（ＹＣデータ）に対してシェーディングエフェクトを付加する処理を行う（ステップＳ５０４）。この処理については後で詳しく説明する。

続いて、特殊画像処理部２２０２は、粒子ノイズエフェクトを付加するように設定されているか否かを判定する（ステップＳ５０５）。ステップＳ５０５において、粒子ノイズエフェクトを付加するように設定されていないと判定した場合に、特殊画像処理部２２０２は、ステップＳ５０６の処理をスキップして図６の処理を終了させる。ステップＳ５０５において、粒子ノイズエフェクトを付加するように設定されていると判定した場合、マイクロコンピュータ２３４は、画像データ（ＹＣデータ）に対して粒子ノイズエフェクトを付加する処理を行う（ステップＳ５０６）。その後、特殊画像処理部２２０２は、図６の処理を終了させる。粒子ノイズエフェクトを付加する処理については後で詳しく説明する。

次に、フィルムノイズエフェクトの付加処理について説明する。フィルムノイズエフェクトの付加処理の詳細を説明する前に、スクラッチ画像データ、ノイズ画像データ、ホコリ画像データについて説明する。図７は、スクラッチ画像データを示す図である。図８は、ノイズ画像データを示す図である。図９は、ホコリ画像データを示す図である。スクラッチ画像データ、ノイズ画像データ、ホコリ画像データは、何れもフィルム撮影をしたときに生じ得る特有のノイズをパターン化した画像データである。また、これらのスクラッチ画像データ、ノイズ画像データ、ホコリ画像データのサイズは、所定のサイズ（例えば１９８０×１０８０画素）の画像データを基準にして決められている。

スクラッチ画像データは、図７に示すように、長さの異なる複数のスジ状パターンをランダムに配列することによって構成されている。縦方向のスジ状パターンを配列したスクラッチ画像データを画像データ（ＹＣデータ）に重畳した場合、フィルムを縦方向に移動させたときに生じるスクラッチに起因するノイズが画像データ上で再現される。ここで、図７に代えて横方向のスジ状パターンを配列してもよい。横方向のスジ状パターンを配列したスクラッチ画像データを画像データ（ＹＣデータ）に重畳した場合、フィルムを横方向に移動させたときに生じるスクラッチに起因するノイズが画像データ上で再現される。スクラッチ画像データは、スジ状パターンに沿った方向（図７では縦方向）に相関が高い画像データである。このため、スクラッチ画像データを相関が高い方向（図７では縦方向）に縮小（例えば１９８０×１０８０画素の画像データを基準にしてスクラッチ画像データのサイズが決められている場合には１/８〜１/６程度）し、この縮小したスクラッチ画像データを拡大することにより得られるスクラッチ画像データは、縮小をしていない元のスクラッチ画像データとの間の相関が高い。すなわち、スクラッチ画像データは、縮小されてもその後に拡大すれば問題なく利用できる。このため、Ｆｌａｓｈメモリ２３８には、縮小後のスクラッチ画像データを記憶させておくことが望ましい。縮小後のスクラッチ画像データをＦｌａｓｈメモリ２３８に記憶させるようにすれば、Ｆｌａｓｈメモリ２３８の容量を節約することができる。また、実際に重畳を行うまで縮小状態のスクラッチ画像データを用いて処理を行うことにより、ＳＤＲＡＭ２１４の帯域を節約することも可能である。

ノイズ画像データは、図８に示すように、粒子状パターンをランダムに２次元方向に配置することによって構成されている。ノイズ画像データを画像データ（ＹＣデータ）に重畳した場合、フィルム撮影におけるフィルム現像段階に生じたゴミ等に起因するノイズが画像データ上で再現される。ノイズ画像データにおける粒状パターンは、縦方向にも横方向にもランダムに配置されている。したがって、ノイズ画像データは、スクラッチ画像データとは異なり、特定の方向に相関がある画像データではない。このため、Ｆｌａｓｈメモリ２３８には、縮小をしていないノイズ画像データを記憶させておくことが望ましい。ただし、Ｆｌａｓｈメモリ２３８の容量やＳＤＲＡＭ２１４の帯域との関係により、ノイズ画像データを縮小する必要がある場合には、縦方向と横方向とで同じ縮小率でノイズ画像データを縮小することが望ましい。

ホコリ画像データは、図９に示すように、ホコリによるノイズをパターン化した画像データである。図９の例では、ホコリ画像データは、４つの異なるパターンのホコリの画像データＡ〜Ｄとホコリなしの画像データＥとの５つのパターンの画像データを含む。これら５つのパターンの画像データの中からランダムに１つが選択されて画像データ（ＹＣデータ）に重畳される。ホコリ画像データを画像データ（ＹＣデータ）に重畳した場合、フィルム撮影の際にフィルム表面に付着したホコリに起因するノイズが画像データ上で再現される。ここで、図９は、ホコリ画像データが５つのパターンの画像データを有している例を示している。ホコリ画像データとして記憶させておくパターンの数は５つに限るものではない。

図１０は、フィルムノイズエフェクトの付加処理の処理を示すフローチャートである。図１０において、特殊画像処理部２２０２は、乱数の種生成部２２０２ａ及び擬似乱数生成部２２０２ｂにより、フィルムノイズを付加するために必要となる擬似乱数を取得する（ステップＳ６０１）。図１０に示す処理では、例として、１０個の擬似乱数（Ｒ［０］〜Ｒ［９］）を取得するものとする。ここで、擬似乱数Ｒ［０］〜Ｒ［９］は、０から乱数最大値ＭＡＸの範囲の値を有する。擬似乱数Ｒ［０］〜Ｒ［９］の具体的な取得の仕方については後で説明する。

擬似乱数Ｒ［０］〜Ｒ［９］の取得後、特殊画像処理部２２０２は、画像データ（ＹＣデータ）に重畳するスクラッチ画像データの切り出し位置を大きく（ランダムに）更新するか否かを判定する（ステップＳ６０２）。ここで、切り出し位置は、スクラッチ画像データの切り出し範囲を決めるための基準となる位置であって、例えばスクラッチ画像データの左上の座標である。本実施形態においては、スクラッチ画像データを重畳する際にスクラッチ画像データの切り出し範囲をランダムに更新することによってスクラッチに起因するノイズのランダム性を再現する。ステップＳ６０２においては、フィルムノイズエフェクトを付加する対象の画像データが静止画データである場合には、常にＹｅｓと判定されることとする。また、フィルムノイズエフェクトを付加する対象の画像データが静止画データでない場合（例えば動画データやライブビュー表示用の画像データ）には、最初のフレームに対応する判定時にはＹｅｓと判定され、その後のフレームに対応する判定時にはランダムでＹｅｓと判定されることとする。例えば、擬似乱数Ｒ［０］が、切り出し位置を更新してからのフレーム数によって変化するスレッシュ以上となった場合にＹｅｓと判定されることとする。

図１１は、ステップＳ６０２の判定に用いられるスレッシュのフレーム数との関係の一例を示す図である。図１１の横軸は、切り出し位置が更新されたフレームを０としたときの、経過フレーム数を示している。また、図１１の縦軸は、スレッシュの値を示している。図１１の例では、０フレーム目から１４フレーム目までは、スレッシュが擬似乱数Ｒ［０］の最大値よりも大きくなるようになっている。したがって、更新が行われてからの１４フレーム目までは、ステップＳ６０２において必ずＮｏと判定される。また、１５フレームから２９フレーム目までは、擬似乱数Ｒ［０］の値によってＹｅｓと判定されるかＮｏと判定されるかが分岐する。すなわち、更新が行われてからの１５フレーム目から２９フレーム目までは、切り出し位置を更新するか否かがランダムに決定される。また、３０フレーム目ではスレッシュが擬似乱数Ｒ［０］の最小値（図の例では０）となるようになっている。したがって、更新が行われてから３０フレームの間に更新が行われなかった場合には、ステップＳ６０２において必ずＹｅｓと判定される。スクラッチは流れるスジ状のノイズであるほうがユーザに与える違和感が小さい。したがって、図１１で示したようにして頻繁にはスクラッチ画像データの切り出し位置の更新が行われないようにしつつ、時々には切り出し位置が変更されるようにする。これにより、実際のスクラッチに起因するノイズと同様のノイズを画像データ上で再現する。ここで、図１１の関係は一例であって適宜変更され得る。

ステップＳ６０２において、切り出し位置を更新すると判定した場合に、特殊画像処理部２２０２は、切り出し位置算出部２２０２ｃにより、スクラッチ画像データの切り出し位置を更新する（ステップＳ６０３）。例えば、切り出し位置の左上のＸ座標を擬似乱数Ｒ［１］で示される位置に更新し、切り出し位置の左上のＹ座標を擬似乱数Ｒ［２］で示される位置に更新する。ここで、擬似乱数Ｒ［１］は、例えば最小値がスクラッチ画像データの左端に切り出し範囲の左端が接するときの切り出し範囲の左上の座標に対応しており、最大値がスクラッチ画像データの右端に切り出し範囲の右端が接するときの切り出し範囲の左上の座標に対応している。また、擬似乱数Ｒ［２］は、例えば最小値がスクラッチ画像データの上端に切り出し範囲の上端が接するときの切り出し範囲の左上の座標に対応しており、最大値がスクラッチ画像データの下端に切り出し範囲の下端が接するときの切り出し範囲の左上の座標に対応している。さらに、スクラッチ画像データの切り出し範囲のサイズは、例えば縦方向が合成対象の画像データの縮小率倍であり、横方向が合成対象の画像データと同じサイズである。
図１２（ａ）は、切り出し位置の更新の概要を示している。図１２（ａ）の破線枠が更新前の切り出し範囲を示し、図１２（ａ）の一点鎖線枠が更新後の切り出し範囲を示している。切り出し位置の更新は、図１２（ａ）に示すように、更新前の切り出し位置（Ｘｐ，Ｙｐ）を更新後の切り出し位置（ｘ，ｙ）に更新することで行われる。このｘ及びｙは例えば以下の（式１）に従って与えられる。なお、（式１）のＸｍａｘは横方向の最大値を示し、Ｘｍｉｎは横方向の最小値を示す。また、（式１）のＹｍａｘ縦方向の最大値を示し、Ｙｍｉｎは縦方向の最小値を示す。
ｘ＝Ｒ［１］÷ＭＡＸ×（Ｘｍａｘ−Ｘｍｉｎ）＋Ｘｍｉｎ
ｙ＝Ｒ［２］÷ＭＡＸ×（Ｙｍａｘ−Ｙｍｉｎ）＋Ｙｍｉｎ （式１）

ステップＳ６０２において、切り出し位置を更新しないと判定した場合に、特殊画像処理部２２０２は、擬似乱数Ｒ［２］（すなわち切り出し位置のＹ座標）が乱数最大値ＭＡＸ×０.９以下であるか否かを判定する（ステップＳ６０４）。ステップＳ６０４において、擬似乱数Ｒ［２］が乱数最大値ＭＡＸ×０.９以下であると判定した場合に、特殊画像処理部２２０２は、スクラッチ画像データの切り出し位置の微修正を行う（ステップＳ６０５）。切り出し位置の微修正に際しては、図１２（ｂ）に示すように、更新前の切り出し位置と更新後の切り出し位置との距離が離れないように、すなわち更新前の切り出し位置の近傍に限定した範囲で切り出し位置を修正する。このとき、切り出し位置は、縦方向については一定間隔で上方向に向けて変化させ、横方向についてはランダムに変化させる。また、縦方向については、切り出し位置が上端まで達した場合、次回の修正時には、図１２（ｃ）に示すように、切り出し位置を下端に修正する。このような修正をする場合の修正後の切り出し位置（ｘ，ｙ）は、例えば以下の（式２）に従って与えられる。
ｘ＝Ｘｐ＋（（Ｒ［１］−ＭＡＸ/２）/ＭＡＸ）×Ｊ
ｙ＝Ｙｐ−Ｋ （式２）
ここで、Ｊは、設計時に決められるスジ状パターンの横方向の基本移動速度(pixel/frame)である。例えば、Ｊは５である。また、Ｋは、設計時に決められるスジ状パターンの縦方向の移動速度(pixel/frame)である。例えば、Ｋは１０である。さらに、（式２）の計算の結果、ｘが横方向の最小値よりも小さくなった場合には、ｘを横方向の最小値にクリップする。逆に、（式２）の計算の結果、ｘが横方向の最大値よりも大きくなった場合には、ｘを横方向の最大値にクリップする。さらに、（式２）の計算の結果、ｙが縦方向の最小値以下となったとき、すなわち切り出し位置が上端に達したときには、次のフレームにおいてｙを縦方向の最大値（すなわち下端位置）に修正する。（式２）により、切り出し位置のＸ座標は、１フレーム毎にランダムに５画素（Ｘｐ±２.５画素）の範囲で変更される。また、切り出し位置のＹ座標は、１フレーム毎に１０画素分ずつ上方向に変更される。

ステップＳ６０４において、擬似乱数Ｒ［２］が乱数最大値ＭＡＸ×０.９以下でないと判定した場合に、特殊画像処理部２２０２は、ステップＳ６０４の処理をスキップして処理をステップＳ６０６に移行させる。なお、ステップＳ６０４の処理をスキップする条件は、上述以外のスレッシュでもよく、また、常にスキップしないようにしてもよい。

続いて、特殊画像処理部２２０２は、画像データ（ＹＣデータ）に重畳するノイズ画像データの切り出し位置を更新するか否かを判定する（ステップＳ６０６）。本実施形態においては、ノイズ画像データを重畳する際にその切り出し範囲をランダムに更新することによってゴミ等に起因するノイズのランダム性を再現する。この切り出し範囲を更新するか否かの判定がステップＳ６０６の判定である。ステップＳ６０６においては、フィルムノイズエフェクトを付加する対象の画像データが静止画データである場合には、常にＹｅｓと判定されることとする。また、フィルムノイズエフェクトを付加する対象の画像データが静止画データでない場合には、最初のフレームに対応する判定時にはＹｅｓと判定され、その後のフレームに対応する判定時にはランダムでＹｅｓと判定されることとする。例えば、擬似乱数Ｒ［３］が、切り出し位置を更新してからのフレーム数によって変化するスレッシュ以上となった場合にＹｅｓと判定されることとする。

図１３は、ステップＳ６０６の判定を行うためのフレーム数とスレッシュとの関係の一例を示す図である。図１３の横軸は、切り出し位置が更新されたフレームを０としたときの、経過フレーム数を示している。また、図１３の縦軸は、スレッシュの値を示している。図１３の例では、０フレーム目から所定フレーム目（図の例では７フレーム目）にかけてスレッシュが減少するようになっている。そして、所定フレーム目から１０フレーム目まではスレッシュが擬似乱数Ｒ［３］の最小値（図の例では０）となるようになっている。したがって、更新が行われてから所定フレームの間に更新が行われなかった場合には、ステップＳ６０６において必ずＹｅｓと判定される。図１１とは異なり、図１３は、スレッシュが乱数最大値を超える期間がない。このため、ノイズ画像データの切り出し位置は、スクラッチ画像データと比較して頻繁に変更される。ここで、図１３の関係は一例であって適宜変更され得る。

ステップＳ６０６において、切り出し位置を更新しないと判定した場合に、特殊画像処理部２２０２は、ステップＳ６０６の処理をスキップする。ステップＳ６０６において、切り出し位置を更新すると判定した場合に、特殊画像処理部２２０２は、切り出し位置算出部２２０２ｃにより、ノイズ画像データの切り出し位置を更新する（ステップＳ６０７）。例えば、切り出し位置の左上のＸ座標を擬似乱数Ｒ［４］で示される位置に更新し、切り出し位置の左上のＹ座標を擬似乱数Ｒ［５］で示される位置に更新する。ここで、擬似乱数Ｒ［４］は、例えば最小値がノイズ画像データの左端に切り出し範囲の左端が接するときの切り出し範囲の左上の座標に対応しており、最大値がノイズ画像データの右端に切り出し範囲の右端が接するときの切り出し範囲の左上の座標に対応している。また、擬似乱数Ｒ［５］は、例えば最小値がノイズ画像データの上端に切り出し範囲の上端が接するときの切り出し範囲の左上の座標に対応しており、最大値がノイズ画像データの下端に切り出し範囲の下端が接するときの切り出し範囲の左上の座標に対応している。さらに、ノイズ画像データの切り出し範囲のサイズは、例えば合成対象の画像データと同じサイズである。
図１４は、切り出し位置の更新の概要を示している。図１４の破線枠が更新前の切り出し範囲を示し、図１４の一点鎖線枠が更新後の切り出し範囲を示している。ノイズ画像データの切り出し位置の更新は、スクラッチ画像データと同様、更新前の切り出し位置（Ｘｐ，Ｙｐ）を更新後の切り出し位置（ｘ，ｙ）に更新することで行われる。このｘ及びｙは例えば以下の（式３）に従って与えられる。
ｘ＝Ｒ［４］÷ＭＡＸ×（Ｘｍａｘ−Ｘｍｉｎ）＋Ｘｍｉｎ
ｙ＝Ｒ［５］÷ＭＡＸ×（Ｙｍａｘ−Ｙｍｉｎ）＋Ｙｍｉｎ （式３）

続いて、特殊画像処理部２２０２は、画像データ（ＹＣデータ）に重畳するホコリ画像データを更新するか否かを判定する（ステップＳ６０８）。ステップＳ６０８においては、フィルムノイズエフェクトを付加する対象の画像データが静止画データである場合には、常にＹｅｓと判定されることとする。また、フィルムノイズエフェクトを付加する対象の画像データが静止画データでない場合には、最初のフレームに対応する判定時にはＹｅｓと判定され、その後のフレームに対応する判定時にはランダムでＹｅｓと判定されることとする。例えば、擬似乱数Ｒ［６］が、切り出し位置を更新してからのフレーム数によって変化するスレッシュ以上となった場合にＹｅｓと判定されることとする。

図１５は、ステップＳ６０８の判定を行うためのフレーム数とスレッシュとの関係の一例を示す図である。図１５の横軸は、切り出し位置が更新されたフレームを０としたときの、経過フレーム数を示している。また、図１５の縦軸は、スレッシュの値を示している。図１５の例では、０フレーム目から１０フレーム目までにかけてスレッシュが線形に減少するようになっている。この場合、１０フレーム目までに更新が行われなかった場合には、ステップＳ６０８において必ずＹｅｓと判定される。図１５も、スレッシュが乱数最大値を超える期間がない。このため、ホコリ画像データの切り出し位置は、スクラッチ画像データと比較して頻繁に変更される。ここで、図１５の関係は一例であって適宜変更され得る。

ステップＳ６０８において、ホコリ画像データを更新すると判定した場合に、特殊画像処理部２２０２は、ホコリ画像データを更新する（ステップＳ６０９）。例えば、図９で示したホコリ画像データＡ〜Ｅのそれぞれに番号を与えておく。そして、ステップＳ６０９においては、現在選択中のホコリ画像データを、擬似乱数Ｒ［７］で示される番号のホコリ画像データ（例えば、Ｒ［７］を５で割ったときの余りが０であればＡ、１であればＢ、２であればＣ、３であればＤ、４であればＥ）に変更する。ホコリ画像データを更新した後、特殊画像処理部２２０２は、ホコリ画像データの合成位置を変更する（ステップＳ６１０）。例えば、合成位置の左上のＸ座標を擬似乱数Ｒ［８］で示される位置に更新し、合成位置の左上のＹ座標を擬似乱数Ｒ［９］で示される位置に更新する。ここで、擬似乱数Ｒ［８］は、例えば最小値が合成される画像データの左端の座標に対応しており、最大値が合成される画像データの右端の座標に対応している。また、擬似乱数Ｒ［９］は、例えば最小値が合成される画像データの上端の座標に対応しており、最大値が合成される画像データの下端の座標に対応している。図１６（ａ）は、ホコリ画像データの合成位置の更新の概要を示している。図１６（ａ）の破線が更新前のホコリ画像データを示し、図１６（ａ）の一点鎖線枠が更新後のホコリ画像データを示している。図１６（ａ）に示すように、ホコリ画像データの場合には合成位置だけでなく、ホコリ画像データのパターンも変更される。

ステップＳ６０８において、ホコリ画像データを更新しないと判定した場合に、特殊画像処理部２２０２は、ホコリ画像データの合成位置の微修正を行う（ステップＳ６１１）。合成位置の微修正に際しては、図１６（ｂ）に示すように、更新前の合成位置と更新後の合成位置との距離が離れないように合成位置を修正する。このとき、合成位置は、縦方向と横方向の両方についてランダムに変化させる。修正後の合成位置（ｘ，ｙ）は、例えば以下の（式４）に従って与えられる。
ｘ＝Ｘｐ＋（（Ｒ［８］−ＭＡＸ/２）/ＭＡＸ）×Ｌ
ｙ＝Ｙｐ＋（（Ｒ［９］−ＭＡＸ/２）/ＭＡＸ）×Ｍ （式４）
ここで、Ｌは、設計時に決められるホコリ画像データの横方向の基本移動速度(pixel/frame)である。例えば、Ｌは５である。また、Ｍは、設計時に決められるホコリ画像データの縦方向の移動速度(pixel/frame)である。例えば、Ｍは５である。さらに、ｘ及びｙはともに横方向又は縦方向の範囲内の値となるようにする。したがって、（式４）の計算の結果、ｘ又はｙが横方向又は縦方向の最小値よりも小さくなった場合には、ｘ又はｙを横方向又は縦方向の最小値にクリップする。逆に、（式４）の計算の結果、ｘ又はｙが横方向又は縦方向の最大値よりも大きくなった場合には、ｘ又はｙを横方向又は縦方向の最大値にクリップする。

続いて、特殊画像処理部２２０２は、合成部２２０２ｄにより、スクラッチ画像データ、ノイズ画像データ、ホコリ画像データを、合成対象の画像データに合成する（ステップＳ６１２）。その後、特殊画像処理部２２０２は、図１０の処理を終了させる。図１７は、合成処理の概要を示す図である。合成をするに際し、まず、スクラッチ画像データのサイズを合成対象の画像データのサイズに合わせることを行う。前述したように、スクラッチ画像データは、相関の高い方向である縦方向に縮小されている。したがって、切り出し後のスクラッチ画像データを縦方向に縮小率の逆数倍だけ拡大することでスクラッチ画像データのサイズを合成対象の画像データのサイズに合わせる。スクラッチ画像データのサイズを合成対象の画像データのサイズに合わせた後、スクラッチ画像データと、ノイズ画像データと、ホコリ画像データとを合成する。合成は、３つの画像データを例えば各画素の値が０（黒）であれば０を、最大（白）であれば１．０を、その他の値であれば明るさに応じて０から１．０の範囲の値を乗算することによって行われる。３つの画像データを合成して合成ノイズ画像データを得た後、合成対象の画像データに合成ノイズ画像データを合成する。この合成も、両画像データを例えば乗算することによって行われる。ここで、合成処理は他の方法でもよく、例えば、画素毎に比較を行い暗い方の値を合成結果とするような合成方法でもよい。

ここで、スクラッチ画像データ、ノイズ画像データ、ホコリ画像データのサイズは、所定のサイズ（例えば１９８０×１０８０画素）の画像データを基準にして決められている。このため、合成対象の画像データのサイズによってはスクラッチ画像データ、ノイズ画像データ、ホコリ画像データを拡大又は縮小してから合成することが望ましい。図１８は、このような合成処理の概要を示す図である。例えば、合成対象の画像データのサイズが、４０００×３０００画素（例えば静止画データ）である場合、ノイズ画像データとホコリ画像データについては、縦方向及び横方向に４０００/１９２０倍の拡大をしてから合成する。また、スクラッチ画像データは、縦方向に縮小されている。したがって、スクラッチ画像データについては、（１/縮小率）×４０００/１９２０倍の拡大をしてから合成する。これにより、合成対象の画像データのサイズ毎のスクラッチ画像データ、ノイズ画像データ、ホコリ画像データを記憶させておく必要がなくなる。ここで、図１８は、合成対象の画像データのサイズが１９８０×１０８０画素よりも大きい場合の例を示している。合成対象の画像データのサイズが１９８０×１０８０画素よりも小さい場合であっても合成対象の画像データのサイズが１９８０×１０８０画素よりも大きい場合と同様の考え方に従ってスクラッチ画像データ、ノイズ画像データ、ホコリ画像データを縮小すればよい。ここで、図１８ではスクラッチ画像データ、ノイズ画像データ、ホコリ画像データをそれぞれリサイズ（拡大）した後合成しているが、これら３つの画像を合成した後リサイズし、撮影画像に合成するようにしてもよい。

図１９は、シェーディング処理を示すフローチャートである。１０において、特殊画像処理部２２０２は、乱数の種生成部２２０２ａ及び擬似乱数生成部２２０２ｂにより、シェーディングを付加するために必要となる擬似乱数を取得する（ステップＳ７０１）。図１９に示す処理では、例として、少なくとも１つの擬似乱数Ｒを取得する。擬似乱数の具体的な取得の仕方については後で説明する。

擬似乱数Ｒの取得後、特殊画像処理部２２０２は、シェーディングの形状を示す拡大率を計算する（ステップＳ７０２）。拡大率をａとすると、ａは例えば以下の（式５）によって与えられる。
ａ＝０.５＋Ｒ/ＭＡＸ （式５）

拡大率ａを計算した後、特殊画像処理部２２０２は、拡大率ａに従ってゲインマップを生成する（ステップＳ７０３）。ゲインマップは、シェーディングを付加する領域（例えば被写体が存在する領域）の中心位置の画素からの距離に応じて徐々に輝度の値が低下するようなゲインを有するマップである。ゲインの値の最大値は１であるとする。本実施形態においては、このようにして生成されるゲインマップに拡大率ａに応じてリサイズしたものを最終的なゲインマップとする。
ゲインマップを生成した後、特殊画像処理部２２０２は、ゲインマップによって示されるゲインを対応する画素に乗じる（ステップＳ７０４）。このようにして画像データの周辺が暗くなるようなシェーディングエフェクトが付加される。ここで、本実施形態においては、擬似乱数Ｒの値に応じて拡大率ａが０.５〜１.５の範囲で変化する。このａの変化に伴い、シェーディングの形状（大きさ）が変化する。図２０（ａ）は、拡大率ａが０.５のときに付加されるシェーディングエフェクトの例を示している。また、図２０（ｂ）は、拡大率ａが１.５のときに付加されるシェーディングエフェクトの例を示している。

ここで、シェーディングの形状変化が大きすぎるとユーザに違和感を与えるおそれがある。したがって、前回のシェーディング付加処理の際の拡大率と今回のシェーディング付加処理の際の拡大率との差が所定以内となるように拡大率の値を制限するようにしてもよい。例えば、前回のシェーディング付加処理の際の拡大率をｂとし、今回のシェーディング付加処理の際の拡大率をａとしたときに、以下の（式６）の条件を満たすように最終的なａを決定する。
｜ｂ−ａ｜＜０.１ （式６）
また、図１９のフローチャートの例は、拡大率ａを必ず変更している。これに限らず、数フレームに１回だけ拡大率ａを変更するようにしてもよい。この場合、拡大率ａを変更していないフレームについては前回のフレームとの間の線形補間によって拡大率ａを計算してよい。

図２１は、粒子ノイズエフェクトの付加処理の処理を示すフローチャートである。図２１において、特殊画像処理部２２０２は、乱数の種生成部２２０２ａ及び擬似乱数生成部２２０２ｂにより、粒子ノイズを付加するために必要となる擬似乱数を取得する（ステップＳ８０１）。図２１に示す処理では、例として、少なくとも２つの擬似乱数Ｗｒ及びＨｒを取得するものとする。擬似乱数の具体的な取得の仕方については後で説明する。

擬似乱数Ｗｒ及びＨｒの取得後、特殊画像処理部２２０２は、ノイズ画像データを読み込む（ステップＳ８０２）。そして、特殊画像処理部２２０２は、ノイズ画像データの切り出し位置を算出する（ステップＳ８０３）。切り出し位置は、ノイズ画像データの切り出し範囲を決めるための基準となる位置であって、例えばノイズ画像データの左上の座標である。本実施形態においては、スクラッチ画像データを重畳する際にノイズ画像データの切り出し範囲をランダムに更新することによってゴミ等に起因するノイズのランダム性を再現する。更新後の切り出し位置（ｘ，ｙ）は例えば以下の（式７）に従って与えられる。
ｘ＝（Ｗｎ−Ｗｉ）×Ｗｒ/ＭＡＸ
ｙ＝（Ｈｎ−Ｈｉ）×Ｈｒ/ＭＡＸ （式７）
ここで、Ｗｎは合成対象の画像データの横方向のサイズ（画素数）であり、Ｈｎは合成対象の画像データの縦方向のサイズ（画素数）である。また、Ｗｉは切り出し範囲の横方向のサイズ（画素数）であり、Ｈｉは切り出し範囲の縦方向のサイズ（画素数）である。図２２は、Ｗｎ、Ｈｎ、Ｗｉ、Ｈｉの関係を示している。

切り出し位置の算出後、特殊画像処理部２２０２は、合成部２２０２ｄにより、ノイズ画像データを合成対象の画像データに合成する（ステップＳ８０４）。その後、特殊画像処理部２２０２は、図２１の処理を終了させる。ノイズ画像データの合成は、フィルムノイズエフェクトの付加処理の時と同様である。必要に応じてノイズ画像データのサイズを合成対象の画像データのサイズに合わせた後で両者を乗算することによって合成が行われる。

ここで、図２１のフローチャートの例は、切り出し位置を必ず変更している。これに限らず、数フレームに１回だけ又はランダムに切り出し位置を変更するようにしてもよい。切り出し位置をランダムに変更するようにする場合には、ステップＳ８０１においてさらに別の擬似乱数を取得するようにする。そして、例えばステップＳ６０６と同様の判定を行えばよい。

次に、擬似乱数の取得処理について説明する。図２３は、擬似乱数取得処理について示すフローチャートである。図２３において、特殊画像処理部２２０２は、現在の特殊画像処理が静止画に対する処理であるか否かを判定する（ステップＳ９０１）。現在の特殊画像処理が静止画に対する処理であるか否かの情報は、例えばマイクロコンピュータ２３４によって通知されるものとする。

前述した例では、静止画に対する特殊画像処理の際には、ランダムな切り出し位置等の更新が必ず行われる。したがって、ステップＳ９０１において、現在の特殊画像処理が静止画に対する処理であると判定した場合に、特殊画像処理部２２０２は、乱数の種生成部２２０２ａによって乱数の種を生成する（ステップＳ９０２）。乱数の種は、ＲＡＷデータ、カメラ設定、撮影時の条件等といったデジタルカメラ１に関わる各種のパラメータに応じて生成する。乱数の種の具体的な生成手法については後で詳しく説明する。

乱数の種が生成された後、特殊画像処理部２２０２は、擬似乱数生成部２２０２ｂの擬似乱数生成器を初期化する（ステップＳ９０３）。この処理において、擬似乱数生成部２２０２ｂは、擬似乱数生成器に設定する初期値を、ステップＳ９０２において生成された乱数の種の値に設定する。続いて、特殊画像処理部２２０２は、擬似乱数生成部２２０２ｂによって必要な個数の擬似乱数系列（例えば、図１０の場合にはＲ［０］〜Ｒ［９］の１０個の乱数系列）を生成する（ステップＳ９０４）。この処理において、擬似乱数生成部２２０２ｂは、擬似乱数生成器によって擬似乱数系列を生成する。擬似乱数系列の生成手法は特に限定されない。

ステップＳ９０１において、現在の特殊画像処理が静止画に対する処理でないと判定した場合に、特殊画像処理部２２０２は、現在の合成対象の画像データが最初のフレームであるか否かを判定する（ステップＳ９０５）。ステップＳ９０５において、現在の合成対象の画像データが最初のフレームであると判定した場合に、特殊画像処理部２２０２は、処理をステップＳ９０２に移行させる。最初のフレームの時点では、まだ乱数の種が生成されていない。したがって、ステップＳ９０２の乱数の種の生成が行われる。ステップＳ９０５において、現在の合成対象の画像データが最初のフレームでないと判定した場合に、特殊画像処理部２２０２は、処理をステップＳ９０４に移行させる。この場合には前フレームの擬似乱数生成器の設定に従って擬似乱数系列が生成される。

次に、乱数の種の生成手法の例を説明する。図２４は、ＲＡＷデータを用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。図２４の例では、メカシャッタを用いた撮影又は電子シャッタを用いた撮影によって得られるＲＡＷデータに基づいて乱数の種が生成される。一例としては、ＲＡＷデータの特定の座標の値が乱数の種となる。特定の座標とは、例えばＲＡＷデータの左上の座標や中央の座標である。この他、ＲＡＷデータの複数の座標の値を組み合わせることによって乱数の種を生成してもよい。例えば、ＲＡＷデータにおける複数の座標の値を加算した結果、減算した結果を乱数の種としたり、複数の座標の値の排他的論理和をした結果を乱数の種としてもよい。さらに、ＲＡＷデータにカメラ設定を組み合わせすることによって乱数の種を生成してもよい。例えば、ホワイトバランスモード、輝度変更処理の設定、コントラスト設定、シャープネス設定といったカメラ設定に数値を割り当て、この数値をＲＡＷデータにより生成される乱数の種に加減算等して最終的な乱数の種としてよい。また、後述の図２５と同様に画像処理パラメータを組み合わることによって乱数の種を生成してもよい。

図２４に示すようにして生成される乱数の種に従って擬似乱数生成器を初期化して擬似乱数系列を生成することにより、一般に撮影により得られるＲＡＷデータは撮影毎に異なるため、撮影により得られるＲＡＷデータ毎に異なる擬似乱数系列が生成され得る。したがって、撮影毎に異なるエフェクトを画像に付加することが可能である。
また、カメラ設定が異なると乱数の種も異なるため、同一のＲＡＷデータであってもカメラ設定毎に異なるエフェクトを画像に付加することが可能である。

図２５は、ＲＡＷリサイズ部２１０で縮小されたＲＡＷデータを用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。図２５の例では、一例として縮小後のＲＡＷデータの特定の座標のデータが乱数の種となる。特定の座標とは、例えばＲＡＷデータの左上の座標や中央の座標である。この他、縮小後のＲＡＷデータの複数の座標のデータを組み合わせることによって乱数の種が生成されてもよい。例えば、ＲＡＷデータにおける複数の座標のデータを加算した結果、減算した結果を乱数の種としたり、複数の座標のデータの排他的論理和をした結果が乱数の種とされ得る。さらに、縮小後のＲＡＷデータに画像処理パラメータを組み合わることによって乱数の種が生成されてもよい。例えば、ホワイトバランスゲイン、彩度・色調補正係数、ガンマ値、エッジ強調度、ノイズ低減（ＮＲ）強度といった画像処理パラメータをＲＡＷデータにより生成される乱数の種に加減算等して最終的な乱数の種としてよい。この他、記録画像の圧縮率、記録画像のサイズといった画像処理パラメータが用いられてもよい。

縮小後のＲＡＷデータの数画素のデータを用いて乱数の種を生成するようにする場合、間接的にではあるが、縮小前のＲＡＷデータでは数画素よりも多くの情報を用いて乱数の種を生成することができる。すなわち、縮小が補間処理によって行われているので、補間後のＲＡＷデータにおけるある座標のデータは、縮小前のＲＡＷデータにおける複数の座標のＲＡＷデータの情報を含んでいると考えることができる。このように縮小前よりも多くの情報を含んでいる縮小後のＲＡＷデータに基づいて乱数の種を生成することにより、シーンの明るさ等の撮影条件がわずかに違っただけであっても異なるエフェクトが画像に付加され易い。

図２６は、撮影時に生成される乱数を用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。撮影時に生成される乱数は、例えば擬似乱数生成部２２０２ｂにおいて生成される。ここで、撮影時において生成される乱数は必ずしも擬似乱数でなくてよい。したがって、撮影時に生成される乱数は、擬似乱数生成部２２０２ｂとは別の擬似乱数生成部において生成されるものであってもよい。ここで、図２６の例においても、ＲＡＷデータや縮小後のＲＡＷデータを組み合わせたり、カメラ設定や画像処理パラメータを組み合わせたりすることによって最終的な擬似乱数を生成してよい。

図２６に示すようにして、撮影毎に乱数を生成し、生成した乱数に従って乱数の種を生成することにより、撮影毎に異なるエフェクトを画像に付加することが可能である。

図２７は、ＲＡＷデータに対して基本画像処理を施すことによって得られるＹＣデータ（中間ＹＣデータと言う）を用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。一例としては、中間ＹＣデータの特定の座標の値が乱数の種となる。特定の座標とは、例えば中間ＹＣデータの左上の座標や中央の座標である。この他、中間ＹＣデータの複数の座標の値を組み合わせることによって乱数の種を生成してもよい。

図２７に示すようにして中間ＹＣデータを用いて乱数の種を生成することにより、カメラ設定や画像処理パラメータを考慮して乱数の種を生成したのと同様の効果が得られる。

図２８は、撮影時の各種条件を用いて乱数の種を生成して特殊画像処理を行う際の一連の流れを示した概念図である。図２５の例では、撮影時の条件として例えば露光条件、被写体条件、カメラ状態が用いられる。露光条件は、例えば、シャッタ速、絞り値、ＩＳＯ感度の少なくとも何れかである。被写体条件は、顔やペット等の被写体の有無、被写体が存在している場合にはその大きさ、位置、数等である。カメラ状態は、例えば、撮影時における、撮像素子２０４の温度、カメラ本体２００の内部温度、バッテリーの残量、記録媒体２３２の種類や容量や残量、フォーカス位置、ズーム位置である。これらの露光条件、被写体条件、カメラ状態を必要に応じて数値化（もとが数値である場合にはその値を用いればよい）し、数値化した条件を加減算することによって乱数の種が生成される。ここで、図２８の例においても、ＲＡＷデータ、縮小後のＲＡＷデータ、中間ＹＣデータと言った画像データと組み合わせたり、カメラ設定や画像処理パラメータを組み合わせたりすることによって最終的な擬似乱数を生成してよい。

図２８に示すようにして撮影時の各種条件を用いて乱数の種を生成することによっても、撮影毎に異なるエフェクトを画像に付加することが可能である。

ここで、前述したように、擬似乱数系列は、同一の乱数の種からは同一の系列が生成されるという特徴を有している。したがって、乱数の種を生成するための情報が記録されていれば、撮影時の画像処理の段階でノイズエフェクトを付加する特殊画像処理が施されなかった画像データに対して後からノイズエフェクトを付加する特殊画像処理を施すことが可能である。図２９は、乱数の種を生成するための情報を画像ファイルに記録する場合の、画像ファイルのファイル構造を示す図である。ここで、図２９（ａ）はＪＰＥＧ形式で記録された静止画ファイル（ＪＰＥＧファイルと言う）の例であり、図２９（ｂ）はＲＡＷファイルの例である。動画ファイルについては図示を省略している。動画ファイルは、画像データの構造やヘッダ情報の構造が動画ファイル特有のものとなっている。乱数の種を生成するための情報の記録の仕方は動画ファイルと静止画ファイルとで差異はない。

図２９（ａ）に示すように、ＪＰＥＧファイルは、ヘッダ記録部と、サムネールＪＰＥＧデータ記録部と、主画像ＪＰＥＧデータ記録部と、スクリーンネールＪＰＥＧデータ記録部とを有している。

ヘッダ記録部は、露光条件、被写体条件、カメラ状態といった各種の情報をメタデータとして記録するための記録部である。図２９（ａ）では露光条件、被写体条件、カメラ状態を記録する例を示している。これらの情報の他、カメラ設定、画像処理パラメータといった情報が記録されてもよい。さらに、擬似乱数が生成されている場合、生成された擬似乱数が直接的に記録されてもよい。

サムネールＪＰＥＧデータ記録部は、静止画再生のためのサムネール表示用の画像データをＪＰＥＧ形式で圧縮して記録しておくための記録部である。主画像ＪＰＥＧデータ記録部は、メカシャッタ２０２を用いた撮影により得られた静止画データをＪＰＥＧ形式で圧縮して記録しておくための記録部である。スクリーンネールＪＰＥＧデータ記録部は、スクリーンネール表示用の画像データをＪＰＥＧ形式で圧縮して記録しておくための記録部である。

図２９（ｂ）に示すように、ＲＡＷファイルは、ヘッダ記録部と、サムネールＪＰＥＧデータ記録部と、ＲＡＷデータ記録部と、縮小ＲＡＷデータ記録部と、スクリーンネールＪＰＥＧデータ記録部とを有している。

ヘッダ記録部は、露光条件、被写体条件、カメラ状態といった各種の情報をメタデータとして記録するための記録部である。図２９（ｂ）では露光条件、被写体条件、カメラ状態を記録する例を示している。ヘッダ記録部についてはＪＰＥＧファイルとＲＡＷファイルとで差異は殆どない。

サムネールＪＰＥＧデータ記録部は、ＲＡＷ再生のためのサムネール表示用の画像データをＪＰＥＧ形式で圧縮して記録しておくための記録部である。ＲＡＷデータ記録部は、メカシャッタ２０２を用いた撮影又は電子シャッタを用いた撮影により得られたＲＡＷデータを記録しておくための記録部である。縮小ＲＡＷデータ記録部は、図２５で示した縮小後のＲＡＷデータを用いて乱数の種を生成する際に必要となる縮小後のＲＡＷデータを記録しておくための記録部である。スクリーンネールＪＰＥＧデータ記録部は、スクリーンネール表示用の画像データをＪＰＥＧ形式で圧縮して記録しておくための記録部である。

次に、再生処理について説明する。図３０は、再生処理について示すフローチャートである。図３０において、マイクロコンピュータ２３４は、記録媒体２３２に記録されている画像ファイルの一覧を表示させる（ステップＳ１１０１）。この処理において、マイクロコンピュータ２３４は、各画像ファイルのサムネールＪＰＥＧデータをＳＤＲＡＭ２１４に読み込む。そして、マイクロコンピュータ２３４は、読み込んだサムネールＪＰＥＧデータを画像圧縮伸張部２２８に入力する。画像圧縮伸張部２２８は、入力されたサムネールＪＰＥＧデータを伸張し、伸張したサムネールＪＰＥＧデータを表示ドライバ２２４に入力する。表示ドライバ２２４は、入力されたサムネールＪＰＥＧデータに基づいて表示部２２６に画像ファイルの一覧を表示させる。

一覧表示の後、マイクロコンピュータ２３４は、再生処理を終了するか否かを判定する（ステップＳ１１０２）。例えば、再生ボタンが再度押された場合には再生を終了すると判定される。ステップＳ１１０２において、再生処理を終了すると判定した場合、マイクロコンピュータ２３４は、図３０の処理を終了させる。

ステップＳ１１０２において、再生処理を終了しないと判定した場合に、マイクロコンピュータ２３４は、ユーザによる画像ファイルの選択を待つ（ステップＳ１１０３）。一覧表示された画像ファイルの選択をユーザが操作部２３６を操作することによって実行した場合、マイクロコンピュータ２３４は、選択された画像ファイルが動画ファイルであるか否かを判定する（ステップＳ１１０４）。

ステップＳ１１０４において、選択された画像ファイルが動画ファイルであると判定した場合に、マイクロコンピュータ２３４は、選択された動画ファイルに記録された動画データのフレーム数を読み込む（ステップＳ１１０５）。続いて、マイクロコンピュータ２３４は、再生する動画データのフレーム数のカウント値ｉを初期化する（ステップＳ１１０６）。カウント値ｉの初期値は例えば１である。

続いて、マイクロコンピュータ２３４は、選択された動画ファイルに記録された動画データにおけるｉフレーム目を再生し、表示部２２６に表示させる（ステップＳ１１０７）。この処理において、マイクロコンピュータ２３４は、ユーザによって選択された動画ファイルに記録されている動画データのｉフレーム目をＳＤＲＡＭ２１４に読み込む。そして、マイクロコンピュータ２３４は、読み込んだｉフレーム目の動画データを画像圧縮伸張部２２８に入力する。画像圧縮伸張部２２８は、入力された動画データを伸張し、伸張した動画データを表示ドライバ２２４に入力する。表示ドライバ２２４は、入力されたｉフレーム目の動画像データに対応する画像を表示部２２６に表示させる。

動画像データのｉフレームを再生及び表示した後、マイクロコンピュータ２３４は、カウント値に１を加える（ステップＳ１１０８）。その後、マイクロコンピュータ２３４は、カウント値ｉがフレーム数以下であるか否か、即ち全てのフレームの再生が終了していないか否かを判定する（ステップＳ１１０９）。ステップＳ１１０９において、カウント値ｉがフレーム数以下である場合には、まだ再生すべきフレームが残っている。この場合、マイクロコンピュータ２３４は、処理をステップＳ１１０７に戻して次のフレームの再生及び表示を行う。ステップＳ１１０９において、カウント値ｉがフレーム数になった場合には、動画ファイルの再生が終了したことを意味する。この場合、マイクロコンピュータ２３４は、処理をステップＳ１１０１に戻す。

ステップＳ１１０４において、選択された画像ファイルが動画ファイルでない、すなわち静止画ファイルであると判定した場合に、マイクロコンピュータ２３４は、選択された静止画ファイルに記録された静止画データを読み込む（ステップＳ１１１０）。続いて、マイクロコンピュータ２３４は、読み込んだ静止画データ（図２９のようなファイル構造の場合には、ＪＰＥＧの場合には主画像ＪＰＥＧ、ＲＡＷの場合にはスクリーンネールＪＰＥＧ）を再生し、表示部２２６に表示させる（ステップＳ１１１１）。この処理において、マイクロコンピュータ２３４は、読み込んだ静止画データを画像圧縮伸張部２２８に入力する。画像圧縮伸張部２２８は、入力された静止画データを伸張し、伸張した静止画データを表示ドライバ２２４に入力する。表示ドライバ２２４は、入力された静止画データに対応する画像を表示部２２６に表示させる。

続いて、マイクロコンピュータ２３４は、ユーザによって編集操作がなされたか否かを判定する（ステップＳ１１１２）。ここでの編集操作は、ユーザがメニューからノイズエフェクトを付加する旨の項目を選択する操作である。ノイズエフェクト以外の効果を付加する等の編集操作については従来と同様でよいので説明を省略する。

ステップＳ１１１２において、編集操作がなされていないと判定した場合に、マイクロコンピュータ２３４は、静止画の表示を終了するか否かを判定する（ステップＳ１１１３）。例えば、ユーザによってメニューボタンが押された場合には表示を終了すると判定する。ステップＳ１１１３において、表示を終了しないと判定した場合に、マイクロコンピュータ２３４は、処理をステップＳ１１１２に戻す。この場合には、静止画の表示が継続される。ステップＳ１１１３において、表示を終了すると判定した場合に、マイクロコンピュータ２３４は、図３０の処理を終了させる。

ステップＳ１１１２において、編集操作がなされたと判定した場合に、マイクロコンピュータ２３４は、編集処理を行う（ステップＳ１１１４）。以下、編集処理について図３１を参照してさらに説明する。ここで、ステップＳ１１１４の処理は、静止画ファイルに対する処理である。しかしながら、以下で説明する処理は動画ファイルに対しても適用可能である。

図３１は、編集処理について示すフローチャートである。図３１において、マイクロコンピュータ２３４は、現在の編集対象の静止画ファイルを読み込む（ステップＳ１２０１）。続いて、マイクロコンピュータ２３４は、読み込んだ静止画ファイルがＲＡＷファイルであるか否かを判定する（ステップＳ１２０２）。

ステップＳ１２０２において静止画ファイルがＲＡＷファイルであると判定した場合に、マイクロコンピュータ２３４は、このＲＡＷファイルに対する画像処理を行う（ステップＳ１２０３）。ステップＳ１２０３における画像処理は、図４に示す画像処理と同じである。ＲＡＷファイルであるので、基本画像処理と特殊画像処理の両方を行う。ここで、特殊画像処理に必要となる擬似乱数は、前述したように、ＲＡＷデータ（又は縮小ＲＡＷデータ）、カメラ設定、及び画像処理パラメータを組み合わせて生成される乱数の種から生成することができる。この際、カメラ設定は、ＲＡＷファイルのヘッダ記録部に記録されているものを利用してもよいし、編集処理の時点でユーザによって新たに設定されたものを利用してもよい。ヘッダ記録部に記録されているカメラ設定を利用した場合、撮影時と同じノイズエフェクトを付加することができる。一方、ユーザによって新たに設定されたカメラ設定を利用した場合、変更に応じたノイズエフェクトを付加することができる。

ステップＳ１２０２において静止画ファイルがＲＡＷファイルでない、すなわちＪＰＥＧファイルと判定した場合に、マイクロコンピュータ２３４は、このＪＰＥＧファイルに対する特殊画像処理を行う（ステップＳ１２０４）。ステップＳ１２０４における特殊画像処理は、図６に示す特殊画像処理と同じである。ここで、特殊画像処理に必要となる擬似乱数は、前述したように、撮影時の各種条件、カメラ設定、及び画像処理パラメータを組み合わせて生成される乱数の種から生成することができる。この際、カメラ設定は、ＪＰＥＧファイルのヘッダ記録部に記録されているものを利用してもよいし、編集処理の時点でユーザによって新たに設定されたものを利用してもよい。ヘッダ記録部に記録されているカメラ設定を利用した場合、撮影時と同じノイズエフェクトを付加することができる。一方、ユーザによって新たに設定されたカメラ設定を利用した場合、変更に応じたノイズエフェクトを付加することができる。

以上説明したように、本実施形態では、スクラッチ画像データとノイズ画像データの一部がランダムに切り出された後、スクラッチ画像データ、ノイズ画像データ、ホコリ画像データが合成されて合成ノイズ画像データが生成される。さらに、合成ノイズ画像データが合成対象の画像データと合成される。このように、本実施形態ではフィルム撮影時に表れる特有のノイズを分解して合成をすることにより、長時間の動画データを記録することなく、ユーザに自然な印象のノイズ感を与えることができる。

また、スクラッチ画像データはある一方向に対して相関が高いという性質を有していることを利用してスクラッチ画像データを縮小して記録することにより、スクラッチ画像データを記録するための容量を節約することができる。

また、スクラッチ画像データ及びノイズ画像データのサイズが合成対象の画像データのサイズと一致していない場合にスクラッチ画像データ及びノイズ画像データのサイズを合成対象の画像データと一致させるような処理を行うことにより、合成対象の画像データのサイズ毎にスクラッチ画像データ及びノイズ画像データを記録しておく必要がなくなる。

また、本実施形態では、撮影により得られたＲＡＷデータや、撮影時のカメラ設定、画像処理パラメータから乱数の種を生成し、この乱数の種に基づいてノイズエフェクト、シェーディングエフェクト、粒子ノイズエフェクトを付加するための擬似乱数を生成するようにしている。これにより、撮影時の状況に応じたエフェクトを画像に付加することが可能である。

ここで、本実施形態ではスクラッチ画像データ、ノイズ画像データ、ホコリ画像データの３種類を合成対象の画像データに合成している。実際には必ずしも全ての画像データを合成する必要はない。例えば、ホコリ画像データを合成しないようにしてもよい。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れもマイクロコンピュータ２３４に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、マイクロコンピュータ２３４は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…デジタルカメラ、１００…交換式レンズ、１０２…レンズ、１０４…絞り、１０６…ドライバ、１０８…マイクロコンピュータ、１１０…Ｆｌａｓｈメモリ、１１２…インターフェイス（Ｉ/Ｆ）、２００…カメラ本体、２０２…メカシャッタ、２０４…撮像素子、２０６…アナログ処理部、２０８…アナログ/デジタル（ＡＤ）変換部、２１０…ＲＡＷリサイズ部、２１２…バス、２１４…ＳＤＲＡＭ、２１６…ＡＥ処理部、２１８…ＡＦ処理部、２２０…画像処理部、２２２…被写体検出部、２２４…表示ドライバ、２２６…表示部、２２８…画像圧縮伸張部、２３０…メモリインターフェイス（Ｉ/Ｆ）、２３２…記録媒体、２３４…マイクロコンピュータ、２３６…操作部、２３８…Ｆｌａｓｈメモリ、２２０１…基本画像処理部、２２０２…特殊画像処理部、２２０２ａ…乱数の種生成部、２２０２ｂ…擬似乱数生成部、２２０２ｃ…切り出し位置算出部、２２０２ｄ…合成部

Claims (8)

1. フィルム撮影においてフィルムを移動させたときに生じるスクラッチに起因するノイズを再現したスクラッチ画像データと、フィルム撮影におけるフィルム現像段階に生じたゴミに起因するノイズを再現したノイズ画像データとを少なくとも記憶する記憶部と、
   前記スクラッチ画像データと前記ノイズ画像データの切り出し位置をそれぞれ算出する切り出し位置算出部と、
   前記切り出し位置算出部で算出された切り出し位置に応じて前記スクラッチ画像データと前記ノイズ画像データとの一部を切り出し、該切り出したスクラッチ画像データとノイズ画像データとを合成対象の画像データに合成する合成部と、
   を具備することを特徴とする画像処理装置。
2. 前記切り出し位置算出部は、前記スクラッチ画像データと前記ノイズ画像データの切り出し位置をそれぞれランダムに更新するように前記切り出し位置を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成対象の画像データは、連続的な撮影により得られた画像データであり、
   前記切り出し位置算出部は、所定の時間間隔で前記スクラッチ画像データと前記ノイズ画像データとの少なくとも何れか一方の切り出し位置を変更することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記所定の時間間隔は、ランダムに変更される時間間隔であることを特徴とする請求項３に記載の画像処理装置。
5. 前記切り出し位置算出部は、前記スクラッチ画像データの切り出し位置を変更する場合には、直前に算出した切り出し位置の近傍に限定した範囲内となるように切り出し位置を算出することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記スクラッチ画像データは、相関の高い方向に縮小されており、
   前記合成部は、前記スクラッチ画像データを拡大してから合成をすることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 記憶部に記憶されフィルム撮影においてフィルムを移動させたときに生じるスクラッチに起因するノイズを再現したスクラッチ画像データ及び前記記憶部に記憶されフィルム撮影におけるフィルム現像段階に生じたゴミに起因するノイズを再現したノイズ画像データとの切り出し位置を切り出し位置算出部によりそれぞれ算出し、
   合成部により、前記切り出し位置に応じて前記スクラッチ画像データと前記ノイズ画像データとの一部を切り出し、該切り出したスクラッチ画像データとノイズ画像データとを合成対象の画像データに合成する、
   ことを特徴とする画像処理方法。
8. 記憶部に記憶されフィルム撮影においてフィルムを移動させたときに生じるスクラッチに起因するノイズを再現したスクラッチ画像データ及び前記記憶部に記憶されフィルム撮影におけるフィルム現像段階に生じたゴミに起因するノイズを再現したノイズ画像データとの切り出し位置をそれぞれ算出する機能と、
   前記切り出し位置に応じて前記スクラッチ画像データと前記ノイズ画像データとの一部を切り出し、該切り出したスクラッチ画像データとノイズ画像データとを合成対象の画像データに合成する機能と、
   をコンピュータに実現させるための画像処理プログラム。

Images