JP2019149787A - 撮像装置、画像処理装置、および画像処理プログラム - Google Patents

Abstract

【課題】ノイズ低除去の高精度化を図ること。【解決手段】撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データと前記第２画像データよりも時間的に後の第３画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みをする算出部と、前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、を有する。【選択図】図２

Description

本発明は、撮像装置、画像処理装置、および画像処理プログラムに関する。

動画に対するノイズ除去手法として、過去のフレームと現在のフレームの重み付き平均処理がある（たとえば、下記特許文献１を参照）。しかしながら、特許文献１のノイズ低減システムは、より精度を上げるには画像メモリーにより多くの過去のフレームを保持しなければならないが、画像メモリーの使用メモリ量にも限界がある。一方、使用メモリ量を制限すると、ノイズ低減の精度向上が見込めない。

特開平０６−０６２２８３号公報

本願において開示される発明の第１側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データと前記第２画像データよりも時間的に後の第３画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みをする算出部と、前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、を有する。

本願において開示される発明の第２側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。

本願において開示される発明の第３側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第２画像データ内の残像を低減する残像低減処理部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、を有する。

本願において開示される発明の第４側面となる撮像装置は、被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、を有する。

本願において開示される発明の第５側面となる撮像装置は、被写体を撮像する際のフレームレートの入力を受け付ける入力部と、露光時間を、前記入力部によって入力されたフレームレートに対応する第１露光時間から前記第１露光時間よりも長い第２露光時間に調整する調整部と、前記フレームレートおよび前記調整部によって調整された第２露光時間に基づいて、前記被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。

本願において開示される発明の第６側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出部と、前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、を有する。

本願において開示される発明の第７側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、を有する。

本願において開示される発明の第８側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第２画像データ内の残像を低減する残像低減処理部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、を有する。

本願において開示される発明の第９側面となる画像処理装置は、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得部と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、を有する。

本願において開示される発明の第１０側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出処理と、前記算出処理によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去処理と、をプロセッサに実行させる。

本願において開示される発明の第１１側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出処理と、前記抽出処理によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去処理と、をプロセッサに実行させる。

本願において開示される発明の第１２側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第２画像データ内の残像を低減する残像低減処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記残像低減処理による残像低減処理済みの第２画像データからノイズを除去する除去処理と、をプロセッサに実行させる。

本願において開示される発明の第１３側面となる画像処理プログラムは、第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データとを取得する取得処理と、前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出処理と、前記第１ノイズ除去画像データと、前記算出処理によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去処理と、前記除去処理によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理と、をプロセッサに実行させる。

図１は、撮像装置のハードウェア構成例を示すブロック図である。 図２は、実施例１にかかる撮像装置の機能的構成例を示すブロック図である。 図３は、実施例１にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。 図４は、調整済みの重みによる再帰的ノイズ除去例を示す説明図である。 図５は、調整済みの重みを適用しない再帰的ノイズ除去例を示す説明図である。 図６は、実施例２にかかる撮像装置の機能的構成例を示すブロック図である。 図７は、実施例２にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。 図８は、実施例３にかかる撮像装置の機能的構成例を示すブロック図である。 図９は、実施例３にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。 図１０は、実施例４にかかる撮像装置の機能的構成例を示すブロック図である。 図１１は、実施例４にかかる残像低減処理部による補間処理例を示す説明図である。 図１２は、実施例４にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。 図１３は、実施例５にかかる撮像装置の機能的構成例を示すブロック図である。 図１４は、実施例５にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。 図１５は、実施例６にかかる残像低減処理例を示す説明図である。 図１６は、実施例６にかかる撮像装置の機能的構成例を示すブロック図である。 図１７は、実施例６にかかる撮像装置による再帰的ノイズ除去手順例を示すフローチャートである。 図１８は、実施例７にかかる動画撮像例を示す説明図である。 図１９は、実施例７にかかる撮像装置の機能的構成例を示すブロック図である。 図２０は、撮像装置による撮像処理手順例を示すフローチャートである。

実施例１について説明する。動画に対するノイズ除去手法として、ノイズ除去された過去の画像データとノイズが除去されていない現在の画像データとの重み付き平均処理がある。ノイズの除去精度を高めるためには過去フレーム数をメモリに多く保持しておく必要があるが、メモリ使用量が増加してしまう。

このため、実施例１では、ノイズが除去されたノイズ除去画像データの数を必要最小限に抑制するため、撮像装置は、ノイズ除去に使用される重みを再帰的に利用することにより、ノイズ除去精度の向上を図り、メモリ使用量を低減する。

重みとは、動画像において時間的に連続する先行画像データと後続画像データとを同一領域で比較した場合の当該領域ごとにおける後続画像データに対する先行画像データの信頼度である。領域とは、１画素以上の画素集合である。領域は画像データ全体であってもよい。

重みは、たとえば、０．０以上１．０以下の範囲をとり、値が大きいほど信頼度が高いことを意味する。先行画像データおよび後続画像データの同一領域どうしが類似するほど、重みの値は大きくなる。重みを再帰的に利用することにより、過去の画像データの残像ほど重みの値が小さくなり、残像が低減される。以下、実施例１について詳細に説明する。

＜撮像装置のハードウェア構成例＞
図１は、撮像装置のハードウェア構成例を示すブロック図である。撮像装置１００は、動画撮影可能な装置であり、具体的には、たとえば、デジタルカメラ、デジタルビデオカメラ、スマートフォン、タブレット、パーソナルコンピュータ、ゲーム機である。図１では、撮像装置の一例としてデジタルカメラを例に挙げて説明する。

撮像装置１００は、プロセッサ１０１と、記憶デバイス１０２と、駆動部１０３と、光学系１０４と、撮像素子１０５と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０６と、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）１０７と、操作デバイス１０８と、センサ１０９と、表示デバイス１１０と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１１１と、バス１１２と、を有する。プロセッサ１０１、記憶デバイス１０２、駆動部１０３、ＬＳＩ１０７、操作デバイス１０８、センサ１０９、表示デバイス１１０、および通信ＩＦ１１１は、バス１１２に接続される。

プロセッサ１０１は、撮像装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。記憶デバイス１０２は、撮像装置１００に複数実装されてもよく、そのうちの少なくとも１つは、撮像装置１００に対し着脱自在でもよい。

駆動部１０３は、光学系１０４を駆動制御する。駆動部１０３は、駆動回路１０３ａと駆動源１０３ｂとを有する。駆動回路１０３ａは、プロセッサ１０１からの指示により駆動源１０３ｂを制御する。駆動源１０３ｂは、たとえば、モータであり、駆動回路１０３ａの制御により、光学系１０４内のズーミングレンズ１４１ｂおよびフォーカシングレンズ１４１ｃを光軸方向に移動させたり、絞り１４２を開閉制御する。

光学系１０４は、光軸方向に配列された複数のレンズ（レンズ１４１ａ、ズーミングレンズ１４１ｂ、およびフォーカシングレンズ１４１ｃ）と、絞り１４２と、を含む。光学系１０４は、被写体光を集光し、撮像素子１０５に出射する。

撮像素子１０５は、光学系１０４からの被写体光を受光して電気信号に変換する。撮像素子１０５は、たとえば、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ‐Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ））であってもよく、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ））であってもよい。

撮像素子１０５の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０５の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列（たとえば、ベイヤ配列）に従って配置される。そのため、撮像素子１０５の各画素は、カラーフィルタでの色分解によって各色成分に対応するアナログの電気信号を出力する。

ＡＦＥ１０６は、撮像素子１０５からのアナログの電気信号に対して信号処理を施すアナログフロントエンド回路である。ＡＦＥ１０６は、電気信号のゲイン調整、アナログ信号処理（相関二重サンプリング、黒レベル補正など）、Ａ／Ｄ変換処理、デジタル信号処理（欠陥画素補正など）を順次実行してＲＡＷ画像データを生成し、ＬＳＩに出力する。上述した駆動部１０３、光学系１０４、撮像素子１０５、およびＡＦＥ１０６は、撮像部１２０を構成する。

ＬＳＩ１０７は、ＡＦＥ１０６からのＲＡＷ画像データについて、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。ＬＳＩ１０７は、具体的には、たとえば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現してもよい。

操作デバイス１０８は、コマンドやデータを入力する。操作デバイス１０８としては、たとえば、レリーズボタンを含む各種ボタン、スイッチ、ダイヤル、タッチパネルがある。センサは、情報を検出するデバイスであり、たとえば、ＡＦ（Ａｕｔｏｍａｔｉｃ Ｆｏｃｕｓ）センサ、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）センサ、ジャイロセンサ、加速度センサ、温度センサなどがある。表示デバイス１１０は、画像データや設定画面を表示する。表示デバイス１１０には、撮像装置１００の背面にある背面モニタと、電子ビューファインダと、がある。通信ＩＦ１１１は、ネットワークと接続し、データを送受信する。

＜撮像装置１００の機能的構成例＞
図２は、実施例１にかかる撮像装置１００の機能的構成例を示すブロック図である。撮像装置１００は、取得部２０１と、算出部２０２と、除去部２０３と、画像保存部２０４と、第１メモリ２０５と、を有する。取得部２０１、算出部２０２、除去部２０３、画像保存部２０４、および第１メモリ２０５は、画像処理装置２００を構成する。

取得部２０１は、撮像部１２０によって撮像された時間的に連続する一連の画像データを取得する。取得部２０１は、たとえば、記憶デバイス１０２の１つであるバッファメモリである。なお、撮像装置１００が、撮像部１２０がない画像処理装置２００である場合、記憶デバイス１０２または通信ＩＦ１１１からの一連の画像データを取得することになる。取得部２０１は、たとえば、記憶デバイス１０２の１つであるバッファメモリである。

算出部２０２、除去部２０３および画像保存部２０４は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により実現される。また、第１メモリ２０５は、記憶デバイス１０２の１つである。

ここで、一連の画像データを、連続する第１画像データ〜第３画像データを例に挙げて説明する。なお、撮像部１２０は、被写体を撮像して、第１画像データ〜第３画像データの順に出力するものとする。第１画像データは、連続する第１画像データ〜第３画像データの中で、撮像部１２０から出力された時間的に最古の画像データとする。第２画像データは、第１画像データよりも時間的に後に撮像部１２０から出力された画像データとする。第３画像データは、第２画像データよりも時間的に後に撮像部１２０から出力された画像データとする。

算出部２０２は、重み計算部２２１と、重み調整部２２２と、重み保存部２２３と、第２メモリ２２４と、を有する。重み計算部２２１は、除去部２０３によって第１画像データからノイズ除去された第１ノイズ除去画像データおよび第２画像データに基づいて、第１画像データの第１重みを算出する。算出部２０２は、第１重みを算出する際、第２画像データに先行する過去画像データとして、第１ノイズ除去画像データを第１メモリ２０５から読み出す。第１画像データは、第２画像データの先行画像データであり、第２画像データは、第１画像データの後続画像データである。

また、算出部２０２は、除去部２０３によって第２画像データからノイズ除去された第２ノイズ除去画像データおよび第３画像データに基づいて、第２画像データの第２重みを算出する。算出部２０２は、第２重みを算出する際、第３画像データに先行する過去画像データとして、第１メモリ２０５から第２ノイズ除去画像データを読み出す。第２画像データは、第３画像データの先行画像データであり、第３画像データは、第２画像データの後続画像データである。

重みとは、上述したように、時間的に連続する先行画像データと後続画像データとを同一領域で比較した場合の当該領域ごとにおける後続画像データに対する先行画像データの信頼度である。領域とは、１画素以上の画素集合である。領域は画像データ全体であってもよい。

ここで、時刻ｔよりも前にノイズ除去処理された画像データをＩ_ｏｌｄと表記し、時刻ｔの画像データをＩ_ｔと表記する。Ｉ_ｏｌｄやＩ_ｔを区別しない場合は、単に画像データＩと表記する。画像データＩは、たとえば、マトリクス状の画素群の各値に対応する行列である。したがって、重みもまた行列により表現され、Ｗと表記する。重みＷの各要素は、画像データＩ内の領域（ｘ，ｙ）に対応し、その領域の重みｗは、たとえば、０．０以上１．０以下の範囲をとる。

ある領域において、重み（信頼度）ｗが高いほど、当該領域において、先行画像データと後続画像データとの間で画像のブレが少ない、すなわち、残像が少ないことを示し、重み（信頼度）が低いほど、当該領域において、先行画像データと後続画像データとの間でブレが多い、すなわち、残像が多いことを示す。

時刻ｔの後続画像データに対する先行画像データＩ_ｏｌｄ内の領域の重みｗは、下記式（１）により算出される。

ｗ＝ｆ（Ｉ_ｔ，Ｉ_ｏｌｄ）・・・（１）

関数ｆ（・）は、先行画像データＩ_ｏｌｄ内の領域の重みｗを求める関数である。なお、領域が先行画像データＩ_ｏｌｄの全体であれば、重みｗは１つの値となる。また、重み計算部２２１は、先行画像データＩ_ｏｌｄのチャンネル数に応じて複数の重みＷを求めてもよい。先行画像データＩ_ｏｌｄの領域の重みｗは、後続画像データＩ_ｔの類似度が大きいほど大きくするのがよい。領域の重みｗの求め方の一例としては下記式（２）がある。

関数ｆ_ｘ,ｙは、領域（ｘ，ｙ）の重みｗの算出を意味する。ｘは先行画像データＩ_ｏｌｄの領域の列方向における位置を示し、ｙは行方向の位置を示す。また，関数φ_ｘ,ｙは領域（ｘ，ｙ）を中心とした近傍領域の部分画像データを取得する関数である。また，||・||はＬ２ノルムを意味する。また，σは、重みの算出結果を調整するパラメータである。σは上記式（２）の分子の値である画像の差に対する感度を調整するためパラメータであり、σの値を大きくすると画像の差が大きくても重みが大きく算出されることになる。

重み調整部２２２は、第２メモリ２２４に保存されている最新の重みＷ_ｏｌｄに基づいて、重み計算部２２１によって計算された重みＷを調整する。調整済みの重みＷを重みＷ´とする。重み保存部２２３は、重み調整部２２２による調整前の重みＷをＷ_ｏｌｄとして第２メモリ２２４に保存する（式（４）を参照）。第２メモリ２２４は、記憶デバイス１０２により構成される。

調整済みの重みＷ´は、下記式（３）により算出される。

Ｗ´＝ｇ（Ｗ，Ｗ_ｏｌｄ）・・・（３）

関数ｇ（・）は、重みＷを調整する関数である。Ｗ_ｏｌｄは、下記式（４）のように、調整前の重みＷにより更新される。ここでは直接重みＷをＷ_ｏｌｄに更新しているが，重みＷのサイズを縮小してＷ_ｏｌｄに更新してもよい。重みを過去重みＷ_ｏｌｄと称す。

Ｗ_ｏｌｄ＝Ｗ・・・（４）

また、式（３）の右辺は、たとえば、下記式（５）により表現される。

また、調整済みの重みＷ´に上限や下限を設けたり、一律の調整係数を掛けたりしてもよい。また、式（３）の右辺は、たとえば、下記式（６）により表現されてもよい。

ｇ（Ｗ，Ｗ_ｏｌｄ）＝ｍｉｎ（Ｗ，Ｗ_ｏｌｄ）・・・（６）

上記式（６）は、重みＷと過去重みＷ_ｏｌｄを要素ごとに比較して、値が小さい方の重みｗを採用する。このようにして、調整済みの重みＷ´の領域の重みｗ´は、調整前の重みｗに比べて小さくなる。

ここで、上述した第１画像データ〜第３画像データを例に挙げて、重みＷの調整について説明する。なお、第１画像データを先行画像データとし、第１画像データからノイズ除去された第１ノイズ除去画像データを過去画像Ｉ_ｏｌｄとした場合の重みＷを重みＷ１とする。また、第２画像データを先行画像データとし、第２画像データからノイズ除去された第２ノイズ除去画像データを過去画像Ｉ_ｏｌｄとした場合の重みＷを重みＷ２とする。また、第３画像データを先行画像データとし、第３画像データからノイズ除去された第３ノイズ除去画像データを過去画像Ｉ_ｏｌｄとした場合の重みＷを重みＷ３とする。

なお、第１画像データが動画像データの先頭画像データである場合、第１画像データに先行する画像データは存在しないため、重みＷ１は重み調整部２２２によって調整されずに、重み保存部２２３により第２メモリ２２４に過去重みＷ_ｏｌｄとして保存される。第１画像データおよび第２画像データにより重みＷ２が計算された場合、重み調整部２２２は、第２メモリ２２４から過去重みＷ_ｏｌｄ（＝重みＷ１）を読みだして、上記式（５）により重みＷ２と乗算して、調整済みの重みＷ２´を算出する。重み保存部２２３は、調整前の重みＷ２を過去重みＷ_ｏｌｄとして第２メモリ２２４に保存する。

また、第２画像データおよび第３画像データにより重みＷ３が計算された場合、重み調整部２２２は、第２メモリ２２４から重みＷ_ｏｌｄ（＝重みＷ２）を読みだして、上記式（５）により、重みＷ３と乗算して、調整済みの重みＷ３´を算出する。重み保存部２２３は、調整前の重みＷ３をＷ_ｏｌｄとして第２メモリ２２４に保存する。

除去部２０３は、調整済みの重みＷ´に基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、調整済みの重みＷ´を用いた重み付け平均により、ノイズ除去対象の画像データのノイズを除去する。重み付け平均は、たとえば、下記式（７）により表現される。

上記式（７）において、Ｉ_ｏｕｔは、ノイズ除去された画像データ（ノイズ除去画像データ）である。

画像保存部２０４は，除去部２０３から出力されたノイズ除去画像データＩ_ｏｕｔを過去画像データＩ_ｏｌｄとして第１メモリ２０５に保存する。第１メモリ２０５は、記憶デバイス１０２により構成される。

＜再帰的ノイズ除去処理＞
図３は、実施例１にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。図４は、調整済みの重みＷ´による再帰的ノイズ除去例を示す説明図である。図４の比較例として、図５を例示する。図５は、調整済みの重みＷ´を適用しない再帰的ノイズ除去例を示す説明図である。なお、図４および図５において図３のステップに該当する箇所には、図３のステップ番号を付す。なお、図５では調整済みの重みＷ´を適用しないため、ステップＳ３０４〜Ｓ３０６は存在しない。また、図４および図５では、撮像装置１００は、撮像方向を固定しており、被写体像が左から右に移動する動画像データを撮像する場合を例に挙げて説明する。

まず、図４および図５の中央点線の左側について、図３を用いて説明する。撮像装置１００は、取得部２０１により現在画像データを取得して読み込み（ステップＳ３０１）、過去画像データを第１メモリ２０５から読み込む（ステップＳ３０２）。ここで、現在画像データとは、時刻ｔ−１の後続画像データＩ（ｔ−１）であり、過去画像データとは、時刻（ｔ−１）以前の時刻（ｔ−２）の先行画像データからノイズ除去されたノイズ除去画像データ、すなわちＩ_ｏｌｄである。Ｉ_ｏｌｄには、被写体像ＯＢ（ｔ−２）が存在するものとする。

撮像装置１００は、重み計算部２２１により、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）とを式（２）に与えて、重みＷ（ｔ−１）を計算する（ステップＳ３０３）。過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）とにおいて、被写体像ＯＢ（ｔ−２），ＯＢ（ｔ−１）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ−１）は、たとえば、最大値の１．０となる。

一方、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）とにおいて、被写体像ＯＢ（ｔ−２），ＯＢ（ｔ−１）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ−１）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ−１）を０．０とする。なお、被写体像ＯＢ（ｔ−２），ＯＢ（ｔ−１）の境界部分の領域については、被写体像ＯＢ（ｔ−２），ＯＢ（ｔ−１）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ−１）を０．５とする。

つぎに、撮像装置１００は、第２メモリ２２４から過去重みＷ_ｏｌｄを読み込む（ステップＳ３０４）。この過去重みＷ_ｏｌｄを例として、全要素の値が「１．０」の行列とする。撮像装置１００は、重み調整部２２２により、第２メモリ２２４からの過去重みＷ_ｏｌｄと、ステップＳ３０３で重み計算した重みＷ（t−１）とを式（３）に与えて、調整済みの重みＷ´を出力する（ステップＳ３０５）。

調整済みの重みＷ´は、たとえば、式（５）に示したように、過去重みＷ_ｏｌｄと、重みＷ（ｔ）との積により求められる。過去重みＷ_ｏｌｄは全要素の値が「１．０」の行列であるため、調整済みの重みＷ´は、重み計算した重みＷ（t−１）と同じである。

そして、撮像装置１００は、第２メモリ２２４に調整前の重みＷ（ｔ−１）を格納して、あらたな過去重みＷ_ｏｌｄとする（ステップＳ３０６）。

撮像装置１００は、除去部２０３により、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１）と調整済みの重みＷ´とを式（７）に与えて、現在画像データＩ（ｔ−１）からノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩ_ｏｕｔ（ｔ−１）を出力する（ステップＳ３０８）。出力されたノイズ除去画像データＩ_ｏｕｔ（ｔ−１）は、表示デバイス１１０に表示される。ノイズ除去画像データＩ_ｏｕｔ（ｔ−１）は、現在画像データＩ（ｔ−１）と同じ位置に被写体像ＯＢ（ｔ−１）が存在し、過去画像データＩ_ｏｌｄの被写体像ＯＢ（ｔ−２）と同じ位置に残像Ａ（ｔ−２）が存在する。残像Ａ（ｔ−２）は、主に、被写体像ＯＢ（ｔ−２）の輪郭が際立った画像データとなる。

また、撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩ_ｏｕｔ（ｔ−１）を第１メモリ２０５に出力し、過去画像データＩ_ｏｌｄを更新する（ステップＳ３０９）。このあと、撮像装置１００は、たとえば、ユーザの動作撮影の終了操作入力により、画像処理が終了するか否かを判断する（ステップＳ３１０）。終了しない場合（ステップＳ３１０：Ｎｏ）、撮像装置１００は、取得部２０１におけるバッファメモリの読み込み位置を更新し（ステップＳ３１１）、ステップＳ３０１に戻る。

つぎに、図４および図５の中央点線の右側について、図３を用いて説明する。撮像装置１００は、取得部２０１により時刻ｔの現在画像データＩ（ｔ）を取得して読み込み（ステップＳ３０１）、過去画像データＩ_ｏｌｄを第１メモリ２０５から読み込む（ステップＳ３０２）。ここで、過去画像データＩ_ｏｌｄは、ステップＳ３０９で得られたノイズ除去画像データＩ_ｏｕｔ（ｔ−１）である。

撮像装置１００は、重み計算部２２１により、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）とを式（２）に与えて、重みＷ（ｔ）を計算する（ステップＳ３０３）。過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）とにおいて、同一領域の画像が類似するほど、重みは大きくなり、類似しなくなるほど、小さくなる。したがって、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）がいずれも存在しない領域は、ほぼ同じ画像となり、当該領域の重みｗ（ｔ）は、たとえば、最大値の１．０となる。

一方、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）とにおいて、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）のいずれか一方が存在する領域は、異なる画像となり、当該領域の重みｗ（ｔ）は低くなる。ここでは、例として、当該領域の重みｗ（ｔ）を０．０とする。なお、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）の境界部分の領域については、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）のいずれか一方が存在する領域よりも類似している。ここでは、例として、当該領域の重みｗ（ｔ）を０．５とする。また、過去画像データＩ_ｏｌｄ（ノイズ除去画像データＩ_ｏｕｔ（ｔ−１））において、残像Ａ（ｔ−２）が存在する領域の重みを０．７５とする。

つぎに、撮像装置１００は、第２メモリ２２４から過去重みＷ_ｏｌｄを読み込む（ステップＳ３０４）。この過去重みＷ_ｏｌｄは、ステップＳ３０６で先に算出された重みＷ（t−１）である。撮像装置１００は、重み調整部２２２により、第２メモリ２２４からの過去重みＷ_ｏｌｄと、ステップＳ３０３で重み計算した重みＷ（t）とを式（３）に与えて、調整済みの重みＷ´を出力する（ステップＳ３０５）。

調整済みの重みＷ´は、たとえば、式（５）に示したように、過去重みＷ_ｏｌｄと、重みＷ（t）との積により求められる。この場合の過去重みＷ_ｏｌｄは、ステップＳ３０６で先に算出された重みＷ（t−１）であるため、残像Ａ（ｔ−２）が存在する領域内部の重みｗ（ｔ）は０になり、輪郭の重みｗ（ｔ）は、０．３７５（＝０．７５×０．５）となる。また、残像Ａ（ｔ−１）が存在する領域内部の重みｗ（ｔ）は０（＝０．０×０．０）のままであるが、輪郭の重みｗ（ｔ）は０．２５（＝０．５×０．５）である。

そして、撮像装置１００は、第２メモリ２２４に調整前の重みＷ（ｔ）を格納して、あらたな過去重みＷ_ｏｌｄとする（ステップＳ３０６）。

撮像装置１００は、除去部２０３により、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ）と調整済みの重みＷ´とを式（７）に与えて、現在画像データＩ（ｔ）からノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩ_ｏｕｔ（ｔ）を出力する（ステップＳ３０８）。出力されたノイズ除去画像データＩ_ｏｕｔ（ｔ）は、表示デバイス１１０に表示される。ノイズ除去画像データＩ_ｏｕｔ（ｔ）は、現在画像データＩ（ｔ）と同じ位置に被写体像ＯＢ（ｔ）が存在し、過去画像データＩ_ｏｌｄの被写体像ＯＢ（ｔ−１）と同じ位置に残像Ａ（ｔ−１）が存在し、さらに、被写体像ＯＢ（ｔ−２）と同じ位置に残像Ａ（ｔ−２）が存在する。

また、撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩ_ｏｕｔ（ｔ）を第１メモリ２０５に出力し、過去画像データＩ_ｏｌｄを更新する（ステップＳ３０９）。このあと、撮像装置１００は、たとえば、ユーザの動作撮影の終了操作入力により、画像処理が終了するか否かを判断する（ステップＳ３１０）。終了する場合（ステップＳ３１０：Ｙｅｓ）、撮像装置１００は、画像処理を終了する。

このように、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１），Ｉ（ｔ）との間で変換のない領域では過去画像データＩ_ｏｌｄを参照するための重みＷ（ｔ−１），Ｗ（ｔ）が大きくなるため、結果的に使用メモリを削減しつつノイズ除去率を増加させることができる。

ただし、図５の例の場合、過去画像データＩ_ｏｌｄと現在画像データＩ（ｔ−１），Ｉ（ｔ）との間で重みの算出がうまくいっていない領域、すなわち失敗している領域がある場合、その結果も保持される。したがって、長期にわたり失敗が残ってしまう。これが残像として画質を著しく劣化させてしまう原因となる。

たとえば、図５の中の太矢印５Ａ１で示した被写体像ＯＢ（ｔ−２）の輪郭の残像Ａ（ｔ−２）のように、次のフレーム（画像データＩ（ｔ））でのステップＳ３０３の重み算出結果が太矢印５ａ１のように大きくなっており（ｗ（ｔ−１）＝０．７５）、結果として太矢印５Ａ２のように失敗した輪郭の残像Ａ（ｔ−２）が残ってしまっている。

一方、実施例１の撮像装置１００は、過去画像データＩ_ｏｌｄに、その時算出した重みが付随した状態で保持され、これを再利用する。これにより、残像が発生しているような信頼度の低い領域で過去画像データＩ_ｏｌｄを参照するための重みＷ（ｔ−１），Ｗ（ｔ）が小さくなりやすくなるため、結果的に残像発生を抑制することができる。

たとえば、図４中の太矢印４Ｂ１で示した被写体像ＯＢ（ｔ−２）の輪郭の重みｗ（ｔ−１）が太矢印４ｂ１のように大きく出ている一方（０．７５）、調整を掛けた太矢印４ｂ２では重みｗ（ｔ）が小さくなっており（０．３７５＝０．５×０．７５）、結果として太矢印５Ｂ２のように失敗した輪郭の残像Ａ（ｔ−２）の残り具合が低減できている。

このように、図５の場合、ノイズ除去精度が図４に比べて低いため、図４と同等のノイズ除去精度を出すためには、過去の画像データの枚数を図４の場合よりも第１メモリ２０５に多く保持しておく必要があり、メモリ使用量が増加する。これに対し、図４では、直近の過去画像データを第１メモリ２０５に保持しておけばよいため、ノイズ除去精度の向上と省メモリ化とを両立することができる。

実施例２は、画像データに含まれる空間情報を利用することで残像の発生を抑制する例である。なお、実施例２では、実施例１との相違点を中心に説明し、実施例１と共通部分については同一符号を用いて説明を省略する。

＜撮像装置１００の機能的構成例＞
図６は、実施例２にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例２の算出部６０２は、空間情報抽出部６２１と、重み計算部６２２と、を有する。空間情報抽出部６２１は、抽出対象となる画像データから空間情報を抽出する。抽出対象となる画像データは、過去画像データＩ_ｏｌｄまたは現在画像データＩ_ｔの少なくとも一方である。両方の画像データＩ_ｏｌｄ，Ｉ_ｔを用いる場合、空間情報抽出部６２１は、各々の画像データＩについて空間情報を抽出し、２つの空間情報の平均を算出したり、最大値を選択したり、αブレンドを算出してもよい。

空間情報とは、抽出対象となる画像データに含まれる空間構造の特徴を示す情報であり、具体的には、たとえば、空間周波数成分がある。空間周波数成分の場合、たとえば、空間情報抽出部６２１は、下記式（８）〜（１３）のように、２種類のサイズのローパスフィルタを用いて低周波成分Ｓ_ｌｏｗと高周波成分Ｓ_ｈｉｇｈを抽出することができる。

式（８），（９）のＩは、抽出対象となる画像データである。また、式（１１）の関数ａｂｓ（・）は、領域（ｘ，ｙ）ごとの絶対値を算出する関数である。式（１３）は、式（８），（９）に代入される。式（８）に代入される場合、式（１３）は、Ｈ_σ１（ｘ，ｙ）となり、σはσ_１となる。同様に、式（９）に代入される場合、式（１３）は、Ｈ_σ２（ｘ，ｙ）となり、σはσ_２となる。

なお、抽出対象となる画像データＩについては、空間情報を抽出しやすくするために事前に画像データＩに変換を掛けてもよい。さらに、空間情報抽出部６２１は、低周波成分Ｓ_ｌｏｗと高周波成分Ｓ_ｈｉｇｈの２成分だけでなく複数の帯域の周波数成分を算出してもよい。

重み計算部６２２は、現在画像データと、過去画像データと、空間情報抽出部６２１によって抽出された空間情報と、に基づいて、過去画像データの重みＷを計算する。残像が目立ちやすい領域は明るい領域であったり、エッジ付近（過去画像データにおける被写体像の輪郭）のようにであったりすることが多い。このため、そのような領域の重みを小さくするのがよい。

そこで、まず明るい領域を判断するため、重み計算部６２２は、低周波成分Ｓ_ｌｏｗを用いて下記式（１４），（１５）のような処理を実行する。

式（１４）のＳ_{ｌｏｗ，Ｉｔ}，Ｓ_{ｌｏｗ，Ｉｏｌｄ}は、それぞれ現在画像データＩ_ｔと過去画像データＩ_ｏｌｄの低周波成分Ｓ_ｌｏｗを意味する。式（１４）のｍａｘ（・）は、領域（ｘ，ｙ）ごとに最大値を算出する関数である。式（１５）のＳ´_ｌｏｗは、現在画像データＩ_ｔと過去画像データＩ_ｏｌｄの低周波成分Ｓ_ｌｏｗの最大値となるが、平均値でもよい。

また、σ（・）は領域（ｘ，ｙ）ごとに値を算出するシグモイド関数で、入力値が大きいほど１に近づく。Ｔ_ｌｏｗはしきい値を表すパラメータである。これにより、式（１５）の低周波成分Ｓ_ｌｏｗによる調整値Ｋ_ｌｏｗは、低周波成分Ｓ_ｌｏｗが大きいほど、すなわち、明るい領域ほど小さい値になる。

次にエッジ付近を判断するため、重み計算部６２２は、高周波成分Ｓ_ｈｉｇｈを用いて下記式（１６），（１７）のような処理を実行する。

式（１６）のＳ_{ｈｉｇｈ，Ｉｔ}，Ｓ_{ｈｉｇｈ，Ｉｏｌｄ}は、それぞれ現在画像データＩ_ｔと過去画像データＩ_ｏｌｄの高周波成分Ｓ_ｈｉｇｈを意味する。式（１６）のｍａｘ（・）は、領域（ｘ，ｙ）ごとに最大値を算出する関数である。式（１７）のＳ´_ｈｉｇｈは、現在画像データＩ_ｔと過去画像データＩ_ｏｌｄの高周波成分Ｓ_ｈｉｇｈの最大値となるが、平均値でもよい。

また、σ（・）は領域（ｘ，ｙ）ごとに値を算出するシグモイド関数で、入力値が大きいほど１に近づく。Ｔ_ｈｉｇｈはしきい値を表すパラメータである。これにより、式（１７）の高周波成分Ｓ_ｈｉｇｈによる調整値Ｋ_ｈｉｇｈは、高周波成分Ｓ_ｈｉｇｈが大きいほど、すなわち、エッジ付近であるほど小さい値になる。

求められた低周波成分Ｓ_ｌｏｗによる調整値Ｋ_ｌｏｗと高周波成分Ｓ_ｈｉｇｈによる調整値Ｋ_ｈｉｇｈとを用いて，最終的に更新された重みＷ_ｎｅｗは、下記式（１８）で求められる。除去部２０３は、更新済みの重みＷ_ｎｅｗを用いて、実施例１と同様な処理で現在画像データＩ_ｔからノイズを除去し、ノイズ除去画像データとして出力する。また、画像保存部２０４は、ノイズ除去画像データを過去画像データＩ_ｏｌｄとして第１メモリ２０５に保存する。

式（１８）において、右辺のＷは、過去画像データＩ_ｏｌｄを参照するための重みである。式（１８）で重みＷを重みＷ_ｎｅｗに更新することにより、残像が目立ちやすい領域である明るい領域やエッジ付近の重みが小さくなるため、残像発生を抑制することができる。ここでは現在画像データＩ_ｔと過去画像データＩ_ｏｌｄの低周波成分Ｓ_ｌｏｗおよび高周波成分Ｓ_ｈｉｇｈを用いたが、低周波成分Ｓ_ｌｏｗおよび高周波成分Ｓ_ｈｉｇｈのいずれか一方だけを用いてもよい。

＜再帰的ノイズ除去処理＞
図７は、実施例２にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例２では、図３と比較した場合、ステップＳ３０３〜Ｓ３０６が存在せず、ステップＳ３０２のあと、撮像装置１００は、空間情報抽出部６２１により、空間情報抽出処理を実行する（ステップＳ７０１）。つぎに、撮像装置１００は、重み計算部６２２により、調整重みＷ_ｎｅｗを計算する（ステップＳ７０２）。このあと、撮像装置１００は、除去部２０３により、調整重みＷ_ｎｅｗを用いて、現在画像データＩ_ｔからノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩ_ｏｕｔを表示デバイス１１０に出力する（ステップＳ３０８）。

撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩ_ｏｕｔを過去画像データＩ_ｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像が目立ちやすい領域での重みが低く調整され、結果的に残像発生を抑制することができる。

実施例３は、実施例１において、実施例２の空間情報抽出部６２１を適用した例である。実施例３では、実施例１，２との相違点を中心に説明し、実施例１，２と共通部分については同一符号を用いて説明を省略する。

＜撮像装置１００の機能的構成例＞
図８は、実施例３にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例３の場合、算出部８０２は、空間情報抽出部６２１と、重み計算部６２２と、重み調整部２２２と、重み保存部２２３と、第２メモリ２２４と、を有する。重み調整部２２２は、第２メモリ２２４に保存されている最新の重みＷ_ｏｌｄに基づいて、重み計算部６２２で更新された重みＷ_ｎｅｗを調整する。

調整された更新済みの重みＷ_ｎｅｗを調整済み重みＷ´とする。重み保存部２２３は、重み調整部２２２による調整前の重みＷ_ｎｅｗを過去重みＷ_ｏｌｄとして第２メモリ２２４に保存する。具体的には、たとえば、重み調整部２２２は、重み調整部２２２で用いる式（３）〜（７）のＷをＷ_ｎｅｗに置き換えて重みＷ_ｎｅｗを調整することになる。

＜再帰的ノイズ除去処理＞
図９は、実施例３にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例３では、図３と比較した場合、ステップＳ３０３が存在せず、ステップＳ３０２のあと、撮像装置１００は、空間情報抽出部６２１により、空間情報抽出処理を実行する（ステップＳ７０１）。つぎに、撮像装置１００は、重み計算部６２２により、重みＷ_ｎｅｗを計算する（ステップＳ７０２）。

撮像装置１００は、過去重みＷ_ｏｌｄを第２メモリ２２４から読み出し（ステップＳ３０４）、重み調整部２２２により、過去重みＷ_ｏｌｄで重みＷ_ｎｅｗを調整し、調整済み重みＷ´を除去部２０３に出力するとともに、調整前の重みＷ_ｎｅｗを重み保存部２２３に出力する（ステップＳ３０５）。そして、重み保存部２２３は、調整前の重みＷ_ｎｅｗを第２メモリ２２４に保存して、過去重みＷ_ｏｌｄを更新する（ステップＳ３０６）。

このあと、撮像装置１００は、除去部２０３により、調整済み重みＷ´を用いて、現在画像データＩ_ｔからノイズを除去し（ステップＳ３０７）、ノイズ除去画像データＩ_ｏｕｔを表示デバイス１１０に出力する（ステップＳ３０８）。撮像装置１００は、画像保存部２０４により、ノイズ除去画像データＩ_ｏｕｔを過去画像データＩ_ｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像が目立ちやすい領域での重みが低く調整され、結果的に残像発生を抑制することができる。

このように、空間情報を抽出して、空間情報を用いて重みを計算してから重みを調整することにより、重み調整前後において残像を抑制することができ、残像発生抑制の効率化を図ることができる。

実施例４は、除去部２０３において重みを用いた現在画像データからのノイズ除去に先立って、現在画像データに対し、残像低減処理を実行する例である。除去部２０３は、残像低減処理後の現在画像データから重みを用いてノイズ除去を実行することになる。実施例４の撮像装置１００は、ノイズ除去前に現在画像データの残像を低減させることで、残像発生の抑制を図る。実施例４では、実施例１〜３との相違点を中心に説明し、実施例１〜３と共通部分については同一符号を用いて説明を省略する。

＜機能的構成例＞
図１０は、実施例４にかかる撮像装置１００の機能的構成例を示すブロック図である。実施例４の場合、除去部２０３は、算出部２０２から重みを取得する。算出部２０２からの重みは、実施例１，３の場合は調整済みの重みＷ´であり、実施例２の場合は、更新済みの重みＷ_ｎｅｗである。また、算出部２０２が図５に示した構成である場合、算出部２０２からの重みは、重み計算部２２１により、過去画像データＩ_ｏｌｄと現在画像データＩとを上記式（２）に与えて計算された重みＷである。実施例４では、特に区別しない限り、これらの重みを総称して、単に、重みＷと表記する。

除去部２０３は、残像低減処理部１００１と、ノイズ除去処理部１００２と、を有する。残像低減処理部１００１は、現在画像データの残像を低減する処理を実行する。具体的には、たとえば、残像低減処理部１００１は、現在画像データにローパスフィルタを施すことにより、残像となる動く被写体像の輪郭をぼかす。これにより、動く被写体像の輪郭を目立ちにくくする。また、残像低減処理部１００１は、時間方向に連続する２枚の画像データＩ（ｔ−１），Ｉ（ｔ）について、動く被写体像の間を補間することにより、残像となる動く被写体像の輪郭をぼかす（補間処理）。

ノイズ除去処理部１００２は、残像低減処理部１００１によって残像低減処理が施された画像データについて、算出部２０２からの重みＷに基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、算出部２０２からの重みＷを上記式（７）のＷ´に代入することにより、重み付け平均でノイズ除去対象の画像データのノイズを除去する。ノイズ除去対象の画像データとは、ローパスフィルタが施された画像データ、または、補間処理により生成された画像データである。

＜補間処理例＞
図１１は、実施例４にかかる残像低減処理部１００１による補間処理例を示す説明図である。図１１において、矩形は、時間方向に連続する画像データ群、すなわち、動画像データである。（Ａ）は、取得部２０１から残像低減処理部１００１に入力された残像低減処理が施されていない未加工状態の画像データＩａ（ｔ−３），Ｉａ（ｔ−２），Ｉａ（ｔ−１），Ｉａ（ｔ）を示す。画像データＩａ（ｔ−３），Ｉａ（ｔ−２），Ｉａ（ｔ−１），Ｉａ（ｔ）において、被写体像ＯＢａ（ｔ−３），ＯＢａ（ｔ−２），ＯＢａ（ｔ−１），ＯＢａ（ｔ）が左から右に移動しているものとする。

（Ｂ）は、画像データの合成を示す。残像低減処理部１００１は、時間方向に連続する２枚の画像データを合成して、動きベクトルを検出する。具体的には、たとえば、残像低減処理部１００１は、画像データＩａ（ｔ−３），Ｉａ（ｔ−２）を合成して合成画像データＩｂ（ｔ−２）を生成し、被写体像ＯＢａ（ｔ−３），ＯＢａ（ｔ−２）間の動きベクトルｍｖ（ｔ−２）を検出する。

同様に、残像低減処理部１００１は、画像データＩａ（ｔ−２），Ｉａ（ｔ−１）を合成して合成画像データＩｂ（ｔ−１）を生成し、被写体像ＯＢａ（ｔ−２），ＯＢａ（ｔ−１）間の動きベクトルｍｖ（ｔ−１）を検出する。残像低減処理部１００１は、画像データＩａ（ｔ−１），Ｉａ（ｔ）を合成して合成画像データＩｂ（ｔ）を生成し、被写体像ＯＢａ（ｔ−１），ＯＢａ（ｔ）間の動きベクトルｍｖ（ｔ）を検出する。

（Ｃ）は、合成画像データＩｂ（ｔ−２），Ｉｂ（ｔ−１），Ｉｂ（ｔ）の補間を示す。具体的には、たとえば、残像低減処理部１００１は、合成画像データＩｂ（ｔ−２）において、時間的に古い方の被写体像ＯＢａ（ｔ−３）の輪郭のうち、動きベクトルｍｖ（ｔ−２）の終端側の輪郭（左側半分の円弧）を移動方向に複製することで、被写体像ＯＢａ（ｔ−３），ＯＢａ（ｔ−２）の間を補間する。これにより、残像低減処理部１００１は、補間された被写体像ＯＢｃ（ｔ−２）を含む補間合成画像データＩｃ（ｔ−２）を生成する。

同様に、残像低減処理部１００１は、合成画像データＩｂ（ｔ−１）において、時間的に古い方の被写体像ＯＢａ（ｔ−２）の輪郭のうち、動きベクトルｍｖ（ｔ−１）の終端側の輪郭（左側半分の円弧）を移動方向に複製することで、被写体像ＯＢａ（ｔ−２），ＯＢａ（ｔ−１）の間を補間する。これにより、残像低減処理部１００１は、補間された被写体像ＯＢｃ（ｔ−１）を含む補間合成画像データＩｃ（ｔ−１）を生成する。

また、残像低減処理部１００１は、合成画像データＩｂ（ｔ）において、時間的に古い方の被写体像ＯＢａ（ｔ−１）の輪郭のうち、動きベクトルｍｖ（ｔ）の終端側の輪郭（左側半分の円弧）を移動方向に複製することで、被写体像ＯＢａ（ｔ−１），ＯＢａ（ｔ）の間を補間する。これにより、残像低減処理部１００１は、補間された被写体像ＯＢｃ（ｔ）を含む補間合成画像データＩｃ（ｔ）を生成する。なお、図１１では、輪郭の複製対象をとなる輪郭を時間的に古い方の被写体像の輪郭としたが、時間的に新しい方の被写体像の輪郭としてもよい。

このように、撮像装置１００は、補間処理により、各画像データに離散的に出現する残像を、シャッタースピードを遅くしたかのような被写体像の移動軌跡に変換して連続的に表示する。これにより、あたかも残像が存在しないかのようにユーザに見せることで、残像を低減することができる。

＜再帰的ノイズ除去処理＞
図１２は、実施例４にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例４では、ステップＳ３０２のあと、撮像装置１００は、実施例１〜３、および図５におけるいずれかにより重みを計算する（ステップＳ１２０３）。つぎに、撮像装置１００は、残像低減処理部１００１により、ローパスフィルタまたは補間処理による残像低減処理を実行する（ステップＳ１２０４）。そして、撮像装置１００は、ノイズ除去処理部１００２により、ステップＳ１２０３で計算された重みＷを用いて、残像低減処理後の画像データからノイズを除去する（ステップＳ３０７）。

このあと、撮像装置１００は、ノイズ除去画像データＩ_ｏｕｔを表示デバイス１１０に出力し（ステップＳ３０８）、画像保存部２０４により、ノイズ除去画像データＩ_ｏｕｔを過去画像データＩ_ｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像を連続的に目立たなくし、結果的に残像発生を抑制することができる。

実施例４では、除去部２０３において重みを用いた現在画像データからのノイズ除去に先立って、現在画像データに対し残像低減処理を実行する例について説明したが、これとは逆に、実施例５は、除去部２０３において重みを用いた現在画像データからのノイズ除去後に、ノイズ除去画像データに対し、残像低減処理を実行する例である。実施例５の撮像装置１００は、ノイズ除去後に現在画像データの残像を低減させることで、残像発生の抑制を図る。実施例５では、実施例４との相違点を中心に説明し、実施例１〜４と共通部分については同一符号を用いて説明を省略する。

＜機能的構成例＞
図１３は、実施例５にかかる撮像装置１００の機能的構成例を示すブロック図である。除去部２０３は、算出部２０２から重みを取得する。算出部２０２からの重みは、実施例１，３の場合は調整済みの重みＷ´であり、実施例２の場合は、更新済みの重みＷ_ｎｅｗである。また、算出部２０２が図５に示した構成である場合、算出部２０２からの重みは、重み計算部２２１により、過去画像データＩ_ｏｌｄと現在画像データＩとを上記式（２）に与えて計算された重みＷである。実施例５では、特に区別しない限り、これらの重みを総称して、単に、重みＷと表記する。

除去部２０３は、ノイズ除去処理部１００２と、残像低減処理部１００１と、を有する。ノイズ除去処理部１００２は、取得部２０１からの画像データについて、算出部２０２からの重みＷに基づいて、ノイズ除去対象の画像データのノイズを除去し、ノイズ除去画像データを出力する。具体的には、たとえば、除去部２０３は、算出部２０２からの重みＷを上記式（７）のＷ´に代入することにより、重み付け平均で画像データのノイズを除去する。

残像低減処理部１００１は、ノイズ除去画像データの残像を低減する処理を実行する。具体的には、たとえば、残像低減処理部１００１は、ノイズ除去画像データにローパスフィルタを施すことにより、残像となる動く被写体像の輪郭をぼかす。これにより、動く被写体像の輪郭を目立ちにくくする。また、残像低減処理部１００１は、図１１に示したように、時間方向に連続する２枚のノイズ除去画像データＩ（ｔ−１），Ｉ（ｔ）について、動く被写体像の間を補間することにより、残像となる動く被写体像の輪郭をぼかす（補間処理）。

＜再帰的ノイズ除去処理＞
図１４は、実施例５にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例５では、ステップＳ３０２のあと、撮像装置１００は、実施例１〜３、および図５におけるいずれかにより重みを計算する（ステップＳ１２０３）。つぎに、撮像装置１００は、ノイズ除去処理部１００２により、ステップＳ１２０３で計算された重みＷを用いて、ノイズ除去画像データからノイズを除去する（ステップＳ３０７）。そして、撮像装置１００は、残像低減処理部１００１により、ローパスフィルタまたは補間処理による残像低減処理を実行する（ステップＳ１２０４）。

このあと、撮像装置１００は、ノイズ除去画像データＩ_ｏｕｔを表示デバイス１１０に出力し（ステップＳ３０８）、画像保存部２０４により、ノイズ除去画像データＩ_ｏｕｔを過去画像データＩ_ｏｌｄとして第１メモリ２０５に保存する（ステップＳ３０９）。このような処理を撮像が終了するまで、再帰的に実行することで、残像を連続的に目立たなくし、結果的に残像発生を抑制することができる。また、残像低減処理に先立ってノイズ除去を実行することで、ノイズのぼかしや補間を抑制することができる。

実施例６は、画像データから残像が発生する領域（残像発生領域）を検出して、検出した残像発生領域（検出領域）から残像を除去する例である。これにより、残像を低減する範囲を、残像発生領域に絞り込むことができ、残像低減処理を効率的に実行することができる。実施例６では、実施例５との相違点を中心に説明し、実施例１〜５と共通部分については同一符号を用いて説明を省略する。

図１５は、実施例６にかかる残像低減処理例を示す説明図である。図１５において、矩形は画像データを示す。矩形内の網掛けの範囲はノイズＮを示す。ノイズは画像データ全体に一様に存在する場合もあるが、ここでは、説明を単純化するため、特定の位置にノイズＮが存在するものとする。（Ａ）は、被写体像が移動しない場合の例を示し、（Ｂ）は、被写体像が移動する場合の例を示す。

（Ａ）において、画像データＩａ（ｔ−１），Ｉａ（ｔ）は、時間方向に連続する画像データ列である。画像データＩａ（ｔ−１），Ｉａ（ｔ）は、ともに同じ位置にノイズＮおよび被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）を有する。ノイズ除去画像データＮＲＩａ（ｔ−１）は、時刻ｔ−２のノイズ除去画像データ（過去画像データＩ_ｏｌｄ）に基づいて画像データＩａ（ｔ−１）からノイズＮが除去された画像データである。ノイズ除去画像データＮＲＩａ（ｔ）は、時刻ｔ−１のノイズ除去画像データＮＲＩａ（ｔ−１）（過去画像データＩ_ｏｌｄ）に基づいて画像データＩａ（ｔ）からノイズＮが除去された画像データである。

撮像装置１００は、現在画像データである時刻ｔの画像データＩａ（ｔ）と、時刻ｔ−１のノイズ除去画像データＮＲＩａ（ｔ−１）（過去画像データＩ_ｏｌｄ）と、の加重平均により、画像データＩａ（ｔ）からノイズＮが除去されたノイズ除去画像データＮＲＩａ（ｔ）を生成する。また、差分画像データＤＩａ（ｔ）は、画像データＩａ（ｔ）とノイズ除去画像データＮＲＩａ（ｔ）との差分をとった画像データである。この場合、被写体像ＯＢ（ｔ）とその背景は相殺され、差分としてノイズＮが残存することになる。

（Ｂ）において、画像データＩｂ（ｔ−１），Ｉｂ（ｔ）は、時間方向に連続する画像データ列である。画像データＩｂ（ｔ−１），Ｉｂ（ｔ）は、同じ位置にノイズＮを有するが、被写体像ＯＢ（ｔ−１），ＯＢ（ｔ）の位置は異なる。すなわち、被写体が左から右に移動していることを示す。

ノイズ除去画像データＮＲＩｂ（ｔ−１）は、時刻ｔ−２のノイズ除去画像データ（過去画像データＩ_ｏｌｄ）に基づいて画像データＩｂ（ｔ−１）からノイズＮが除去された画像データである。ノイズ除去画像データＮＲＩｂ（ｔ−１）には、時刻ｔ−２の画像データに存在していた被写体像の残像Ａ（ｔ−２）が存在するものとする。

ノイズ除去画像データＮＲＩｂ（ｔ）は、時刻ｔ−１のノイズ除去画像データＮＲＩｂ１（ｔ−１）（過去画像データＩ_ｏｌｄ）に基づいて画像データＩｂ（ｔ）からノイズＮが除去された画像データである。ただし、ノイズ除去画像データＮＲＩｂ１（ｔ）には、ノイズ除去画像データＮＲＩｂ（ｔ−１）における被写体像ＯＢ（ｔ−１）の位置に、残像Ａ（ｔ−１）が存在する。

撮像装置１００は、現在画像データである時刻ｔの画像データＩｂ（ｔ）と、時刻ｔ−１のノイズ除去画像データＮＲＩｂ（ｔ−１）（過去画像データＩ_ｏｌｄ）と、の加重平均により、画像データＩｂ（ｔ）からノイズＮが除去されたノイズ除去画像データＮＲＩｂ１（ｔ）を生成する。また、差分画像データＤＩｂ（ｔ）は、画像データＩｂ（ｔ）とノイズ除去画像データＮＲＩｂ１（ｔ）との差分をとった画像データである。この場合、被写体像ＯＢ（ｔ）とその背景は相殺され、差分としてノイズＮおよび残像Ａ（ｔ−１）が残存することになる。

撮像装置１００は、差分画像データＤＩｂ（ｔ）を参照して、残像Ａ（ｔ−１）の領域を残像発生領域１５００として特定する。つぎに、撮像装置１００は、残像発生領域の画像データ（この場合は、輪郭の残像Ａ（ｔ−１））と同じ位置の画像データ１５０１を、時刻ｔの画像データＩｂ（ｔ）から抽出する。そして、撮像装置１００は、ノイズ除去画像データＮＲＩｂ１（ｔ）における残像Ａ（ｔ−１）を、当該抽出した画像データ１５０１に置換する。これにより、撮像装置１００は、ノイズ除去画像データＮＲＩｂ１（ｔ）から残像Ａ（ｔ−１）を除去したノイズ除去画像データＮＲＩｂ２（ｔ）を生成することができる。

なお、撮像装置１００は、残像発生領域１５００の画像データ（この場合は、輪郭の残像Ａ（ｔ−１））と同じ位置の画像データ１５０１を、時刻ｔの画像データＩｂ（ｔ）から抽出することとしたが、抽出する範囲は、残像発生領域１５００と同じ位置に限らず、残像発生領域１５００とその近傍を含む領域でもよい。また、ここでは、残像は、被写体像の輪郭であることが多いため、残像発生領域１５００を被写体像の輪郭に対応する領域としたが、輪郭で囲まれる内部も残像発生領域１５００としてもよい。これにより、残像の除去漏れの低減を図ることができる。

＜機能的構成例＞
図１６は、実施例６にかかる撮像装置１００の機能的構成例を示すブロック図である。残像低減部は、図１５に示したように、ノイズ除去処理部１００２からノイズ除去画像データを取得する。また、残像低減処理部１００１は、図１５に示したように、たとえば、取得部２０１から現在画像データＩｂ（ｔ）を取得する。また、残像低減処理部１００１は、第１メモリ２０５から過去画像データＩ_ｏｌｄを取得する。過去画像データＩ_ｏｌｄは、たとえば、１つ前の時刻ｔ−１のノイズ除去画像データＮＲＩｂ（ｔ−１）である。

残像低減処理部１００１は、図１５に示したように、現在画像データＩｂ（ｔ）と過去画像データＩ_ｏｌｄとの加重平均により、現在画像データＩｂ（ｔ）についてのノイズ除去画像データＮＲＩｂ（ｔ）を生成し、現在画像データＩｂ（ｔ）と生成したノイズ除去画像データＮＲＩｂ（ｔ）との差分画像データＤＩｂ（ｔ）を生成する。

そして、残像低減処理部１００１は、差分画像データＤＩｂ（ｔ）から残像発生領域１５００を検出し、残像発生領域１５００と同一位置の画像データ１５０１を現在画像データＩｂ（ｔ）から特定する。そして、残像低減処理部１００１は、ノイズ除去画像データＮＲＩｂ１（ｔ）において、画像データ１５０１を合成することにより、残像Ａ（ｔ−１）を除去したノイズ除去画像データＮＲＩｂ２（ｔ）を生成する。

残像低減処理部１００１は、生成したノイズ除去画像データＮＲＩｂ２（ｔ）を表示デバイス１１０に出力するとともに、画像保存部２０４に出力する。画像保存部２０４は、取得したノイズ除去画像データＮＲＩｂ２（ｔ）をあらたな過去画像データＩ_ｏｌｄとして第１メモリ２０５に保存する。

なお、残像低減処理部１００１は、実施例５に示したローパスフィルタや補間処理を実施例６に適用してもよい。具体的には、たとえば、残像低減処理部１００１は、現在画像データＩｂ（ｔ）についてローパスフィルタまたは補間処理を適用し、当該適用後の現在画像データＩｂ（ｔ）と生成したノイズ除去画像データＮＲＩｂ（ｔ）との差分画像データＤＩｂ（ｔ）を生成してもよい。

また、残像低減処理部１００１は、生成したノイズ除去画像データＮＲＩｂ２（ｔ）についてローパスフィルタや補間処理を適用し、当該適用後のノイズ除去画像データＮＲＩｂ２（ｔ）を表示デバイス１１０および画像保存部２０４に出力してもよい。

＜再帰的ノイズ除去処理＞
図１７は、実施例６にかかる撮像装置１００による再帰的ノイズ除去手順例を示すフローチャートである。実施例６では、ステップＳ３０２のあと、撮像装置１００は、実施例１〜３、および図５におけるいずれかにより重みを計算する（ステップＳ１２０３）。つぎに、撮像装置１００は、ノイズ除去処理部１００２により、ステップＳ１２０３で計算された重みＷを用いて、ノイズ除去画像データからノイズを除去する（ステップＳ３０７）。そして、撮像装置１００は、残像低減処理部１００１により、ローパスフィルタまたは補間処理による残像低減処理を実行する（ステップＳ１７７１〜Ｓ１７７３）。

具体的には、たとえば、残像低減処理部１００１は、現在画像データＩｂ（ｔ）とノイズ除去画像データＮＲＩｂ１（ｔ）との差分画像データＤＩｂ（ｔ）を生成し（ステップＳ１７７１）、差分画像データＤＩｂ（ｔ）から残像発生領域１５００を検出する（ステップＳ１７７２）。

そして、残像低減処理部１００１は、残像発生領域１５００と同じ位置の画像データ１５０１を現在画像データＩｂ（ｔ）から抽出して、ノイズ除去画像データＮＲＩｂ１（ｔ）に合成することで、ノイズ除去画像データＮＲＩｂ２（ｔ）を生成し、残像Ａ（ｔ−１）を除去する（ステップＳ１７７３）。このあと、残像低減処理部１００１は、ノイズ除去画像データＮＲＩｂ２（ｔ）を出力画像データＩ_ｏｕｔとして表示デバイス１１０に出力し（ステップＳ３０８）、画像保存部２０４に出力する（ステップＳ３０９）。

このような処理を撮像が終了するまで、再帰的に実行することで、残像を連続的に目立たなくし、結果的に残像発生を抑制することができる。このように、残像を低減する範囲を、残像発生領域に絞り込むことができ、残像低減処理を効率的に実行することができる。換言すれば、残像が発生していない領域については残像低減処理を実行しなくて済むため、残像を低減しなくてもよい領域の残像低減処理を回避することができ、元の画像を維持することができる。

実施例７は、残像が発生しづらい動画を撮像する条件を調整することにより、残像を目立ちにくくする例である。

＜動画撮像例＞
図１８は、実施例７にかかる動画撮像例を示す説明図である。図１８は、ある被写体を動画撮像する例であり、矩形は、時間方向に連続する画像データ列、すなわち、動画像データである。また、フレームレートは、説明の便宜上、一例として３［ｆｐｓ］とする。また、時刻ｔ１〜ｔ３のうち時刻ｔ１が最古の時刻であり、時刻ｔ３が最新の時刻である。（Ａ）は、撮像条件が実施例７で調整されていない動画撮像例であり、（Ｂ）は、撮像条件が実施例７で調整された動画撮像例である。したがって、（Ａ），（Ｂ）ともに１／３［ｆｐｓ］で画像データが１枚生成される。

なお、符号の末尾には、時刻ｔ１〜ｔ３を区別するため、（ｔ１）〜（ｔ３）が付してあるが、時刻ｔ１〜ｔ３を区別しない場合は、単に、（ｔ）と表記する。時刻ｔ１〜ｔ３を区別しないも、単に、時刻ｔと表記する。

（Ａ）において、ｅｔ（ｔ）は露光時間である。ｇｐ（ｔ）は連続する露光時間の間のギャップ時間である。露光時間とは、シャッター（たとえば、ローリングシャッター）の開放状態から閉塞状態になるまで撮像素子１０５がレンズ系からの被写体光にさらされる時間である。

撮像装置１００は、被写体を時刻ｔ１〜ｔ３に撮像して、画像データＩａ（ｔ１），Ｉａ（ｔ２），Ｉａ（ｔ３）を生成する。画像データＩａ（ｔ１），Ｉａ（ｔ２），Ｉａ（ｔ３）はそれぞれ、被写体像ＯＢａ（ｔ１），ＯＢａ（ｔ２），ＯＢａ（ｔ３）を含む。

被写体を撮像する場合、まず、撮像装置１００は、時刻ｔから始まる１／３［ｓ］の間で、時刻ｔから始まる露光時間ｅｔ（ｔ）で露光する。つぎに、撮像装置１００は、露光時間ｅｔ（ｔ）経過後のギャップ時間ｇｐ（ｔ）で、撮像素子１０５からアナログの電気信号を読み出して、ＡＦＥ１０６が信号処理を実行する。これにより、画像データＩａ（ｔ）が生成される。

撮像装置１００は、時刻ｔごとに再帰的にノイズ除去を実行する。たとえば、時刻ｔ３では、撮像装置１００は、時刻ｔ３で得られる画像データＩａ（ｔ３）についてノイズ除去を実行する。具体的には、たとえば、撮像装置１００は、画像データＩａ（ｔ２）からノイズが除去されたノイズ除去画像データと、画像データＩａ（ｔ３）との重み付き平均をとることにより、画像データＩａ（ｔ３）からノイズが除去されたノイズ除去画像データＮＲＩａ（ｔ３）を生成する。

ノイズ除去画像データＮＲＩａ（ｔ３）において、残像Ａａ（ｔ２），Ａａ（ｔ１）は、再帰的なノイズ除去により画像データＩａ（ｔ２），Ｉａ（ｔ１）内の被写体像ＯＢａ（ｔ２），ＯＢａ（ｔ１）から引き継がれた画像データであり、古い時刻の被写体像ＯＢａ（ｔ２），ＯＢａ（ｔ１）ほど薄くなる。

また、ノイズ除去画像データＮＲＩａ（ｔ３）では、被写体像ＯＢａ（ｔ３）および残像Ａａ（ｔ２），Ａａ（ｔ１）が被写体の移動方向に離散的に出現するため、被写体の動きが不自然な映像となる。すなわち、露光時間ｅｔ（ｔ）が短いと、露光していない時間であるギャップ時間ｇｐ（ｔ）が相対的に長くなり、前後の画像にずれが生じて不連続さが目立つ。

（Ｂ）において、ＥＴ（ｔ）は露光時間である。ＧＰ（ｔ）は連続する露光時間の間のギャップ時間である。露光時間ＥＴ（ｔ）は、本実施例７による撮像条件設定により、露光時間ｅｔ（ｔ）よりも長くなり、これにより、ギャップ時間ＧＰ（ｔ）は、ギャップ時間ｇｐ（ｔ）よりも短くなる。

撮像装置１００は、被写体を時刻ｔ１〜ｔ３に撮像して、画像データＩｂ（ｔ１），Ｉｂ（ｔ２），Ｉｂ（ｔ３）を生成する。画像データＩｂ（ｔ１），Ｉｂ（ｔ２），Ｉｂ（ｔ３）はそれぞれ、被写体像ＯＢｂ（ｔ１），ＯＢｂ（ｔ２），ＯＢｂ（ｔ３）を含む。

被写体を撮像する場合、まず、撮像装置１００は、時刻ｔから始まる１／３［ｓ］の間で、時刻ｔから始まる露光時間ＥＴ（ｔ）で露光する。つぎに、撮像装置１００は、露光時間ＥＴ（ｔ）経過後のギャップ時間ＧＰ（ｔ）で、撮像素子１０５からアナログの電気信号を読み出して、ＡＦＥ１０６が信号処理を実行する。これにより、画像データＩｂ（ｔ）が生成される。

露光時間ＥＴ（ｔ）は、（Ａ）の露光時間ｅｔ（ｔ）よりも長いため、被写体が動いている様子を撮像することができる。この場合、画像データＩｂ（ｔ）は、被写体が左から右に移動する様子として、被写体像ＯＢｂ（ｔ）と被写体像ＯＢｂ（ｔ）に追従する軌跡ＴＪ（ｔ）とを含む。軌跡ＴＪ（ｔ）は、露光時間ＥＴ（ｔ）の経過にともなって得られる被写体像ＯＢｂ（ｔ）の時系列な残像である。

撮像装置１００は、時刻ｔごとに再帰的にノイズ除去を実行する。たとえば、時刻ｔ３では、撮像装置１００は、時刻ｔ３で得られる画像データＩｂ（ｔ３）についてノイズ除去を実行する。具体的には、たとえば、撮像装置１００は、画像データＩｂ（ｔ２）からノイズが除去されたノイズ除去画像データと、画像データＩｂ（ｔ３）との重み付き平均をとることにより、画像データＩｂ（ｔ３）からノイズが除去されたノイズ除去画像データＮＲＩｂ（ｔ３）を生成する。

ノイズ除去画像データＮＲＩｂ（ｔ３）において、残像Ａｂ（ｔ２），Ａｂ（ｔ１）は、再帰的なノイズ除去により画像データＩｂ（ｔ２），Ｉｂ（ｔ１）内の被写体像ＯＢａ（ｔ２），ＯＢａ（ｔ１）の軌跡ＴＪ（ｔ２），ＴＪ（ｔ１）から引き継がれた画像データであり、古い時刻の被写体像ＯＢｂ（ｔ２），ＯＢｂ（ｔ１）ほど薄くなる。

ノイズ除去画像データＮＲＩｂ（ｔ３）では、被写体像ＯＢｂ（ｔ３）とその軌跡ＴＪ（ｔ３）および残像Ａｂ（ｔ２），Ａｂ（ｔ１）が被写体の移動方向に連続的に出現するため、被写体の動きが自然な映像となる。すなわち、露光時間ＥＴ（ｔ）が露光時間ｅｔ（ｔ）よりも短いと、露光していない時間であるギャップ時間ＧＰ（ｔ）が相対的に短くなり、前後の画像のずれが低減され不連続さが目立たなくなる。

＜撮像装置１００の機能的構成例＞
図１９は、実施例７にかかる撮像装置１００の機能的構成例を示すブロック図である。撮像装置１００は、変換テーブル１９００と、入力部１９０１と、設定部１９０２と、調整部１９０３と、撮像部１２０と、画像処理部１９０５と、を有する。変換テーブル１９００は、具体的には、たとえば、図１に示した記憶デバイス１０２により実現される。また、入力部１９０１、設定部１９０２、調整部１９０３、および画像処理部１９０５は、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムをプロセッサ１０１に実行させることにより、または、ＬＳＩ１０７により実現される。

変換テーブル１９００は、第１撮像条件を第２撮像条件に変換するテーブルである。第１撮像条件１９５２は、デフォルトの撮像条件であり、たとえば、フレームレート１９５１に応じた露光時間である。撮像装置１００において、たとえば、フレームレート１９５１が「ＦＲｉ」に設定されると、露光時間は、「ｅｔｉ」に設定される。図１８の例では、（Ａ）においてフレームレート１９５１が、３［ｆｐｓ］である場合、露光時間は、ｅｔ（ｔ）となる。

第２撮像条件１９５３とは、残像を低減させるための撮像条件であり、第１撮像条件１９５２に対応する。たとえば、第２撮像条件１９５３であるＦＣｉは、フレームレート１９５１がＦＲｉの場合のデフォルトの露光時間ｅｔｉよりも長い露光時間ＥＴｉとする。また、露光時間がｅｔｉからＥＴｉに延長されたことによる露出オーバーを抑制するため、第２撮像条件１９５３であるＦＣｉは、ＩＳＯ感度の低下量（低下後のＩＳＯ感度でもよい）を含んでもよい。

入力部１９０１は、被写体を撮像する際のフレームレート１９５１の入力を操作デバイス１０８から受け付ける。なお、入力部１９０１は、撮影モードが操作デバイス１０８から選択されることで、当該撮影モードで規定されるフレームレート１９５１を受け付けてもよい。なお、撮影モードによっては同じフレームレート１９５１でも露光時間が異なる場合がある。

設定部１９０２は、入力部１９０１によって入力されたフレームレート１９５１および当該フレームレート１９５１に対応する露光時間に基づいて、残像を低減する第２撮像条件１９５３を設定する。具体的には、たとえば、設定部１９０２は、入力部１９０１からのフレームレート１９５１に対応する第２撮像条件１９５３を変換テーブル１９００から読み出す。入力部１９０１からフレームレート１９５１のみが与えられた場合には、第１撮像条件１９５２の露光時間はデフォルトの露光時間として、設定部１９０２は、対応する第２撮像条件１９５３を変換テーブル１９００から読み出す。

また、入力部１９０１からの撮影モードによりフレームレート１９５１および露光時間が指定されている場合には、設定部１９０２は、当該フレームレート１９５１および露光時間に対応する第２撮像条件１９５３を変換テーブル１９００から読み出す。また、第２撮像条件１９５３にＩＳＯ感度の低下量（または低下後のＩＳＯ感度）が含まれている場合、設定部１９０２は、当該ＩＳＯ感度の低下量（または低下後のＩＳＯ感度）も読みだす。

調整部１９０３は、入力部１９０１によって入力されたフレームレート１９５１に対応する露光時間から、当該露光時間よりも長い露光時間に調整する。具体的には、たとえば、図１８に示したように、調整部１９０３は、たとえば、フレームレート１９５１が３［ｆｐｓ］でその露光時間がｅｔ（ｔ）とすると、露光時間ｅｔ（ｔ）を変換テーブル１９００から得られた露光時間ＥＴ（ｔ）に変更する。

撮像部１２０は、フレームレート１９５１および調整部１９０３によって調整された露光時間に基づいて、被写体を撮像して、時間方向に連続する画像データ列を出力する。具体的には、たとえば、撮像部１２０は、図１８の（Ｂ）に示したような画像データＩｂ（ｔ）を生成する。

画像処理部１９０５は、撮像部１２０からの画像データＩｂ（ｔ）を、画像処理する。具体的には、たとえば、画像処理部１９０５は、実施例１〜６に示した取得部２０１、算出部２０２、除去部２０３、画像保存部２０４、および第１メモリ２０５により構成される。したがって、実施例１で示した再帰的ノイズ処理により、図１８の（Ｂ）に示したようなノイズ除去画像データＮＲＩｂ（ｔ３）を生成する。

＜撮像処理手順例＞
図２０は、撮像装置１００による撮像処理手順例を示すフローチャートである。撮像装置１００は、入力部１９０１によりフレームレート１９５１の入力を受け付け（ステップＳ２００１）、設定部１９０２により第２撮像条件１９５３を設定する（ステップＳ２００２）。

撮像装置１００は、調整部１９０３により第２撮像条件１９５３で露光時間を調整し（ステップＳ２００３）、撮像部１２０により被写体を撮像して画像データ列を生成する（ステップＳ２００４）。撮像装置１００は、画像処理部１９０５により、実施例１〜６に示した再帰的ノイズ除去処理（図３、図７、図９、図１２、図１４、図１７）を含む画像処理を実行する（ステップＳ２００５）。なお、画像処理（ステップＳ２００５）は、図５に示したような再帰的ノイズ除去処理を含んでもよい。

なお、上述の例では、光量情報である露光時間を調整対象としたが、調整対象となる光量情報は露光時間に限らず、Ｆ値やＩＳＯ感度でもよい。Ｆ値を調整対象とした場合、第１撮像条件１９５２の露光時間がＦ値となり、第２撮像条件１９５３の露光時間が、第１撮像条件１９５２のＦ値よりも値が小さいＦ値となる。この場合も露出オーバーを低減するため、第２撮像条件１９５３に、デフォルトの露光時間よりも短くしたり、ＩＳＯ感度を低くしたりする値を含めればよい。

また、ＩＳＯ感度を調整対象とした場合、第１撮像条件１９５２の露光時間がＩＳＯ感度となり、第２撮像条件１９５３の露光時間が、第１撮像条件１９５２のＩＳＯ感度よりも高いＩＳＯ感度となる。この場合も露出オーバーを低減するため、第２撮像条件１９５３に、デフォルトの露光時間よりも短くしたり、Ｆ値を大きくしたりする値を含めればよい。

このように、実施例７によれば、残像が目立ちにくい画像データ列を生成することができる。また、これらの画像データ列を画像処理部１９０５に適用することにより、実施例１〜６のようなノイズ除去結果を再帰的に得ることができる。

１００ 撮像装置、１０１ プロセッサ、１０２ 記憶デバイス、１０５ 撮像素子、１２０ 撮像部、２００ 画像処理装置、２０１ 取得部、２０２ 算出部、２０３ 除去部、２０４ 画像保存部、２０５ 第１メモリ、２２１ 重み計算部、２２２ 重み調整部、２２３ 重み保存部、２２４ 第２メモリ、６０２ 算出部、６２１ 空間情報抽出部、６２２ 重み計算部、８０２ 算出部、１００１ 残像低減処理部、１００２ ノイズ除去処理部、１９００ 変換テーブル、１９０１ 入力部、１９０２ 設定部、１９０３ 調整部、１９０５ 画像処理部

Claims (20)

1. 被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データと前記第２画像データよりも時間的に後の第３画像データとを出力する撮像部と、
   前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みをする算出部と、
   前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、
   を有する撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記撮像部は、前記被写体を撮像して、前記第３画像データよりも時間的に後の前記被写体の第４画像データを出力し、
   前記算出部は、前記除去部によって前記第３画像データからノイズ除去された第３ノイズ除去画像データおよび前記第４画像データに基づいて、前記第３画像データの第４重みを算出し、前記第３重みおよび前記第４重みに基づいて、第５重みを算出し、
   前記除去部は、前記算出部によって算出された第５重みに基づいて、前記第４画像データのノイズを除去する、撮像装置。
3. 被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、
   前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部と、
   前記抽出部によって抽出された第１空間情報に基づいて、前記第１画像データの第１重みを算出する算出部と、
   前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
   を有する撮像装置。
4. 請求項３に記載の撮像装置であって、
   前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
   前記抽出部は、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データの少なくとも一方から、第２空間情報を抽出し、
   前記算出部は、前記抽出部によって抽出された第２空間情報および前記第１重みに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
   前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データのノイズを除去する、撮像装置。
5. 被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、
   前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
   前記第２画像データ内の残像を低減する残像低減処理部と、
   前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第２画像データからノイズを除去する除去部と、
   を有する撮像装置。
6. 請求項５に記載の撮像装置であって、
   前記残像低減処理部は、ローパスフィルタを用いて、前記第２画像データ内の残像を低減する、撮像装置。
7. 請求項５に記載の撮像装置であって、
   前記残像低減処理部は、前記第１画像データと前記第２画像データとを合成し、合成された画像データにおいて、前記第１画像データ内の被写体像と前記第２画像データ内の被写体像との間を補間する、撮像装置。
8. 請求項５に記載の撮像装置であって、
   前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
   前記算出部は、前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
   前記残像低減処理部は、前記第３画像データ内の残像を低減し、
   前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記残像低減処理部による残像低減処理済みの第３画像データからノイズを除去する、撮像装置。
9. 請求項５に記載の撮像装置であって、
   前記第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部を有し、
   前記算出部は、前記抽出部によって抽出された第１空間情報に基づいて、前記第１重みを算出する、撮像装置。
10. 被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、
    前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
    前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
    前記除去部によって前記第２画像データからノイズ除去された第２ノイズ除去画像データ内の残像を低減する残像低減処理部と、
    を有する撮像装置。
11. 請求項１０に記載の撮像装置であって、
    前記残像低減処理部は、ローパスフィルタを用いて、前記第２ノイズ除去画像データ内の残像を低減する、撮像装置。
12. 請求項１０に記載の撮像装置であって、
    前記残像低減処理部は、前記第１ノイズ除去画像データと前記第２ノイズ除去画像データとを合成し、合成された画像データにおいて、前記第１ノイズ除去画像データ内の被写体像と前記第２ノイズ除去画像データ内の被写体像との間を補間する、撮像装置。
13. 請求項１０に記載の撮像装置であって、
    重みを調整する調整部を有し、
    前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
    前記算出部は、前記残像低減処理部による残像低減処理済みの第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
    前記除去部は、前記残像低減処理済みの第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データからノイズを除去し、
    前記残像低減処理部は、前記除去部によって前記第３画像データからノイズ除去された第３ノイズ除去画像データ内の残像を低減する、撮像装置。
14. 請求項１０に記載の撮像装置であって、
    前記第１ノイズ除去画像データおよび前記第２画像データの少なくとも一方から、画像に含まれる空間構造の特徴を示す第１空間情報を抽出する抽出部を有し、
    前記算出部は、前記抽出部によって抽出された第１空間情報に基づいて、前記第１重みを算出する、撮像装置。
15. 請求項１０に記載の撮像装置であって、
    前記残像低減処理部は、前記第１ノイズ除去画像データと前記第２画像データとの差分に基づいて、前記第２ノイズ除去画像データ内に存在する残像の画像データを検出し、前記残像の画像データを、前記残像の検出領域に対応する前記第２画像データ内の領域の画像データに置換する、撮像装置。
16. 被写体を撮像する際のフレームレートの入力を受け付ける入力部と、
    前記入力部によって入力されたフレームレートに対応する第１光量情報から前記第１光量情報よりも大きい第２光量情報に調整する調整部と、
    前記フレームレートおよび前記調整部によって調整された第２光量情報に基づいて、前記被写体を撮像して、第１画像データと前記第１画像データよりも時間的に後の第２画像データとを出力する撮像部と、
    前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出する算出部と、
    前記第１ノイズ除去画像データと、前記算出部によって算出された第１重みと、に基づいて、前記第２画像データからノイズを除去する除去部と、
    を有する撮像装置。
17. 請求項１６に記載の撮像装置であって、
    前記フレームレートおよび前記第１光量情報に基づいて、残像を低減する撮像条件を設定する設定部を有し、
    前記撮像部は、前記フレームレート、前記第２光量情報、および前記設定部によって設定された撮像条件に基づいて、前記被写体を撮像して、前記第１画像データおよび前記第２画像データを出力する、撮像装置。
18. 請求項１６に記載の撮像装置であって、
    重みを調整する調整部を有し、
    前記撮像部は、前記第２画像データよりも時間的に後の第３画像データを出力し、
    前記算出部は、前記除去部によってノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出し、
    前記除去部は、前記第２ノイズ除去画像データと、前記算出部によって算出された第３重みと、に基づいて、前記第３画像データからノイズを除去する、撮像装置。
19. 第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得部と、
    前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出部と、
    前記算出部によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去部と、
    を有する画像処理装置。
20. 第１画像データと前記第１画像データよりも時間的に後に撮像された第２画像データと前記第２画像データよりも時間的に後に撮像された第３画像データとを取得する取得処理と、
    前記第１画像データからノイズ除去された第１ノイズ除去画像データおよび前記第２画像データに基づいて、前記第１画像データの第１重みを算出し、前記第２画像データからノイズ除去された第２ノイズ除去画像データおよび前記第３画像データに基づいて、前記第２画像データの第２重みを算出し、前記第１重みおよび前記第２重みに基づいて、第３重みを算出する算出処理と、
    前記算出処理によって算出された第３重みに基づいて、前記第３画像データのノイズを除去する除去処理と、
    をプロセッサに実行させる画像処理プログラム。

Images