JP2008310666A - 画像処理装置およびこれを備えた撮像システム - Google Patents
画像処理装置およびこれを備えた撮像システム Download PDFInfo
- Publication number
- JP2008310666A JP2008310666A JP2007159044A JP2007159044A JP2008310666A JP 2008310666 A JP2008310666 A JP 2008310666A JP 2007159044 A JP2007159044 A JP 2007159044A JP 2007159044 A JP2007159044 A JP 2007159044A JP 2008310666 A JP2008310666 A JP 2008310666A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- video signal
- noise
- amount
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 28
- 238000006243 chemical reaction Methods 0.000 claims abstract description 121
- 238000000354 decomposition reaction Methods 0.000 claims description 30
- 238000000034 method Methods 0.000 claims description 26
- 230000003321 amplification Effects 0.000 claims description 14
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 9
- 238000011946 reduction process Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 11
- 238000005070 sampling Methods 0.000 description 23
- 238000000605 extraction Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000035945 sensitivity Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000007306 functionalization reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
【課題】変換後の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するためのメモリ容量を低減させることの可能な画像処理装置およびこれを備えた撮像システムを提供することを目的とする。
【解決手段】入力された第1の映像信号に含まれるノイズ量を前記第1の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定手段と、前記第1の映像信号を第2の映像信号に変換する変換手段と、前記第2の映像信号に含まれるノイズ量を、前記ノイズ量推定手段によって推定された前記第1の映像信号のノイズ量に基づいて算出する算出手段と、前記算出手段によって算出された前記第2の映像信号のノイズ量に基づいて前記第2の映像信号のノイズ低減を行うノイズ低減手段と、前記ノイズ低減手段によってノイズ低減された第2の映像信号を逆変換する逆変換手段と、を備える。
【選択図】図1
【解決手段】入力された第1の映像信号に含まれるノイズ量を前記第1の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定手段と、前記第1の映像信号を第2の映像信号に変換する変換手段と、前記第2の映像信号に含まれるノイズ量を、前記ノイズ量推定手段によって推定された前記第1の映像信号のノイズ量に基づいて算出する算出手段と、前記算出手段によって算出された前記第2の映像信号のノイズ量に基づいて前記第2の映像信号のノイズ低減を行うノイズ低減手段と、前記ノイズ低減手段によってノイズ低減された第2の映像信号を逆変換する逆変換手段と、を備える。
【選択図】図1
Description
本発明は、映像信号のノイズを低減する画像処理装置およびこれを備えた撮像システムに関するものである。
撮像素子とそれに付随するアナログ回路およびA/D変換器コンバータから得られるデジタル化された信号中には、一般的にノイズ成分が含まれている。このノイズ成分は、固定パターンノイズとランダムノイズに大別することができる。固定パターンノイズは、主に撮像素子に起因するノイズであり、欠陥画素などに代表される。一方、ランダムノイズは、撮像素子およびアナログ回路で発生するもので、ホワイトノイズに近い特性を有している。
ランダムノイズの除去方法に関しては、ノイズ量を信号レベルに対して関数化し、この関数から推定されるノイズ量に基づいて、フィルタリングの周波数特性を制御する手法が開示されている(例えば特許文献1参照)。
また、ノイズに影響を与える信号レベル、撮影時のCCDの温度、露光時間、およびゲイン等の要因を動的に取得することによってCCD上のノイズ量を局所的に推定し、推定したノイズ量以下の信号成分を抑制することにより、エッジを保存しながらノイズ低減処理を行う手法が開示されている(例えば特許文献2参照)。
特開2001−157057号公報
特開2004−72422号公報
また、ノイズに影響を与える信号レベル、撮影時のCCDの温度、露光時間、およびゲイン等の要因を動的に取得することによってCCD上のノイズ量を局所的に推定し、推定したノイズ量以下の信号成分を抑制することにより、エッジを保存しながらノイズ低減処理を行う手法が開示されている(例えば特許文献2参照)。
しかしながら、映像信号を周波数空間等複数の異なる空間に変換してノイズ低減を行う場合には、変換された各信号に対してノイズ量を推定する必要がある。そのため、変換された空間に対応したノイズ量推定の関数等を複数用意しなければならず、大きなメモリ容量が必要となるという問題があった。
本発明は、上記問題に鑑みてなされたもので、変換後の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するためのメモリ容量を低減させることの可能な画像処理装置およびこれを備えた撮像システムを提供することを目的とする。
上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係る画像処理装置は、入力された第1の映像信号に含まれるノイズ量を前記第1の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定手段と、前記第1の映像信号を第2の映像信号に変換する変換手段と、前記第2の映像信号に含まれるノイズ量を、前記ノイズ量推定手段によって推定された前記第1の映像信号のノイズ量に基づいて算出する算出手段と、前記算出手段によって算出された前記第2の映像信号のノイズ量に基づいて前記第2の映像信号のノイズ低減を行うノイズ低減手段と、前記ノイズ低減手段によってノイズ低減された第2の映像信号を逆変換する逆変換手段と、を備えることを特徴とする。
本発明に係る画像処理装置は、入力された第1の映像信号に含まれるノイズ量を前記第1の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定手段と、前記第1の映像信号を第2の映像信号に変換する変換手段と、前記第2の映像信号に含まれるノイズ量を、前記ノイズ量推定手段によって推定された前記第1の映像信号のノイズ量に基づいて算出する算出手段と、前記算出手段によって算出された前記第2の映像信号のノイズ量に基づいて前記第2の映像信号のノイズ低減を行うノイズ低減手段と、前記ノイズ低減手段によってノイズ低減された第2の映像信号を逆変換する逆変換手段と、を備えることを特徴とする。
本発明に係る画像処理装置によれば、変換前の映像信号である第1の映像信号に含まれるノイズ量を推定し、推定された第1の映像信号のノイズ量を用いて変換後の映像信号である第2の映像信号に含まれるノイズ量を算出する。また、算出された第2の映像信号に含まれるノイズ量を用いて第2の映像信号のノイズ低減を行い、ノイズ低減後の第2の映像信号を第1の映像信号に逆変換することで、第1の映像信号のノイズ低減が行われる。
以上のように、第1の映像信号に含まれるノイズ量に基づいて第2の映像信号のノイズ低減を行うことができるので、第2の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するためのメモリ量を節約することが可能となる。特に、例えば多重解像度変換等により、変換後の映像信号のデータ量が大きく増大する場合に有効である。
以上のように、第1の映像信号に含まれるノイズ量に基づいて第2の映像信号のノイズ低減を行うことができるので、第2の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するためのメモリ量を節約することが可能となる。特に、例えば多重解像度変換等により、変換後の映像信号のデータ量が大きく増大する場合に有効である。
本発明に係る撮像システムは、上記の画像処理装置を備えたことを特徴とする。
本発明に係る画像処理プログラムは、入力された第1の映像信号に含まれるノイズ量を前記第1の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定処理と、前記第1の映像信号を第2の映像信号に変換する変換処理と、前記第2の映像信号に含まれるノイズ量を、前記ノイズ量推定処理によって推定された前記第1の映像信号のノイズ量に基づいて算出する算出処理と、前記算出処理によって算出された前記第2の映像信号のノイズ量に基づいて前記第2の映像信号のノイズ低減を行うノイズ低減処理と、前記ノイズ低減処理によってノイズ低減された第2の映像信号を逆変換する逆変換処理と、をコンピュータに実行させることを特徴とする。
本発明に係る画像処理方法は、入力された第1の映像信号に含まれるノイズ量を前記第1の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定工程と、前記第1の映像信号を第2の映像信号に変換する変換工程と、前記第2の映像信号に含まれるノイズ量を、前記ノイズ量推定工程によって推定された前記第1の映像信号のノイズ量に基づいて算出する算出工程と、前記算出工程によって算出された前記第2の映像信号のノイズ量に基づいて前記第2の映像信号のノイズ低減を行うノイズ低減工程と、前記ノイズ低減工程によってノイズ低減された第2の映像信号を逆変換する逆変換工程と、を含むことを特徴とする。
本発明によれば、変換後の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するためのメモリ量を節約することが可能となる。
以下に、本発明の実施形態に係る撮像システムについて、図面を参照して説明する。
図1は本実施形態に係る撮像システムの概略構成図である。
撮像システム1は、撮像装置2と、画像処理装置3とを主な構成要素として備えている。
撮像装置2は、レンズ系100、絞り101、AFモータ102、およびCCD103を備えている。
画像処理装置3は、A/D変換器104、バッファ105、撮影制御部106、信号処理部107、ノイズ量推定部(ノイズ量推定手段)108、変換部(変換手段)109、算出部(算出手段)110、ノイズ低減部(ノイズ低減手段)111、逆変換部(逆変換手段)112、圧縮部113、出力部114、制御部115、および外部I/F部116を備えている。
図1は本実施形態に係る撮像システムの概略構成図である。
撮像システム1は、撮像装置2と、画像処理装置3とを主な構成要素として備えている。
撮像装置2は、レンズ系100、絞り101、AFモータ102、およびCCD103を備えている。
画像処理装置3は、A/D変換器104、バッファ105、撮影制御部106、信号処理部107、ノイズ量推定部(ノイズ量推定手段)108、変換部(変換手段)109、算出部(算出手段)110、ノイズ低減部(ノイズ低減手段)111、逆変換部(逆変換手段)112、圧縮部113、出力部114、制御部115、および外部I/F部116を備えている。
撮像装置2と画像処理装置3とは、画像処理装置3内のA/D変換器104および撮影制御部106を介して接続している。
撮像装置2に接続されたA/D変換器104は、バッファ105に接続している。バッファ105は、撮影制御部106および信号処理部107に接続している。信号処理部107は、ノイズ量推定部108および変換部109へ接続している。変換部109はノイズ低減部111へ接続しており、ノイズ低減部111は逆変換部112へ接続している。ノイズ量推定部108は算出部110へ接続しており、算出部110はノイズ低減部111へ接続している。逆変換部112は圧縮部113へ接続しており、圧縮部113は出力部114へ接続している。マイクロコンピュータなどの制御部115は、撮影制御部106、信号処理部107、ノイズ量推定部108、変換部109、算出部110、ノイズ低減部111、逆変換部112、および圧縮部113と双方向に接続している。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部116も制御部115と双方向に接続している。
また、撮影制御部106は、撮像装置2内の絞り101、AFモータ102、およびCCD103へ接続している。
撮像装置2に接続されたA/D変換器104は、バッファ105に接続している。バッファ105は、撮影制御部106および信号処理部107に接続している。信号処理部107は、ノイズ量推定部108および変換部109へ接続している。変換部109はノイズ低減部111へ接続しており、ノイズ低減部111は逆変換部112へ接続している。ノイズ量推定部108は算出部110へ接続しており、算出部110はノイズ低減部111へ接続している。逆変換部112は圧縮部113へ接続しており、圧縮部113は出力部114へ接続している。マイクロコンピュータなどの制御部115は、撮影制御部106、信号処理部107、ノイズ量推定部108、変換部109、算出部110、ノイズ低減部111、逆変換部112、および圧縮部113と双方向に接続している。さらに、電源スイッチ、シャッターボタン、撮影時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部116も制御部115と双方向に接続している。
また、撮影制御部106は、撮像装置2内の絞り101、AFモータ102、およびCCD103へ接続している。
上記構成を有する撮像システム1において、まず、撮像システム1全体の信号の流れについて以下に説明する。
撮像システム1は、ユーザまたは図示しない外部入力部によって、外部I/F部116を介してISO感度、露出などの撮影条件が設定された後、図示しないシャッターボタンが半押しにされることでプリ撮影モードとなる。
上記の状態において、レンズ系100、絞り101、CCD103を介して撮影された映像信号は、A/D変換器104にてデジタル信号へ変換されてバッファ105へ転送される。なお、本実施形態においてCCD103はRGB原色系の単板CCDを想定し、A/D変換器104による信号の階調幅を例えば12bitとする。
撮像システム1は、ユーザまたは図示しない外部入力部によって、外部I/F部116を介してISO感度、露出などの撮影条件が設定された後、図示しないシャッターボタンが半押しにされることでプリ撮影モードとなる。
上記の状態において、レンズ系100、絞り101、CCD103を介して撮影された映像信号は、A/D変換器104にてデジタル信号へ変換されてバッファ105へ転送される。なお、本実施形態においてCCD103はRGB原色系の単板CCDを想定し、A/D変換器104による信号の階調幅を例えば12bitとする。
バッファ105内の映像信号は撮影制御部106へ転送される。撮影制御部106は映像信号のAFエリア内のコントラスト情報を検出し、これが最大となるようにAFモータ102を制御することで合焦信号を得て距離情報が取得される。あるいは、プリ撮影時に映像信号を取得せず、図示しない外部赤外線センサを用いて主要被写体との距離を測定し、それに応じてAFモータ102を制御し、合焦位置における距離情報を得てもよい。
撮影制御部106は、信号中の輝度レベルや図示しない輝度センサを用いて適正露光となるように、絞り101およびCCD103の電子シャッター速度などを制御する。
次に、外部I/F部116を介して図示しないシャッターボタンが全押しにされることにより本撮影が行われる。本撮影は、撮影制御部106にて求められた合焦条件および露光条件に基づいて行われ、これら撮影時の各種設定情報は制御部115へ転送されるとともに、撮像装置2からの映像信号は、バッファ105に転送される。
信号処理部107は、制御部115の制御に基づいてバッファ105上の単板状態の映像信号を読み込み、公知の補間処理やホワイトバランス処理などを行うことによって三板状態の映像信号を生成し、この三板状態の映像信号をノイズ量推定部108および変換部109へ転送する。
変換部109は、信号処理部107からの映像信号を異なる空間における信号に変換し、変換後の映像信号をノイズ低減部111に転送する。
一方、ノイズ量推定部108は、信号処理部107からの映像信号で表される画像に含まれるノイズ量を推定し、その推定結果を算出部110へ転送する。算出部110は、ノイズ量推定部108にて推定されたノイズ量を異なる空間におけるノイズ量に変換し、ノイズ低減部111に出力する。
ノイズ低減部111は、算出部110のノイズ量の情報を用いて変換部109からの映像信号に対してノイズ低減処理を実施する。
一方、ノイズ量推定部108は、信号処理部107からの映像信号で表される画像に含まれるノイズ量を推定し、その推定結果を算出部110へ転送する。算出部110は、ノイズ量推定部108にて推定されたノイズ量を異なる空間におけるノイズ量に変換し、ノイズ低減部111に出力する。
ノイズ低減部111は、算出部110のノイズ量の情報を用いて変換部109からの映像信号に対してノイズ低減処理を実施する。
ノイズ低減が行われた映像信号は、逆変換部112へ転送され、逆変換部112にて実空間における信号に逆変換される。
圧縮部113は、逆変換部112から転送された信号に対して公知のJPEG等の圧縮処理を行い、出力部114へ転送し、出力部114によりメモリカード等へ圧縮信号が記録保存される。
次に、図1に示す各部の詳細な処理について以下に説明する。
まず、ノイズ量推定部108における詳細な処理について、図2を用いて説明する。
図2に示すように、ノイズ量推定部108は、局所領域抽出部(画像領域抽出手段)200、バッファ201、平均輝度算出部(平均値算出手段)202、ゲイン算出部(増幅率算出手段)203、標準値付与部(標準値付与手段)204、ノイズ量算出部(ノイズ量算出手段)205、およびパラメータ用ROM206を備えている。
まず、ノイズ量推定部108における詳細な処理について、図2を用いて説明する。
図2に示すように、ノイズ量推定部108は、局所領域抽出部(画像領域抽出手段)200、バッファ201、平均輝度算出部(平均値算出手段)202、ゲイン算出部(増幅率算出手段)203、標準値付与部(標準値付与手段)204、ノイズ量算出部(ノイズ量算出手段)205、およびパラメータ用ROM206を備えている。
信号処理部107は、局所領域抽出部200、バッファ201、平均輝度算出部202を介してノイズ量算出部205に接続している。ノイズ量算出部205には、ゲイン算出部203、標準値付与部204およびパラメータ用ROM206からも接続されている。また、ノイズ量算出部205は算出部110へ接続している。
制御部115は、局所領域抽出部200、平均輝度算出部202、ゲイン算出部203、標準値付与部204、ノイズ量算出部205と双方向に接続している。
制御部115は、局所領域抽出部200、平均輝度算出部202、ゲイン算出部203、標準値付与部204、ノイズ量算出部205と双方向に接続している。
上記構成を有するノイズ量推定部108における処理について以下に説明する。
まず、ゲイン算出部203は、制御部115の制御により、外部I/F部110を介して設定されたISO感度に基づいてゲインの増幅率を求め、これをノイズ量算出部205へ転送する。ここで、本実施形態では、例えばISO感度は100、200、400の三段階を想定し、各々の増幅率を1、2、4倍と設定する。
なお、ISO感度の情報が得られなかった場合には、制御部115は、標準値付与部204に対して所定の増幅率、例えばISO感度100に対応する1倍の増幅率をノイズ量算出部205へ転送する。
まず、ゲイン算出部203は、制御部115の制御により、外部I/F部110を介して設定されたISO感度に基づいてゲインの増幅率を求め、これをノイズ量算出部205へ転送する。ここで、本実施形態では、例えばISO感度は100、200、400の三段階を想定し、各々の増幅率を1、2、4倍と設定する。
なお、ISO感度の情報が得られなかった場合には、制御部115は、標準値付与部204に対して所定の増幅率、例えばISO感度100に対応する1倍の増幅率をノイズ量算出部205へ転送する。
ノイズ量算出部205は、制御部115の制御により、ゲイン算出部203または標準値付与部204からの増幅率に基づいてパラメータ用ROM206からノイズ量算出に用いる関数情報を求める。
図3は、パラメータ用ROM206に記録されているノイズ量算出に用いる関数情報を説明する図である。ノイズ量Nは、輝度値Yに対してべき乗の形態で増加する。これを関数でモデル化すると(1)式のようになる。
N=αYβ+γ・・・(1)
ここで、α、β、γは定数である。さらに、ノイズ量はゲイン増幅率により増減することになる。
N=αYβ+γ・・・(1)
ここで、α、β、γは定数である。さらに、ノイズ量はゲイン増幅率により増減することになる。
図3に示す3本のグラフは、ISO感度100、200、400の三段階に関するノイズ量と輝度値の関係を示している。増幅率による差を考慮して(1)式を拡張すると、以下の(2)式のようになる。
N=αiYβi+γi・・・(2)
ここで、iは増幅率を示すパラメータで、本実施形態ではi=1,2,4となる。パラメータ用ROM206にはαi,βi,γiの定数項が記録される。
N=αiYβi+γi・・・(2)
ここで、iは増幅率を示すパラメータで、本実施形態ではi=1,2,4となる。パラメータ用ROM206にはαi,βi,γiの定数項が記録される。
ノイズ量算出部205は、ゲイン算出部203または標準値付与部204からの増幅率に基づいてパラメータ用ROM206から上記αi,βi,γiの定数項を読み出す。
上記過程は、1枚の映像信号に関して1回のみ行われる。
上記過程は、1枚の映像信号に関して1回のみ行われる。
制御部115は、局所領域抽出部200を制御し、バッファ103上にある映像信号で表される画像から所定サイズの領域、例えば5×5画素単位の領域の信号を抽出してバッファ201へ転送する。平均輝度算出部202は、制御部115の制御により、バッファ201上のRGB信号について、画素単位で例えば以下の(3)式に示されるような輝度信号Yを求める。
Y=0.299R+0.587G+0.114B・・・(3)
Y=0.299R+0.587G+0.114B・・・(3)
領域内の画素単位で上記輝度信号を算出し、さらにその平均値を求め、これをノイズ量算出部205へ転送する。ノイズ量算出部205は、転送された平均輝度から(2)式に基づいてノイズ量を算出し、算出したノイズ量を算出部110へ転送する。ここで、上記のノイズ量は、局所領域抽出部200で抽出された領域の中心画素のノイズ量と仮定される。この際、制御部115は、局所領域抽出部200に対して所定サイズの領域を水平及び垂直方向に1画素単位で移動しながら全映像信号からノイズ量を算出するように制御を行う。
上述の処理により、ノイズ量推定部108において映像信号のノイズ量が推定される。
上述の処理により、ノイズ量推定部108において映像信号のノイズ量が推定される。
次に、変換部109における詳細な処理について図4を用いて説明する。
図4に示すように、変換部109は、バッファ300、周波数変換部(周波数変換手段)301、多重解像度分解部(多重解像度分解手段)302、色変換部(色変換手段)303、およびバッファ304を備えている。なお、本実施形態の説明では、変換部109が周波数変換部301,多重解像度分解部302および色変換部303を備えているものとして説明するが、変換部109は、周波数変換部301,多重解像度分解部302および色変換部303のうち少なくとも1つ以上を備えていればよい。
信号処理部107に接続するバッファ300は、周波数変換部301、多重解像度分解部302、および色変換部303に接続している。また、周波数変換部301、多重解像度分解部302、および色変換部303は、バッファ304に接続している。このバッファ304はノイズ低減部111に接続している。また、制御部115は、周波数変換部301、多重解像度分解部302、および色変換部303と双方向に接続している。
図4に示すように、変換部109は、バッファ300、周波数変換部(周波数変換手段)301、多重解像度分解部(多重解像度分解手段)302、色変換部(色変換手段)303、およびバッファ304を備えている。なお、本実施形態の説明では、変換部109が周波数変換部301,多重解像度分解部302および色変換部303を備えているものとして説明するが、変換部109は、周波数変換部301,多重解像度分解部302および色変換部303のうち少なくとも1つ以上を備えていればよい。
信号処理部107に接続するバッファ300は、周波数変換部301、多重解像度分解部302、および色変換部303に接続している。また、周波数変換部301、多重解像度分解部302、および色変換部303は、バッファ304に接続している。このバッファ304はノイズ低減部111に接続している。また、制御部115は、周波数変換部301、多重解像度分解部302、および色変換部303と双方向に接続している。
上記構成を有する変換部109における処理について以下に説明する。
信号処理部107で処理された映像信号は、バッファ300に転送される。
周波数変換部301は、バッファ300から転送された映像信号I(k,l)(0≦k≦K−1,0≦l≦L−1は映像信号中の座標)を、例えば(4)式に示される周波数空間における信号I‘(u,v)(u,vは周波数空間における座標)に変換する。
信号処理部107で処理された映像信号は、バッファ300に転送される。
周波数変換部301は、バッファ300から転送された映像信号I(k,l)(0≦k≦K−1,0≦l≦L−1は映像信号中の座標)を、例えば(4)式に示される周波数空間における信号I‘(u,v)(u,vは周波数空間における座標)に変換する。
ここで、C(u),C(v)は規格化定数である。
多重解像度分解部302は、バッファ300から転送された映像信号I(k,l)を多重解像度空間における信号に変換する。多重解像度分解としては、例えば、HaarやDaubechiesの基底あるいはガウシアンフィルタやラプラシアンフィルタが用いられる。Haarの基底係数の場合、ハイパスフィルタ係数fhおよびローパスフィルタ係数flは(5)式のようになる。
fh={1/2,−1/2}
fl={1/2,1/2}・・・(5)
fh={1/2,−1/2}
fl={1/2,1/2}・・・(5)
ここで、多重解像度分解部302の詳細な処理について図7および図8を用いて以下に説明する。
図7は、多重解像度分解の説明およびそれぞれの要素の名前を示している。
水平方向の要素はH、垂直方向の要素はV、対角方向の要素はD、低周波の要素はLとなっている。また、添え字は各要素のレベルを表している。
映像信号は後述する多重解像度分解によって図7に示される信号に変換される。
図7は、多重解像度分解の説明およびそれぞれの要素の名前を示している。
水平方向の要素はH、垂直方向の要素はV、対角方向の要素はD、低周波の要素はLとなっている。また、添え字は各要素のレベルを表している。
映像信号は後述する多重解像度分解によって図7に示される信号に変換される。
図8は、多重解像度分解部302の構成の一例を示すものである。
多重解像度分解部302は、バッファ600、フィルタ係数用ROM601、係数読み出し部602、水平方向ハイパスフィルタ部603、水平方向ローパスフィルタ部604、ダウンサンプル部605、ダウンサンプル部606、垂直方向ハイパスフィルタ部607、垂直方向ローパスフィルタ部608、垂直方向ハイパスフィルタ部609、垂直方向ローパスフィルタ部610、ダウンサンプル部611、ダウンサンプル部612、ダウンサンプル部613、ダウンサンプル部614、データ転送部615、および転送部616を備えている。
多重解像度分解部302は、バッファ600、フィルタ係数用ROM601、係数読み出し部602、水平方向ハイパスフィルタ部603、水平方向ローパスフィルタ部604、ダウンサンプル部605、ダウンサンプル部606、垂直方向ハイパスフィルタ部607、垂直方向ローパスフィルタ部608、垂直方向ハイパスフィルタ部609、垂直方向ローパスフィルタ部610、ダウンサンプル部611、ダウンサンプル部612、ダウンサンプル部613、ダウンサンプル部614、データ転送部615、および転送部616を備えている。
バッファ300はバッファ600に接続している。バッファ600は水平方向ハイパスフィルタ部603および水平方向ローパスフィルタ部604に接続している。水平方向ハイパスフィルタ部603はダウンサンプル部605に接続しており、水平方向ローパスフィルタ部604はダウンサンプル部606に接続している。ダウンサンプル部605は垂直方向ハイパスフィルタ部607および垂直方向ローパスフィルタ部608に接続している。ダウンサンプル部606は垂直方向ハイパスフィルタ部609および垂直方向ローパスフィルタ部610に接続している。垂直方向ハイパスフィルタ部607はダウンサンプル部611に接続しており、垂直方向ローパスフィルタ部608はダウンサンプル部612に接続している。垂直方向ハイパスフィルタ部609はダウンサンプル部613に接続しており、垂直方向ローパスフィルタ部610はダウンサンプル部614に接続している。ダウンサンプル部611、ダウンサンプル部612、ダウンサンプル部613およびダウンサンプル部614は転送部616に接続している。また、ダウンサンプル部614はデータ転送部615に接続している。転送部616はバッファ304に接続しており、データ転送部615はバッファ600に接続している。フィルタ係数用ROM601は係数読み出し部602と接続しており、係数読み出し部602は水平方向ハイパスフィルタ部603、水平方向ローパスフィルタ部604、垂直方向ハイパスフィルタ部607、垂直方向ローパスフィルタ部608、垂直方向ハイパスフィルタ部609および垂直方向ローパスフィルタ部610と接続している。制御部115は、係数読み出し部602、データ転送部615および転送部616と双方向に接続している。
上記構成を有する多重解像度分解部302における信号の流れを以下に説明する。
フィルタ係数用ROM601は、(5)式に示されるようなフィルタ係数を保持しており、係数読み出し部602は制御部115の制御の基でフィルタ係数用ROM601からフィルタ係数を読み出す。
フィルタ係数用ROM601は、(5)式に示されるようなフィルタ係数を保持しており、係数読み出し部602は制御部115の制御の基でフィルタ係数用ROM601からフィルタ係数を読み出す。
次に係数読み出し部602はハイパスフィルタ係数を水平方向ハイパスフィルタ部603、垂直方向ハイパスフィルタ部607および垂直方向ハイパスフィルタ部609に転送し、ローパスフィルタ係数を水平方向ローパスフィルタ部604、垂直方向ローパスフィルタ部608および垂直方向ローパスフィルタ部610に転送する。
バッファ600は、バッファ200から転送された映像信号を取得し、水平方向ハイパスフィルタ部603および水平方向ローパスフィルタ部604へ転送する。上記映像信号は水平方向ハイパスフィルタ部603にて水平方向にハイパス処理され、水平方向ローパスフィルタ部604にて水平方向にローパス処理される。
ダウンサンプル部605およびダウンサンプル部606は、水平方向ハイパスフィルタ部603および水平方向ローパスフィルタ部604から転送された映像信号をそれぞれ水平方向に1/2にダウンサンプリングする。
垂直方向ハイパスフィルタ部607はダウンサンプル部605から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部608はダウンサンプル部605から転送された信号に対して垂直方向にローパス処理を行う。
垂直方向ハイパスフィルタ部609はダウンサンプル部606から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部610はダウンサンプル部606から転送された信号に対して垂直方向にローパス処理を行う。
フィルタリング処理の後、信号はダウンサンプル部611、ダウンサンプル部612、ダウンサンプル部613およびダウンサンプル部614によって垂直方向にそれぞれ1/2にダウンサンプリングされる。図7の表記に従うと、ダウンサンプル部611の出力はD1、ダウンサンプル部612の出力はH1、ダウンサンプル部613の出力はV1、ダウンサンプル部614の出力は低周波成分のL1となる。
転送部616は制御部115の制御の基でD1、H1、V1、およびL1をバッファ203に転送する。データ転送部615は制御部115の制御に基づき低周波成分L1をバッファ600に転送する。バッファ600にある低周波成分L1は、上記と同様に、D2、H2、V2、およびL2にそれぞれ分解される。この分解処理は制御部115の制御によりM回の分解が行われる。最終的にバッファ203にはDi、Hi、Vi、およびLi(i=1〜M)が転送される。
色変換部303は、バッファ300から転送された映像信号の色空間を変換する。たとえば、映像信号がsRGBの規格に準じた映像信号の場合、色変換部303はsRGBの色空間からCIE−XYZ色空間への変換を(6)式に表される変換式で行う。
また、(7)式で表されるL*a*b*信号への変換を行ってもよい。
ただし、Xn、Yn、Znは標準光における完全拡散反射面における値である。関数fは、例えばf(X/Xn)で(8)式の通りである。
周波数変換部301、多重解像度分解部302、および色変換部303で変換された映像信号はバッファ304に転送され、バッファ304の映像信号はノイズ低減部111に転送される。
上述の処理により、変換部109において映像信号が異なる空間における信号に変換される。
上述の処理により、変換部109において映像信号が異なる空間における信号に変換される。
次に、算出部110における詳細な処理について図5を用いて説明する。
図5に示すように、算出部110は、バッファ400、周波数変換部401、多重解像度分解部402、色変換部403、およびバッファ404を備えている。なお、本実施形態の説明では、算出部110が周波数変換部401,多重解像度分解部402および色変換部403を備えているものとして説明するが、算出部110は、周波数変換部401,多重解像度分解部402および色変換部403のうち少なくとも1つ以上を備えていればよい。ただし,例えば変換部109に周波数変換部301が存在する場合、算出部110にも周波数変換部401が存在する必要があり、同様に、多重解像度分解部302が存在する場合には多重解像度分解部402が存在する必要があり、色変換部303が存在する場合には色変換部403が存在する必要がある。
ノイズ量推定部108はバッファ400に接続している。バッファ400は周波数変換部401、多重解像度分解部402および色変換部403に接続している。周波数変換部401、多重解像度分解部402および色変換部403はバッファ404に接続している。制御部115は、周波数変換部401、多重解像度分解部402および色変換部403と双方向に接続している。
図5に示すように、算出部110は、バッファ400、周波数変換部401、多重解像度分解部402、色変換部403、およびバッファ404を備えている。なお、本実施形態の説明では、算出部110が周波数変換部401,多重解像度分解部402および色変換部403を備えているものとして説明するが、算出部110は、周波数変換部401,多重解像度分解部402および色変換部403のうち少なくとも1つ以上を備えていればよい。ただし,例えば変換部109に周波数変換部301が存在する場合、算出部110にも周波数変換部401が存在する必要があり、同様に、多重解像度分解部302が存在する場合には多重解像度分解部402が存在する必要があり、色変換部303が存在する場合には色変換部403が存在する必要がある。
ノイズ量推定部108はバッファ400に接続している。バッファ400は周波数変換部401、多重解像度分解部402および色変換部403に接続している。周波数変換部401、多重解像度分解部402および色変換部403はバッファ404に接続している。制御部115は、周波数変換部401、多重解像度分解部402および色変換部403と双方向に接続している。
上記構成を有する算出部110における処理について以下に説明する。
ノイズ量推定部108で推定されたノイズ量はバッファ400に転送される。周波数変換部401はバッファ400から転送された実空間におけるノイズ量N(i,j)を(9)式に示される周波数空間におけるノイズ量N‘(u,v)に変換する。
ノイズ量推定部108で推定されたノイズ量はバッファ400に転送される。周波数変換部401はバッファ400から転送された実空間におけるノイズ量N(i,j)を(9)式に示される周波数空間におけるノイズ量N‘(u,v)に変換する。
ここでC‘(u)C’(v)は規格化定数である。
多重解像度分解部402は、バッファ300から転送された実空間におけるノイズ量を多重解像度空間におけるノイズ量に変換する。多重解像度分解の方法は前述の方法と同様に行われる。
色変換部403はバッファ300から転送されたある色空間におけるノイズ量を別の色空間におけるノイズ量に変換する。変換法は前述のとおりである。
上述の処理により、算出部110においてノイズ量推定部108にて推定されたノイズ量が異なる空間におけるノイズ量に変換される。
多重解像度分解部402は、バッファ300から転送された実空間におけるノイズ量を多重解像度空間におけるノイズ量に変換する。多重解像度分解の方法は前述の方法と同様に行われる。
色変換部403はバッファ300から転送されたある色空間におけるノイズ量を別の色空間におけるノイズ量に変換する。変換法は前述のとおりである。
上述の処理により、算出部110においてノイズ量推定部108にて推定されたノイズ量が異なる空間におけるノイズ量に変換される。
次に、ノイズ低減部111における詳細な処理について図6を用いて説明する。
図6に示すように、ノイズ低減部111は、局所領域抽出部500、バッファ501、スムージング部(スムージング手段)502、ゲイン算出部503、サイズ設定部(閾値設定部)505、およびフィルタ係数用ROM504を備えている。
変換部109は局所領域抽出部500に接続している。局所領域抽出部500はバッファ501に接続しており、バッファ501はスムージング部502に接続している。サイズ設定部505はスムージング部502に接続している。算出部110はサイズ設定部505に接続しており、ゲイン算出部503はサイズ設定部505に接続している。サイズ設定部505へはフィルタ係数用ROM504も接続されている。制御部115は局所領域抽出部500、スムージング部502、ゲイン算出部503、およびサイズ設定部505と双方向に接続している。
図6に示すように、ノイズ低減部111は、局所領域抽出部500、バッファ501、スムージング部(スムージング手段)502、ゲイン算出部503、サイズ設定部(閾値設定部)505、およびフィルタ係数用ROM504を備えている。
変換部109は局所領域抽出部500に接続している。局所領域抽出部500はバッファ501に接続しており、バッファ501はスムージング部502に接続している。サイズ設定部505はスムージング部502に接続している。算出部110はサイズ設定部505に接続しており、ゲイン算出部503はサイズ設定部505に接続している。サイズ設定部505へはフィルタ係数用ROM504も接続されている。制御部115は局所領域抽出部500、スムージング部502、ゲイン算出部503、およびサイズ設定部505と双方向に接続している。
上記構成を有するノイズ低減部111における処理について以下に説明する。
ゲイン算出部503は制御部109の制御により、外部I/F部116を介して設定されたISO感度に基づいてゲインの増幅率を求め、これをサイズ設定部505へ転送する。
サイズ設定部505は制御部115の制御に基づき算出部110から転送されたノイズ量の情報を元にフィルタ係数用ROM504からフィルタ処理に用いる係数を読み込む。
ゲイン算出部503は制御部109の制御により、外部I/F部116を介して設定されたISO感度に基づいてゲインの増幅率を求め、これをサイズ設定部505へ転送する。
サイズ設定部505は制御部115の制御に基づき算出部110から転送されたノイズ量の情報を元にフィルタ係数用ROM504からフィルタ処理に用いる係数を読み込む。
次に制御部115は、局所領域抽出部500を制御し、変換部109から転送される映像信号から注目画素を中心とした所定サイズの領域、例えば5×5画素単位の局所領域を抽出しバッファ501へ転送する。スムージング部502は、制御部115の制御に基づきバッファ501の領域に関して、サイズ設定部505から転送されるゲインおよびフィルタ係数の情報を用いて公知の平滑化処理を行う。制御部115は、局所領域抽出部500に対して所定サイズの領域を水平及び垂直方向に1画素単位で移動しながらフィルタ処理を行うように制御を行う。
上述の処理により、ノイズ低減部111において算出部110のノイズ量の情報を用いてノイズ低減が行われる。
上述の処理により、ノイズ低減部111において算出部110のノイズ量の情報を用いてノイズ低減が行われる。
次に、逆変換部112における詳細な処理について図9を用いて説明する。
図9に示すように、逆変換部112は、バッファ700、周波数逆変換部(周波数逆変換手段)701、多重解像度合成部(多重解像度合成手段)702、色逆変換部(色逆変換手段)703、およびバッファ704を備えている。なお、本実施形態の説明では、逆変換部112が周周波数逆変換部701,多重解像度合成部702および色逆変換部703を備えているものとして説明するが、逆変換部112は、周波数逆変換部701,多重解像度合成部702および色逆変換部703のうち少なくとも1つ以上を備えていればよい。ただし、例えば変換部109に周波数変換部301が存在する場合、逆変換部112にも周波数逆変換部701が存在する必要があり、同様に、多重解像度分解部302が存在する場合には多重解像度合成部702が存在する必要があり、色変換部303が存在する場合には色逆変換部703が存在する必要がある。
ノイズ低減部111はバッファ700に接続している。バッファ700は周波数逆変換部701、多重解像度合成部702および色逆変換部703に接続している。制御部115は周波数逆変換部701、多重解像度合成部702および色逆変換部703と双方向に接続している。
図9に示すように、逆変換部112は、バッファ700、周波数逆変換部(周波数逆変換手段)701、多重解像度合成部(多重解像度合成手段)702、色逆変換部(色逆変換手段)703、およびバッファ704を備えている。なお、本実施形態の説明では、逆変換部112が周周波数逆変換部701,多重解像度合成部702および色逆変換部703を備えているものとして説明するが、逆変換部112は、周波数逆変換部701,多重解像度合成部702および色逆変換部703のうち少なくとも1つ以上を備えていればよい。ただし、例えば変換部109に周波数変換部301が存在する場合、逆変換部112にも周波数逆変換部701が存在する必要があり、同様に、多重解像度分解部302が存在する場合には多重解像度合成部702が存在する必要があり、色変換部303が存在する場合には色逆変換部703が存在する必要がある。
ノイズ低減部111はバッファ700に接続している。バッファ700は周波数逆変換部701、多重解像度合成部702および色逆変換部703に接続している。制御部115は周波数逆変換部701、多重解像度合成部702および色逆変換部703と双方向に接続している。
上記構成を有する逆変換部112における処理について以下に説明する。
ノイズ低減部111でノイズ低減処理が行われた映像信号はバッファ700に転送される。
周波数逆変換部701はバッファ700から転送された映像信号J(u,v)(0≦u≦U−1,0≦v≦V−1は周波数空間における座標)を(10)式に示される実空間における映像信号J‘(k,l)(k,lは映像信号中の座標)に変換する。
ノイズ低減部111でノイズ低減処理が行われた映像信号はバッファ700に転送される。
周波数逆変換部701はバッファ700から転送された映像信号J(u,v)(0≦u≦U−1,0≦v≦V−1は周波数空間における座標)を(10)式に示される実空間における映像信号J‘(k,l)(k,lは映像信号中の座標)に変換する。
ただし、D(u)D(v)は規格化定数である。
多重解像度合成部702はバッファ700から転送された多重解像度空間における映像信号を実空間における映像信号に変換する。
ここで、多重解像度合成部702の詳細な処理について図10を用いて以下に説明する。
図10は多重解像度合成部702の構成の一例を示す。
多重解像度合成部702は、切り替え部800、フィルタ係数用ROM801、係数読み出し部802アップサンプル部803、アップサンプル部804、アップサンプル部805、アップサンプル部806、垂直方向ハイパスフィルタ部807、垂直方向ローパスフィルタ部808、垂直方向ハイパスフィルタ部809、垂直方向ローパスフィルタ部810、加算部811、加算部812、アップサンプル部813、アップサンプル部814、水平方向ハイパスフィルタ部815、水平方向ローパスフィルタ部816、加算部817、バッファ818、およびデータ転送部819を備えている。
図10は多重解像度合成部702の構成の一例を示す。
多重解像度合成部702は、切り替え部800、フィルタ係数用ROM801、係数読み出し部802アップサンプル部803、アップサンプル部804、アップサンプル部805、アップサンプル部806、垂直方向ハイパスフィルタ部807、垂直方向ローパスフィルタ部808、垂直方向ハイパスフィルタ部809、垂直方向ローパスフィルタ部810、加算部811、加算部812、アップサンプル部813、アップサンプル部814、水平方向ハイパスフィルタ部815、水平方向ローパスフィルタ部816、加算部817、バッファ818、およびデータ転送部819を備えている。
バッファ700は切り替え部800に接続している。切り替え部800はアップサンプル部803、アップサンプル部804、アップサンプル部805およびアップサンプル部806に接続している。アップサンプル部803は垂直方向ハイパスフィルタ部807に接続しており、アップサンプル部804は垂直方向ローパスフィルタ部808に接続している。アップサンプル部805は垂直方向ハイパスフィルタ部809に接続しており、アップサンプル部806は垂直方向ローパスフィルタ部810に接続している。垂直方向ハイパスフィルタ部807および垂直方向ローパスフィルタ部808は加算部811に接続している。垂直方向ハイパスフィルタ部809および垂直方向ローパスフィルタ部810は加算部812に接続している。加算部811はアップサンプル部813に接続しており、加算部812はアップサンプル部814に接続している。アップサンプル部813は水平方向ハイパスフィルタ部815に接続しており、アップサンプル部814は水平方向ローパスフィルタ部816に接続している。水平方向ハイパスフィルタ部および水平方向ローパスフィルタ部816は加算部817に接続している。加算部817はバッファ818に接続している。フィルタ係数用ROM801は係数読み出し部802に接続しており、係数読み出し部802は垂直方向ハイパスフィルタ部807、垂直方向ローパスフィルタ部808、垂直方向ハイパスフィルタ部809、垂直方向ローパスフィルタ部810、水平方向ハイパスフィルタ部815および水平方向ローパスフィルタ部816に接続している。バッファ818はデータ転送部819およびバッファ704に接続している。データ転送部819は切り替え部800に接続している。制御部115は係数読み出し部802およびデータ転送部と双方向に接続している。
上記構成を有する多重解像度合成部702における信号の流れを以下に説明する。
フィルタ係数用ROM801は(5)式に示されるようなフィルタ係数を保持しており、係数読み出し部802は制御部115の制御の基でフィルタ係数用ROM801からフィルタ係数を読み出す。
次に係数読み出し部802はハイパスフィルタ係数を垂直方向ハイパスフィルタ部807、垂直方向ハイパスフィルタ部809および水平方向ハイパスフィルタ部815に転送し、ローパスフィルタ係数を垂直方向ローパスフィルタ部808、垂直方向ローパスフィルタ部810および水平方向ローパスフィルタ部816に転送する。
切り替え部800はバッファ700からノイズ低減された信号D‘M、H’M、V‘MおよびL’Mを取得し、D‘Mをアップサンプル部803、H’Mをアップサンプル部804、V‘Mをアップサンプル部805、L’Mをアップサンプル部806へ転送する。
フィルタ係数用ROM801は(5)式に示されるようなフィルタ係数を保持しており、係数読み出し部802は制御部115の制御の基でフィルタ係数用ROM801からフィルタ係数を読み出す。
次に係数読み出し部802はハイパスフィルタ係数を垂直方向ハイパスフィルタ部807、垂直方向ハイパスフィルタ部809および水平方向ハイパスフィルタ部815に転送し、ローパスフィルタ係数を垂直方向ローパスフィルタ部808、垂直方向ローパスフィルタ部810および水平方向ローパスフィルタ部816に転送する。
切り替え部800はバッファ700からノイズ低減された信号D‘M、H’M、V‘MおよびL’Mを取得し、D‘Mをアップサンプル部803、H’Mをアップサンプル部804、V‘Mをアップサンプル部805、L’Mをアップサンプル部806へ転送する。
アップサンプル部803、アップサンプル部804、アップサンプル部805、およびアップサンプル部806は、切り替え部800から転送された信号を垂直方向に2倍にアップサンプリングする。
垂直方向ハイパスフィルタ部807は、アップサンプル部803から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部808は、アップサンプル部804から転送された信号に対して垂直方向にローパス処理を行う。
垂直方向ハイパスフィルタ部809は、アップサンプル部805から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部810は、アップサンプル部806から転送された信号に対して垂直方向にローパス処理を行う。
垂直方向ハイパスフィルタ部807は、アップサンプル部803から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部808は、アップサンプル部804から転送された信号に対して垂直方向にローパス処理を行う。
垂直方向ハイパスフィルタ部809は、アップサンプル部805から転送された信号に対して垂直方向にハイパス処理を行い、垂直方向ローパスフィルタ部810は、アップサンプル部806から転送された信号に対して垂直方向にローパス処理を行う。
フィルタリング処理の後、加算部811は垂直方向ハイパスフィルタ部807および垂直方向ローパスフィルタ部808から転送された信号を合成し、加算部812は垂直方向ハイパスフィルタ部809および垂直方向ローパスフィルタ部810から転送された信号を合成する。
アップサンプル部813は加算部811から転送された信号を水平方向に2倍にアップサンプリングし、アップサンプル部814は加算部812から転送された信号を水平方向に2倍にアップサンプリングする。
水平方向ハイパスフィルタ部815はアップサンプル部813から転送された信号に対して水平方向にハイパス処理を行い、水平方向ローパスフィルタ部816はアップサンプル部814から転送された信号に対して水平方向にローパス処理を行う。
アップサンプル部813は加算部811から転送された信号を水平方向に2倍にアップサンプリングし、アップサンプル部814は加算部812から転送された信号を水平方向に2倍にアップサンプリングする。
水平方向ハイパスフィルタ部815はアップサンプル部813から転送された信号に対して水平方向にハイパス処理を行い、水平方向ローパスフィルタ部816はアップサンプル部814から転送された信号に対して水平方向にローパス処理を行う。
加算部817は水平方向ハイパスフィルタ部815および水平方向ローパスフィルタ部816から転送された信号L‘M−1を合成し、バッファ818に転送する。
データ転送部819はバッファ818の信号L‘M−1を読み込み、切り替え部800に転送する。
次に切り替え部800はバッファ700からD‘M−1、H’M−1およびV‘M−1を取得し、アップサンプル部803にD’M−1を、アップサンプル部804にH‘M−1を、アップサンプル部805にV’M−1を、アップサンプル部806にL‘M−1をそれぞれ転送する。その後上記と同様の処理を行い、バッファ818には信号L’M−2が転送される。最終的に信号がL‘0になった時、バッファ818の信号L’0はバッファ704へ転送される。
データ転送部819はバッファ818の信号L‘M−1を読み込み、切り替え部800に転送する。
次に切り替え部800はバッファ700からD‘M−1、H’M−1およびV‘M−1を取得し、アップサンプル部803にD’M−1を、アップサンプル部804にH‘M−1を、アップサンプル部805にV’M−1を、アップサンプル部806にL‘M−1をそれぞれ転送する。その後上記と同様の処理を行い、バッファ818には信号L’M−2が転送される。最終的に信号がL‘0になった時、バッファ818の信号L’0はバッファ704へ転送される。
色逆変換部703は、バッファ700から転送された色空間の変換が行われた信号を元の色空間の信号に逆変換する。たとえば、バッファ700から転送された信号がCIE−XYZ色空間における信号であり、元の映像信号がsRGBの規格に準じた映像信号の場合、色逆変換部703はCIE−XYZの色空間からsRGBの色空間への変換を(11)式に表される変換式で行う。
なお、色空間はCIE−XYZである必要はなく、例えばL*a*b*信号でもよい。
上述の処理により、ノイズ低減が行われた信号は、逆変換部112にて実空間における信号に逆変換される。
以上の処理により、信号処理部107より出力された信号はノイズ低減が行われ、ノイズ低減済みの信号は出力部114へ転送される。
以上の処理により、信号処理部107より出力された信号はノイズ低減が行われ、ノイズ低減済みの信号は出力部114へ転送される。
このように、本実施形態に係る撮像システムによれば、変換前の映像信号に含まれるノイズ量を推定し、推定されたノイズ量を用いて変換後の映像信号に含まれるノイズ量を算出する。また、算出されたノイズ量を用いて変換後の映像信号のノイズ低減を行い、ノイズ低減後の映像信号を逆変換することで、ノイズ低減が行われる。
以上のように、変換前の映像信号に含まれるノイズ量に基づいて変換後の映像信号のノイズ低減を行うことができるので、変換後の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するメモリ量を節約することが可能となる。特に、例えば多重解像度変換等により、変換後の映像信号のデータ量が大きく増大する場合に有効である。
以上のように、変換前の映像信号に含まれるノイズ量に基づいて変換後の映像信号のノイズ低減を行うことができるので、変換後の映像信号に含まれるノイズ量の推定に用いる関数やテーブル等を保持するメモリ量を節約することが可能となる。特に、例えば多重解像度変換等により、変換後の映像信号のデータ量が大きく増大する場合に有効である。
なお、本実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。
例えば、CCD103からの映像信号を未処理のままのRawデータとして、ISO感度情報や映像信号サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。この場合、撮像システムは、CPU、RAM等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、CPUが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の撮像システムと同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。
例えば、CCD103からの映像信号を未処理のままのRawデータとして、ISO感度情報や映像信号サイズなどをヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。この場合、撮像システムは、CPU、RAM等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、CPUが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述の撮像システムと同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。
図11に本実施形態のソフトウェアに関するフローを示す。
図1における処理と対応させると、S1にてヘッダ情報を読み込み、S2にて映像信号を入力する。信号処理部107に相当するS3にて所定の信号処理を行い、ノイズ量推定部108に相当するS4にてノイズ量の推定を行い、算出部110に相当するS5にてノイズモデルの変換を行う。変換部109に相当するS6にて映像信号の変換処理を行い、ノイズ低減部111に相当するS7およびS8にて映像信号の注目画素に対してノイズ低減処理を行う。S9にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。
図1における処理と対応させると、S1にてヘッダ情報を読み込み、S2にて映像信号を入力する。信号処理部107に相当するS3にて所定の信号処理を行い、ノイズ量推定部108に相当するS4にてノイズ量の推定を行い、算出部110に相当するS5にてノイズモデルの変換を行う。変換部109に相当するS6にて映像信号の変換処理を行い、ノイズ低減部111に相当するS7およびS8にて映像信号の注目画素に対してノイズ低減処理を行う。S9にて全画素に対して処理が行われたか判断し、全画素に対して処理が行われた場合、処理を終了する。
1 撮像システム
2 撮像装置
3 画像処理装置
108 ノイズ量推定部
109 変換部
110 算出部
111 ノイズ低減部
112 逆変換部
200,500 局所領域抽出部
202 平均輝度算出部
203,503 ゲイン算出部
204 標準値付与部
205 ノイズ量算出部
301,401 周波数変換部
302,402 多重解像度分解部
303,403 色変換部
502 スムージング部
505 サイズ設定部
701 周波数逆変換部
702 多重解像度合成部
703 色逆変換部
2 撮像装置
3 画像処理装置
108 ノイズ量推定部
109 変換部
110 算出部
111 ノイズ低減部
112 逆変換部
200,500 局所領域抽出部
202 平均輝度算出部
203,503 ゲイン算出部
204 標準値付与部
205 ノイズ量算出部
301,401 周波数変換部
302,402 多重解像度分解部
303,403 色変換部
502 スムージング部
505 サイズ設定部
701 周波数逆変換部
702 多重解像度合成部
703 色逆変換部
Claims (11)
- 入力された第1の映像信号に含まれるノイズ量を前記第1の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定手段と、
前記第1の映像信号を第2の映像信号に変換する変換手段と、
前記第2の映像信号に含まれるノイズ量を、前記ノイズ量推定手段によって推定された前記第1の映像信号のノイズ量に基づいて算出する算出手段と、
前記算出手段によって算出された前記第2の映像信号のノイズ量に基づいて前記第2の映像信号のノイズ低減を行うノイズ低減手段と、
前記ノイズ低減手段によってノイズ低減された第2の映像信号を逆変換する逆変換手段と、
を備える画像処理装置。 - 前記変換手段は、
前記第1の映像信号を周波数信号に変換する周波数変換手段を有し、
前記逆変換手段は、
ノイズ低減がなされた前記周波数信号を逆変換する周波数逆変換手段を有する請求項1に記載の画像処理装置。 - 前記変換手段は、
前記第1の映像信号を複数の周波数成分に分解する多重解像度分解手段を有し、
前記逆変換手段は、
ノイズ低減がなされた前記複数の周波数成分を合成する多重解像度合成手段を有する請求項1に記載の画像処理装置。 - 前記変換手段は、
前記第1の映像信号を異なる色空間における色信号に変換する色変換手段を有し、
前記逆変換手段は、
ノイズ低減がなされた前記色信号を元の色空間に戻す色逆変換手段を有する請求項1に記載の画像処理装置。 - 前記算出手段は、
前記変換手段と同様の変換方法を用いて前記ノイズ量推定手段の出力信号を変換することにより、前記第2の映像信号に含まれるノイズ量を算出する請求項1から4のいずれかに記載の画像処理装置。 - 前記ノイズ量推定手段は、
前記第1の映像信号から所定サイズの領域を抽出する画像領域抽出手段と、
前記画像領域抽出手段によって抽出された領域内の映像信号の平均値を算出する平均値算出手段と、
前記第1の映像信号に対する増幅率を算出する増幅率算出手段と、
前記平均値および前記増幅率を用いて前記第1の映像信号のノイズ量を算出するノイズ量算出手段と、
を有する請求項1から5のいずれかに記載の画像処理装置。 - 前記増幅率算出手段は、
前記第1の映像信号に対する増幅率が得られない場合に所定の標準値を付与する標準値付与手段を有する請求項6に記載の画像処理装置。 - 前記ノイズ低減手段は、
前記算出手段によって算出された前記第2の映像信号のノイズ量に基づいて画素単位または単位領域ごとにノイズの振幅の閾値を設定する閾値設定手段と、
前記閾値以下の振幅成分を低減するスムージング手段と、
を有する請求項1から7のいずれかに記載の画像処理装置。 - 請求項1から8のいずれかに記載の画像処理装置を備えた撮像システム。
- 入力された第1の映像信号に含まれるノイズ量を前記第1の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定処理と、
前記第1の映像信号を第2の映像信号に変換する変換処理と、
前記第2の映像信号に含まれるノイズ量を、前記ノイズ量推定処理によって推定された前記第1の映像信号のノイズ量に基づいて算出する算出処理と、
前記算出処理によって算出された前記第2の映像信号のノイズ量に基づいて前記第2の映像信号のノイズ低減を行うノイズ低減処理と、
前記ノイズ低減処理によってノイズ低減された第2の映像信号を逆変換する逆変換処理と、
をコンピュータに実行させる画像処理プログラム。 - 入力された第1の映像信号に含まれるノイズ量を前記第1の映像信号で表される画像の画素単位または所定単位面積ごとに推定するノイズ量推定工程と、
前記第1の映像信号を第2の映像信号に変換する変換工程と、
前記第2の映像信号に含まれるノイズ量を、前記ノイズ量推定工程によって推定された前記第1の映像信号のノイズ量に基づいて算出する算出工程と、
前記算出工程によって算出された前記第2の映像信号のノイズ量に基づいて前記第2の映像信号のノイズ低減を行うノイズ低減工程と、
前記ノイズ低減工程によってノイズ低減された第2の映像信号を逆変換する逆変換工程と、
を含む画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007159044A JP2008310666A (ja) | 2007-06-15 | 2007-06-15 | 画像処理装置およびこれを備えた撮像システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007159044A JP2008310666A (ja) | 2007-06-15 | 2007-06-15 | 画像処理装置およびこれを備えた撮像システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008310666A true JP2008310666A (ja) | 2008-12-25 |
Family
ID=40238197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007159044A Withdrawn JP2008310666A (ja) | 2007-06-15 | 2007-06-15 | 画像処理装置およびこれを備えた撮像システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008310666A (ja) |
-
2007
- 2007-06-15 JP JP2007159044A patent/JP2008310666A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4837503B2 (ja) | 画像処理システム、画像処理プログラム | |
JP3893099B2 (ja) | 撮像システムおよび撮像プログラム | |
US8115833B2 (en) | Image-acquisition apparatus | |
JP4427001B2 (ja) | 画像処理装置、画像処理プログラム | |
JP5144202B2 (ja) | 画像処理装置およびプログラム | |
JP4979595B2 (ja) | 撮像システム、画像処理方法、画像処理プログラム | |
JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
JP2010161701A (ja) | 画像処理装置、画像処理方法、プログラム、及び撮像装置 | |
US20100245632A1 (en) | Noise reduction method for video signal and image pickup apparatus | |
JP2011003048A (ja) | 画像処理装置、及び画像処理プログラム | |
US8456541B2 (en) | Image processing apparatus and image processing program | |
JP4241774B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2005303802A (ja) | 撮像装置および画像処理プログラム | |
JP5259616B2 (ja) | 画像処理システムおよび画像処理プログラム | |
JP5092536B2 (ja) | 画像処理装置及びそのプログラム | |
JP5672941B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5115297B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP2008310666A (ja) | 画像処理装置およびこれを備えた撮像システム | |
JP4074323B2 (ja) | 再生システムおよび再生プログラム | |
JP5586031B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
JP4197821B2 (ja) | 画像処理装置 | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 | |
WO2010103668A1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2010206412A (ja) | 画像処理装置、方法、プログラム、および撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20100907 |