JP2008085753A5 - - Google Patents

Claims (31)

1. イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、
   前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、
   前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定ステップと、
   前記一定時間間隔でシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める自己相関率算出ステップと、
   前記自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップと、
   を備えることを特徴とする画像データのノイズ処理方法。
2. 前記ランダムノイズ判定ステップでランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理ステップを更に備えることを特徴とする請求項１記載の画像データのノイズ処理方法。
3. 前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時、
   前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定ステップを更に備えることを特徴とする請求項１記載の画像データのノイズ処理方法。
4. 前記画素値決定ステップは、前記自己相関値算出ステップで求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定ステップが判定した時、前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項３記載の画像データのノイズ処理方法。
5. 前記画素値抽出ステップ、前記画素値判定ステップ、前記自己相関率算出ステップ、前記ランダムノイズ判定ステップは、前記画素値抽出ステップで抽出される前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項１記載の画像データのノイズ処理方法。
6. 前記画素値判定ステップにおいて、前記フレームごとに取り込まれた前記画像データの画素値で前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項１記載の画像データのノイズ処理方法。
7. イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、
   前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、
   前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定ステップと、
   前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める第１自己相関率算出ステップと、
   前記第１自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップと、
   前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定ステップと、
   前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出ステップと、
   前記第２自己相関率算出ステップで求めた自己相関率が予め設定した第３閾値未満か否かを判定する自己相関率判定ステップと、
   前記自己相関率判定ステップで前記自己相関率が第３閾値未満と判定された時、該第３閾値未満の自己相関率を有する画素値が画像の近景画素であると選定する近景選定ステップと、
   前記近景選定ステップで選定された前記近景画素に対して手振れ補正を実行する手振れ補正ステップと、
   を備えることを特徴とする画像データのノイズ処理方法。
8. 前記ランダムノイズ判定ステップでランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理ステップを更に備えることを特徴とする請求項７記載の画像データのノイズ処理方法。
9. 前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定ステップを更に備えることを特徴とする請求項７記載の画像データのノイズ処理方法。
10. 前記画素値決定ステップは、前記自己相関値算出ステップで求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定ステップが判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項９記載の画像データのノイズ処理方法。
11. 前記画素値抽出ステップ、前記画素値判定ステップ、前記自己相関率算出ステップ、前記ランダムノイズ判定ステップは、前記画素値抽出ステップで抽出された前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項７記載の画像データのノイズ処理方法。
12. 前記画素値判定ステップにおいて、前記フレームごとに取り込まれた前記画像データの画素値で前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項７記載の画像データのノイズ処理方法。
13. イメージセンサと、
    前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、
    前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、
    前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定手段と、
    前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める自己相関率算出手段と、
    前記自己相関率算出手段で求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、
    を備えることを特徴とする画像データのノイズ処理装置。
14. 前記ランダムノイズ判定手段でランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理手段を更に備えることを特徴とする請求項１３記載の画像データのノイズ処理装置。
15. 前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定手段を更に有することを特徴とする請求項１３記載の画像データのノイズ処理装置。
16. 前記画素値決定手段は、前記自己相関率算出手段で求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定手段が判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項１３記載の画像データのノイズ処理装置。
17. 前記画素値抽出手段、前記画素値判定手段、前記自己相関率算出手段、前記ランダムノイズ判定手段は、前記画素値抽出手段で抽出された前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項１３記載の画像データのノイズ処理装置。
18. 前記画素値判定手段において、前記フレームごとに取り込まれた前記画像データの画素値で前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項１３記載の画像データのノイズ処理装置。
19. イメージセンサと、
    前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、
    前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、
    前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定手段と、
    前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める第１自己相関率算出手段と、
    前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、
    前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定手段と、
    前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出手段と、
    前記第２自己相関率算出手段で求めた自己相関率が予め設定した第３閾値未満か否かを判定する自己相関率判定手段と、
    前記自己相関率判定手段で前記自己相関率が第３閾値未満と判定された時、該第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定する近景選定手段と、
    前記近景選定手段で選定された前記近景画素に対して手振れ補正を実行する手振れ補正手段と、
    を備えることを特徴とする画像データのノイズ処理装置。
20. 前記ランダムノイズ判定手段でランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理手段を更に備えることを特徴とする請求項１９記載の画像データのノイズ処理装置。
21. 前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定手段を更に有することを特徴とする請求項１９記載の画像データのノイズ処理装置。
22. 前記画素値決定手段は、前記自己相関値算出手段で求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定手段が判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項１９記載の画像データのノイズ処理装置。
23. 前記画素値抽出手段、前記画素値判定手段、前記自己相関率算出手段、前記ランダムノイズ判定手段は、前記画素値抽出手段で抽出された前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項１９記載の画像データのノイズ処理装置。
24. 前記画素値判定手段において、前記画素ごとに取り込まれる画素値であって前記画素値判定手段によって前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項１９記載の画像データのノイズ処理装置。
25. イメージセンサと、
    前記イメージセンサに被写体からの入射光を導く光学系と、
    前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、
    前記イメージセンサが発生するランダムノイズの判定／低減処理部とを備え、
    前記ランダムノイズの判定／低減処理部は、
    前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、
    前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定手段と、
    前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める第１自己相関率算出手段と、
    前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、
    を備えることを特徴とする撮像装置。
26. 前記ランダムノイズの判定／低減処理部は、前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出手段と、前記第２自己相関率算出手段で求めた自己相関率が予め設定した第３閾値未満か否かを比較する自己相関率判定手段と、前記自己相関率判定手段で前記自己相関率が第３閾値未満と判定された時、該第３閾値未満の自己相関率を有する画素値が画像の近景画素であると選定する近景選定手段と、前記近景選定手段で選定された前記近景画素に対して手振れ補正を実行する手振れ補正手段とを更に備えることを特徴とする請求項２５記載の撮像装置。
27. 前記ランダムノイズの判定／低減処理部は、前記ランダムノイズ判定手段でランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理手段を更に備えることを特徴とする請求項２５記載の撮像装置。
28. 前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定手段を更に有することを特徴とする請求項２５記載の撮像装置。
29. 前記画素値決定手段は、前記自己相関率算出手段で求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定手段が判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項２５記載の撮像装置。
30. 前記画素値抽出手段、前記画素値判定手段、前記自己相関率算出手段、前記ランダムノイズ判定手段は、前記画素値抽出手段で抽出された前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項２５記載の撮像装置。
31. 前記画素値判定手段において、前記画素ごとに取り込まれる画素値であって前記画素値判定手段によって前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項２５記載の撮像装置。