JP2023039900A - 画像処理システム及びその動作方法 - Google Patents

Abstract

【課題】画像に発生したノイズの除去後にも画像の平均画素値を保持する。【解決手段】画像処理装置は、画像センサ１００に含まれた複数の画素からノイズの発生した複数のターゲット画素を検出するターゲット画素検出部２１０と、複数のターゲット画素のそれぞれの位置に基づいて予め設定された範囲に含まれる周辺画素の画素値の平均値を用いて複数のターゲット画素の画素値であるターゲット画素値を変更するターゲット画素補正部２２０と、平均値の小数部分に対応する値を累積した累積値を用いてターゲット画素値を補償するターゲット画素補償部２３０と、を含む。【選択図】図５

Description

本発明は画像処理システムに関し、より具体的には画像処理システム及びその動作方法に関する。

画像センサは、光に反応する半導体の性質を利用して画像をキャプチャ（ｃａｐｔｕｒｅ）する装置である。最近では、コンピュータ産業や通信産業の発達に伴い、スマートフォン、デジタルカメラ、ゲーム機器、モノのインターネット（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）、ロボット、警備用カメラ、医療用マイクロカメラなどの多様な分野において性能の向上した画像センサの需要が増加している。

画像センサはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）画像センサと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）画像センサとに大別できる。ＣＣＤ画像センサはＣＭＯＳ画像センサと比べてノイズ（ｎｏｉｓｅ）が少なく、画質に優れる。一方、ＣＭＯＳ画像センサは駆動方式が簡単で、様々なスキャニング（ｓｃａｎｎｉｎｇ）方式で具現できる。また、ＣＭＯＳ画像センサは信号処理回路を単一チップに集積できるため、製品の小型化が容易で、電力消費が非常に少なく、ＣＭＯＳ工程技術を互換して使用でき、製造単価が低い。最近では、モバイル機器にさらに適する特性によりＣＭＯＳ画像センシングシステムが多く利用されている。

本発明の実施例は、画像に発生したノイズの除去後にも画像の平均画素値を保持する画像処理システム及びその動作方法を提供する。

本発明の実施例による画像処理装置は、画像センサに含まれた複数の画素からノイズの発生した複数のターゲット画素を検出するターゲット画素検出部と、上記複数のターゲット画素のそれぞれの位置に基づいて予め設定された範囲に含まれる周辺画素の画素値の平均値を用いて上記複数のターゲット画素の画素値であるターゲット画素値を変更するターゲット画素補正部と、上記平均値の小数部分に対応する値を累積した累積値を用いて上記ターゲット画素値を補償するターゲット画素補償部と、を含んでもよい。

本発明の実施例による画像処理装置は、画像センサに含まれた複数の画素からノイズの発生した複数のターゲット画素を検出するターゲット画素検出部と、上記複数のターゲット画素のそれぞれの位置に基づいて横方向に接触した接触画素の画素値の平均値を用いて上記複数のターゲット画素の画素値であるターゲット画素値を変更するターゲット画素補正部と、上記接触画素の画素値の合計値に基づいて上記ターゲット画素値を補償するターゲット画素補償部と、含んでもよい。

本発明の実施例による画像処理装置の動作方法は、画像を表す複数の画素の画素値を受信する段階と、上記複数の画素のうちノイズが発生した第１ターゲット画素の予め定められた範囲内に含まれる周辺画素の画素値の平均値を用いて上記第１ターゲット画素の画素値を変更する段階と、上記第１ターゲット画素に対応する平均値の小数部分に対応する値である第１小数値を取得する段階と、上記複数の画素のうち上記ノイズが発生した第２ターゲット画素の予め定められた範囲内に含まれる周辺画素の画素値の平均値を用いて上記第２ターゲット画素の画素値を変更する段階と、上記第２ターゲット画素に対応する平均値の小数部分に対応する値である第２小数値と上記第１小数値を累積した累積値を生成する段階と、上記累積値に基づいて上記第１ターゲット画素の画素値または上記第２ターゲット画素の画素値を補償する段階と、を含んでもよい。

本発明の実施例による画像処理装置の動作方法は、画像を表す複数の画素の画素値を受信する段階と、上記複数の画素からノイズの発生した複数のターゲット画素を検出する段階と、
上記複数のターゲット画素のそれぞれの位置に基づいて縦方向に接触した接触画素の画素値の合計値を計算する段階と、上記合計値のそれぞれの平均値を用いて上記複数のターゲット画素の画素値であるターゲット画素値を変更する段階と、上記合計値のうち奇数の合計値に対応して１だけ増加する累積値を生成する段階と、上記複数のターゲット画素のうち上記累積値を奇数から偶数に増加させた合計値に対応するターゲット画素を補償画素として決める段階と、上記補償画素の画素値に予め定められた補償値を足す段階と、を含んでもよい。

本発明の実施例による画像処理システムは、画像を表す第１画素の画素値を伝送する画像センサと、上記第１画素の画素値に基づいて上記第１画素からノイズの発生した第２画素を検出するターゲット画素検出部と、上記画像において上記第２画素の位置に応じてそれぞれ決まる第３画素の画素値の平均値を用いて上記第２画素の画素値であるターゲット画素値を変更するターゲット画素補正部と、上記平均値の小数部分に対応する値を累積した累積値を用いて上記ターゲット画素値を補償するターゲット画素補償部と、画素値が補償された上記第２画素を含む上記第１画素の画素値を出力する出力管理部と、を含んでもよい。

本技術によると、画像に発生したノイズの除去後にも画像の平均画素値を保持する画像処理システムを提供することができる。

本発明の実施例による画像処理システムを説明するための図である。 本発明の実施例による図１の画像センサを説明するための図である。 本発明の実施例による画像に発生したノイズを説明するための図である。 本発明の実施例による位相検出オートフォーカス画素で発生するノイズを説明するための図である。 本発明の実施例による画像処理システムを示すブロック図である。 本発明の実施例によるターゲット画素及び周辺画素を説明するための図である。 本発明の実施例によるターゲット画素及びターゲット画素に隣接する画素を説明するための図である。 本発明の実施例によるランダムに決まる補償値を説明するための図である。 本発明の実施例による累積値に基づいて変更されたターゲット画素の画素値の補償方法を説明するためのフローチャートである。 本発明の実施例による補償値を決める方法を説明するためのフローチャートである。 本発明の他の実施例による累積値に基づいて変更されたターゲット画素の画素値の補償方法を説明するためのフローチャートである。 本発明のさらに他の実施例によるターゲット画素の画素値の補償方法を説明するためのフローチャートである。 本発明の実施例による画像センサを含むコンピューティングシステムを示すブロック図である。

本明細書または出願に開示されている本発明の概念による実施例に対する特定の構造的または機能的説明は本発明の概念による実施例を説明するためのものであり、本発明の概念による実施例は様々な形態で実施でき、本明細書または出願に記載の実施例に限定されると解釈されるべきではない。

以下、本発明が属する技術分野において通常の知識を有する者が本発明の技術的思想を実施できる程度に詳細に説明するために、本発明の実施例を添付の図面を参照して説明する。

図１は本発明の実施例による画像処理システムを説明するための図である。

図１を参照すると、画像処理システム１０は画像センサ１００、及び画像処理装置２００を含んでもよい。

一実施例による画像処理システム１０は画像を取得することができる。また、画像処理システム１０は画像を処理した出力画像を保存、表示、または外部装置に出力することができる。一実施例による画像処理システム１０はホストの要求に応じてホストに出力画像を出力することができる。

一実施例において、画像処理システム１０はパッケージ化されたモジュール、部品などの形態で具現されてもよい。この場合、画像処理システム１０をホストに搭載されてもよい。ホストは様々な電子装置で具現されてもよい。例えば、ホストは、デジタルカメラ、モバイル機器、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレットＰＣ（ｔａｂｌｅｔ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パソコン（ｎｏｔｅｂｏｏｋ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、ブラックボックス、ロボット、自律走行車両などで具現されることができる。

他の一実施例において、画像処理システム１０はホストとは別の電子装置で具現されてもよい。例えば、画像処理システム１０は、撮像装置、デジタルカメラ、カムコーダ、ＣＣＴＶ（Ｃｌｏｓｅｄ－ｃｉｒｃｕｉｔ Ｔｅｌｅｖｉｓｉｏｎ）、ウェブカメラ、セキュリティカメラ、産業用ビジョンカメラ、モバイル機器、スマートフォン、ＰＣ、タブレットＰＣ、ノート型パソコン、ＰＤＡ、ＥＤＡ、ＰＭＰ、ウェアラブルデバイス、ブラックボックス、ロボット、自律走行車両、車両用ビジョンカメラ、セットトップボックス、ゲームコンソール、電子辞書、電子書籍リーダー、デスクトップコンピューター、サーバー、ＭＰ３プレーヤー、スマート医療機器、テレビジョン、ＤＶＤ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｋ）プレーヤー、オーディオ、冷蔵庫、エアコン、掃除機、オーブン、電子レンジ、洗濯機、空気清浄機、スマートミラー、スマートウインドウ、電子キー、電子フレーム、デジタル看板、セキュリティコントロールパネルなどであってもよい。ここで、ウェアラブルデバイスは、スマートウォッチ、指輪、ブレスレット、アンクレット、ネックレス、メガネ、コンタクトレンズ、ヘッドマウントデバイス（ｈｅａｄ－ｍｏｕｎｔｅｄ－ｄｅｖｉｃｅ；ＨＭＤ）、スキンパッド、タトゥー、または生体埋め込み型回路などであってもよい。

画像センサ１００はＣＣＤ画像センサ及びＣＭＯＳ画像センサで具現されてもよい。画像センサ１００はレンズ（不図示）を介して入力された（またはキャプチャされた（ｃａｐｔｕｒｅｄ））オブジェクト（不図示）に対する画像データを生成することができる。レンズ（不図示）は光学系を形成する少なくとも１つのレンズを含んでもよい。

画像センサ１００は複数の画素を含んでもよい。画像センサ１００は撮影された画像に対応する複数の画素値ＤＰＸｓを複数の画素で生成することができる。画像センサ１００で生成された複数の画素値ＤＰＸｓは画像処理装置２００に伝送されてもよい。即ち、画像センサ１００はシングルフレーム（ｓｉｎｇｌｅ ｆｒａｍｅ）に対応する複数の画素値ＤＰＸｓを生成することができる。

画像処理装置２００は画像センサ１００から受信する画素データの画像画質を向上する処理を行い、処理した画像データを出力することができる。ここで、処理は、ＥＩＳ（Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｅ Ｓｔａｂｉｌｉｚａｔｉｏｎ）、補間、色調補正、画質補正、サイズ調整などであってもよい。

図１では、画像処理装置２００が画像センサ１００とは独立したチップで具現されてもよい。この場合、画像センサ１００のチップと画像処理装置２００のチップは１つのパッケージ、例えば、マルチチップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ）で具現されてもよい。本発明の他の実施例では、画像処理装置２００が画像センサ１００の一部として含まれて１つのチップで具現されてもよい。

一実施例において、画像処理システム１０はメモリをさらに含んでもよい。メモリは不揮発性メモリ素子で具現されてもよい。例えば、メモリは、データの読み取りのみが可能なＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、１回のみ書き込みが可能なＯＴＰ（ｏｎｅ ｔｉｍｅ ｐｒｏｇｒａｍｍａｂｌｅ）メモリ、保存されたデータを消去及び書き込みできるＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＮＡＮＤ型フラッシュメモリ（ＮＡＮＤ Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ノア型（ＮＯＲ）フラッシュメモリなどの様々な不揮発性メモリ素子からなってもよい。

図２は本発明の実施例による図１の画像センサを説明するための図である。

図２を参照すると、画像センサ１００は、画素アレイ１１０、行デコーダ１２０、タイミング生成器１３０、及び信号変換器１４０を含んでもよい。

画素アレイ１１０は、実施例によるカラーフィルタアレイ１１１と、カラーフィルタアレイ１１１の下部に形成され、カラーフィルタアレイ１１１のそれぞれの画素に対応する複数の光電変換素子（ｐｈｏｔｏｅｌｅｃｔｒｉｃ ｃｏｎｖｅｒｓｉｏｎ ｅｌｅｍｅｎｔ）を含む光電変換層１１３と、を含んでもよい。画素アレイ１１０は入射光に含まれたカラー情報を出力するための複数の画素を含んでもよい。複数の画素のそれぞれは対応するカラーフィルタアレイ１１１を通過した入射光に相応する画素信号を出力することができる。

カラーフィルタアレイ１１１は、各画素に入射される光の特定波長（例えば、赤、青、緑）のみを通過させるカラーフィルタを含んでもよい。本発明において、カラーフィルタはカラーチャネルと表現されてもよい。カラーフィルタアレイ１１１により、各画素の画素データは特定波長の光の強度に対応する値を表すことができる。

具体的には、複数の画素のそれぞれは入射光に応じて生成された光電荷を蓄積し、蓄積した光電荷に相応する画素信号を生成することができる。各画素は、光信号を電気信号に変換する光電変換素子（例えば、フォトダイオード（ｐｈｏｔｏ ｄｉｏｄｅ）、フォトトランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォトゲート（ｐｈｏｔｏｇａｔｅ）、またはピンドフォトダイオード（ｐｉｎｎｅｄ ｐｈｏｔｏ ｄｉｏｄｅ））及び電気的信号を処理するための少なくとも１つのトランジスタを含んでもよい。

画素アレイ１１０は行（ｒｏｗ）方向と列（ｃｏｌｕｍｎ）方向に配列された複数の画素を含んでもよい。画素アレイ１１０は行ごとに複数の画素信号ＶＰＸｓを生成することができる。複数の画素信号ＶＰＸｓはそれぞれアナログタイプの画素信号ＶＰＸｓであってもよい。

行デコーダ１２０は、タイミング生成器１３０から出力されたアドレスと制御信号に応答して画素アレイ１１０において複数の画素が配列された多数の行から１つの行を選択することができる。

信号変換器１４０は、アナログタイプの複数の画素信号ＶＰＸｓをデジタルタイプの複数の画素値ＤＰＸｓに変換することができる。デジタルタイプの複数の画素値ＤＰＸｓは様々なパターンで出力されてもよい。信号変換器１４０は、タイミング生成器１３０から出力された制御信号に応答して画素アレイ１１０から出力されたそれぞれの信号に対してＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）を行い、ＣＤＳされたそれぞれの信号をアナログ－デジタル変換し、それぞれのデジタル信号を出力することができる。それぞれのデジタル信号は対応するカラーフィルタアレイ１１１を通過した入射光の波長の強度に対応する信号であってもよい。

信号変換器１４０は、ＣＤＳブロックとＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）ブロックを含んでもよい。ＣＤＳブロックは、画素アレイ１１０に含まれた複数の列のそれぞれに提供される基準信号と映像信号のセットを順にサンプリング及びホールディング（Ｓａｍｐｌｉｎｇ ａｎｄ Ｈｏｌｄｉｎｇ）することができる。即ち、ＣＤＳブロックは、それぞれの列に対応する基準信号と映像信号のレベルをサンプリングして保持することができる。ＡＤＣブロックは、ＣＤＳブロックから出力されるそれぞれの列に対する相関二重サンプリング信号をデジタル信号に変換した画素データを出力することができる。このため、ＡＤＣブロックは各列に対応する比較器及びカウンタを含んでもよい。

また、本発明の実施例による画像センサ１００は出力バッファ１５０をさらに含んでもよい。出力バッファ１５０は信号変換器１４０から出力されたデジタル信号を保存する複数のバッファで具現されてもよい。具体的に、出力バッファ１５０は、信号変換器１４０から提供されるそれぞれの列単位の画素データをラッチ（ｌａｔｃｈ）して出力することができる。出力バッファ１５０は信号変換器１４０から出力される画素データを一時的に保存し、タイミング生成器１３０の制御に応じて画素データを順に出力することができる。本発明の実施例によって、出力バッファ１５０は省略されてもよい。

図３は本発明の実施例による画像に発生したノイズを説明するための図である。

図３を参照すると、複数の画素を含む画像３００にノイズが発生し得る。複数の画素のうち周辺画素の画素値より予め定められたしきい値以上の差が出る画素はノイズが発生した画素と判断することができる。図３にはノイズが発生した画像を例示的に示されている。

複数の画素を含む画像３００は、周辺画素と線形的特性の保持されない位相検出オートフォーカス（Ｐｈａｓｅ Ｄｅｔｅｃｔｉｏｎ Ａｕｔｏ Ｆｏｃｕｓ、ＰＤＡＦ）画素３１０、３２０、３３０、３４０を含んでもよい。位相検出オートフォーカス画素３１０、３２０、３３０、３４０はフォトダイオード（Ｐｈｏｔｏ Ｄｉｏｄｅ、ＰＤ）画素であってもよい。フォトダイオード画素は位置によって画素の特性が変わるため、隣接する画素と線形的特性が保持されないことがある。即ち、位相検出オートフォーカス画素３１０、３２０、３３０、３４０の画素値がノイズと判断されることがある。

複数の画素を含む画像３００は複数の欠陥画素３５０、３６０を含んでもよい。複数の欠陥画素３５０、３６０は様々な理由で発生する。例えば、ＣＭＯＳ画像センサに含まれる複数の画素のそれぞれは入射光に応じて生成された光電荷を蓄積し、蓄積した光電荷に相応する画素信号を生成することができる。複数の画素の間隔によって渉光が発生し得る。干渉光と入射光がＣＭＯＳ画像センサに入射すると、ＣＭＯＳ画像センサの出力にノイズが発生することがある。

ノイズが発生した画素の画素値と周辺画素の画素値との差が予め定められたしきい値以上であり得る。画像処理装置は予め定められたしきい値以上に差が出る画素をノイズの発生した画素と判断することができる。例えば、画像処理装置は、位相検出オートフォーカス画素３１０、３２０、３３０、３４０と欠陥画素３５０、３６０にノイズが発生したと判断することができる。

ＣＭＯＳ画像センサの製造時に生じるバラツキによって固定パターンノイズが誘発されることがある。バラツキによる固定パターンノイズは垂直方向または水平方向のストライプ状のノイズであってもよい。ＣＭＯＳ画像センサに含まれた欠陥画素または位相検出オートフォーカス画素は固定パターンノイズを誘発することがある。

図４は本発明の実施例による位相検出オートフォーカス画素で発生するノイズを説明するための図である。

図４を参照すると、画素に光を入射させるオンチップレンズ（ｏｎ ｃｈｉｐ ｌｅｎｓ；ＯＣＬ）が位置してもよい。オンチップレンズの下部に位置する画素に対応してオンチップレンズのサイズが変わってもよい。

１つのノーマル画素４２１に１つのオンチップレンズ４２０が対応してもよい。１つのオンチップレンズ４２０を介して光が入射すると、１つのノーマル画素４２１から画素値が出力されることができる。

位相検出オートフォーカス画素３１０、３２０は１つのオンチップレンズ４１０に対応することができる。１つのオンチップレンズ４１０を介して光が位相検出オートフォーカス画素３１０、３２０に入射するため、位相検出オートフォーカス画素３１０、３２０の画素値は１つのノーマル画素４２１の画素値と差が出ることがある。

位相検出オートフォーカス画素３１０、３２０の画素値と１つのノーマル画素４２１の画素値との差が予め定められたしきい値以上である場合、画像処理装置は位相検出オートフォーカス画素３１０、３２０をノイズの発生した画素と判断することができる。オンチップレンズの違いによって位相検出オートフォーカス画素３１０、３２０にノイズが発生することがある。

図５は本発明の実施例による画像処理システムを示すブロック図である。

図５を参照すると、画像処理装置２００は複数の画素を含む画像センサ１００から複数の画素値を受信することができる。画像処理装置２００は受信した複数の画素値に基づいてノイズを除去することができる。画像処理装置２００はターゲット画素検出部２１０、ターゲット画素補正部２２０、及びターゲット画素補償部２３０を含んでもよい。

ターゲット画素検出部２１０は画像センサ１００に含まれた複数の画素からノイズの発生した複数のターゲット画素を検出することができる。ターゲット画素検出部２１０は周辺画素の画素値と予め定められたしきい値以上の差が出る画素値に対応する画素をターゲット画素として検出することができる。欠陥画素の画素値または位相検出オートフォーカス画素の画素値と周辺画素の画素値との差は予め定められたしきい値より大きいことがある。ターゲット画素検出部２１０は欠陥画素または位相検出オートフォーカス画素をターゲット画素として検出することができる。

ターゲット画素補正部２２０は、複数のターゲット画素のそれぞれの位置を基準として予め設定された範囲に含まれる周辺画素の画素値の平均値を用いて複数のターゲット画素の画素値であるターゲット画素値を変更することができる。ターゲット画素補正部２２０はターゲット画素値を複数のターゲット画素にそれぞれ対応する平均値の整数部分に対応する値である整数値に変更することができる。ターゲット画素補正部２２０は、複数のターゲット画素の画素値を補正する際に平均値の整数値のみを使用するため、平均値の小数部分に対応する値である小数値は使用しないことがある。小数値を使用しないことにより、複数のターゲット画素の補正後の画像の全体平均画素数が複数のターゲット画素の補正前の画像の全体平均画素数より少なくなり得る。

ターゲット画素の配列が規則的である場合、画像においてターゲット画素が含まれる行または列の平均画素数が減少することがある。行または列の平均画素数が減少すると、規則的な配列を有する固定パターンノイズが発生し得る。画像に含まれるターゲット画素の密度に対応して画像に発生した固定パターンノイズが増加し得る。位相検出オートフォーカス画素が画像に含まれると、ターゲット画素の配列は規則的であることができる。

ターゲット画素補償部２３０は平均値の小数部分に対応する値を累積した累積値を用いてターゲット画素値を補償することができる。ターゲット画素補償部２３０はターゲット画素値に補償値を足すことができる。本発明の実施例における補償値は０または１であってもよい。

ターゲット画素補償部２３０は累積値管理部２３１、検知部２３２、補償決定部２３３をさらに含んでもよい。累積値管理部２３１は複数のターゲット画素にそれぞれ対応する平均値の小数部分に対応する値である小数値を累積した累積値を生成することができる。検知部２３２は平均値と平均値の整数値が異なる場合、小数値の発生を検知することができる。補償決定部２３３は累積値に基づいてターゲット画素値に加わる補償値をそれぞれ決めることができる。

累積値管理部２３１はターゲット画素補正部２２０がターゲット画素の画素値を変更する度に平均値の小数値を累積した累積値を生成することができる。累積値管理部２３１はターゲット画素の画素値の変更に使用されない平均値の小数値を累積することができる。画素値の変更されたターゲット画素の数が増えるほど、累積値が増加することができる。

補償決定部２３３は小数値の発生に対応して累積値と予め定められた基準値とを比較することができる。補償決定部２３３は累積値が予め定められた基準値より大きいかまたは同じである場合、補償値を１と決めることができる。累積値管理部２３１は補償値が１と決まったことに対応して累積値から基準値を差し引くことができる。ターゲット画素補償部２３０は１と決まった補償値を整数値に変更されたターゲット画素の画素値に足すことができる。即ち、ターゲット画素の画素値を１だけ増加することができる。補償決定部２３３は累積値が基準値より小さい場合、補償値を０と決めることができる。補償値が０であるターゲット画素の画素値は保持される。

本発明の他の実施例において、補償決定部２３３は、ターゲット画素検出部２１０が検出した複数のターゲット画素のうち位置が予め定められたターゲット画素の画素値に対応する補償値を１と決めることができる。例えば、位相検出オートフォーカス画素は位置が予め定められたターゲット画素であってもよい。

本発明の他の実施例において、補償決定部２３３は、ターゲット画素検出部２１０が検出したターゲット画素のうち位置がランダムなターゲット画素の画素値に対応する補償値を１と決めることができる。例えば、欠陥画素は位置がランダムなターゲット画素であってもよい。

累積値管理部２３１は補償値が１と決まったことに対応して累積値から基準値を差し引くことができる。補償値が１と決まると、累積値が減少することができる。本発明の実施例における累積値は一定の範囲内に保持されることができる。

本発明の実施例では、予め定められた基準値は１であってもよい。最初のターゲット画素の画素値を補正する際に平均値の小数値が発生し得る。このとき、累積値は最初のターゲット画素に対応する小数値であってもよい。累積値が予め定められた基準値１より小さいため、最初のターゲット画素に対応する補償値は０と決まることができる。最初のターゲット画素に対応する補償値が０であるため、整数値に変更された最初のターゲット画素の画素値は保持されることができる。複数のターゲット画素の画素値が補正されると、累積値が増加することができる。累積値が１より大きいかまたは同じである場合、整数値に変更されるターゲット画素の画素値が１増加することができる。累積値管理部２３１は、補償値が１と決まると、累積値から１を差し引くことができる。

本発明の他の実施例において、補償決定部２３３は小数値の発生に対応して補償値を０または１とランダムに決めることができる。検知部２３２は平均値と平均値の整数値が異なると、小数値の発生を検知することができる。例えば、最初のターゲット画素の画素値を補正する際に平均値の小数値が発生し得る。このとき、累積値は最初のターゲット画素に対応する小数値であってもよい。補償決定部２３３は小数値の発生に対応して補償値を１と決めることができる。

補償決定部２３３は累積値に基づいて決まった割合に応じて補償値を０または１と決めることができる。累積値に対応して１と決まった補償値の数は変わってもよい。例えば、ターゲット画素の数は１０個であってもよい。１０個のターゲット画素のうち累積値に対応して１と決まる補償値の数は３個であってもよい。ターゲット画素のうち補償値が１と決まるターゲット画素はランダムに選択されるが、数は３個と同一であってもよい。

本発明のさらに他の実施例において、画像処理装置２００は画像センサ１００が取得した画像に発生したノイズを除去することができる。画像処理装置２００はターゲット画素検出部２１０、ターゲット画素補正部２２０、及びターゲット画素補償部２３０を含んでもよい。

ターゲット画素補正部２２０は、複数のターゲット画素のそれぞれの位置を基準として横方向に接触した接触画素の画素値の平均値を用いて複数のターゲット画素の画素値であるターゲット画素値を変更することができる。接触画素は、複数のターゲット画素のそれぞれの位置を基準として横方向または縦方向に接触した２つの画素であってもよい。ターゲット画素補正部２２０は、ターゲット画素値を複数のターゲット画素にそれぞれ対応する平均値の整数部分に対応する値である整数値に変更することができる。

ターゲット画素補償部２３０は接触画素の画素値の合計値に基づいてターゲット画素値を補償することができる。合計値はターゲット画素と横方向に隣接する２つの画素の画素値を合計した値であるか、ターゲット画素と縦方向に隣接する２つの画素の画素値を合計した値であってもよい。

ターゲット画素補償部２３０は累積値管理部２３１、検知部２３２、及び補償決定部２３３をさらに含んでもよい。累積値管理部２３１は合計値のうち奇数の合計値に対応して１だけ増加する累積値を生成することができる。検知部２３２は累積値の増加を検知することができる。補償決定部２３３は、累積値に基づいて複数のターゲット画素のうち予め定められた補償値が足される少なくとも１つ以上の補償画素を決めることができる。

補償決定部２３３は累積値を奇数から偶数に増加させる合計値に対応するターゲット画素を補償画素として決めることができる。累積値は合計値が奇数のときのみ増加することができる。補償決定部２３３は複数のターゲット画素のうち累積値を偶数に増加させたターゲット画素を補償画素として決めることができる。ターゲット画素補償部２３０は補償画素の画素値に予め定められた補償値である１を足すことができる。本発明の実施例において、累積値は合計値に対応して増加することで偶数または奇数にあることができる。複数のターゲット画素から累積値に応じて補償画素が決まることができる。補償画素の画素値が１だけ増加することができる。

本発明の他の実施例では、補償決定部２３３は累積値に基づいて決まった割合に応じて補償画素をランダムに決めることができる。補償画素の画素値には予め定められた補償値である１を足すことができる。複数のターゲット画素から補償画素はランダムに決まってもよいが、複数のターゲット画素から補償画素として決まる割合は一定であることができる。

図６は本発明の実施例によるターゲット画素及び周辺画素を説明するための図である。

図６を参照すると、画像の一部６００はターゲット画素６１０と、ターゲット画素６１０の周囲に位置する周辺画素６２０とを含んでもよい。周辺画素６２０の範囲は変わってもよい。図６のターゲット画素６１０の画素値を補正する方法は図５の説明に代えられる。

周辺画素６２０の画素値はそれぞれ１０、１１、１１、１２、１３、１０、１０、１５と仮定することができる。ターゲット画素補正部２２０は周辺画素６２０の画素値の平均値を計算することができる。具体的に、平均値は１１．５である。ターゲット画素補正部２２０はターゲット画素６１０の画素値を１１に変更することができる。平均値の整数値１１はターゲット画素の画素値となり、平均値の小数値０．５は累積値管理部２３１によって累積されることができる。

累積値管理部２３１に累積された値０．２５が存在すると仮定することができる。累積値管理部２３１は０．２５と平均値の小数値０．５を足して０．７５を累積値として生成することができる。検知部２３２は平均値の小数値０．５の発生を検知することができる。補償決定部２３３は、検知部２３２が小数値０．５の発生を検知すると、累積値０．７５と予め定められた基準値１とを比較することができる。累積値０．７５が基準値１より小さいため、補償決定部２３３は補償値を０と決めることができる。補償値が０であるため、ターゲット画素の画素値は１１に保持されることができる。

累積値管理部２３１に累積された値０．７５が存在すると仮定することができる。累積値管理部２３１は０．７５と平均値の小数値０．５を足して１．２５を累積値として生成することができる。検知部２３２は平均値の小数値０．５の発生を検知することができる。補償決定部２３３は、検知部２３２が小数値０．５の発生を検知すると、累積値１．２５と予め定められた基準値１とを比較することができる。累積値１．２５が基準値１より大きいため、補償決定部２３３は補償値を１と決めることができる。

ターゲット画素補償部２３０は補償値１をターゲット画素の画素値である１１に足すことができる。補償値が足されたターゲット画素の画素値は１２になる。累積値管理部２３１は補償決定部２３３が補償値を１と決めると、累積値１．２５から１を差し引くことができる。累積値管理部２３１に累積された値は０．２５であってもよい。

本発明の他の実施例において、累積値管理部２３１に累積された値０．７５が存在し、ターゲット画素６１０に対する小数値が０．５であると仮定することができる。累積値管理部２３１は０．７５と平均値の小数値０．５を足して１．２５を累積値として生成することができる。補償決定部２３３はターゲット画素６１０を補償画素として決めることができる。ターゲット画素補償部２３０は補償値を補償画素の画素値に足すことができる。

図７は本発明の実施例によるターゲット画素及びターゲット画素に隣接する画素を説明するための図である。

図７を参照すると、画像の一部７００は、ターゲット画素７１０と、ターゲット画素７１０の縦方向に隣接する画素７２０、７３０と、ターゲット画素７１０の横方向に隣接する画素７４０、７５０と、を含んでもよい。ターゲット画素７１０の縦方向に隣接する画素７２０、７３０の画素値はそれぞれ１１、１５であり、ターゲット画素７１０の横方向に隣接する画素７４０、７５０の画素値は１３、１４であることができる。

ターゲット画素補正部２２０は、ターゲット画素７１０の縦方向に隣接する画素７２０、７３０の画素値に基づいてターゲット画素７１０の画素値を補正することができる。ターゲット画素７１０の縦方向に隣接する画素７２０、７３０の画素値を足した合計値は２６であることができる。ターゲット画素補正部２２０はターゲット画素７１０の画素値を合計値２６の平均値である１３に変更することができる。合計値２６は偶数であるため、ターゲット画素７１０の画素値は補正されなくてもよい。

ターゲット画素補正部２２０は、ターゲット画素７１０の横方向に隣接する画素７４０、７５０の画素値に基づいてターゲット画素７１０の画素値を補正することができる。ターゲット画素７１０の横方向に隣接する画素７４０、７５０の画素値を足した合計値は２７であることができる。このとき、合計値の平均値は１３．５である。ターゲット画素補正部２２０はターゲット画素７１０の画素値を平均値の整数値である１３に変更することができる。合計値２７は奇数であるため、累積値管理部２３１は既に累積された値に１を足した累積値を生成することができる。既に累積された値が１である場合、累積値は２になることができる。

合計値２７は奇数であり、検知部２３２は累積値の増加を検知することができる。累積値２は０ではない偶数であるため、補償決定部２３３は補償値を１と決めることができる。ターゲット画素補償部２３０はターゲット画素７１０の画素値１３に補償値１を足すことができる。補償値が足されたターゲット画素７１０の画素値は１４であることができる。本発明の実施例において、画素値の補正に用いられる画素に対応してターゲット画素７１０の画素値が変わってもよい。

本発明の他の実施例では、累積値管理部２３１に累積された値が奇数であり、ターゲット画素７１０に対する合計値が２７であると仮定することができる。合計値２７は累積値を奇数から偶数に増加させることができる。補償決定部２３３はターゲット画素７１０を補償画素として決めることができる。ターゲット画素補償部２３０は補償値を補償画素の画素値に足すことができる。

図８は本発明の実施例によるランダムに決まる補償値を説明するための図である。

図８を参照すると、画像の一部８００は６つのターゲット画素８１０、８２０、８３０、８４０、８５０、８６０を含んでもよい。６つのターゲット画素８１０、８２０、８３０、８４０、８５０、８６０のうち８１０、８２０、８５０、８６０は位相検出オートフォーカス画素に対応することができる。６つのターゲット画素８１０、８２０、８３０、８４０、８５０、８６０のうち８３０、８４０は欠陥画素に対応することができる。図８において補償値を決める方法は図５の説明に代えられる。

周辺画素の画素値の平均値が整数値である場合、ターゲット画素に補償値を足さなくてもよい。周辺画素の画素値の平均値に小数値が含まれる場合、ターゲット画素補償部２３０はターゲット画素に補償値を足すことができる。検知部２３２が小数値の発生を検知すると、補償決定部２３３はターゲット画素に足す補償値を０または１とランダムに決めることができる。

具体的には、６つのターゲット画素８１０、８２０、８３０、８４０、８５０、８６０のうち８１０、８２０、８３０、８４０に対応する平均値には小数値が含まれ得る。６つのターゲット画素８１０、８２０、８３０、８４０、８５０、８６０のうち８５０、８６０に対応する平均値は整数値であることができる。ターゲット画素８５０、８６０は補償値が足されない。

補償決定部２３３はターゲット画素８１０、８２０、８３０、８４０に対応する補償値を決めることができる。補償値は０または１であってもよい。補償値はランダムに決まってもよいが、１と決まる補償値の数は予め定められてもよい。例えば、１と決まる補償値の数は１個であってもよい。ターゲット画素８１０、８２０、８３０、８４０のうちターゲット画素８２０に対応する補償値が１と決まると、残りのターゲット画素８１０、８３０、８４０に対応する補償値は０と決まることができる。同様に、ターゲット画素８１０、８２０、８３０に対応する補償値が全て０の場合、ターゲット画素８４０に対応する補償値は１と決まることができる。

補償決定部２３３は累積値に基づいて決まった割合に応じて補償値を０または１と決めることができる。累積値管理部２３１が生成した累積値に対応して１と決まった補償値の数は変わってもよい。例えば、累積値が３の場合、１と決まる補償値の数は３個であってもよい。

本発明の他の実施例では、補償決定部２３３はターゲット画素８１０、８２０、８３０、８４０から補償値が足される補償画素を決めることができる。補償画素はランダムに決まってもよいが、補償画素の数は予め定められてもよい。ターゲット画素補償部２３０は補償画素の画素値に補償値を足すことができる。

本発明のさらに他の実施例では、補償決定部２３３は、ターゲット画素検出部２１０が検出したターゲット画素のうち位置が予め定められたターゲット画素の画素値に対応する補償値を１と決めることができる。位相検出オートフォーカス画素は位置が予め定められたターゲット画素であってもよい。補償決定部２３３は位置が予め定められたターゲット画素８１０、８２０、８５０、８６０の補償値を１と決めることができる。

本発明のさらに他の実施例では、補償決定部２３３はターゲット画素検出部２１０が検出したターゲット画素のうち位置がランダムなターゲット画素の画素値に対応する補償値を１と決めることができる。欠陥画素は位置がランダムなターゲット画素であってもよい。補償決定部２３３は位置がランダムなターゲット画素８３０、８４０の補償値を１と決めることができる。

図９は本発明の実施例による累積値に基づいて変更されたターゲット画素の画素値の補償方法を説明するためのフローチャートである。

図９を参照すると、画像処理装置は画像に発生したノイズを除去することができる。

段階Ｓ９１０において、ターゲット画素検出部は画像センサに含まれた複数の画素からノイズの発生した複数のターゲット画素を検出することができる。ターゲット画素検出部は周辺画素の画素値と予め定められたしきい値以上の差が出る画素値に対応する画素をターゲット画素として検出することができる。欠陥画素の画素値または位相検出オートフォーカス画素の画素値と周辺画素の画素値との差は予め定められたしきい値より大きいことがある。ターゲット画素検出部は欠陥画素または位相検出オートフォーカス画素をターゲット画素として検出することができる。

段階Ｓ９２０において、ターゲット画素補正部は、複数のターゲット画素のそれぞれの位置を基準として予め設定された範囲に含まれる周辺画素の画素値の平均値を用いて複数のターゲット画素の画素値であるターゲット画素値を変更することができる。ターゲット画素補正部は、ターゲット画素値を複数のターゲット画素にそれぞれ対応する平均値の整数部分に対応する値である整数値に変更することができる。ターゲット画素補正部は複数のターゲット画素の画素値を補正する際に平均値の整数値のみを使用するため、平均値の小数部分に対応する値である小数値は使用しないことがある。小数値を使用しないことにより、複数のターゲット画素の補正後の画像の全体平均画素数が複数のターゲット画素の補正前の画像の全体平均画素数より少なくなり得る。

段階Ｓ９３０において、ターゲット画素補償部は平均値の小数部分に対応する値を累積した累積値を用いてターゲット画素値を補償することができる。ターゲット画素補償部は累積値に基づいて決まった補償値をターゲット画素値にそれぞれ足すことができる。本発明の他の実施例では、ターゲット画素補償部は複数のターゲット画素のうち予め定められた補償値が足される少なくとも１つの補償画素を決めることができる。

図１０は本発明の実施例による補償値を決める方法を説明するためのフローチャートである。

図１０を参照すると、補償決定部は累積値に基づいてターゲット画素に対応する補償値を０または１と決めることができる。

段階Ｓ１０１０において、累積値管理部は、複数のターゲット画素にそれぞれ対応する平均値の小数部分に対応する値である小数値を累積した累積値を生成することができる。累積値管理部はターゲット画素の画素値の変更に使用されない平均値の小数値を累積することができる。画素値の変更されたターゲット画素の数が増えるほど、累積値が増加することができる。

段階Ｓ１０２０において、補償決定部は小数値の発生に対応して累積値と予め定められた基準値とを比較することができる。本発明の実施例では、予め定められた基準値は１であってもよい。

段階Ｓ１０３０において、補償決定部は累積値が予め定められた基準値より大きいかまたは同じである場合、補償値を１と決めることができる。ターゲット画素補償部は１と決まった補償値を整数値に変更されたターゲット画素の画素値に足すことができる。即ち、ターゲット画素の画素値が１だけ増加することができる。

段階Ｓ１０４０において、累積値管理部は補償値が１と決まったことに対応して累積値から基準値を差し引くことができる。補償値が１と決まると、累積値が減少することができる。本発明の実施例では、累積値は一定の範囲内で保持されることができる。

段階Ｓ１０５０において、補償決定部は累積値が基準値より小さい場合、補償値を０と決めることができる。補償値が０のターゲット画素の画素値は保持されることができる。

例えば、最初のターゲット画素の画素値を補正する際に平均値の小数値が発生し得る。このとき、累積値は最初のターゲット画素に対応する小数値であることができる。累積値が予め定められた基準値１より小さいため、補償値は０であり、整数値に変更された最初のターゲット画素の画素値は保持されることができる。複数のターゲット画素の画素値が補正されると、累積値が増加することができる。累積値が１より大きいかまたは同じである場合、整数値に変更されるターゲット画素の画素値が１増加することができる。

図１０の補償値を決める方法は図６の説明に代えられる。

図１１は本発明の他の実施例による累積値に基づいて変更されたターゲット画素の画素値の補償方法を説明するためのフローチャートである。

図１１を参照すると、補償決定部は累積値に基づいて複数のターゲット画素から補償値が足される少なくとも１つ以上の補償画素を決めることができる。

段階Ｓ１１１０において、ターゲット画素検出部は画像センサに含まれた複数の画素からノイズの発生した複数のターゲット画素を検出することができる。ターゲット画素検出部は周辺画素の画素値と予め定められたしきい値以上の差が出る画素値に対応する画素をターゲット画素として検出することができる。

段階Ｓ１１２０において、複数のターゲット画素のそれぞれの位置を基準として横方向に接触した接触画素の画素値の平均値を用いて複数のターゲット画素の画素値であるターゲット画素値を変更することができる。接触画素は、複数のターゲット画素のそれぞれの位置を基準として横方向または縦方向に接触した２つの画素であってもよい。ターゲット画素補正部は、ターゲット画素値を複数のターゲット画素にそれぞれ対応する平均値の整数部分に対応する値である整数値に変更することができる。

段階Ｓ１１３０において、累積値管理部は接触画素の合計値を用いて累積値を生成することができる。累積値管理部は合計値のうち奇数の合計値に対応して１だけ増加する累積値を生成することができる。

段階Ｓ１１４０において、補償決定部は累積値に基づいて複数のターゲット画素から予め定められた補償値が足される少なくとも１つ以上の補償画素を決めることができる。補償決定部は累積値を奇数から偶数に増加させる合計値に対応するターゲット画素を補償画素として決めることができる。累積値は合計値が奇数の場合のみ増加することができる。

段階Ｓ１１５０において、ターゲット画素補償部２３０は補償画素の画素値に予め定められた補償値である１を足すことができる。本発明の実施例では、累積値は合計値に対応して増加することで偶数または奇数になることができる。複数のターゲット画素から累積値に応じて補償画素が決まってもよい。補償画素の画素値が１だけ増加することができる。

図１１の補償値を決める方法は図７の説明に代えられる。

図１２は本発明のさらに他の実施例によるターゲット画素の画素値の補償方法を説明するためのフローチャートである。

図１２を参照すると、第１ターゲット画素値または第２ターゲット画素値を補償することができる。

段階Ｓ１２１０において、ターゲット画素補正部は、複数の画素のうちノイズが発生した第１ターゲット画素の予め定められた範囲内に含まれる周辺画素の画素値の平均値を用いて第１ターゲット画素の画素値を変更することができる。ターゲット画素補正部は、第１ターゲット画素の予め定められた範囲内に含まれる周辺画素の画素値の平均値を計算し、第１ターゲット画素の画素値を平均値の整数値に変更することができる。

段階Ｓ１２２０において、ターゲット画素補正部は、複数の画素のうちノイズが発生した第２ターゲット画素の予め定められた範囲内に含まれる周辺画素の画素値の平均値を用いて第２ターゲット画素の画素値を変更することができる。ターゲット画素補正部は、第２ターゲット画素の予め定められた範囲内に含まれる周辺画素の画素値の平均値を計算し、第２ターゲット画素の画素値を平均値の整数値に変更することができる。

段階Ｓ１２３０において、累積値管理部は、第１ターゲット画素に対応する平均値の小数部分に対応する値である第１小数値と第２ターゲット画素に対応する平均値の小数部分に対応する値である第２小数値を累積した累積値を生成することができる。

段階Ｓ１２４０において、ターゲット画素補償部は累積値に基づいて第１ターゲット画素の画素値または第２ターゲット画素の画素値を補償することができる。補償決定部は第１ターゲット画素または第２ターゲット画素のうち何れか１つのターゲット画素を選択することができる。補償決定部は、累積値が予め定められた基準値より大きいかまたは同じである場合、選択された何れか１つのターゲット画素の画素値に１を足すことができる。累積値管理部は累積値から１を差し引くことができる。本発明の実施例における補償決定部は、累積値が基準値より小さい場合、選択された何れか１つのターゲット画素の画素値に０を足すことができる。

ターゲット画素補償部は、累積値が基準値より小さい場合、複数の画素のうちノイズが発生した第３ターゲット画素の画素値を補償することができる。具体的には、ターゲット画素補正部は、第３ターゲット画素の予め定められた範囲内に含まれる周辺画素の画素値の平均値を用いて第３ターゲット画素の画素値を変更することができる。累積値管理部は、第３ターゲット画素に対応する平均値の小数部分に対応する値である第３小数値と累積値を累積した追加累積値を生成することができる。ターゲット画素補償部は累積値に基づいて決まった補償値を第３ターゲット画素の画素値に足すことができる。

図１３は本発明の実施例による画像センサを含むコンピューティングシステムを示すブロック図である。

図１３を参照すると、コンピューティングシステム２０００は、画像センサ２０１０、プロセッサ２０２０、記憶装置（ＳＴＯＲＡＧＥ ＤＥＶＩＣＥ）２０３０、メモリ装置（ＭＥＭＯＲＹ ＤＥＶＩＣＥ）２０４０、入出力装置２０５０、及び表示装置２０６０を含む。図１３には示されていないが、コンピューティングシステム２０００は、ビデオカード、サウンドカード、メモリカード、ＵＳＢデバイスなどと通信するか、または他の電子機器と通信できるポート（ｐｏｒｔ）をさらに含んでもよい。

画像センサ２０１０は入射光に相応する画像データを生成することができる。表示装置２０６０は画像データを表示することができる。記憶装置２０３０は画像データを記憶することができる。プロセッサ２０２０は画像センサ２０１０、表示装置２０６０、及び記憶装置２０３０の動作を制御することができる。

プロセッサ２０２０は特定の計算またはタスク（ｔａｓｋ）を実行することができる。本発明の実施例によると、プロセッサ２０２０は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理装置（ＣＰＵ、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。プロセッサ２０２０は、アドレスバス（ａｄｄｒｅｓｓ ｂｕｓ）、制御バス（ｃｏｎｔｒｏｌ ｂｕｓ）及びデータバス（ｄａｔａ ｂｕｓ）を介して記憶装置２０３０、メモリ装置２０４０及び入出力装置２０５０に接続されて通信を行うことができる。本発明の実施例によると、プロセッサ２０２０は周辺構成要素相互接続（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ；ＰＣＩ）バスなどの拡張バスに接続されてもよい。

記憶装置２０３０は、フラッシュメモリ装置（ｆｌａｓｈ ｍｅｍｏｒｙ ｄｅｖｉｃｅ）、ソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ；ＳＳＤ）、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ；ＨＤＤ）、シーディーロム（ＣＤ－ＲＯＭ）、及びあらゆる形態の不揮発性メモリ装置などを含んでもよい。

メモリ装置２０４０はコンピューティングシステム２０００の動作に必要なデータを保存することができる。例えば、メモリ装置２０４０は、動的ランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＤＲＡＭ）、静的ランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；ＳＲＡＭ）などの揮発性メモリ装置と、イーピーロム（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＰＲＯＭ）、イーイーピーロム（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ；ＥＥＰＲＯＭ）及びフラッシュメモリ装置などの不揮発性メモリ装置と、を含んでもよい。

入出力装置２０５０は、キーボード、キーパッド、マウスなどの入力手段と、プリンタ、ディスプレイなどの出力手段と、を含んでもよい。

画像センサ２０１０は、上記バスまたは別の通信リンクを介してプロセッサ２０２０と接続されて通信を行うことができる。

画像センサ２０１０は画素アレイに含まれる複数の画素から生成される複数の画素データに対してビニングを行い、上記画素アレイに均等に分散されるビニング画素データを生成することができる。

画像センサ２０１０は様々な形態のパッケージで具現されてもよい。例えば、画像センサ２０１０の少なくとも一部の構成は、ＰｏＰ（Ｐａｃｋａｇｅ ｏｎ Ｐａｃｋａｇｅ）、Ｂａｌｌ ｇｒｉｄ ａｒｒａｙｓ（ＢＧＡｓ）、Ｃｈｉｐ ｓｃａｌｅ ｐａｃｋａｇｅｓ（ＣＳＰｓ）、Ｐｌａｓｔｉｃ Ｌｅａｄｅｄ Ｃｈｉｐ Ｃａｒｒｉｅｒ（ＰＬＣＣ）、Ｐｌａｓｔｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＰＤＩＰ）、Ｄｉｅ ｉｎ Ｗａｆｆｌｅ Ｐａｃｋ、Ｄｉｅ ｉｎ Ｗａｆｅｒ Ｆｏｒｍ、Ｃｈｉｐ Ｏｎ Ｂｏａｒｄ（ＣＯＢ）、Ｃｅｒａｍｉｃ Ｄｕａｌ Ｉｎ－Ｌｉｎｅ Ｐａｃｋａｇｅ（ＣＥＲＤＩＰ）、Ｐｌａｓｔｉｃ Ｍｅｔｒｉｃ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＭＱＦＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＴＱＦＰ）、Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＳＯＩＣ）、Ｓｈｒｉｎｋ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＳＳＯＰ）、Ｔｈｉｎ Ｓｍａｌｌ Ｏｕｔｌｉｎｅ Ｐａｃｋａｇｅ（ＴＳＯＰ）、Ｔｈｉｎ Ｑｕａｄ Ｆｌａｔ Ｐａｃｋ（ＴＱＦＰ）、Ｓｙｓｔｅｍ Ｉｎ Ｐａｃｋａｇｅ（ＳＩＰ）、Ｍｕｌｔｉ Ｃｈｉｐ Ｐａｃｋａｇｅ（ＭＣＰ）、Ｗａｆｅｒ－ｌｅｖｅｌ Ｆａｂｒｉｃａｔｅｄ Ｐａｃｋａｇｅ（ＷＦＰ）、Ｗａｆｅｒ－Ｌｅｖｅｌ Ｐｒｏｃｅｓｓｅｄ Ｓｔａｃｋ Ｐａｃｋａｇｅ（ＷＳＰ）などのパッケージを利用して具現されてもよい。

実施例に応じて、画像センサ２０１０はプロセッサ２０２０と一緒に１つのチップに集積されてもよく、異なるチップにそれぞれ集積されてもよい。

一方、コンピューティングシステム２０００は、画像センサ２０１０を利用するすべてのコンピューティングシステムと解釈すべきである。例えば、コンピューティングシステム２０００は、デジタルカメラ、携帯電話、ピーディーエー（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ；ＰＤＡ）、ピーエムピー（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ；ＰＭＰ）、スマートフォンなどを含んでもよい。

本発明が属する技術分野の通常の技術者は、本発明がその技術的思想や必須の特徴を変更せずに他の具体的な形態で実施できるため、以上で説明した実施例は全ての側面において例示的であり、限定的ではないと理解すべきである。本発明の範囲は上記詳細な説明ではなく添付の特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出される全ての変更または変形された形態が本発明の範囲に含まれると解釈すべきである。

１０ 画像処理システム
１００ 画像センサ
２００ 画像処理装置

Claims (22)

1. 画像センサに含まれた複数の画素からノイズの発生した複数のターゲット画素を検出するターゲット画素検出部と、
   上記複数のターゲット画素のそれぞれの周辺画素の平均画素値を用いて上記複数のターゲット画素のターゲット画素値を変更するターゲット画素補正部と、
   上記平均画素値の小数部分に対応する値を累積した累積値を用いて上記ターゲット画素値を補償するターゲット画素補償部と、を含むことを特徴とする画像処理装置。
2. 上記ターゲット画素補正部は、
   上記周辺画素の範囲を予め定められた値に応じて決めることを特徴とする請求項１に記載の画像処理装置。
3. 上記ターゲット画素補正部は、
   上記ターゲット画素値を上記平均画素値の整数部分に変更することを特徴とする請求項２に記載の画像処理装置。
4. 上記ターゲット画素補償部は、
   上記平均画素値の小数部分に対応する値である小数値を累積した上記累積値を生成する累積値管理部と、
   上記累積値に基づいて上記複数のターゲット画素のうち補償値が画素値に足される補償画素を決め、上記補償値をそれぞれ決める補償決定部と、を含むことを特徴とする請求項２に記載の画像処理装置。
5. 上記ターゲット画素補償部は、
   上記小数値の発生を検知する検知部をさらに含むことを特徴とする請求項４に記載の画像処理装置。
6. 上記補償決定部は、
   上記小数値の発生に対応して上記累積値と予め定められた基準値とを比較し、上記累積値が上記基準値より大きいかまたは同じである場合、上記補償値を１と決め、
   上記累積値管理部は、
   上記補償値が１と決まったことに対応して上記累積値から上記基準値を差し引くことを特徴とする請求項４に記載の画像処理装置。
7. 上記補償決定部は、
   上記累積値が上記基準値より小さい場合、上記補償値を０と決めることを特徴とする請求項６に記載の画像処理装置。
8. 上記補償決定部は、
   上記小数値の発生に対応して上記補償値を０または１とランダムに決めることを特徴とする請求項５に記載の画像処理装置。
9. 上記補償決定部は、
   上記累積値に基づいて決まった割合に応じて上記補償値を０または１と決めることを特徴とする請求項８に記載の画像処理装置。
10. 上記ターゲット画素補償部は、
    上記複数のターゲット画素のうち位置が予め定められたターゲット画素の画素値に１を足すことを特徴とする請求項２に記載の画像処理装置。
11. 上記ターゲット画素補償部は、
    上記複数のターゲット画素のうち位置がランダムなターゲット画素の画素値に１を足すことを特徴とする請求項２に記載の画像処理装置。
12. 画像センサに含まれた複数の画素からノイズの発生した複数のターゲット画素を検出するターゲット画素検出部と、
    上記複数のターゲット画素のそれぞれの位置に基づいて横方向に接触した接触画素の平均画素値を用いて上記複数のターゲット画素のターゲット画素値を変更するターゲット画素補正部と、
    上記接触画素の画素値の合計値に基づいて上記ターゲット画素値を補償するターゲット画素補償部と、を含むことを特徴とする画像処理装置。
13. 上記ターゲット画素補正部は、
    上記ターゲット画素値を平均画素値の整数部分に変更することを特徴とする請求項１２に記載の画像処理装置。
14. 上記ターゲット画素補償部は、
    上記合計値のうち奇数の合計値に対応して１だけ増加する累積値を生成する累積値管理部と、
    上記累積値の増加を検知する検知部と、
    上記累積値に基づいて上記複数のターゲット画素のうち予め定められた補償値が足される少なくとも１つ以上の補償画素を決める補償決定部と、をさらに含むことを特徴とする請求項１２に記載の画像処理装置。
15. 上記補償決定部は、
    上記累積値を奇数から偶数に増加させる合計値に対応するターゲット画素を上記補償画素として決めることを特徴とする請求項１４に記載の画像処理装置。
16. 上記補償決定部は、
    上記累積値に基づいて決まった割合に応じて上記補償画素をランダムに決めることを特徴とする請求項１４に記載の画像処理装置。
17. 画像を表す複数の画素の画素値を受信する段階と、
    上記複数の画素のうちノイズが発生した第１ターゲット画素の予め定められた範囲内に含まれる周辺画素の平均画素値を用いて上記第１ターゲット画素の画素値を変更する段階と、
    上記第１ターゲット画素に対応する平均値の小数部分に対応する値である第１小数値を取得する段階と、
    上記複数の画素のうち上記ノイズが発生した第２ターゲット画素の予め定められた範囲内に含まれる周辺画素の平均画素値を用いて上記第２ターゲット画素の画素値を変更する段階と、
    上記第２ターゲット画素に対応する平均画素値の小数部分に対応する値である第２小数値と上記第１小数値を累積した累積値を生成する段階と、
    上記累積値に基づいて上記第１ターゲット画素の画素値または上記第２ターゲット画素の画素値を補償する段階と、を含むことを特徴とする画像処理装置の動作方法。
18. 上記第１ターゲット画素の画素値または上記第２ターゲット画素の画素値を補償する段階は、
    上記第１ターゲット画素または上記第２ターゲット画素の何れか１つのターゲット画素を選択する段階と、
    上記累積値が予め定められた基準値より大きいかまたは同じである場合、上記何れか１つのターゲット画素の画素値に１を足し、上記累積値から１を差し引く段階と、を含むことを特徴とする請求項１７に記載の画像処理装置の動作方法。
19. 上記第１ターゲット画素の画素値または上記第２ターゲット画素の画素値を選択する段階は、
    上記累積値が上記基準値より小さい場合、上記何れか１つのターゲット画素の画素値に０を足す段階をさらに含むことを特徴とする請求項１８に記載の画像処理装置の動作方法。
20. 上記累積値が上記基準値より小さい場合、上記複数の画素のうち上記ノイズが発生した第３ターゲット画素の画素値を補償する段階をさらに含み、
    上記第３ターゲット画素の画素値を補償する段階は、
    上記第３ターゲット画素の予め定められた範囲内に含まれる周辺画素の平均画素値を用いて上記第３ターゲット画素の画素値を変更する段階と、
    上記第３ターゲット画素に対応する平均画素値の小数部分に対応する値である第３小数値と上記累積値を累積した追加累積値を生成する段階と、
    上記累積値に基づいて決まった補償値を上記第３ターゲット画素の画素値に足す段階と、を含むことを特徴とする請求項１９に記載の画像処理装置の動作方法。
21. 画像を表す複数の画素の画素値を受信する段階と、
    上記複数の画素からノイズの発生した複数のターゲット画素を検出する段階と、
    上記複数のターゲット画素のそれぞれの位置に基づいて縦方向に接触した接触画素の画素値の合計値を計算する段階と、
    上記合計値のそれぞれの平均画素値を用いてターゲット画素値を変更する段階と、
    上記合計値のうち奇数の合計値に対応して１だけ増加する累積値を生成する段階と、
    上記複数のターゲット画素のうち上記累積値を奇数から偶数に増加させた合計値に対応するターゲット画素を補償画素として決める段階と、
    上記補償画素の画素値に予め定められた補償値を足す段階と、を含むことを特徴とする画像処理装置の動作方法。
22. 画像を表す第１画素の画素値を伝送する画像センサと、
    上記第１画素の画素値に基づいて上記第１画素からノイズの発生した第２画素を検出するターゲット画素検出部と、
    上記画像において上記第２画素の位置に応じてそれぞれ決まる第３画素の平均画素値を用いてターゲット画素値を変更するターゲット画素補正部と、
    上記平均画素値の小数部分に対応する値を累積した累積値を用いて上記ターゲット画素値を補償するターゲット画素補償部と、
    画素値が補償された上記第２画素を含む上記第１画素の画素値を出力する出力管理部と、を含むことを特徴とする画像処理システム。

Images