JP2022019533A - エッジ基盤のシャープネス強度制御回路、イメージセンシング装置、及びその動作方法 - Google Patents

Abstract

【課題】複数のピクセルから出力されるピクセル値に対してエッジ領域の方向性によってエッジ領域をさらに詳細に区分してノイズを除去し、質感を向上させる。【解決手段】エッジ基盤のシャープネス強度制御回路３００は、複数のピクセルから出力されるピクセルデータに対応する領域に対してエッジ情報を有するエッジ領域及びフラット情報を有するフラット領域を判断するエッジ判断部３１０と、エッジ判断部３１０で判断されたエッジ領域に対してエッジ領域の方向性によって方向性情報を有する第１のエッジを備えるステップエッジ領域と方向性情報を有さない第２のエッジを備えるテクスチャエッジ領域とを判断するステップエッジ判断部３２０と、ステップエッジ判断部３２０で判断されたステップエッジ領域及びテクスチャエッジ領域のノイズを各々互いに異なるゲインを有する互いに異なるフィルタを介して除去するノイズ除去部３３０とを備える。【選択図】図１

Description

本発明は、半導体装置に関し、より詳細には、エッジ基盤のシャープネス強度制御回路、イメージセンシング装置、及びその動作方法に関する。

近年、コンピュータ環境に対するパラダイム（ｐａｒａｄｉｇｍ）が、いつ、どこでもコンピュータシステムを使用できるようにするユビキタスコンピューティング（ｕｂｉｑｕｉｔｏｕｓ ｃｏｍｐｕｔｉｎｇ）に切り換えられている。これにより、携帯電話、デジタルカメラ、ノートブックコンピュータなどのような携帯用電子装置の使用が急増している。

特に、映像機器の急速な発展により、イメージセンサが装着されたカメラ、カムコーダなどのイメージ撮影装置に対する開発が加速化されている。このようなイメージ撮影装置は、イメージを撮影して記録媒体に記録するとともに、いつでも再生させることができ、ユーザが急速に増加している。これにより、性能及び機能に対するユーザの要求も次第に高まっており、小型、軽量化、低電力化とともに、高性能化及び多機能化が追求されている。

本発明の実施形態等は、複数のピクセルから出力されるピクセル値に対してエッジ領域の方向性によってエッジ領域をステップエッジ領域とテクスチャエッジ領域とにさらに詳細に区分してノイズを除去し、質感を向上させるエッジ基盤のシャープネス強度制御回路、イメージセンシング装置、及びその動作方法を提供できる。

本発明においてなそうとする技術的課題は、以上で言及した技術的課題に制限されず、言及していないさらに他の技術的課題は、下記の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解され得るであろう。

本発明は、エッジ基盤のシャープネス強度制御回路、イメージセンシング装置、及びその動作方法を提供する。

本発明の実施形態等に係るエッジ基盤のシャープネス強度制御回路は、ピクセルアレイに含まれた複数のピクセルから出力されるピクセルデータに対応する領域に対してエッジ情報を有するエッジ領域及びフラット情報を有するフラット領域を判断するエッジ判断部と、前記エッジ判断部で判断されたエッジ領域に対してエッジ領域の方向性によって方向性情報を有する第１のエッジを備えるステップエッジ領域と方向性情報を有さない第２のエッジを備えるテクスチャエッジ領域とを判断するステップエッジ判断部と、前記ステップエッジ判断部で判断されたステップエッジ領域及びテクスチャエッジ領域のノイズを各々互いに異なるゲインを有する互いに異なるフィルタを介して除去するノイズ除去部とを備えることができる。

前記エッジ判断部は、周辺ピクセルのピクセル値の標準偏差が基準値より大きければ、ピクセルデータに対応する領域をエッジ領域と判断し、周辺ピクセル値の標準偏差が基準値より小さければ、ピクセルデータに対応する領域をフラット領域と判断し、前記ステップエッジ判断部は、エッジ領域の方向性変化の累積回数が予め設定された値より小さい場合には、前記エッジ領域をステップエッジ領域と判断し、前記方向性変化の累積回数が予め設定された値より大きい場合には、前記エッジ領域をテクスチャエッジ領域と判断することができる。

前記ステップエッジ判断部は、前記ステップエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記ステップエッジ領域を強ステップエッジ領域と判断し、前記周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記ステップエッジ領域を弱ステップエッジ領域と判断することができる。

前記ステップエッジ判断部は、前記テクスチャエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記テクスチャエッジ領域を強テクスチャエッジ領域と判断し、前記周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記テクスチャエッジ領域を弱テクスチャエッジ領域と判断することができる。

前記ノイズ除去部は、前記テクスチャエッジ領域に対してハイゲインハイフリークエンシーフィルタを用いて前記テクスチャエッジ領域のノイズを除去し、前記ステップエッジ領域に対してローゲインハイフリークエンシーフィルタを用いて前記ステップエッジ領域のノイズを除去することができる。

前記ローゲインハイフリークエンシーフィルタは、オリジナルイメージ信号からブラーリング信号（ｂｌｕｒｒｉｎｇ ｓｉｇｎａｌ）を差し引いてシャープネス（ｓｈａｒｐｎｅｓｓ）強度を向上させることができる。

前記ブラーリング信号は、前記ステップエッジの方向性と一致しない方向性を有する周辺ピクセルの平均値を用いて生成されることができる。

前記エッジ領域の方向性は、水平方向、垂直方向、左側対角方向、右側対角方向のうち、少なくとも１つを含むことができる。

また、本発明の他の実施形態に係るイメージセンシング装置は、複数のピクセルを備えたイメージセンサと、前記イメージセンサの出力信号を処理するイメージ信号プロセッサとを備え、前記イメージセンサ及び前記イメージ信号プロセッサのうち、いずれか１つの内部にエッジ基盤のシャープネス強度制御回路が実現され、前記エッジ基盤のシャープネス強度制御回路は、ピクセルアレイに含まれた複数のピクセルから出力されるピクセルデータに対応する領域に対して周辺ピクセルのピクセル値の標準偏差が基準値より大きければ、エッジ領域と判断し、周辺ピクセル値の標準偏差が基準値より小さければ、フラット領域と判断するエッジ判断部と、前記エッジ判断部で判断されたエッジ領域に対して方向性変化の累積回数が予め設定された値より小さい場合には、ステップエッジ領域と判断し、前記方向性変化の累積回数が予め設定された値より大きい場合には、テクスチャエッジ領域と判断するステップエッジ判断部と、前記ステップエッジ判断部で判断されたステップエッジ領域及びテクスチャエッジ領域のノイズを各々互いに異なるゲインを有する互いに異なるフィルタを介して除去するノイズ除去部とを備えることができる。

また、本発明のさらに他の実施形態に係るイメージセンシング装置の動作方法は、ピクセルアレイに含まれた複数のピクセルから出力されるピクセルデータに対応する領域に対して周辺ピクセルのピクセル値の標準偏差が基準値より大きければ、エッジ領域と判断し、周辺ピクセル値の標準偏差が基準値より小さければ、フラット領域と判断するエッジ判断ステップと、前記エッジ判断ステップで判断されたエッジ領域に対して方向性変化の累積回数が予め設定された値より小さい場合には、ステップエッジ領域と判断し、前記方向性変化の累積回数が予め設定された値より大きい場合には、テクスチャエッジ領域と判断するステップエッジ判断ステップと、前記ステップエッジ判断ステップで判断されたステップエッジ領域及びテクスチャエッジ領域のノイズを各々互いに異なるゲインを有する互いに異なるフィルタを介して除去するノイズ除去ステップとを含むことができる。

本発明において得ることができる効果は、以上で言及した効果に制限されず、言及していないさらに他の効果は、下記の記載から本発明の属する分野における通常の知識を有する者に明確に理解され得るであろう。

本発明の実施形態に係るエッジ基盤のシャープネス強度制御回路、イメージセンシング装置、及びその動作方法は、エッジ領域をステップエッジ領域とテクスチャエッジ領域とにさらに詳細に区分することで、ドットノイズ（ｄｏｔ ｎｏｉｓｅ）を除去するか、ディテールイメージをより明瞭に表現して画質の鮮明性（ｓｈａｒｐｎｅｓｓ）を向上させることができる。

本発明の一実施形態に係るエッジ基盤のシャープネス強度制御回路のブロック図を示す。 図１に示されたステップエッジ判断部によるステップエッジとテクスチャエッジ領域の区分を説明する図である。 エッジ領域の方向性を説明する図である。 図１に示されたノイズ除去部でノイズを除去する方法を説明する図である。 本発明の他の実施形態に係るイメージセンシング装置のブロック図を示す。 本発明のさらに他の実施形態に係るイメージセンシング装置のブロック図を示す。 本発明のさらに他の実施形態に係るイメージセンシング装置の動作を説明するフローチャートである。 本発明の一実施形態に係るイメージセンシング装置が適用されたシステムの一実施形態を説明するブロック図を示す。

以下、本発明に係る望ましい実施形態を添付した図面を参照して詳細に説明する。下記の説明では、本発明に係る動作を理解するのに必要な部分のみが説明され、それ以外の部分の説明は、本発明の要旨を濁さないように省略されるであろうということに留意すべきである。

以下、図面を参照して本発明の実施形態等についてより具体的に説明する。

図１～図４を参照して本発明の一実施形態に係るエッジ基盤のシャープネス強度制御回路を説明する。

図１は、本発明の一実施形態に係るエッジ基盤のシャープネス強度制御回路のブロック図を示し、図２は、図１に示されたステップエッジ判断部によるステップエッジとテクスチャエッジ領域の区分を説明する図であり、図３は、エッジ領域の方向性を説明する図であり、図４は、図１に示されたノイズ除去部でノイズを除去する方法を説明する図である。

図１に示された本発明の一実施形態に係るシャープネス強度制御回路３００は、エッジ判断部３１０、ステップエッジ判断部３２０、及びノイズ除去部３３０を備えることができる。

エッジ判断部３１０は、ピクセルアレイに含まれた複数のピクセルから出力されるピクセル値に対してエッジ情報を有するエッジ領域及びフラット情報を有するフラット領域を判断することができる。

図２に示されたように、エッジ判断部３１０は、周辺ピクセルのピクセル値の標準偏差（Ｓｔａｎｄａｒｄ Ｄｅｖｉａｔｉｏｎ：ＳＴＤ）が基準値より大きければ、エッジ領域と分類し、周辺ピクセル値の標準偏差が基準値より小さければ、フラット（ｆｌａｔ）領域と分類することができる。このとき、基準値は、周辺ピクセルのうち、グリーンピクセルの平均値で決定されることができる。他の実施形態では、明るさ指標によって基準値が可変的に変更されるように設計されることができる。

ステップエッジ判断部３２０は、エッジ判断部３１０で判断されたエッジ領域に対してエッジ領域の方向性によって方向性情報を有する第１のエッジを備えるステップエッジ領域と方向性情報を有さない第２のエッジを備えるテクスチャエッジ領域とを判断することができる。このとき、ステップエッジ領域は、方向性が明確なエッジ領域を表し、テクスチャエッジ領域は、芝草、デスクパターン、ストーンパターンのように、明確な方向性を有さない領域を表す。

例えば、前記ステップエッジ判断部３２０は、エッジ領域の方向性変化の累積回数が予め設定された値より小さい場合には、前記エッジ領域をステップエッジ領域（ｓｔｅｐ ｅｄｇｅ ｒｅｇｉｏｎ）と判断し、前記方向性変化の累積回数が予め設定された値より大きい場合には、前記エッジ領域をテクスチャエッジ領域（ｔｅｘｔｕｒｅ ｅｄｇｅ ｒｅｇｉｏｎ）と分類することができる。

すなわち、図２に示されたように、方向性変化の累積回数が「０」である場合には、前記エッジ領域がステップエッジ領域と分類され、方向性変化の累積回数が「５」または「３」である場合には、前記エッジ領域がテクスチャエッジ領域と分類されることができる。

また、前記ステップエッジ判断部３２０は、ステップエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記ステップエッジ領域を強ステップエッジ（ｓｔｒｏｎｇ ｓｔｅｐ ｅｄｇｅ）領域と判断し、周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記ステップエッジ領域を弱ステップエッジ（ｗｅａｋ ｓｔｅｐ ｅｄｇｅ）領域と判断することができる。

また、前記ステップエッジ判断部３２０は、テクスチャエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記テクスチャエッジ領域を強テクスチャエッジ領域と判断し、周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記テクスチャエッジ領域を弱テクスチャエッジ領域と判断することができる。

すなわち、図２に示されたように、前記テクスチャエッジ領域の方向性変化の強度大きさが大きい場合には、「７」に例示され、そのテクスチャエッジ領域の方向性変化の強度大きさが小さい場合には、「２」に例示されることができる。

このとき、図３に示されたように、エッジ領域の方向性は、水平方向（Ｈｏｒｉｚｏｎｔａｌ）、垂直方向（Ｖｅｒｔｉｃａｌ）、左側対角方向（Ｄｉａｇｏｎａｌ Ｌｅｆｔ：ＤＬ）、右側対角方向（Ｄｉａｇｏｎａｌ Ｒｉｇｈｔ：ＤＲ）に分類されることができる。

各方向の傾き（Ｇｒａｄｉｅｎｔ）は、計算量の簡素化のために、絶対値差の合計（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ ＤｉｆｆｅｒｅｎｃＥ）を使用して計算されることができ、図３に示された「ＤＬｄｉｆｆ」は、左側対角方向絶対値差を表し、「Ｖｄｉｆｆ」は、垂直方向絶対値差を表し、「ＤＲｄｉｆｆ」は、右側対角方向絶対値差を表し、「Ｈｄｉｆｆ」は、水平方向絶対値差を表す。

また、エッジ領域の方向性による水平傾きは「Ｈ＿Ｇｒａ」、垂直傾きは「Ｖ＿Ｇｒａ」、左側対角傾きは「ＤＬ＿Ｇｒａ」、右側対角傾きは「ＤＲ＿Ｇｒａ」に各々命名されることができる。

例えば、下記の数式１を満たす場合には、エッジ領域の方向が対角右側方向ＤＲと決定されることができる。
［数１］
Ａ＆Ｂ＆（Ｃ｜Ｄ）、
Ａは、｜ＤＬ＿Ｇｒａ－ＤＲ＿Ｇｒａ｜＞基準値（Ｔｈｒｅｓｈｏｌｄ）を表し、
Ｂは、｜ＤＬ＿Ｇｒａ－ＤＲ＿Ｇｒａ｜－｜Ｈ＿Ｇｒａ－Ｖ＿Ｇｒａ｜＜基準値（Ｔｈｒｅｓｈｏｌｄ）を表し、
Ｃは、Ｍａｘ（Ｈ＿Ｇｒａ、Ｖ＿Ｇｒａ、ＤＬ＿Ｇｒａ、ＤＲ＿Ｇｒａ）！＝ＤＲ＿Ｇｒａを表し、
Ｄは、Ｍｉｎ（Ｈ＿Ｇｒａ、Ｖ＿Ｇｒａ、ＤＬ＿Ｇｒａ、ＤＲ＿Ｇｒａ）＝＝ＤＲ＿Ｇｒａを表す。

また、下記の数式２を満たす場合には、エッジ領域の方向が対角左側方向ＤＬと決定されることができる。
［数２］
Ａ＆Ｂ＆（Ｃ１｜Ｄ１）、
Ａは、｜ＤＬ＿Ｇｒａ－ＤＲ＿Ｇｒａ｜＞基準値（Ｔｈｒｅｓｈｏｌｄ）を表し、
Ｂは、｜ＤＬ＿Ｇｒａ－ＤＲ＿Ｇｒａ｜－｜Ｈ＿Ｇｒａ－Ｖ＿Ｇｒａ｜＜基準値（Ｔｈｒｅｓｈｏｌｄ）を表し、
Ｃ１は、Ｍａｘ（Ｈ＿Ｇｒａ、Ｖ＿Ｇｒａ、ＤＬ＿Ｇｒａ、ＤＲ＿Ｇｒａ）！＝ＤＬ＿Ｇｒａを表し、
Ｄ１は、Ｍｉｎ（Ｈ＿Ｇｒａ、Ｖ＿Ｇｒａ、ＤＬ＿Ｇｒａ、ＤＲ＿Ｇｒａ）＝＝ＤＬ＿Ｇｒａを表す。

また、下記の数式３を満たす場合には、エッジ領域の方向が水平方向（Ｈｏｒｉｚｏｎｔａｌ）と決定されることができる。
［数３］
Ａ１＆Ｅ＆Ｄ２、
Ａ１は、｜ＤＬ＿Ｇｒａ－ＤＲ＿Ｇｒａ｜＜基準値（Ｔｈｒｅｓｈｏｌｄ）を表し、
Ｅは、Ｖ＿Ｇｒａ－Ｈ＿Ｇｒａ＞基準値（Ｔｈｒｅｓｈｏｌｄ）を表し、
Ｄ２は、Ｍｉｎ（Ｈ＿Ｇｒａ、Ｖ＿Ｇｒａ、ＤＬ＿Ｇｒａ、ＤＲ＿Ｇｒａ）＝＝Ｈ＿Ｇｒａを表す。

また、下記の数式４を満たす場合には、エッジ領域の方向が垂直方向（Ｖｅｒｔｉｃａｌ）と決定されることができる。
［数４］
Ａ１＆Ｅ１＆Ｄ３、
Ａ１は、｜ＤＬ＿Ｇｒａ－ＤＲ＿Ｇｒａ｜＜基準値（Ｔｈｒｅｓｈｏｌｄ）を表し、
Ｅ１は、Ｈ＿Ｇｒａ－Ｖ＿Ｇｒａ＞基準値（Ｔｈｒｅｓｈｏｌｄ）を表し、
Ｄ３は、Ｍｉｎ（Ｈ＿Ｇｒａ、Ｖ＿Ｇｒａ、ＤＬ＿Ｇｒａ、ＤＲ＿Ｇｒａ）＝＝Ｖ＿Ｇｒａを表す。

ノイズ除去部３３０は、ステップエッジ判断部３２０で判断されたステップエッジ領域及びテクスチャエッジ領域のノイズを互いに異なるゲインを有するフィルタを介して除去してシャープネス（ｓｈａｒｐｎｅｓｓ）を向上させることができる。

より詳細に、ノイズ除去部３３０は、テクスチャエッジ領域に対してハイゲインハイフリークエンシー（ｈｉｇｈ ｇａｉｎ ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ）フィルタを用いてテクスチャエッジ領域のノイズを除去し、ステップエッジ領域に対してローゲインハイフリークエンシー（ｌｏｗ ｇａｉｎ ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ）フィルタを用いてステップエッジ領域のノイズを除去することができる。

このとき、図４に示されたように、ローゲインハイフリークエンシーフィルタは、オリジナルイメージ信号からブラーリング信号（ｂｌｕｒｒｉｎｇ ｓｉｇｎａｌ）を差し引いてシャープネス（ｓｈａｒｐｎｅｓｓ）成分を生成してシャープネス強度を向上させることができる。

このとき、ブラーリング信号は、ステップエッジの方向性と一致しない方向性を有する周辺ピクセルの平均値（ａｖｇ）を用いて生成されることができる。一例として、図４に示された水平方向ライン（ｈｏｒｉｚｏｎｔａｌ ｌｉｎｅ）に合うように平均値（ａｖｇ）を用いて生成されることができる。これを介してエッジステップ周辺のドットノイズ（ｄｏｔ ｎｏｉｓｅ）を除去でき、イメージをより詳細に表現することができる。

一方、フラット領域に対するノイズ除去は、広く知られた公知技術に該当するので、その説明を省略する。

図５は、本発明の一実施形態に係るイメージセンシング装置のブロック図を示す。

図５に示すように、イメージセンシング装置１０は、イメージセンサ１００及びイメージ信号プロセッサ（ＩＳＰ）４００を備えることができる。

イメージセンシング装置１０は、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）またはモバイルコンピューティング装置で実現されることができる。前記イメージセンシング装置は、ラップトップコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、移動電話機、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、タブレット（ｔａｂｌｅｔ）ＰＣ、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチルカメラ（ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａ）、デジタルビデオカメラ（ｄｉｇｉｔａｌ ｖｉｄｅｏ ｃａｍｅｒａ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、モバイルインターネット装置（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ（ＭＩＤ））、ウェアラブルコンピュータ、モノのインターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ（ＩｏＴ））装置、または万物のインターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｅｖｅｒｙｔｈｉｎｇ（ＩｏＥ））装置で実現されることができる。

図５に示されたイメージセンサ１００は、ピクセルアレイ２００とエッジ基盤のシャープネス強度制御回路３００とを備えることができる。

ピクセルアレイ２００は、複数のピクセルを備えることができる。ここで、ピクセル（ｐｉｘｅｌ）は、ピクセルデータを意味することができ、ＲＧＢデータフォーマット、ＹＵＶデータフォーマット、またはＹＣｂＣｒデータフォーマットを有することができるが、これに限定されるものではない。

エッジ基盤のシャープネス強度制御回路３００は、ステップエッジ領域及びテクスチャエッジ領域のノイズを互いに異なるゲインを有するフィルタを介して除去して、シャープネス（ｓｈａｒｐｎｅｓｓ）を向上させたイメージを出力する。

エッジ基盤のシャープネス強度制御回路３００の詳細構成及び動作は、図１～図４に示されたエッジ基盤のシャープネス強度制御回路３００の構成及び動作と実質的に同様であるか、類似するので、これについての詳細な説明は省略する。

イメージ信号プロセッサ４００は、プロセッサの一実施形態であって、集積回路、システムオンチップ（ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ（ＳｏＣ））、またはモバイルＡＰで実現されることができる。イメージ信号プロセッサ４００は、前記イメージセンサ１００の出力信号を処理する。すなわち、イメージセンサ１００内に備えられたエッジ基盤のシャープネス強度制御回路３００でステップエッジ領域及びテクスチャエッジ領域のノイズを互いに異なるゲインを有するフィルタを介して除去して、シャープネス（ｓｈａｒｐｎｅｓｓ）を向上させたイメージ出力信号を提供されて処理する。

詳細には、イメージ信号プロセッサ４００は、ピクセルデータに対応するベイヤパターン（ＢＡＹＥＲ）を処理してＲＧＢイメージデータを生成できる。例えば、イメージ信号プロセッサ４００は、イメージデータ（ＩＤＡＴＡ）がディスプレイでディスプレイされ得るようにベイヤパターン（ＢＡＹＥＲ）を加工（または、処理）し、加工（または、処理）されたイメージデータをインターフェースに送信することができる。

実施形態によって、イメージセンサ１００とイメージ信号プロセッサ４００とは、各々チップで実現され、１つのパッケージ、例えば、マルチ－チップパッケージ（ｍｕｌｔｉ－ｃｈｉｐ ｐａｃｋａｇｅ（ＭＣＰ））で実現されることができる。他の実施形態によって、イメージセンサ１００とイメージ信号プロセッサ４００とは、１つのチップで実現されることもできる。

図６は、本発明の他の実施形態に係るイメージセンシング装置のブロック図を示す。

図６に示すように、イメージセンシング装置１０は、イメージセンサ１００及びイメージ信号プロセッサ（ＩＳＰ）４００を備えることができる。

エッジ基盤のシャープネス強度制御回路３００は、イメージセンサ１００内に実現されずにイメージ信号プロセッサ４００内に実現されたことを除くと、図６のイメージセンシング装置１０の構造と動作は、図５のイメージセンシング装置１０の構造と動作と実質的に同様であるか、類似するので、詳細な説明を省略する。

以下、図７を参照して本発明のさらに他の実施形態に係るイメージセンシング装置の動作を説明する。図７は、本発明のさらに他の実施形態に係るイメージセンシング装置の動作を説明するフローチャートである。

図７に示されたイメージセンシング装置の動作は、エッジ領域判断ステップ（Ｓ７１０）、ステップエッジ領域判断ステップ（Ｓ７２０）、ステップエッジ領域のノイズ除去ステップ（Ｓ７３０）、及びテクスチャエッジ領域のノイズ除去ステップ（Ｓ７４０）を含む。

エッジ領域判断ステップ（Ｓ７１０）では、ピクセルアレイに含まれた複数のピクセルから出力されるピクセル値に対して周辺ピクセルのピクセル値の標準偏差が基準値より大きければ、エッジ領域と分類し、周辺ピクセル値の標準偏差が基準値より小さければ、フラット領域と分類することができる。

ステップエッジ領域判断ステップ（Ｓ７２０）では、エッジ領域判断ステップ（Ｓ７１０）で判断されたエッジ領域に対して方向性変化の累積回数が予め設定された値より小さい場合にエッジ領域をステップエッジ領域と判断し、前記方向性変化の累積回数が予め設定された値より大きい場合にエッジ領域をテクスチャエッジ領域と判断することができる。

このとき、ステップエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、ステップエッジ領域を強ステップエッジ領域と分類し、周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、ステップエッジ領域を弱ステップエッジ領域と分類することができる。

また、テクスチャエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、テクスチャエッジ領域を強テクスチャエッジ領域と分類し、前記周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、テクスチャエッジ領域を弱テクスチャエッジ領域と分類することができる。

ステップエッジ領域のノイズ除去ステップ（Ｓ７３０）では、ステップエッジ判断ステップ（Ｓ７２０）で判断されたステップエッジ領域に対してローゲインハイフリークエンシーフィルタを用いてノイズを除去することができる。

このとき、ローゲインハイフリークエンシーフィルタは、オリジナルイメージ信号からブラーリング信号（ｂｌｕｒｒｉｎｇ ｓｉｇｎａｌ）を差し引いてシャープネス強度を向上させることができる。

テクスチャ領域のノイズ除去ステップ（Ｓ７４０）では、ステップエッジ判断ステップ（Ｓ７２０）で判断されたテクスチャエッジ領域に対してハイゲインハイフリークエンシーフィルタを用いてノイズを除去することができる。

以下、本発明の一実施形態に係るイメージセンシング装置が適用されたシステムの一実施形態を説明する。図８は、本発明の一実施形態に係るイメージセンシング装置が適用されたシステムの一実施形態を説明するブロック図を示す。

図８に示すように、図８に示されたシステムは、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップまたはノートブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピューティングデバイス、セルラーフォン、スマートフォン、モバイルフォン、ワークステーション、ネットワークコンピュータ、消費者デバイス、アプリケーションサーバ、格納デバイス、知能型ディスプレイ、周辺装置デバイス、例えば、スイッチ、モデム、ルータ、その他、または一般的に任意の類型のコンピューティングデバイスを含むが、これに制限されない様々な類型等のコンピューティングデバイスのうち、いずれであることができる。

一実施形態によって、図８に例示されたシステムは、システム－オン－チップ（ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ、ＳＯＣ）を示すことができる。名前から暗示されるように、ＳＯＣ（１０００）のコンポーネント等は、集積回路「チップ」のように単一半導体基板上に集積されることができる。いくつかの実施形態において、コンポーネント等は、システムで２つ以上の別のチップ上に実現されることができる。ＳＯＣ（１０００）は、本明細書において例示として使用されるであろう。

例示された実施形態において、ＳＯＣ（１０００）のコンポーネント等は、中央プロセシングユニット（ＣＰＵ）コンプレックス１０２０、オン－チップ周辺装置コンポーネント等１０４０Ａ及び１０４０Ｂ（より簡略に、「周辺装置等」）、メモリ制御機（ＭＣ）１０３０、イメージ信号プロセッサ４００、及び通信ファブリック（ｆａｂｒｉｃ）１０１０を備えることができる。

ＳＯＣ（１０００）は、さらに追加コンポーネント等に、例えば、メモリ１８００及びイメージセンサ１００に結合されることができる。コンポーネント等（１０２０、１０３０、１０４０Ａ及び１０４０Ｂ、そして２００）の全ては、通信ファブリック１０１０に結合されることができる。メモリ制御機１０３０は、使用中にメモリ１８００に結合されることができ、周辺装置１０４０Ｂは、使用中に外部インターフェース１９００に結合されることができる。

例示される実施形態において、ＣＰＵコンプレックス１０２０は、１つ以上のプロセッサ１０２４及びレベル２（Ｌ２）キャッシュ１０２２を備えることができる。周辺装置等１０４０Ａ及び１０４０Ｂは、ＳＯＣ（１０００）に含まれた追加ハードウェア機能性の任意のセットであることができる。例えば、周辺装置等１０４０Ａ及び１０４０Ｂは、１つ以上のディスプレイデバイス上にビデオデータをディスプレイするように構成されたディスプレイ制御機、グラフィックプロセシングユニット（ＧＰＵ）、ビデオエンコーダ／デコーダ、スケーラ（ｓｃａｌｅｒ）、ロテータ（ｒｏｔａｔｏｒ）、ブレンダー（ｂｌｅｎｄｅｒ）、その他を備えることができる。

イメージ信号プロセッサ４００は、イメージセンサ１００（または、他のイメージセンサ）からイメージキャプチャデータをプロセシングすることができる。イメージ信号プロセッサ４００及びイメージセンサ１００は、図１～図７に示されたイメージ信号プロセッサ４００とイメージセンサ１００の構成及び動作が適用され得る。

周辺装置等は、さらにオーディオ周辺装置等、例えば、マイクロホン、スピーカ、マイクロホン及びスピーカに対するインターフェース、オーディオプロセッサ、デジタル信号プロセッサ、ミキサ、その他を含むことができる。周辺装置等は、インターフェース、例えば、汎用直列バス（ＵＳＢ）、ＰＣＩエクスプレス（ＰＣＩｅ）を含む周辺装置コンポーネントインターコネクト（ＰＣＩ）、直列及び並列ポート、その他を含むＳＯＣ（１０００）の外部の様々なインターフェース１９００に対する周辺装置インターフェース制御機（例えば、周辺装置１０４０Ｂ）を備えることができる。周辺装置等は、ネットワーキング周辺装置等、例えば、メディアアクセス制御機（ＭＡＣ）をさらに備えることができる。一般的に、任意のセットのハードウェアが様々な実施形態等によって含まれることができる。

ＣＰＵコンプレックス１０２０は、ＳＯＣ（１０００）のＣＰＵ役割をする１つ以上のＣＰＵプロセッサ１０２４を備えることができる。システムのＣＰＵは、システム、例えば、運営体制のメイン制御ソフトウェアを実行するプロセッサ（等）を備えることができる。一般的に、使用中、ＣＰＵにより実行されるソフトウェアは、システムの他のコンポーネントを制御して所期のシステムの機能性を実現できる。プロセッサ１０２４は、さらに、他のソフトウェア、例えば、アプリケーションプログラムを実行できる。アプリケーションプログラムは、ユーザ機能性を提供でき、低レベルデバイス制御のために運営体制に依存することができる。したがって、プロセッサ１０２４は、さらにアプリケーションプロセッサと称されることができる。

ＣＰＵコンプレックス１０２０は、他のハードウェア、例えば、Ｌ２キャッシュ１０２２及び／又はシステムの他のコンポーネント等に対するインターフェース（例えば、通信ファブリック１０１０に対するインターフェース）をさらに含むことができる。

一般的に、プロセッサは、プロセッサにより実現された命令語セットアーキテクチャに定義された命令語を実行するように構成された任意の回路及び／又はマイクロコードを含むことができる。命令語を実行させることに応答してプロセッサ上により動作される命令語及びデータは、メモリ１８００に一般的に格納されることができるが、所定の命令語も周辺装置等への直接的なプロセッサアクセスに対して定義されることができる。プロセッサは、システムオンチップ（ＳＯＣ（１０００））または他のレベル等の統合部として他のコンポーネント等とともに集積回路上で実現されたプロセッサコアを網羅することができる。プロセッサは、別のマイクロプロセッサ、プロセッサコア、及び／又はマルチチップモジュール実現部内に集積化されたマイクロプロセッサ、複数の集積回路として実現されたプロセッサ、その他をさらに網羅することができる。

メモリ制御機１０３０は、一般的にＳＯＣ（１０００）の他のコンポーネント等からメモリ動作を受信し、メモリ１８００にアクセスしてメモリ動作を果たすための回路を含むことができる。メモリ制御機１０３０は、任意の類型のメモリ１８００にアクセスするように構成されることができる。例えば、メモリ１８００は、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ＲＡＭ）、例えば、ダブルデータレート（ＤＤＲ、ＤＤＲ２、ＤＤＲ３、その他）ＤＲＡＭを含むＳＤＲＡＭ（ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ）であることができる。低電力／モバイルバージョン等のＤＤＲ ＤＲＡＭ（例えば、ＬＰＤＤＲ、ｍＤＤＲ、その他）が支援され得る。メモリ制御機１０３０は、動作を指示し（そして、潜在的に再指示し）、動作をメモリ１８００に提示する、メモリ動作のためのキューなどを含むことができる。メモリ制御機１０３０は、メモリへの書き込みを待つ書き込みデータ及びメモリ動作のソースへの復帰を待つ読み取りデータを格納するデータバッファをさらに備えることができる。

いくつかの実施形態等において、メモリ制御機１０３０は、最近にアクセスされたメモリデータを格納するメモリキャッシュを備えることができる。ＳＯＣ実現例において、例えば、メモリキャッシュは、再度直ちにアクセスされると予想される場合に、メモリ１８００からのデータの再－アクセスを避けることにより、ＳＯＣにおける電力費を減少させることができる。一部の場合において、メモリキャッシュは、さらに所定のコンポーネント等だけを補助するプライベートキャッシュ、例えば、プロセッサ１０２４のＬ２キャッシュ１０２２またはキャッシュ等と相反するような、システムキャッシュとして称されることができる。追加的に、いくつかの実施形態において、システムキャッシュは、メモリ制御機１０３０内に位置する必要がない。

実施形態において、メモリ１８００は、チップ－オン－チップまたはパッケージ－オン－パッケージ構成でＳＯＣ（１０００）とともにパッケージングされることができる。ＳＯＣ（１０００）及びメモリ１８００のマルチチップモジュール構成も使用されることができる。そのような構成等は、システム内の他のコンポーネント等への（例えば、終点１６Ａ及び１６Ｂへの）送信より（データ観測面で）相対的により安定的であることができる。したがって、保護データは、メモリ１８００に暗号化されていない状態で常駐できることに対し、保護データは、ＳＯＣ（１０００）と外部終点との間での交換のために暗号化されることができる。

通信ファブリック１０１０は、ＳＯＣ（１０００）のコンポーネントのうち、通信のための任意の通信インターコネクト及びプロトコルであることができる。通信ファブリック１０１０は、共有バス構成、クロスバー（ｃｒｏｓｓ ｂａｒ）構成、及びブリッジを有する階層的バスを含むバスに基づくことができる。通信ファブリック１０１０は、さらにパケットに基づくことができ、ブリッジを有する階層であるか、クロスバー、地点間連結（ｐｏｉｎｔ－ｔｏ－ｐｏｉｎｔ）、または他のインターコネクトであることができる。図９に示された個数より多いか、少ないそれぞれのコンポーネント／サブコンポーネントがありうる。

いくつかの実施形態において、本明細書において記述された方法は、コンピュータプログラム製品、またはソフトウェアにより実現されることができる。いくつかの実施形態において、非－一時的な、コンピュータ－読み取り可能格納媒体は、コンピュータシステム（または、他の電子デバイス）をプログラムして、本明細書に記述された技法のうち、いくつかまたは全てを行うために使用され得る命令語を格納することができる。コンピュータ－読み取り可能格納媒体は、機械（例えば、コンピュータ）により読み取り可能な形態（例えば、ソフトウェア、プロセシングアプリケーション）で情報を格納する任意のメカニズムを含むことができる。機械－読み取り可能媒体は、磁気格納媒体（例えば、フロッピーディスケット）と、光格納媒体（例えば、ＣＤ－ＲＯＭ）と、光磁気格納媒体と、読み取り専用メモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）と、消去及びプログラム可能メモリ（例えば、ＥＰＲＯＭ及びＥＥＰＲＯＭ）と、フラッシュメモリと、電気またはプログラム命令語を格納するのに適した他の類型等の媒体を含むことができるが、これに制限されない。さらに、プログラム命令語は、光、音響、または他の形態の伝播された信号（例えば、搬送波、赤外線信号、デジタル信号、その他）を使用して通信されることができる。

コンピュータシステム１０００は、１つ以上のモジュール、例えば、同じコンピュータシステムのメモリ１８００に格納されたプログラム命令語内に存在することができるか、コンピュータシステム１０００と類似するか、互いに異なるさらに他のコンピュータシステムのメモリ内に格納されたプログラム命令語内に存在することができる、ノイズ除去回路を実行するように構成され得るプロセッサユニット１０２０（可能であれば、複数のプロセッサ、シングル－スレッド（ｔｈｒｅａｄｅｄ）プロセッサ、マルチ－スレッドプロセッサ、マルチ－コアプロセッサ、その他を備える）を備えることができる。

一方、本発明の詳細な説明では、具体的な実施形態について説明したが、本発明の範囲から逸脱しない限度内で様々な変形が可能であることはもちろんである。したがって、本発明の範囲は、説明された実施形態に限定されて決められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどにより決められなければならない。

１０ イメージセンシング装置
１００ イメージセンサ
２００ ピクセルアレイ
３００ エッジ基盤のシャープネス強度制御回路
３１０ エッジ判断部
３２０ ステップエッジ判断部
３３０ ノイズ除去部
４００ イメージ信号プロセッサ

Claims (20)

1. ピクセルアレイに含まれた複数のピクセルから出力されるピクセルデータに対応する領域に対してエッジ情報を有するエッジ領域及びフラット情報を有するフラット領域を判断するエッジ判断部と、
   前記エッジ判断部で判断されたエッジ領域に対してエッジ領域の方向性によって方向性情報を有する第１のエッジを備えるステップエッジ領域と方向性情報を有さない第２のエッジを備えるテクスチャエッジ領域とを判断するステップエッジ判断部と、
   前記ステップエッジ判断部で判断されたステップエッジ領域及びテクスチャエッジ領域のノイズを各々互いに異なるゲインを有する互いに異なるフィルタを介して除去するノイズ除去部と、
   を備えるエッジ基盤のシャープネス強度制御回路。
2. 前記エッジ判断部は、周辺ピクセルのピクセル値の標準偏差が基準値より大きければ、ピクセルデータに対応する領域をエッジ領域と判断し、周辺ピクセル値の標準偏差が基準値より小さければ、ピクセルデータに対応する領域をフラット領域と判断し、
   前記ステップエッジ判断部は、エッジ領域の方向性変化の累積回数が予め設定された値より小さい場合には、前記エッジ領域をステップエッジ領域と判断し、前記方向性変化の累積回数が予め設定された値より大きい場合には、前記エッジ領域をテクスチャエッジ領域と判断する請求項１に記載のエッジ基盤のシャープネス強度制御回路。
3. 前記ステップエッジ判断部は、
   前記ステップエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記ステップエッジ領域を強ステップエッジ領域と判断し、前記周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記ステップエッジ領域を弱ステップエッジ領域と判断する請求項２に記載のエッジ基盤のシャープネス強度制御回路。
4. 前記ステップエッジ判断部は、
   前記テクスチャエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記テクスチャエッジ領域を強テクスチャエッジ領域と判断し、前記周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記テクスチャエッジ領域を弱テクスチャエッジ領域と判断する請求項２に記載のエッジ基盤のシャープネス強度制御回路。
5. 前記ノイズ除去部は、前記テクスチャエッジ領域に対してハイゲインハイフリークエンシーフィルタを用いて前記テクスチャエッジ領域のノイズを除去し、前記ステップエッジ領域に対してローゲインハイフリークエンシーフィルタを用いて前記ステップエッジ領域のノイズを除去する請求項１に記載のエッジ基盤のシャープネス強度制御回路。
6. 前記ローゲインハイフリークエンシーフィルタは、オリジナルイメージ信号からブラーリング信号（ｂｌｕｒｒｉｎｇ ｓｉｇｎａｌ）を差し引いてシャープネス（ｓｈａｒｐｎｅｓｓ）強度を向上させる請求項５に記載のエッジ基盤のシャープネス強度制御回路。
7. 前記ブラーリング信号は、前記ステップエッジの方向性と一致しない方向性を有する周辺ピクセルの平均値を用いて生成される請求項６に記載のエッジ基盤のシャープネス強度制御回路。
8. 前記エッジ領域の方向性は、水平方向、垂直方向、左側対角方向、右側対角方向のうち、少なくとも１つを含む請求項１に記載のエッジ基盤のシャープネス強度制御回路。
9. 複数のピクセルを備えたイメージセンサと、
   前記イメージセンサの出力信号を処理するイメージ信号プロセッサと、
   を備え、
   前記イメージセンサ及び前記イメージ信号プロセッサのうち、いずれか１つの内部にエッジ基盤のシャープネス強度制御回路が実現され、
   前記エッジ基盤のシャープネス強度制御回路は、
   ピクセルアレイに含まれた複数のピクセルから出力されるピクセルデータに対応する領域に対して周辺ピクセルのピクセル値の標準偏差が基準値より大きければ、エッジ領域と判断し、周辺ピクセル値の標準偏差が基準値より小さければ、フラット領域と判断するエッジ判断部と、
   前記エッジ判断部で判断されたエッジ領域に対して方向性変化の累積回数が予め設定された値より小さい場合には、ステップエッジ領域と判断し、前記方向性変化の累積回数が予め設定された値より大きい場合には、テクスチャエッジ領域と判断するステップエッジ判断部と、
   前記ステップエッジ判断部で判断されたステップエッジ領域及びテクスチャエッジ領域のノイズを各々互いに異なるゲインを有する互いに異なるフィルタを介して除去するノイズ除去部と、
   を備えるイメージセンシング装置。
10. 前記ステップエッジ判断部は、
    前記ステップエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記ステップエッジ領域を強ステップエッジ領域と判断し、前記周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記ステップエッジ領域を弱ステップエッジ領域と判断する請求項９に記載のイメージセンシング装置。
11. 前記ステップエッジ判断部は、
    前記テクスチャエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記テクスチャエッジ領域を強テクスチャエッジ領域と判断し、前記周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記テクスチャエッジ領域を弱テクスチャエッジ領域と判断する請求項９に記載のイメージセンシング装置。
12. 前記ノイズ除去部は、前記テクスチャエッジ領域に対してハイゲインハイフリークエンシーフィルタを用いて前記テクスチャエッジ領域のノイズを除去し、前記ステップエッジ領域に対してローゲインハイフリークエンシーフィルタを用いて前記ステップエッジ領域のノイズを除去する請求項９に記載のイメージセンシング装置。
13. 前記ローゲインハイフリークエンシーフィルタは、オリジナルイメージ信号からブラーリング信号（ｂｌｕｒｒｉｎｇ ｓｉｇｎａｌ）を差し引いてシャープネス強度を向上させる請求項１２に記載のイメージセンシング装置。
14. 前記エッジ領域の方向性は、水平方向、垂直方向、左側対角方向、右側対角方向を含み、前記ブラーリング信号は、前記ステップエッジの方向性と一致しない方向性を有する周辺ピクセルの平均値を用いて生成される請求項１３に記載のイメージセンシング装置。
15. ピクセルアレイに含まれた複数のピクセルから出力されるピクセルデータに対応する領域に対して周辺ピクセルのピクセル値の標準偏差が基準値より大きければ、エッジ領域と判断し、周辺ピクセル値の標準偏差が基準値より小さければ、フラット領域と判断するエッジ判断ステップと、
    前記エッジ判断ステップで判断されたエッジ領域に対して方向性変化の累積回数が予め設定された値より小さい場合には、ステップエッジ領域と判断し、前記方向性変化の累積回数が予め設定された値より大きい場合には、テクスチャエッジ領域と判断するステップエッジ判断ステップと、
    前記ステップエッジ判断ステップで判断されたステップエッジ領域及びテクスチャエッジ領域のノイズを各々互いに異なるゲインを有する互いに異なるフィルタを介して除去するノイズ除去ステップと、
    を含むイメージセンシング装置の動作方法。
16. 前記ステップエッジ判断ステップでは、
    前記ステップエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記ステップエッジ領域を強ステップエッジ領域と判断し、前記周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記ステップエッジ領域を弱ステップエッジ領域と判断する請求項１５に記載のイメージセンシング装置の動作方法。
17. 前記ステップエッジ判断ステップでは、
    前記テクスチャエッジ領域のうち、周辺ピクセルの差値の大きさが予め設定された値より大きい場合には、前記テクスチャエッジ領域を強テクスチャエッジ領域と判断し、前記周辺ピクセルの差値の大きさが予め設定された値より小さい場合には、前記テクスチャエッジ領域を弱テクスチャエッジ領域と判断する請求項１５に記載のイメージセンシング装置の動作方法。
18. 前記ノイズ除去ステップでは、前記テクスチャエッジ領域に対してハイゲインハイフリークエンシーフィルタを用いて前記テクスチャエッジ領域のノイズを除去し、前記ステップエッジ領域に対してローゲインハイフリークエンシーフィルタを用いて前記ステップエッジ領域のノイズを除去する請求項１５に記載のイメージセンシング装置の動作方法。
19. 前記ローゲインハイフリークエンシーフィルタは、オリジナル信号からブラーリング信号（ｂｌｕｒｒｉｎｇ ｓｉｇｎａｌ）を差し引いてシャープネス強度を向上させる請求項１８に記載のイメージセンシング装置の動作方法。
20. 前記エッジ領域の方向性は、水平方向、垂直方向、左側対角方向、右側対角方向のうち、少なくとも１つを含み、前記ブラーリング信号は、前記ステップエッジの方向性と一致しない方向性を有する周辺ピクセルの平均値を用いて生成される請求項１９に記載のイメージセンシング装置の動作方法。

Images