JP2022075568A - 内部フィードバックを有する集積映像センサ及びその作動方法 - Google Patents

Abstract

【課題】内部フィードバックを有する集積映像センサ及びその作動方法を提供する。【解決手段】ピクセルアレイ、ピクセルアレイの作動を制御し、ピクセルアレイの出力信号に基づき、映像データをリードアウトするように構成されたアナログ回路、映像データに基づき、アナログ回路の作動を制御するための制御信号を生成し、制御信号をアナログ回路にフィードバックするように構成されたプロセッサ、及び映像データを保存するように構成されたメモリを含む、内部フィードバックを有する集積映像センサである。【選択図】図３

Description

本発明は、内部フィードバックを有する集積映像センサ及びその作動方法に関する。

映像センサは、外部から入射される光を受光し、受光された光を光電変換し、電気的信号を生成する装置である。該映像センサは、構造により、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）型とＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型とに分けることができる。
ＣＭＯＳ映像センサ（ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ）は、ＣＩＳとも言う。ＣＭＯＳ映像センサ（ＣＩＳ）は、画素構造により、１個のトランジスタを使用する受動型（ｐａｓｓｉｖｅ）と、３個以上のトランジスタを使用する能動型（ａｃｔｉｖｅ）とに分けることができる。

一般的に、映像センサが映像をキャプチャし、外部プロセッサが映像を補正する過程を経て、ユーザに映像が提供される。該外部プロセッサが、すでにキャプチャされた映像に基づいて映像を補正するには、映像品質を向上させるのに限界がある。従って、高品質の映像を提供するためには、適応的に映像をキャプチャすることができる映像センサが要求される。

本発明が解決しようとする課題は、内部フィードバックを有する集積映像センサ及びその作動方法を提供するところにある。本実施形態がなすべき技術的課題は、前記のような技術的課題に限定されるものではなく、以下の実施形態から、他の技術的課題が類推されうる。

一側面によれば、内部フィードバックを有する集積映像センサは、ピクセルアレイと、前記ピクセルアレイの作動を制御し、前記ピクセルアレイの出力信号に基づき、映像データをリードアウトするように構成されたアナログ回路と、前記映像データに基づき、前記アナログ回路の作動を制御するための制御信号を生成し、前記制御信号を前記アナログ回路にフィードバックするように構成されたプロセッサと、前記映像データを保存するように構成されたメモリと、を含む。

他の側面によれば、内部フィードバックを有する集積映像センサの作動方法は、ピクセルアレイの出力信号に基づき、映像データをリードアウトする段階と、前記映像データを保存する段階と、前記映像データに基づき、前記ピクセルアレイの作動を制御し、前記映像データをリードアウトするように構成されたアナログ回路の作動を制御するための制御信号を生成する段階と、前記制御信号を前記アナログ回路にフィードバックする段階と、を含む。

一実施形態による、内部フィードバックを有する集積映像センサを示す図面である。 一実施形態による、内部フィードバックを有する集積映像センサのコンポーネントについて説明するための図面である。 一実施形態による、内部フィードバックを有する集積映像センサのコンポーネントについて説明するための図面である。 一実施形態によるピクセルについて説明するための図面である。 一実施形態によるピクセルについて説明するための図面である。 一実施形態による、ピクセルの出力信号を処理する方法について説明するための図面である。 一実施形態によるダイナミックレンジについて説明するための図面である。 一実施形態による、サブ領域を決定し、制御信号を生成する方法について説明するための図面である。 一実施形態によって、映像データのサブ領域に基づき、ピクセルアレイのサブ領域を決定することについて説明するための図面である。 一実施形態によって、アナログ信号プロセシングに基づき、映像フレーム間のモーションを感知することについて説明するための図面である。 一実施形態による、制御信号に基づき、ピクセルの露出時間による電荷量を調整する方法について説明するための図面である。 一実施形態による、制御信号に基づき、デュアルサンプリングを行う方法について説明するための図面である。 一実施形態による、制御信号に基づき、変換利得を調整する方法について説明するための図面である。 一実施形態による、映像データがキャプチャされた場所に基づき、制御信号を生成する方法について説明するための図面である。 一実施形態による、制御信号に基づき、映像データを互いに異なるフレームレートで出力する方法について説明するための図面である。 一実施形態による、制御信号に基づき、ピクセルビニングを行う方法について説明するための図面である。 一実施形態による、制御信号に基づき、ホワイトバランシング及びカラー強化を行う方法について説明するための図面である。 一実施形態による、全体映像データを生成する方法について説明するための図面である。 一実施形態による、内部フィードバックを有する集積映像センサの作動方法を示すフローチャートである。 一実施形態による映像センサの概略的なブロック図である。 映像センサを含む電子装置の一例を示すブロック図である。 図２１のカメラモジュールを例示するブロック図である。 映像センサが適用されうるプラットホームを例示する図面である。 映像センサが適用されうるプラットホームを例示する図面である。 映像センサが適用されうるプラットホームを例示する図面である。 映像センサが適用されうるプラットホームを例示する図面である。 映像センサが適用されうるプラットホームを例示する図面である。 映像センサが適用されうるプラットホームを例示する図面である。 映像センサが適用されうるプラットホームを例示する図面である。 映像センサが適用されうるプラットホームを例示する図面である。 映像センサが適用されうるプラットホームを例示する図面である。 映像センサが適用されうるプラットホームを例示する図面である。

本実施形態で使用される用語は、可能な限り、現在汎用される一般的な用語を選択したが、それは、当該分野に携わる技術者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該説明部分において、詳細にその意味を記載する。従って、明細書で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、明細書の全般にわたる内容とを基に定義されなければならない。

本実施形態で使用される「構成される」または「含む」のような用語は、明細書上に記載されたさまざまな構成要素、またはさまざまな段階を、必ずしもいずれも含むと解釈されるものではなく、そのうち一部構成要素または一部段階は、含まれず、あるいはさらなる構成要素または段階をさらに含んでもよいと解釈されなければならない。

以下においては、添付図面を参照し、本実施形態について詳細に説明する。しかし、本実施形態は、さまざまに異なる形態にも具現され、ここで説明する例に限定されるものではない。

図１は、一実施形態による、内部フィードバックを有する集積映像センサを示す。

一実施形態において、集積映像センサ１００は、ピクセルレイヤ１１０、メモリレイヤ１２０及びロジックレイヤ１３０を含む。集積映像センサ１００は、単一チップシステム（ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ）でもある。該単一チップシステムとして具現されるとき、各レイヤが、水平構造または垂直構造にも配列される。また、ロジックレイヤ１３０は、機能によって分離され、互いに異なる位置に配されても構成される。例えば、レイヤ１１０，１２０，１３０が、ＴＳＶ（ｔｈｒｏｕｇｈ ｓｉｌｉｃｏｎ ｖｉａ）によって連結されることにより、集積映像センサ１００が、単一チップシステムとしても具現されるが、それに限定されるものではない。

ピクセルレイヤ１１０は、映像をキャプチャするようにも構成される。ピクセルレイヤ１１０は、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）またはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）に基づくピクセルアレイを含むものでもある。

メモリレイヤ１２０は、映像データを保存するようにも構成される。集積映像センサ１００に、メモリレイヤ１２０が集積されることにより、集積映像センサ１００は、映像データ及び／またはプログラムを保存することができる容量を有するメモリを含むものでもある。

ロジックレイヤ１３０は、ピクセルレイヤ１１０及びメモリレイヤ１２０の作動を制御し、デジタル映像処理（ｄｉｇｉｔａｌ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）が遂行可能になるようにも構成される。ロジックレイヤ１３０は、デジタル信号処理のためのプロセッサを含んでもよい。また、ロジックレイヤ１３０は、ピクセルレイヤ１１０を制御し、ピクセルレイヤ１１０の出力信号を処理するためのアナログ回路を含んでもよい。

集積映像センサ１００は、ピクセルレイヤ１１０に集積されたメモリレイヤ１２０及びロジックレイヤ１３０を含むことにより、多様な作動を遂行することができる。例えば、ロジックレイヤ１３０は、メモリレイヤ１２０に保存された映像データを読み取って分析し、映像キャプチャのためのパラメータを獲得することができる。他の例を挙げれば、ロジックレイヤ１３０は、映像データにおいて、パラメータ調整が必要なサブ領域を決定し、ピクセルレイヤ１１０は、調整されたパラメータに基づき、サブ領域をキャプチャすることができる。このとき、該パラメータは、感度（ＩＳＯ）、露出時間（ｅｘｐｏｓｕｒｅ ｔｉｍｅ）、利得（ｇａｉｎ）のような、映像キャプチャのために使用される通常のパラメータを称する。

集積映像センサ１００は、デジタルカメラ、スマートフォン、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ラップトップ、ポータブルデバイス（ｐｏｒｔａｂｌｅ ｄｅｖｉｃｅ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ）、車両のような多様なプラットホームにも利用される。

図２は、一実施形態による、内部フィードバックを有する集積映像センサのコンポーネントについて説明するための図面である。

一実施形態による、集積映像センサ２００は、ピクセルアレイ２１０、アナログ回路２２０、メモリ２３０及びプロセッサ２４０を含む。

ピクセルアレイ２１０は、映像をキャプチャするようにも構成される。一実施形態において、ピクセルアレイ２１０は、ＣＭＯＳトランジスタとして具現され、集積映像センサ２００は、ＣＩＳ（ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ）に分類される。しかし、それに限定されるものではなく、他の実施形態において、集積映像センサ２００がＣＣＤ映像センサとしても具現されるということは、通常の技術者に自明であろう。

メモリ２３０は、映像データを保存するようにも構成される。メモリ２３０は、ピクセルアレイ２１０によってキャプチャされた映像データ、及びプロセッサ２４０により、デジタル映像プロセシングされた映像データを保存するようにも構成される。例えば、メモリ２３０は、ＧＢの容量を有するようにも具現される。例えば、メモリ２３０は、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）としても具現されるが、それに制限されるものではない。

プロセッサ２４０は、映像データに基づき、アナログ回路２２０の作動を制御するための制御信号を生成するようにも構成される。プロセッサ２４０は、映像データに基づき、映像キャプチャのためのパラメータ調整が必要であるか否かということを決定し、パラメータ調整のための制御信号を生成することができる。プロセッサ２４０は、デジタル映像処理により、映像データのモーション、オブジェクト、色、ノイズ、ダイナミックレンジ、または映像データがキャプチャされた場所などを分析し、制御信号を生成することができる。

また、プロセッサ２４０は、映像データのサブ領域を決定するようにも構成される。プロセッサ２４０は、映像キャプチャのためのパラメータ調整が必要なサブ領域を決定することができる。プロセッサ２４０は、映像データにデジタル映像処理を行うことにより、サブ領域を決定することができる。例えば、プロセッサ２４０は、デジタル映像処理により、映像データのモーション、オブジェクト、色、ノイズまたはダイナミックレンジなどを分析し、サブ領域を決定することができる。

プロセッサ２４０は、複数のサブ領域を決定するようにも構成される。該複数のサブ領域は、互いに異なるパラメータ調整が要求される領域でもある。または、該複数のサブ領域は、映像上において空間的に分離された領域でもある。

例えば、複数のオブジェクトが感知された場合、プロセッサ２４０は、該複数のオブジェクトに対応する複数のサブ領域を決定することができる。他の例を挙げれば、ダイナミックレンジを外れた複数の領域が感知された場合、プロセッサ２４０は、感知された領域に対応する複数のサブ領域を決定することができる。

プロセッサ２４０は、制御信号及び／またはサブ領域を、アナログ回路２２０にフィードバックするようにも構成される。プロセッサ２４０は、映像データのサブ領域に対応するピクセルアレイ２１０のサブ領域を、アナログ回路２２０にフィードバックすることができる。

プロセッサ２４０は、多数の論理ゲートのアレイとしても具現される。また、プロセッサ２４０は、マイクロプロセッサと、該マイクロプロセッサで実行されうるプログラムが保存されたメモリとの組み合わせとしても具現される。また、プロセッサ２４０は、機械学習を行うように構成されたハードウェアアクセラレータ（ｈａｒｄｗａｒｅ ａｃｃｅｌｅｒａｔｏｒ）を含んでもよい。また、プロセッサ２４０は、機械学習または映像処理のために具現されたＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）を含んでもよい。

一方、プロセッサ２４０は、少なくとも１つのプロセッサ（または、プロセシングユニット）を含んでも具現される。また、それと異なる形態のハードウェア構成でもってもプロセッサ２４０が具現されるということは、本実施形態が属する技術分野において当業者であるならば、理解することができるであろう。

アナログ回路２２０は、プロセッサ２４０からフィードバックされた制御信号及び／またはサブ領域に基づき、ピクセルアレイ２１０を制御し、映像データを読み出す（リードアウト（ｒｅａｄ ｏｕｔ））するようにも構成される。

アナログ回路２２０は、制御信号により、調整されたパラメータでもって、ピクセルアレイ２１０が映像をキャプチャするように制御し、調整されたパラメータでもって、映像データをリードアウトすることができる。アナログ回路２２０は、ピクセルアレイの露出時間、変換利得またはダイナミックレンジなどを調整することができる。アナログ回路２２０は、ダイナミックレンジ調整のために、ピクセルの露出時間による電荷量を調整したり、デュアルサンプリングを行ったりすることができる。アナログ回路２２０は、制御信号により、ピクセルビニング、ホワイトバランス（ｗｈｉｔｅ ｂａｌａｎｃｅ）またはカラー強化（ｃｏｌｏｒ ｅｎｈａｎｃｅｍｅｎｔ）を行うことができる。

また、アナログ回路２２０は、制御信号により、サブ領域に対応するピクセルの露出時間、変換利得またはダイナミックレンジなどを調整するようにも構成される。

また、アナログ回路２２０は、サブ領域に対応するピクセルに基づく映像リードアウトと、サブ領域に対応しないピクセルに基づく映像リードアウトとを互いに異なるフレームレートで行うようにも構成される。

また、アナログ回路２２０は、ピクセルアレイ２１０のサブ領域を、互いに異なるフレームレートでリードアウトするようにも構成される。サブ領域は、２以上の領域でもある。例えば、アナログ回路２２０は、第１サブ領域に対応するピクセルの出力信号に基づき、第１サブ映像データを、第１フレームレートでリードアウトし、ピクセルアレイ２１０の第２サブ領域に対応するピクセルの出力信号に基づき、第２サブ映像データを、第２フレームレートでリードアウトするようにも構成される。

図３は、一実施形態による、内部フィードバックを有する集積映像センサのコンポーネントについて説明するための図面である。

一実施例による集積映像センサ３００は、ピクセルアレイ３１０、アナログ回路３２０、メモリ３３０、プロセッサ３４０及びＡＤＣ（ａｎａｌｏｇ ｔｏ ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｏｒ）３５０を含む。一実施例によるアナログ回路３２０は、ロウ選択回路３２１、カラム選択回路３２２及びアナログ信号処理回路３２３を含む。集積映像センサ３００は、デジタル部（例：プロセッサ３４０）からアナログ部（例：アナログ回路３２０）に提供されるフィードバック信号により、ロウ選択回路３２１やカラム選択回路３２２によって可変的に選択されたピクセルから、イメージデータリードアウトを行うことができる。そのとき、ＡＤＣ ３５０は、アナログ信号処理回路３２３から出力されるアナログ信号をデジタル信号に変換し、プロセッサ３４０から出力されるデジタル信号を、アナログ信号に変換することができる。

プロセッサ３４０は、映像データに基づき、制御信号を生成し、映像データのサブ領域を決定することができる。アナログ回路３２０は、プロセッサ３４０からフィードバックされた制御信号及び／またはサブ領域に基づき、ピクセルアレイ３１０を制御し、映像リードアウトを行うことができる。

ロウ選択回路３２１は、制御信号及び／またはサブ領域に基づき、ピクセルアレイ３１０のピクセルを活性化させるようにも構成される。ロウ選択回路３２１は、ピクセルをロウ単位で活性化させることができる。

アナログ信号処理回路３２３は、制御信号に基づき、ピクセルの露出時間を調整することができる。アナログ信号処理回路３２３は、サブ領域のピクセルの露出時間が、残り領域のピクセルの露出時間と異なるように、ピクセルアレイ３１０を制御することができる。また、アナログ信号処理回路３２３は、第１サブ領域のピクセルの露出時間と、第２サブ領域のピクセルの露出時間とが互いに異なるように、ピクセルアレイ３１０を制御することができる。

アナログ信号処理回路３２３は、ピクセルの露出時間による電荷量を調整することができる。アナログ信号処理回路３２３は、サブ領域のピクセルの露出時間による電荷量と、残り領域のピクセルの露出時間による電荷量とが互いに異なるように制御することができる。また、アナログ信号処理回路３２３は、第１サブ領域のピクセルの露出時間による電荷量と、第２サブ領域の露出時間による電荷量とが互いに異なるように、ピクセルアレイ３１０を制御することができる。

アナログ信号処理回路３２３は、制御信号及び／またはサブ領域に基づき、映像リードアウトを行うようにも構成される。

アナログ信号処理回路３２３は、制御信号に基づき、変換利得（ｃｏｎｖｅｒｓｉｏｎ ｇａｉｎ）を調整することができる。アナログ信号処理回路３２３は、サブ領域に対応する変換利得と、残り領域に対応する変換利得とが互いに異なるように調整することができる。具体的には、アナログ信号処理回路３２３は、サブ領域に対応するピクセルに係わる変換利得と、残り領域に対応するピクセルに係わる変換利得とが、互いに異なるように調整することができる。また、アナログ信号処理回路３２３は、第１サブ領域に対応する変換利得と、第２サブ領域に対応する変換利得とが、互いに異なるように調整することができる。

カラム選択回路３２２は、制御信号及び／またはサブ領域に基づき、リードアウトのためのカラム選択信号を出力するようにも構成される。カラム選択回路３２２は、サブ領域に対応するピクセルのカラム、またはピクセルアレイ３１０の全体カラムを選択するためのカラム選択信号を出力することができる。

アナログ信号処理回路３２３は、カラム選択信号に基づき、全体カラムのピクセルの出力信号、またはサブ領域に対応するピクセルの出力信号をリードアウトすることができる。また、アナログ信号処理回路３２３は、カラム選択信号に基づき、全体カラムのピクセルに係わる変換利得を調整するか、あるいはサブ領域に対応するピクセルに係わる変換利得を調整することができる。

ロウ選択回路３２１により、ロウ単位でピクセルが制御され、カラム選択回路３２２により、カラム単位でピクセルの出力信号が制御されうるので、サブ領域が、任意形状にも設定される。言い換えれば、サブ領域に対応するピクセルの露出時間、変換利得、ダイナミックレンジ、リードアウトフレームレートなどが選択的にも制御される。

他の実施形態において、カラム選択回路３２２は、制御信号及び／またはサブ領域に基づき、ピクセルアレイ３１０のピクセルを活性化させるようにも構成される。すなわち、カラム選択回路３２２は、ロウ選択回路３２１と同一機能を遂行するようにも構成される。

アナログ回路３２０は、モーション（ｍｏｔｉｏｎ）感知回路をさらに含んでもよい。該モーション感知回路は、アナログ信号プロセシングに基づき、映像フレーム間のモーションを感知するようにも構成される。

集積映像センサ３００は、タイミング生成回路（ｔｉｍｉｎｇ ｇｅｎｅｒａｔｉｎｇ ｃｉｒｃｕｉｔ）をさらに含んでもよい。ロウ選択回路３２１、カラム選択回路３２２及び／またはアナログ信号処理回路３２３は、一連の作業を順次に遂行するように、該タイミング生成回路によっても制御される。他の実施形態において、該タイミング生成回路がプロセッサ３４０によっても代替されるということは、当業者に自明であろう。

メモリ３３０は、アナログ信号処理回路３２３が出力する映像データを保存することができる。また、メモリ３３０は、プロセッサ３４０によって処理された映像データ、またはプロセッサ３４０によって実行されるプログラムを保存することができる。

図４は、一実施形態によるピクセルについて説明するための図面である。

一実施形態による集積映像センサのピクセルは４Ｔ－ＡＰＳ（４ ｔｒａｎｓｉｓｔｏｒ－ａｃｔｉｖｅ ｐｉｘｅｌ ｓｅｎｓｏｒ）構造でもある。それとことなり、該ピクセルが、３Ｔ－ＡＰＳ、５Ｔ－ＡＰＳなどとしても具現されるということは、当業者に自明であろう。

一実施形態において伝送制御信号ＴＧ、リセット信号ＲＳ及び選択信号ＳＥＬは、ロウ選択回路からも出力される。

フォトダイオードＰＤは、入射された光により、電荷（ｅｌｅｃｔｒｉｃ ｃｈａｒｇｅ）を生成する。フォトダイオードＰＤは、フォトトランジスタ（ｐｈｏｔｏ ｔｒａｎｓｉｓｔｏｒ）、フォトゲート（ｐｈｏｔｏ ｇａｔｅ）またはピンドフォトダイオード（ＰＰＤ：ｐｉｎｎｅｄ ｐｈｏｔｏ ｄｉｏｄｅ）などとしても具現されるが、それらに制限されるものではない。

伝送トランジスタ（ｔｒａｎｓｆｅｒ ｔｒａｎｓｉｓｔｏｒ）ＴＸは、伝送制御信号ＴＧに応答し、フォトダイオードＰＤの電荷を浮動拡散（ｆｌｏａｔｉｎｇ ｄｉｆｆｕｓｉｏｎ）ＦＤノードに伝達する。リセットトランジスタ（ｒｅｓｅｔ ｔｒａｎｓｉｓｔｏｒ）ＲＸは、リセット信号ＲＳに応答し、浮動拡散（ＦＤ）ノードをリセットさせる。ドライブトランジスタ（ｄｒｉｖｅ ｔｒａｎｓｉｓｔｏｒ）ＤＸは、浮動拡散（ＦＤ）ノードの電圧に応答して動作する増幅器（ａｍｐｌｉｆｉｅｒ）の機能を遂行する。選択トランジスタ（ｓｅｌｅｃｔ ｔｒａｎｓｉｓｔｏｒ）ＳＸは、選択信号ＳＥＬに応答し、フォトダイオードＰＤで生成された電荷に対応する出力信号Ｖｏｕｔを出力する。

伝送トランジスタＴＸのゲートの電圧は、フォトダイオードＰＤが蓄積することができる最大電荷量と関連性がある。一実施形態において、ロウ選択回路は、伝送制御信号ＴＧを調整し、露出時間によるフォトダイオードＰＤの電荷量を調整することができる。

具体的には、該ロウ選択回路は、第１期間の間、伝送トランジスタＴＸのゲートの電圧をＶＤＤより低く設定して、フォトダイオードＰＤに第１最大電荷量（不飽和）まで電荷が蓄積されるようにできる。ロウ選択回路は、第２期間の間伝送トランジスタＴＸのゲートの電圧をＶＤＤに設定し、フォトダイオードＰＤに、第２最大電荷量（飽和）まで電荷が蓄積されるようにする。

図５は、一実施形態によるピクセルについて説明するための図面である。

一実施形態による、集積映像センサのピクセルは、５Ｔ－ＡＰＳ構造でもある。

一実施形態において、伝送制御信号ＴＧｒ、リセット信号ＲＳｒ及び選択信号ＳＥＬは、ロウ選択回路からも出力される。また、伝送制御信号ＴＧｃ及びリセット信号ＲＳｃは、カラム選択回路からも出力される。ピクセルは、ロウ選択回路及びカラム選択回路の出力信号に基づいても活性化される。

伝送トランジスタＴＸは、伝送制御信号ＴＧｒ，ＴＧｃに応答し、フォトダイオードＰＤの電荷を、浮動拡散（ＦＤ）ノードに伝達することができる。リセットトランジスタＲＸは、リセット信号ＲＳｒ，ＲＳｃに応答し、浮動拡散（ＦＤ）ノードをリセットさせることができる。

ロウ選択回路及びカラム選択回路により、ピクセル単位でピクセルを制御することが可能であるので、多様な形態のサブ領域に対応するピクセルを選択的に制御することが可能である。

図６は、一実施形態による、ピクセルの出力信号を処理する方法について説明するための図面である。

ロウ選択回路６２１によって選択されたロウのピクセル６１０が活性化されうる。ピクセル６１０は、光に対応する電圧を出力信号Ｖｏｕｔとして出力することができる。ピクセル６１０の出力信号Ｖｏｕｔは、アナログ信号処理回路６３０にも伝達される。

アナログ信号処理回路６３０は、出力信号Ｖｏｕｔを処理することにより、映像データＤｏｕｔをリードアウトするようにも構成される。

アナログ信号処理回路６３０は、制御信号及び／またはサブ領域に基づき、変換利得を調整するようにも構成される。該変換利得は、ピクセルによってキャプチャされたフォトンの個数（ｎｕｍｂｅｒ ｏｆ ｐｈｏｔｏｎｓ）に対するＡＤＣが出力するデジタル数（ｄｉｇｉｔａｌ ｎｕｍｂｅｒ）の比率を示すことができる。例えば、フォトンの個数が１０であり、デジタル数字が１００であるならば、変換利得は１０である。アナログ信号処理回路６３０は、制御信号及び／またはサブ領域に基づき、ＡＤＣの利得を調整することにより、変換利得を調整することができる。

カラム選択回路６２２は、サブ領域に対応するピクセルのカラム、またはピクセルアレイの全体カラムを選択するためのカラム選択信号を出力することができる。

アナログ信号処理回路６３０は、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、第１フレームレートでサブ映像データをリードアウトし、第２フレームレートで全体映像データをリードアウトすることができる。または、アナログ信号処理回路６３０は、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、第１フレームレートで第１サブ映像データをリードアウトし、第２フレームレートで第２サブ映像データをリードアウトすることができる。アナログ信号処理回路６３０から出力された映像データＤｏｕｔは、プロセッサ及び／またはメモリにも伝達される。

また、アナログ信号処理回路６３０のＣＤＳ（ｃｏｒｒｅｌａｔｅｄ ｄｏｕｂｌｅ ｓａｍｐｌｉｎｇ）回路及びＡＤＣは、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、サブ領域に対応するピクセルの出力信号、または全体カラムのピクセルの出力信号をダブルサンプリングして変換するようにも構成される。ただし、該ＣＤＳ回路が並列的にダブルサンプリングする場合、サブ領域に対応するピクセルの出力信号をダブルサンプリングするのに必要となる時間と、全体カラムのピクセルの出力信号をダブルサンプリングするのに必要となる時間とに差がなくなる。従って、該ＣＤＳ回路は、カラム選択信号Ｃｏｌ＿Ｓｅｌと関係なく、全体カラムのピクセルの出力信号をダブルサンプリングするようにも構成される。該ＡＤＣも、ＣＤＳ回路と同様にも構成される。

アナログ信号処理回路６３０は、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、サブ領域に対応する変換利得を調整し、残り領域に対応する変換利得は、調整しないのである。または、アナログ信号処理回路６３０は、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、第１サブ領域に対応する変換利得と、第２サブ領域に対応する変換利得とを互いに異なるように調整することができる。

アナログ信号処理回路６３０のメモリ及びラッチは、カラム選択信号Ｃｏｌ＿Ｓｅｌに基づき、デジタイズされた（ｄｉｇｉｔｉｚｅｄ）サブ領域に対応するピクセルの出力信号、またはデジタイズされた全体カラムのピクセルの出力信号を読み取ってラッチするようにも構成される。例えば、アナログ信号処理回路６３０は、複数のメモリを含み、カラム選択信号Ｃｏｌ＿Ｓｅｌによって選択されたメモリから読み取られた映像データがラッチされ、プロセッサにも伝達される。例えば、アナログ信号処理回路６３０のメモリは、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）でもあるが、それに限定されるものではない。

図６において、アナログ信号処理回路６３０は、ＣＤＳ回路、ＡＤＣ、メモリ及びラッチでもっても具現されるが、それらに制限されるものではない。例えば、アナログ信号処理回路６３０は、ＡＤＣの出力端子と電気的に連結されたＣＤＳ回路をさらに含むか、あるいはＰＧＡ（ｐｒｏｇｒａｍｍａｂｌｅ ｇａｉｎ ａｍｐｌｉｆｉｅｒ）などを含んでもよい。他の例を挙げれば、アナログ信号処理回路６３０は、並列に連結されたＣＤＳ回路と、直列に連結されたＡＤＣとを含むようにも構成される。

図７は、一実施形態によるダイナミックレンジについて説明するための図面である。

図７は、ピクセルが受信した光の強度（フォトンの個数）をｘ軸に、ピクセルの出力電圧をｙ軸に示したグラフである。

ダイナミックレンジは、集積映像センサが感知可能な最も小さい信号（ｔｈｅ ｓｍａｌｌｅｓｔ ｄｅｔｅｃｔａｂｌｅ ｓｉｇｎａｌ）と、記録可能な最大の信号（ｔｈｅ ｌａｒｇｅｓｔ ｒｅｃｏｒｄａｂｌｅ ｓｉｇｎａｌ）との比率を示す。具体的には、該ダイナミックレンジは、集積映像センサが感知可能である最も低い照度レベル（Ｉｌｌｕｍｉｎａｔｉｏｎ ｌｅｖｅｌ）と、記録可能である最大の照度レベルとの比率を示す。リードノイズ（ｒｅａｄ ｎｏｉｓｅ）、及びピクセルの最大電荷量などにより、集積映像センサのダイナミックレンジが決定されうる。

集積映像センサのダイナミックレンジは、映像データのダイナミックレンジに対応する。映像データのダイナミックレンジは、明度の上限及び下限によっても決定される。リードノイズより小さい信号は、映像データにおいて、下限より低い明度を有する領域にも対応し、飽和（ｓａｔｕｒａｔｉｏｎ）より大きい信号は、映像データにおいて、上限より高い明度を有する領域にも対応する。

図８は、一実施形態による、サブ領域を決定し、制御信号を生成する方法について説明するための図面である。

プロセッサは、映像データのモーションまたはオブジェクトに基づき、サブ領域を決定することができる。該プロセッサは、デジタル映像プロセシングに基づき、映像データ８１０において、モーションまたはオブジェクトを感知し、モーションが発生するか、あるいはオブジェクトが位置した領域からサブ領域８１１を決定することができる。該モーションが、複数の領域で発生するか、あるいはオブジェクトが複数個である場合、該プロセッサは、複数のサブ領域を決定することができる。

該プロセッサは、デジタル映像プロセシングに基づき、映像データのモーションまたはオブジェクトを感知することができる。該デジタル映像プロセシングには、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）、映像クラスタリング（ｉｍａｇｅ ｃｌｕｓｔｅｒｉｎｇ）、カーネルに基づくオブジェクト感知（ｋｅｒｎｅｌ ｂａｓｅｄ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）のようなアルゴリズムが利用され、それ以外にも、モーション感知またはオブジェクト感知に使用される多様なアルゴリズムが使用されうるということは、当業者に自明であろう。例えば、該プロセッサは、ニューラルネットワークに基づき、映像データにおいて、オブジェクトを認識（ｒｅｃｏｇｎｉｔｉｏｎ）することにより、オブジェクトを感知することができる。

該プロセッサは、モーションまたはオブジェクトに基づくサブ領域に対応し、露出時間、変換利得、ダイナミックレンジまたはフレームレートなどを調整するための制御信号を生成することができる。例えば、該プロセッサは、サブ領域は、高速でキャプチャされ、残り領域は、ノーマル速度でキャプチャされるように、フレームレートを調整するための制御信号を生成することができる。

また、該プロセッサは、映像データのダイナミックレンジに基づき、サブ領域を決定することができる。映像データのダイナミックレンジの分析には、デジタル映像プロセシングが使用されうる。該プロセッサは、映像データ８２０において、ダイナミックレンジを外れた領域を、サブ領域８２１と決定することができる。例えば、該プロセッサは、映像データにおいて、明度が下限より低いか、あるいは上限より高い領域をサブ領域と決定することができる。該ダイナミックレンジを外れた領域が複数個である場合、該プロセッサは、複数のサブ領域を決定することができる。

該プロセッサは、ダイナミックレンジに基づくサブ領域に対応し、露出時間、ピクセルの露出時間による電荷量、変換利得などを調整するための制御信号を出力することができる。例えば、該プロセッサは、明度が上限を超えたサブ領域に対応し、露出時間を短くし、変換利得を低くするための制御信号を出力することができる。

また、該プロセッサは、映像データの色に基づき、サブ領域を決定することができる。映像データの色の分析には、デジタル映像プロセシングが使用されうる。具体的には、該プロセッサは、映像データの色相（ｈｕｅ）、明度（ｖａｌｕｅ）及び／または彩度（ｃｈｒｏｍａ）に基づき、サブ領域を決定することができる。例えば、該プロセッサは、緑色が強化されなければならない領域をサブ領域に決定するか、あるいは彩度が調整されなければならない領域をサブ領域に決定することができる。

該プロセッサは、色に基づくサブ領域に対応し、ビニング、ホワイトバランスまたはカラー強化などのための制御信号を出力することができる。

また、該プロセッサは、映像データのノイズに基づき、サブ領域を決定することができる。該映像データのノイズの分析には、デジタル映像プロセシングが使用されうる。例えば、プロセッサは、ＳＮＲ（ｓｉｇｎａｌ－ｔｏ－ｎｏｉｓｅ ｒａｔｉｏ）が基準値より低い領域をサブ領域と決定することができる。

該プロセッサは、ＳＮＲを高めるために、露出時間、変換利得、ダイナミックレンジまたはフレームレートなどを調整するための制御信号を出力することができる。

図９は、一実施形態により、映像データのサブ領域に基づき、ピクセルアレイのサブ領域を決定することについて説明するための図面である。

該プロセッサは、デジタル映像プロセシングに基づき、映像データ９１０のサブ領域９１１を決定することができる。図９には、１つのサブ領域９１１が図示されているが、複数のサブ領域が選択されうるということは、当業者に自明であろう。

該プロセッサは、映像データのサブ領域９１１に対応するピクセルアレイ９２０のピクセルのアドレスを獲得することにより、ピクセルアレイのサブ領域９２１を決定することができる。

アナログ回路は、制御信号に基づき、サブ領域９２１のピクセルを活性化させ、サブ領域９２１のピクセルの出力信号を処理することができる。

図１０は、一実施形態による、アナログ信号プロセシングに基づき、映像フレーム間のモーションを感知することについて説明するための図面である。

一実施形態による集積映像センサは、アナログ信号プロセシングに基づき、ピクセルアレイのサブ領域を決定するようにも構成される。具体的には、モーション感知回路が受信したピクセルの出力信号に基づき、映像フレーム間においてモーションを感知し、プロセッサが感知されたモーションに基づき、ピクセルアレイのサブ領域を決定することができる。

説明の便宜のために、図１０に１つのピクセル１０１０と電気的に連結されたモーション感知回路１０２０が図示されたものであり、モーション感知回路１０２０は、ピクセルアレイの複数のピクセルと電気的に連結されうる。

モーション感知回路１０２０は、現在映像フレームに対応するピクセルアレイの出力信号と、以前映像フレームに対応するピクセルアレイの出力信号とに基づき、現在映像フレームと、以前映像フレームとのモーションを感知するようにも構成される。このとき、ピクセルアレイの出力信号は、電圧でもある。

一実施形態において、ピクセル１０１０は、以前映像フレームに対応する出力信号を保存するようにも構成される。例えば、ピクセル１０１０は、以前映像フレームに対応する出力信号を保存するためのキャパシタのようなアナログメモリを含んでもよい。他の例を挙げれば、ピクセル１０１０は、さらなるアナログメモリなしに、以前映像フレームに対応する出力信号を保存するようにも構成される。そのために、デュアルウェル構造またはデュアルピクセル構造などを有することができる。

モーション感知回路１０２０は、現在映像フレームに対応する出力信号Ｖｃｕｒｒｅｎｔと、以前映像フレームに対応する出力信号Ｖｐｒｅｖとの差を算出し、算出された差Ｖｄｉｆｆを基準値Ｖｒｅｆと比較するようにも構成される。例えば、モーション感知回路１０２０は、算出された差Ｖｄｉｆｆを、正の基準値、及び負の基準値と比較するようにも構成される。

モーション感知回路１０２０は、差Ｖｄｉｆｆと基準値Ｖｒｅｆとの比較結果に基づき、モーション感知信号を出力することができる。モーション感知信号は、１ビット信号でもある。例えば、該モーション感知信号は、差Ｖｄｉｆｆが基準値Ｖｒｅｆより小さければ、０、差Ｖｄｉｆｆが基準値Ｖｒｅｆより大きければ、１の値を有する１ビット信号でもある。他の例を挙げれば、該モーション感知信号は、差Ｖｄｉｆｆが正の基準値より小さく、負の基準値より大きければ、０、差Ｖｄｉｆｆが正の基準値より大きく、負の基準値より小さければ、１の値を有する１ビット信号でもある。

モーション感知回路１０２０は、モーション感知信号をプロセッサに伝達することができる。該プロセッサは、モーション感知信号に基づき、ピクセルアレイのサブ領域を決定することができる。また、該プロセッサは、モーションに基づくサブ領域に対応し、露出時間、変換利得、ダイナミックレンジまたはフレームレートなどを調整するための制御信号を生成することができる。

モーション感知回路１０２０が、ピクセルアレイの出力信号から、映像フレーム間のモーションを感知するように構成されるので、高速でモーションが感知されうる。

図１１は、一実施形態による、制御信号に基づき、ピクセルの露出時間による電荷量を調整する方法について説明するための図面である。

プロセッサは、映像データの少なくとも一部領域がダイナミックレンジを外れるというような場合、ハイダイナミックイメージレインジング（ＨＤＲ：ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｉｍａｇｉｎｇ）のための制御信号を生成することができる。アナログ回路は、プロセッサからフィードバックされた制御信号に基づき、ピクセルの露出時間（ｉｎｔｅｇｒａｔｉｏｎ ｔｉｍｅ）による電荷量を調整することができる。

該アナログ回路は、制御信号に基づき、露出時間により、ピクセルの電荷量が線形的に増大するように制御することができる。例えば、ロウ選択回路が、ピクセルの伝送トランジスタのゲートの電圧をＶＤＤに設定することにより、ピクセルの電荷量が線形的に増大しうる。

または、該アナログ回路は、制御信号に基づき、露出時間により、ピクセルの電荷量が非線形的に増大するように制御することができる。例えば、該ロウ選択回路が、任意の第１期間の間、伝送トランジスタのゲート電圧をＶＤＤより低く設定し、任意の第２期間の間、伝送トランジスタのゲート電圧をＶＤＤに設定することにより、ピクセルの電荷量が非線形的に増大されうる。第１期間の間には、ＶＤＤより低く設定されたゲート電圧により、フォトダイオードの最大電荷量が低減されるので、ピクセルの電荷量が、不飽和において、一定に維持されうる。第２期間の間には、ＶＤＤに設定されたゲート電圧により、フォトダイオードの最大電荷量が増大されるので、ピクセルの電荷量が飽和まで増大しうる。

低照度（ｌｏｗ ｉｌｌｕｍｉｎａｎｃｅ）においては、長露出時間の間、電荷が蓄積されても、ピクセルが飽和されないのである。しかし、高照度（ｈｉｇｈ ｉｌｌｕｍｉｎａｎｃｅ）においては、短露出時間でピクセルが飽和されうる。一実施形態による集積映像センサは、伝送トランジスタのゲート電圧を調整することにより、高照度において、既定の露出時間ほど電荷が蓄積されても、ピクセルが飽和されないのである。従って、映像データのダイナミックレンジが改善されうる。

図１２は、一実施形態による、制御信号に基づき、デュアルサンプリングを行う方法について説明するための図面である。

該プロセッサは、映像データの少なくとも一部領域がダイナミックレンジを外れるというような場合、ＨＤＲのための制御信号を生成することができる。アナログ回路は、該プロセッサからフィードバックされた制御信号に基づき、デュアルサンプリングを行うことができる。

該プロセッサは、映像データの少なくとも一部領域がダイナミックレンジを外れれば、露出時間を、第１露出時間ｔ１及び第２露出時間ｔ２に調整するための制御信号を出力することができる。

該アナログ回路は、制御信号に基づき、露出時間が互いに異なる映像データをリードアウトすることができる。例えば、該ロウ選択回路は、フォトダイオードに、第１露出時間ｔ１ほどまたは第２露出時間ｔ２ほど電荷が蓄積されるように、ピクセルアレイを制御することができる。

制御信号に基づき、露出時間を調整することにより、高照度かつ短露出時間でキャプチャされた映像データ、及び低照度かつ長露出時間でキャプチャされた映像データが獲得されうる。

露出時間が異なる２つの映像データは、メモリに保存されうる。該プロセッサは、高照度でキャプチャされた映像データと、低照度でキャプチャされた映像データとを組み合わせることにより、ＨＤＲを具現することができる。

または、該プロセッサは、ダイナミックレンジの上限を外れた第１サブ領域を、第１露出時間ｔ１でキャプチャし、ダイナミックレンジの下限を外れた第２サブ領域を、第２露出時間ｔ２でキャプチャするための制御信号を出力することができる。

該アナログ回路は、制御信号に基づき、露出時間が互いに異なる領域を有する映像データをリードアウトすることができる。該制御信号に基づき、露出時間を調整することにより、高照度かつ短露出時間でキャプチャされた第１領域、及び低照度かつ長露出時間でキャプチャされた第２領域を有する映像データが獲得されうる。

露出時間が調整された映像データは、メモリに保存されうる。該プロセッサは、高照度でキャプチャされた映像データの第１領域と、低照度でキャプチャされた映像データの第２領域とを映像整合することにより、全体映像データを生成することができ、ＨＤＲを具現することができる。

図１３は、一実施形態による、制御信号に基づき、変換利得を調整する方法について説明するための図面である。

該プロセッサは、変換利得を調整するための制御信号を出力することができる。該プロセッサは、映像データの少なくとも一部領域がダイナミックレンジを外れるか、あるいは低いＳＮＲを有するというような場合、変換利得を調整するように決定することができる。

該変換利得が高いほど、飽和状態に早く達し、該変換利得が低いほど、ノイズの影響が大きくなる。従って、該プロセッサは、映像データのダイナミックレンジとＳＮＲとを向上させるために、該変換利得を調整するための制御信号を出力することができる。

例えば、該プロセッサは、映像データの少なくとも一部領域がダイナミックレンジを外れれば、変換利得を調整するための制御信号を出力することができる。該ダイナミックレンジの上限を超える場合には、変換利得を低減させるための制御信号が、ダイナミックレンジの下限を達しない場合には、変換利得を増大させるための制御信号が出力されうる。該アナログ回路は、制御信号に基づき、変換利得を調整することができる。例えば、ＡＤＣの利得を調整することにより、該変換利得が調整されうる。

また、該プロセッサは、映像データの少なくとも一部領域が低いＳＮＲを有すれば、変換利得を増大させるための制御信号を出力することができる。該アナログ回路は、制御信号に基づき、変換利得を増大させることにより、映像データのＳＮＲを高めることができる。

図１４は、一実施形態による、映像データがキャプチャされた場所に基づき、制御信号を生成する方法について説明するための図面である。

該プロセッサは、映像データがキャプチャされた場所を分析することができる。該分析には、機械学習、オブジェクト感知、映像クラスタリングのような多様なアルゴリズムが利用されうる。該プロセッサは、分析を介し、室内／室外、場所の明るさ、光源の位置のような場所に係わる情報を獲得することができる。

該プロセッサは、映像データがキャプチャされた場所に基づき、露出時間、変換利得、ピクセルの露出時間による電荷量、ダイナミックレンジなどを調整するための制御信号を生成することができる。

例えば、該プロセッサは、映像データがキャプチャされた場所が暗い室内であると分析されれば、露出時間を長くし、変換利得を高めるための制御信号を生成することができる。他の例を挙げれば、該プロセッサは、映像データがキャプチャされた場所が明るい室外であると分析されれば、露出時間を短くし、変換利得を低くするための制御信号を生成することができる。さらに他の例を挙げれば、該プロセッサは、映像データがキャプチャされた場所の上側に光源が位置していると分析されれば、映像データの上側領域の露出時間を短くし、映像データの下側領域の露出時間を長くするための制御信号を生成することができる。

図１５は、一実施形態による、制御信号に基づき、映像データを互いに異なるフレームレートでリードアウトする方法について説明するための図面である。

該プロセッサは、サブ領域を、残り領域と異なるフレームレートでキャプチャするというような場合、フレームレート調整のための制御信号を生成することができる。

該アナログ回路は、サブ領域及び制御信号をプロセッサからフィードバックされうる。該アナログ回路は、該制御信号により、サブ領域に対応するピクセルに基づく映像リードアウトと、サブ領域に対応しないピクセルに基づく映像リードアウトとを互いに異なるフレームレートで行うことができる。それにより、アナログ回路は、サブ映像データ１５１０と、全体映像データ１５２０を互いに異なるフレームレートでリードアウトすることができる。例えば、アナログ回路は、９６０フレーム／ｓの高速フレームレートでサブ映像データ１５１０をリードアウトし、３０フレーム／ｓのノーマルフレームレートで、全体映像データ１５２０をリードアウトすることができる。

図１６は、一実施形態による、制御信号に基づき、ピクセルビニングを行う方法について説明するための図面である。

該プロセッサは、映像データの少なくとも一部がダイナミックレンジを外れるか、あるいはＳＮＲが基準値より低いというような場合、ピクセルビニングを行うための制御信号を出力することができる。

該アナログ回路は、ピクセルビニングのためのビニング回路１６１０を含んでもよい。
ビニング回路１６１０は、制御信号に応答し、選択的にピクセルビニングを行うことができる。また、ビニング回路１６１０は、制御信号により、サブ領域のピクセルについてピクセルビニングを行い、残り領域のピクセルについてピクセルビニングを行わないのである。例えば、２つのピクセルについてピクセルビニングを行う場合、ビニング回路１６１０は、２つのピクセルの出力信号を併合し、１つのＣＤＳ回路またはＡＤＣに伝達することができる。または、ピクセルビニングを行わない場合、ビニング回路１６１０は、各ピクセルの出力信号を、それぞれのＣＤＳ回路またはＡＤＣに伝達することができる。

図１７は、一実施形態による、制御信号に基づき、ホワイトバランシング及びカラー強化を行う方法について説明するための図面である。

該プロセッサは、映像データの色に基づき、ホワイトバランシングまたはカラー強化が必要なサブ領域を決定することができる。該プロセッサは、サブ領域につき、露出時間または変換利得などを調整するための制御信号を生成することができる。

該アナログ回路は、制御信号により、ピクセルアレイのサブ領域１７１０に含まれるピクセルのホワイトバランシングまたはカラー強化を行うことができる。例えば、該アナログ回路は、サブ領域１７１０の緑色ピクセルに対応する変換利得を増大させることにより、カラー強化を行うことができる。他の例を挙げれば、アナログ回路は、サブ領域１７１０のピクセルに、色別に異なる変換利得を適用することにより、ホワイトバランシングを行うことができる。

図１８は、一実施形態による、全体映像データを生成する方法について説明するための図面である。

該プロセッサは、サブ領域のピクセルの出力信号に基づき、サブ映像データ１８２０を生成することができる。また、該プロセッサは、残り領域のピクセルの出力信号に基づき、残り映像データ１８１０を生成することができる。

または、プロセッサは、第１サブ領域のピクセルの出力信号に基づき、第１サブ映像データ１８１０を生成することができる。また、プロセッサは、第２サブ領域のピクセルの出力信号に基づき、第２サブ映像データ１８２０を生成することができる。

該プロセッサは、サブ映像データ１８２０と残り映像データ１８１０とを結合することにより、全体映像データ１８３０を生成することができる。または、該プロセッサは、第１サブ映像データ１８１０と第２サブ映像データ１８２０とを結合することにより、全体映像データ１８３０を生成することができる。

サブ映像データ１８２０と残り映像データ１８１０、または第１サブ映像データ１８１０と第２サブ映像データ１８２０は、互いに異なる制御信号に基づくので、露出時間、変圧利得、フレームレートなどの差によって連続されることがない。そのために、該プロセッサは、映像整合に基づき、全体映像データ１８３０を生成するようにも構成される。

例えば、該プロセッサは、サブ映像データ１８２０に基づき、残り映像データ１８１０を補正することによって映像整合を遂行するか、あるいは残り映像データ１８１０に基づき、サブ映像データ１８２０を補正することにより、映像整合を行うことができる。他の例を挙げれば、プロセッサは、サブ映像データ１８２０と残り映像データ１８１０との境界領域が連続されるように、映像整合を行うことができる。

該プロセッサは、サブ映像データ、残り映像データ及び全体映像データが、選択的に出力可能になるようにも構成される。また、該プロセッサは、第１サブ映像データ、第２サブ映像データ及び全体映像データが、選択的に出力可能になるようにも構成される。サブ映像データのみを出力する場合、全体映像データを生成するプロセスが省略されうる。

図１９は、一実施形態による、内部フィードバックを有する集積映像センサの作動方法を示すフローチャートである。

１９１０段階において、アナログ回路は、ピクセルアレイの出力信号に基づき、映像データをリードアウトすることができる。該アナログ回路は、ピクセルアレイの作動を制御し、ピクセルアレイの出力信号を処理することにより、映像データをリードアウトすることができる。

１９２０段階において、メモリは、映像データを保存することができる。該メモリは、アナログ回路からリードアウトされる映像データを保存し、プロセッサの呼び出しにより、映像データをプロセッサに提供することができる。

１９３０段階において、プロセッサは、映像データに基づき、アナログ回路の作動を制御するための制御信号を生成することができる。該プロセッサは、デジタル映像プロセシングに基づき、映像データを分析し、映像キャプチャのためのパラメータ調整が必要か否かということを決定することができる。該プロセッサは、パラメータ調整のための制御信号を生成することができる。例えば、該プロセッサは、露出時間、変換利得、ダイナミックレンジ、ピクセルの露出時間による電荷量などを調整するための制御信号を生成することができる。

１９４０段階において、該プロセッサは、制御信号をアナログ回路にフィードバックすることができる。該アナログ回路は、制御信号に基づき、ピクセルアレイの作動を制御し、ピクセルアレイの出力信号を処理することができる。

該プロセッサが映像データに基づき、制御信号をアナログ回路にフィードバックすることにより、適応的に映像がキャプチャされ、高品質の映像が提供されうる。

図２０は、一実施形態による映像センサの概略的なブロック図である。

図２０の映像センサ１０００は、内部フィードバックを有する集積映像センサの一具現例でもある。映像センサ１０００は、図２０、及び図２０を参照した説明によって制限されるものではない。映像センサ１０００の本質的な特性から外れない範囲において、映像センサ１０００を変形させた形態にも具現することができるということは、当業者に自明であろう。例えば、映像センサ１０００は、カラー／分光フィルタ１１００を含まないようにも具現されるか、あるいはマイクロレンズアレイ（ｍｉｃｒｏｌｅｎｓ ａｒｒａｙ）または偏光フィルタをさらに含むようにも具現される。他の例を挙げれば、映像センサ１０００は、全体ピクセルが１回に映像をキャプチャすることができるように、各ピクセルがＡＤＣを含むようにも構成される。

図２０を参照すれば、映像センサ１０００は、カラー／分光フィルタ１１００、ピクセルアレイ４１００、タイミングコントローラ（Ｔ／Ｃ）４０１０、ロウデコーダ４０２０及び出力回路４０３０を含んでもよい。映像センサ１０００は、ＣＣＤ映像センサまたはＣＭＯＳ映像センサを含んでもよいが、それらに限定されるものではない。

カラー／分光フィルタ１１００は、互いに異なる波長領域の光を透過させたり遮断させたりすることにより、二次元に配列される複数のユニットフィルタを含む。ピクセルアレイ４１００は、複数のユニットフィルタを透過した互いに異なる波長の光を感知する複数のピクセルを含んでもよい。具体的には、ピクセルアレイ４１００は、複数のロウとカラムとに沿って二次元配列されたピクセルを含んでもよい。ロウデコーダ４０２０は、タイミングコントローラ４０１０から出力されたロウアドレス信号に応答し、ピクセルアレイ４１００のロウのうち一つを選択することができる。出力回路４０３０は、選択されたロウに沿って配列された複数のピクセルから、カラム単位で光感知信号を出力することができる。そのために、出力回路４０３０は、カラムデコーダとＡＤＣとを含んでもよい。例えば、出力回路４０３０は、カラムデコーダとピクセルアレイ４１００との間において、カラム別にそれぞれ配された複数のＡＤＣ、またはカラムデコーダの出力端に配された１つのＡＤＣを含んでもよい。タイミングコントローラ４０１０、ロウデコーダ４０２０及び出力回路４０３０は、１つのチップ、またはそれぞれ別個のチップとしても具現される。出力回路４０３０を介して出力された映像信号を処理するためのプロセッサが、タイミングコントローラ４０１０、ロウデコーダ４０２０及び出力回路４０３０と共に、１つのチップとしても具現される。ピクセルアレイ４１００は、互いに異なる波長の光を感知する複数のピクセルを含み、ここで、ピクセルの配列は、多様な方式によっても具現される。

映像センサ１０００は、多様な高性能光学装置または高性能電子装置に採用されうる。そのような電子装置は、例えば、スマートフォン、携帯電話、ハンドフォン、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ラップトップ、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、多様な携帯用機器、家電製品、保安カメラ、医療用カメラ、自動車、事物インターネット（ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ））機器、その他モバイルまたは非モバイルのコンピューティング装置でもあるが、それらに制限されるものではない。

該電子装置は、映像センサ１０００以外にも、映像センサを制御するプロセッサ、例えば、アプリケーションプロセッサ（ＡＰ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）をさらに含んでもよい。該電子装置は、プロセッサを介してオペレーションシステムまたは応用プログラムを駆動し、多数のハードウェア構成要素またはソフトウェア構成要素を制御することができ、各種データ処理及び演算を行うことができる。該プロセッサは、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＮＰＵ（ｎｅｕｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）及び／または映像信号プロセッサ（ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）をさらに含んでもよい。該プロセッサに映像信号プロセッサが含まれる場合、映像センサによって獲得された映像を、プロセッサを利用し、処理し、保存し、かつ／または出力することができる。

図２１は、映像センサ１０００を含む電子装置ＥＤ０１の一例を示すブロック図である。

図２１を参照すれば、ネットワーク環境ＥＤ００において、電子装置ＥＤ０１は、第１ネットワークＥＤ９８（近距離無線通信ネットワークなど）を介し、他の電子装置ＥＤ０２と通信するか、あるいは第２ネットワークＥＤ９９（遠距離無線通信ネットワークなど）を介し、さらに他の電子装置ＥＤ０４及び／またはサーバＥＤ０８と通信することができる。電子装置ＥＤ０１は、サーバＥＤ０８を介し、電子装置ＥＤ０４と通信することができる。電子装置ＥＤ０１は、プロセッサＥＤ２０、メモリＥＤ３０、入力装置ＥＤ５０、音響出力装置ＥＤ５５、表示装置ＥＤ６０、オーディオモジュールＥＤ７０、センサモジュールＥＤ７６、インターフェースＥＤ７７、ハプティックモジュールＥＤ７９、カメラモジュールＥＤ８０、電力管理モジュールＥＤ８８、バッテリＥＤ８９、通信モジュールＥＤ９０、加入者識別モジュールＥＤ９６及び／またはアンテナモジュールＥＤ９７を含んでもよい。電子装置ＥＤ０１には、該構成要素のうち一部（表示装置ＥＤ６０など）が省略されるか、あるいは他の構成要素が追加されうる。該構成要素のうち一部は、１つの統合された回路によっても具現される。例えば、センサモジュールＥＤ７６（指紋センサ、虹彩センサ、照度センサなど）は、表示装置ＥＤ６０（ディスプレイなど）に埋め込まれても具現される。

プロセッサＥＤ２０は、ソフトウェア（プログラムＥＤ４０など）を実行し、プロセッサＥＤ２０に連結された電子装置ＥＤ０１のうち、１または複数個の他の構成要素（ハードウェア構成要素、ソフトウェア構成要素など）を制御することができ、多様なデータ処理または演算を行うことができる。該データ処理または該演算の一部として、プロセッサＥＤ２０は、他の構成要素（センサモジュールＥＤ７６、通信モジュールＥＤ９０など）から受信された命令及び／またはデータを揮発性メモリＥＤ３２にロードし、揮発性メモリＥＤ３２に保存された命令及び／またはデータを処理し、該結果データを不揮発性メモリＥＤ３４に保存することができる。プロセッサＥＤ２０は、メインプロセッサＥＤ２１（中央処理装置、アプリケーションプロセッサなど）、及びそれと独立しているか、あるいは共に運用可能な補助プロセッサＥＤ２３（グラフィック処理装置、映像シグナルプロセッサ、センサハブプロセッサ、コミュニケーションプロセッサなど）を含んでもよい。補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１より電力を少なく使用し、特化された機能を遂行することができる。

補助プロセッサＥＤ２３は、メインプロセッサＥＤ２１がイナクティブ状態（スリープ状態）にある間、メインプロセッサＥＤ２１の代わりを行い、あるいはメインプロセッサＥＤ２１がアクティブ状態（アプリケーション実行状態）にある間、メインプロセッサＥＤ２１と共に、電子装置ＥＤ０１の構成要素のうち一部構成要素（表示装置ＥＤ６０、センサモジュールＥＤ７６、通信モジュールＥＤ９０など）と係わる機能及び／または状態を制御することができる。補助プロセッサＥＤ２３（映像シグナルプロセッサ、コミュニケーションプロセッサなど）は、機能的に関連する他の構成要素（カメラモジュールＥＤ８０、通信モジュールＥＤ９０など）の一部としても具現される。

メモリＥＤ３０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０、センサモジュールＥＤ７６など）が必要とする多様なデータを保存することができる。該データは、例えば、ソフトウェア（プログラムＥＤ４０など）、並びにそれと係わる命令に係わる入力データ及び／または出力データを含んでもよい。メモリＥＤ３０は、揮発性メモリＥＤ３２及び／または不揮発性メモリＥＤ３４を含んでもよい。不揮発性メモリＥＤ３２は、電子装置ＥＤ０１内に固定装着された内蔵メモリＥＤ３６と、脱着可能な外装メモリＥＤ３８とを含んでもよい。

プログラムＥＤ４０は、メモリＥＤ３０にソフトウェアとしても保存され、オペレーティングシステムＥＤ４２、ミドルウェアＥＤ４４及び／またはアプリケーションＥＤ４６を含んでもよい。

入力装置ＥＤ５０は、電子装置ＥＤ０１の構成要素（プロセッサＥＤ２０など）に使用される命令及び／またはデータを、電子装置ＥＤ０１の外部（ユーザなど）から受信することができる。入力装置ＥＤ５０は、マイク、マウス、キーボード及び／またはデジタルペン（スタイラスペンなど）を含んでもよい。

音響出力装置ＥＤ５５は、音響信号を、電子装置ＥＤ０１の外部に出力することができる。音響出力装置ＥＤ５５は、スピーカ及び／またはレシーバを含んでもよい。該スピーカは、マルチメディアの再生または録音再生のような、一般的な用途にも使用され、該レシーバは、着信電話を受信するためにも使用される。該レシーバは、スピーカの一部に結合されているか、あるいは独立し別途の装置としても具現される。

表示装置ＥＤ６０は、電子装置ＥＤ０１の外部に、情報を視覚的に提供することができる。表示装置ＥＤ６０は、ディスプレイ、ホログラム装置またはプロジェクタ、及び当該装置を制御するための制御回路を含んでもよい。表示装置ＥＤ６０は、タッチを感知するように設定されたタッチ回路（ｔｏｕｃｈ ｃｉｒｃｕｉｔｒｙ）、及び／またはタッチによって生じる力の強度を測定するように設定されたセンサ回路（圧力センサなど）を含んでもよい。

オーディオモジュールＥＤ７０は、音を電気信号に変換させるか、あるいは反対に電気信号を音に変換させることができる。オーディオモジュールＥＤ７０は、入力装置ＥＤ５０を介して音を獲得するか、あるいは音響出力装置ＥＤ５５及び／または電子装置ＥＤ０１と、直接または無線で連結された他の電子装置（電子装置ＥＤ０２など）のスピーカ及び／またはヘッドホンを介して音を出力することができる。

センサモジュールＥＤ７６は、電子装置ＥＤ０１の作動状態（電力、温度など）、または外部の環境状態（ユーザ状態など）を感知し、感知された状態に対応する電気信号及び／またはデータ値を生成することができる。センサモジュールＥＤ７６は、ジェスチャセンサ、ジャイロセンサ、気圧センサ、マグネチックセンサ、加速度センサ、グリップセンサ、近接センサ、カラーセンサ、ＩＲ（ｉｎｆｒａｒｅｄ）センサ、生体センサ、温度センサ、湿度センサ及び／または照度センサを含んでもよい。

インターフェースＥＤ７７は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と直接または無線で連結されるためにも使用される、１または複数の指定されたプロトコルを支援することができる。インターフェースＥＤ７７は、ＨＤＭＩ（登録商標）（ｈｉｇｈ ｄｅｆｉｎｉｔｉｏｎ ｍｕｌｔｉｍｅｄｉａ ｉｎｔｅｒｆａｃｅ）、ＵＳＢ（ｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ）インターフェース、ＳＤ（ｓｅｃｕｒｅ ｄｉｇｉｔａｌ）カードインターフェース及び／またはオーディオインターフェースを含んでもよい。

連結端子ＥＤ７８は、電子装置ＥＤ０１が、他の電子装置（電子装置ＥＤ０２など）と物理的にも連結されるコネクタを含んでもよい。連結端子ＥＤ７８は、ＨＤＭＩコネクタ、ＵＳＢコネクタ、ＳＤカードコネクタ及び／またはオーディオコネクタ（ヘッドホンコネクタなど）を含んでもよい。

ハプティックモジュールＥＤ７９は、電気的信号を、ユーザが触覚または運動感覚を介して認知することができる機械的な刺激（振動、動きなど）または電気的な刺激に変換することができる。ハプティックモジュールＥＤ７９は、モータ、圧電素子及び／または電気刺激装置を含んでもよい。

カメラモジュールＥＤ８０は、静止映像及び動画を撮影することができる。カメラモジュールＥＤ８０は、１または複数のレンズを含むレンズアセンブリ、図１または図２０の映像センサ１００，１０００、映像シグナルプロセッサ及び／またはフラッシュを含んでもよい。カメラモジュールＥＤ８０に含まれたレンズアセンブリは、映像撮影の対象である被写体から放出される光を収集することができる。

電力管理モジュールＥＤ８８は、電子装置ＥＤ０１に供給される電力を管理することができる。電力管理モジュールＥＤ８８は、ＰＭＩＣ（ｐｏｗｅｒ ｍａｎａｇｅｍｅｎｔ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）の一部としても具現される。

バッテリＥＤ８９は、電子装置ＥＤ０１の構成要素に電力を供給することができる。バッテリＥＤ８９は、再充電不可能な一次電池、再充電可能な二次電池及び／または燃料電池を含んでもよい。

通信モジュールＥＤ９０は、電子装置ＥＤ０１と、他の電子装置（電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）との直接（有線）通信チャンネル及び／または無線通信チャンネルの確立、及び確立された通信チャンネルを介する通信遂行を支援することができる。通信モジュールＥＤ９０は、プロセッサＥＤ２０（アプリケーションプロセッサなど）と独立して運用され、直接通信及び／または無線通信を支援する、１または複数のコミュニケーションプロセッサを含んでもよい。通信モジュールＥＤ９０は、無線通信モジュールＥＤ９２（セルラ通信モジュール、近距離無線通信モジュール、ＧＮＳＳ（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ）通信モジュール）及び／または有線通信モジュールＥＤ９４（ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）通信モジュール、電力線通信モジュールなど）を含んでもよい。それら通信モジュールのうち、当該通信モジュールは、第１ネットワークＥＤ９８（ブルートゥース（登録商標）、Ｗｉ－Ｆｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ） ｄｉｒｅｃｔまたはＩｒＤＡ（ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）のような近距離通信ネットワーク）または第２ネットワークＥＤ９９（セルラネットワーク、インターネットまたはコンピュータネットワーク（ＬＡＮ、ＷＡＮなど）のような遠距離通信ネットワーク）を介し、他の電子装置と通信することができる。そのようなさまざまな種類の通信モジュールは、１つの構成要素（単一チップなど）に統合されるか、あるいは互いに別途の複数の構成要素（複数チップ）によっても具現される。無線通信モジュールＥＤ９２は、加入者識別モジュールＥＤ９６に保存された加入者情報（国際モバイル加入者識別子（ＩＭＳＩ）など）を利用し、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワーク内において、電子装置ＥＤ０１を確認して認証することができる。

アンテナモジュールＥＤ９７は、信号及び／または電力を、外部（他の電子装置など）に送信したり、外部から受信したりすることができる。該アンテナは、基板（ＰＣＢ（ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ）など）上に形成された導電性パターンからなる反射体を含んでもよい。アンテナモジュールＥＤ９７は、１または複数のアンテナを含んでもよい。複数のアンテナが含まれている場合、通信モジュールＥＤ９０により、複数のアンテナのうち、第１ネットワークＥＤ９８及び／または第２ネットワークＥＤ９９のような通信ネットワークで使用される通信方式に適するアンテナが選択されうる。選択されたアンテナを介し、通信モジュールＥＤ９０と、他の電子装置との間において、信号及び／または電力が送信されたり受信されたりすることができる。アンテナ以外の他の部品（ＲＦＩＣ（ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）など）がアンテナモジュールＥＤ９７の一部にも含まれる。

構成要素のうち一部は、周辺機器との通信方式（バス、ＧＰＩＯ（ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｉｎｐｕｔ ａｎｄ ｏｕｔｐｕｔ）、ＳＰＩ（ｓｅｒｉａｌ ｐｅｒｉｐｈｅｒａｌ ｉｎｔｅｒｆａｃｅ）、ＭＩＰＩ（ｍｏｂｉｌｅ ｉｎｄｕｓｔｒｙ ｐｒｏｃｅｓｓｏｒ ｉｎｔｅｒｆａｃｅ）など）を介して互いに連結され、信号（命令、データなど）を相互に交換することができる。

該命令または該データは、第２ネットワークＥＤ９９に連結されたサーバＥＤ０８を介し、電子装置ＥＤ０１と、外部の電子装置ＥＤ０４との間において、送受信されうる。他の電子装置ＥＤ０２，ＥＤ０４は、電子装置ＥＤ０１と同一であるか、あるいは異なる種類の装置でもある。電子装置ＥＤ０１で実行される動作の全部または一部は、他の電子装置ＥＤ０２，ＥＤ０４，ＥＤ０８のうち、１または複数の装置においても実行される。例えば、電子装置ＥＤ０１が、ある機能やサービスを遂行しなければならないとき、該機能または該サービスを自主的に実行させる代わりに、１または複数の他の電子装置に、その機能またはそのサービスの一部または全体を遂行するように要請することができる。要請を受信した、１または複数の他の電子装置は、要請と係わる追加機能またはサービスを実行し、その実行の結果を、電子装置ＥＤ０１に伝達することができる。そのために、クラウドコンピューティング技術、分散コンピューティング技術及び／またはクライアント・サーバコンピューティング技術が利用されうる。

図２２は、図２１のカメラモジュールＥＤ８０を例示するブロック図である。

図２２を参照すれば、カメラモジュールＥＤ８０は、レンズアセンブリＣＭ１０、フラッシュＣＭ２０、映像センサ１０００（例：内部フィードバックを有する集積映像センサ１００（図１）、または映像センサ１０００（図２０））、映像スタビライザＣＭ４０、メモリＣＭ５０（バッファメモリなど）及び／または映像シグナルプロセッサＣＭ６０を含んでもよい。レンズアセンブリＣＭ１０は、映像撮影の対象である被写体から放出される光を収集することができる。カメラモジュールＥＤ８０は、複数のレンズアセンブリＣＭ１０を含み、そのような場合、カメラモジュールＥＤ８０は、デュアルカメラ、３６０°カメラまたは球形カメラ（ｓｐｈｅｒｉｃａｌ ｃａｍｅｒａ）にもなる。複数のレンズアセンブリＣＭ１０らのうち一部は、同一レンズ属性（画角、焦点距離、自動焦点、Ｆナンバー（Ｆ ｎｕｍｂｅｒ）、光学ズームなど）を有するか、あるいは他のレンズ属性を有することができる。レンズアセンブリＣＭ１０は、広角レンズまたは望遠レンズを含んでもよい。

フラッシュＣＭ２０は、被写体から放出されたり反射されたりする光を強化するために使用される光を放出することができる。フラッシュＣＭ２０は、１または複数の発光ダイオード（ＲＧＢ（ｒｅｄ－ｇｒｅｅｎ－ｂｌｕｅ）ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、ｗｈｉｔｅ ＬＥＤ、ｉｎｆｒａｒｅｄ ＬＥＤ、ｕｌｔｒａｖｉｏｌｅｔ ＬＥＤなど）及び／またはキセノンランプ（ｘｅｎｏｎ ｌａｍｐ）を含んでもよい。

映像センサ１０００は、図１または図２０で説明した映像センサでもあり、被写体から放出されたり反射されたりし、レンズアセンブリＣＭ１０を介して伝達された光を電気的な信号に変換することにより、被写体に対応する映像を獲得することができる。映像センサ１０００は、ＲＧＢセンサ、ＢＷ（ｂｌａｃｋ ａｎｄ ｗｈｉｔｅ）センサ、ＩＲ（ｉｎｆｒａｒｅｄ）センサ、またはＵＶ（ｕｌｔｒａｖｉｏｌｅｔ）センサのように、属性が異なる映像センサのうちから選択された、１または複数のセンサを含んでもよい。映像センサ１０００に含まれたそれぞれのセンサは、ＣＣＤセンサ及び／またはＣＭＯＳセンサによっても具現される。

映像スタビライザＣＭ４０は、カメラモジュールＥＤ８０、またはそれを含む電子装置ＣＭ０１の動きに反応し、レンズアセンブリＣＭ１０に含まれた、１または複数個のレンズ、または映像センサ１０００を、特定方向に動かしたり、映像センサ１０００の動作特性を制御（リードアウトタイミングの調整など）したりし、動きによる否定的な影響が補償されるようにする。映像スタビライザＣＭ４０は、カメラモジュールＥＤ８０の内部または外部に配されたジャイロセンサ（図示せず）または加速度センサ（図示せず）を利用し、カメラモジュールＥＤ８０または電子装置ＥＤ０１の動きを感知することができる。映像スタビライザＣＭ４０は、光学式またはデジタル方式によっても具現される。

メモリＣＭ５０は、映像センサ１０００を介して獲得された映像の一部データまたは全体データを、次の映像処理作業のために保存することができる。例えば、複数の映像が高速に獲得される場合、獲得された原本データ（ベイヤーパターン（Ｂａｙｅｒ－ｐａｔｔｅｒｎｅｄ）データ、高解像度データなど）は、メモリＣＭ５０に保存し、低解像度映像のみをディスプレイした後、選択された（ユーザ選択などによるもの）映像の原本データが映像シグナルプロセッサＣＭ６０に伝達されるようにするところにも使用される。メモリＣＭ５０は、電子装置ＥＤ０１のメモリＥＤ３０に統合されているか、あるいは独立して運用される別途のメモリとしても構成される。

映像シグナルプロセッサＣＭ６０は、映像センサ１０００を介して獲得された映像、またはメモリＣＭ５０に保存された映像データについて、映像処理を行うことができる。該映像処理は、デプス地図（ｄｅｐｔｈ ｍａｐ）生成、三次元モデリング、パノラマ生成、特徴点抽出、映像合成及び／または映像補償（ノイズ低減、解像度調整、明るさ調整、ぼかし／ぼけ除去（ｂｌｕｒｒｉｎｇ／ｄｅｂｌｕｒｒｉｎｇ）、シャープニング（ｓｈａｒｐｅｎｉｎｇ）、ソフトニング（ｓｏｆｔｅｎｉｎｇ）など）を含んでもよい。映像シグナルプロセッサＣＭ６０は、カメラモジュールＥＤ８０に含まれた構成要素（映像センサ１０００など）に対する制御（露出時間制御またはリードアウトタイミング制御など）を行うことができる。映像シグナルプロセッサＣＭ６０によって処理された映像は、追加処理のために、メモリＣＭ５０にさらに保存されたり、カメラモジュールＥＤ８０の外部構成要素（メモリＥＤ３０、表示装置ＥＤ６０、電子装置ＥＤ０２、電子装置ＥＤ０４、サーバＥＤ０８など）に提供されたりもする。映像シグナルプロセッサＣＭ６０は、プロセッサＥＤ２０に統合されるか、あるいはプロセッサＥＤ２０と独立した運用される別途のプロセッサとしても構成される。映像シグナルプロセッサＣＭ６０が、プロセッサＥＤ２０と別途のプロセッサとして構成された場合、映像シグナルプロセッサＣＭ６０によって処理された映像は、プロセッサＥＤ２０により、追加の映像処理を経た後、表示装置ＥＤ６０を介しても表示される。

電子装置ＥＤ０１（図２１）は、それぞれ異なる属性または機能を有した複数のカメラモジュールＥＤ８０を含んでもよい。そのような場合、複数のカメラモジュールＥＤ８０らのうち一つは、広角カメラであり、他の一つは、望遠カメラでもある。類似して、複数のカメラモジュールＥＤ８０のうち一つは、前面カメラであり、他の一つは、背面カメラでもある。

一実施形態による映像センサ１０００は、図２３に図示されたモバイルフォンまたはスマートフォン５１００ｍ、図２４に図示されたタブレットまたはスマートタブレット５２００、図２５に図示されたデジタルカメラまたはカムコーダ５３００、図２６に図示されたノート型パソコン５４００、または図２７に図示されたテレビまたはスマートテレビ５５００などにも適用される。例えば、スマートフォン５１００ｍまたはスマートタブレット５２００は、高解像度映像センサがそれぞれ搭載された複数の高解像度カメラを含んでもよい。該高解像度カメラを利用し、映像内被写体のデプス情報を抽出するか、映像のフォーカシング／アウトフォーカシングを調節するか、あるいは映像内被写体を自動的に識別することができる。

また、映像センサ１０００は、図２８に図示されたスマート冷蔵庫５６００、図２９に図示された保安カメラ５７００、図３０に図示されたロボット５８００、図３１に図示された医療用カメラ５９００などにも適用される。例えば、スマート冷蔵庫５６００は、映像センサを利用し、冷蔵庫内にある食料品を自動的に認識し、特定食料品の存在いかん、入出庫された食料品の種類などを、スマートフォンを介してユーザに知らせることができる。保安カメラ５７００は、超高解像度映像を提供することができ、高感度を利用し、暗い環境においても、映像内の事物または人を認識可能にする。ロボット５８００は、人が直接近付くことができない災害現場または産業現場に投入され、高解像度映像を提供することができる。医療用カメラ５９００は、診断または手術のための高解像度映像を提供することができ、視野を動的に調節することができる。

また、映像センサ１０００は、図３２に図示されているように車両６０００に適用されうる。車両６０００は、多様な位置に配された複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を含んでもよく、それぞれの車両用カメラ６０１０，６０２０，６０３０，６０４０は、一実施形態による映像センサを含んでもよい。車両６０００は、複数の車両用カメラ６０１０，６０２０，６０３０，６０４０を利用し、車両６０００の内部または周辺に係わる多様な情報を運転手に提供することができ、映像内の事物または人を自動的に認識し、自律走行及び先進運転支援システム（ＡＤＡＳ：ａｄｖａｎｃｅｄ ｄｒｉｖｅｒ ａｓｓｉｓｔａｎｃｅ ｓｙｓｔｅｍ）に必要な情報を提供することができる。

なお、前述の実施形態は、コンピュータで実行されうるプログラムにも作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータによっても具現される。また、前述の実施形態で使用されたデータの構造は、コンピュータで読み取り可能な記録媒体に、さまざまな手段を介しても記録される。前述のコンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ－ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）など）のような記録媒体を含む。

本実施形態と係わる技術分野で当業者であるならば、前述の記載の本質的な特性から外れない範囲において実施形態が変形された形態にも具現されうるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。権利範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本実施形態に含まれたものであると解釈されなければならないのである。

１００，２００，３００ 集積映像センサ
１１０ ピクセルレイヤ
１２０ メモリレイヤ
１３０ ロジックレイヤ
２１０，３１０ ピクセルアレイ
２２０，３２０ アナログ回路
３２１，６２１ ロウ選択回路
３２２，６２２ カラム選択回路
３２３，６３０ アナログ信号処理回路
２３０，３３０ メモリ
２４０，３４０ プロセッサ
６１０ ピクセル
１６１０ ビニング回路

Claims (20)

1. ピクセルアレイと、
   前記ピクセルアレイの作動を制御し、前記ピクセルアレイの出力信号に基づき、映像データをリードアウトするように構成されたアナログ回路と、
   前記映像データに基づき、前記アナログ回路の作動を制御するための制御信号を生成し、前記制御信号を前記アナログ回路にフィードバックするように構成されたプロセッサと、
   前記映像データを保存するように構成されたメモリと、を含む、内部フィードバックを有する集積映像センサ。
2. 前記プロセッサは、前記映像データのサブ領域を決定し、前記サブ領域を前記アナログ回路にフィードバックするように構成され、
   前記アナログ回路は、前記制御信号により、前記サブ領域に対応するピクセルの作動を制御するか、あるいは前記サブ領域に対応する前記ピクセルの出力信号を処理するように構成された、請求項１に記載の内部フィードバックを有する集積映像センサ。
3. 前記プロセッサは、前記映像データにデジタル映像処理を行うことにより、前記サブ領域を決定するように構成された、請求項２に記載の内部フィードバックを有する集積映像センサ。
4. 前記プロセッサは、前記映像データのモーション、オブジェクト、色、ダイナミックレンジまたはノイズに基づき、前記サブ領域を決定するように構成された、請求項２に記載の内部フィードバックを有する集積映像センサ。
5. 前記アナログ回路は、前記制御信号により、前記サブ領域に対応する前記ピクセルの露出時間、変換利得またはダイナミックレンジを調整するように構成された、請求項２に記載の内部フィードバックを有する集積映像センサ。
6. 前記アナログ回路は、前記制御信号により、前記サブ領域に対応する前記ピクセルに基づく映像リードアウトと、前記サブ領域に対応しないピクセルに基づく映像リードアウトとを、互いに異なるフレームレートで遂行するように構成された、請求項２に記載の内部フィードバックを有する集積映像センサ。
7. 前記アナログ回路は、前記制御信号により、前記サブ領域に対応する前記ピクセルをビニングするように構成された、請求項２に記載の内部フィードバックを有する集積映像センサ。
8. 前記プロセッサは、前記映像データの第１サブ領域及び第２サブ領域を決定し、前記第１サブ領域及び前記第２サブ領域を、前記アナログ回路にフィードバックするように構成され、
   前記アナログ回路は、前記制御信号により、前記第１サブ領域に対応するピクセルと、前記第２サブ領域に対応するピクセルとが互いに異なるように作動するように制御するか、あるいは前記第１サブ領域に対応する前記ピクセルの出力信号と、前記第２サブ領域に対応する前記ピクセルの出力信号とを互いに異なるように処理するように構成された、請求項１に記載の内部フィードバックを有する集積映像センサ。
9. 前記アナログ回路は、前記第１サブ領域に対応する前記ピクセルの出力信号に基づき、第１サブ映像データをリードアウトし、前記第２サブ領域に対応する前記ピクセルの出力信号に基づき、第２サブ映像データをリードアウトするように構成され、
   前記プロセッサは、映像整合に基づき、前記第１サブ映像データと前記第２サブ映像データとを結合することにより、全体映像データを生成するように構成された、請求項８に記載の内部フィードバックを有する集積映像センサ。
10. 前記アナログ回路は、
    前記ピクセルアレイのピクセルを活性化させるように構成されたロウ選択回路と、
    前記ピクセルアレイの出力信号に基づき、映像データをリードアウトするように構成されたアナログ信号処理回路と、を含む、請求項１に記載の内部フィードバックを有する集積映像センサ。
11. 内部フィードバックを有する集積映像センサの作動方法において、
    ピクセルアレイの出力信号に基づき、映像データをリードアウトする段階と、
    前記映像データを保存する段階と、
    前記映像データに基づき、前記ピクセルアレイの作動を制御し、前記映像データをリードアウトするように構成されたアナログ回路の作動を制御するための制御信号を生成する段階と、
    前記制御信号を前記アナログ回路にフィードバックする段階と、を含む、方法。
12. 前記制御信号を生成する段階は、前記映像データのサブ領域を決定する段階を含み、
    前記制御信号をフィードバックする段階は、前記サブ領域を前記アナログ回路にフィードバックする段階を含む、請求項１１に記載の方法。
13. 前記サブ領域を決定する段階は、
    前記映像データにデジタル映像処理を行うことにより、前記サブ領域を決定する段階を含む、請求項１２に記載の方法。
14. 前記サブ領域を決定する段階は、
    前記映像データのモーション、オブジェクト、色、ダイナミックレンジまたはノイズに基づき、前記サブ領域を決定する段階を含む、請求項１２に記載の方法。
15. 前記制御信号により、前記サブ領域に対応するピクセルの作動を制御するか、あるいは前記サブ領域に対応する前記ピクセルの出力信号を処理する段階をさらに含む、請求項１２に記載の方法。
16. 前記ピクセルの作動を制御するか、あるいは前記ピクセルの出力信号を処理する段階は、
    前記制御信号により、前記サブ領域に対応するピクセルの露出時間、変換利得またはダイナミックレンジを調整する段階を含む、請求項１５に記載の方法。
17. 前記ピクセルの作動を制御するか、あるいは前記ピクセルの出力信号を処理する段階は、
    前記制御信号により、前記サブ領域に対応する前記ピクセルに基づく映像リードアウトと、前記サブ領域に対応しないピクセルに基づく映像リードアウトとを互いに異なるフレームレートで遂行する段階を含む、請求項１５に記載の方法。
18. 前記ピクセルの作動を制御するか、あるいは前記ピクセルの出力信号を処理する段階は、
    前記制御信号により、前記サブ領域に対応するピクセルをビニングする段階をさらに含む、請求項１５に記載の方法。
19. 前記制御信号を生成する段階は、前記映像データの第１サブ領域及び第２サブ領域を決定する段階を含み、
    前記制御信号をフィードバックする段階は、前記第１サブ領域及び前記第２サブ領域を前記アナログ回路にフィードバックする段階を含み、
    前記制御信号により、前記第１サブ領域に対応するピクセルと、前記第２サブ領域に対応するピクセルとが互いに異なるように作動するように制御するか、あるいは前記第１サブ領域に対応する前記ピクセルの出力信号と、前記第２サブ領域に対応する前記ピクセルの出力信号とを互いに異なるように処理する段階をさらに含む、請求項１１に記載の方法。
20. 前記第１サブ領域に対応する前記ピクセルの出力信号に基づき、第１サブ映像データをリードアウトし、前記第２サブ領域に対応する前記ピクセルの出力信号に基づき、第２サブ映像データをリードアウトする段階と、
    映像整合に基づき、前記第１サブ映像データと、前記第２サブ映像データとを結合することにより、全体映像データを生成する段階をさらに含む、請求項１９に記載の方法。

Images