JP2009510868A - 製造過程におけるカメラ特性の内部記憶装置 - Google Patents

製造過程におけるカメラ特性の内部記憶装置 Download PDF

Info

Publication number
JP2009510868A
JP2009510868A JP2008532886A JP2008532886A JP2009510868A JP 2009510868 A JP2009510868 A JP 2009510868A JP 2008532886 A JP2008532886 A JP 2008532886A JP 2008532886 A JP2008532886 A JP 2008532886A JP 2009510868 A JP2009510868 A JP 2009510868A
Authority
JP
Japan
Prior art keywords
camera module
electronic device
image
calibration
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008532886A
Other languages
English (en)
Inventor
アラカルフ,ユハ
サルメリン,エーロ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Oyj
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of JP2009510868A publication Critical patent/JP2009510868A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32122Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate device, e.g. in a memory or on a display separate from image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本明細書および図面によって、電子装置の製造(例えば、工場試験)過程において提供される電子装置のカメラモジュール(または、カメラ)のカメラモジュール特性をカメラモジュールの不揮発性メモリに保存することによって、電子装置がこれらのカメラモジュール特性を使用してイメージを撮り処理し、および/またはカメラモジュールを識別するための新規の方法、装置、およびソフトウェア製品が示される。電子装置は、無線通信装置、ポータブル電子装置、カメラ、カメラ付き携帯電話などでもよい。

Description

本発明は、一般に、ビデオ電子装置に関し、特に、製造過程におけるカメラモジュール特性の記憶に関する。
イメージセンサ(または、センサ)は、任意のデジタルカメラにおける感光素子である。センサの中核は、ピクセルの配列である。それぞれのピクセルの出力値がそのピクセル上の入射光のエネルギに比例することによって、センサは、イメージを出力することができる。各ピクセルの前にカラーフィルタを配置することによって、カラーイメージ処理が可能になる。
一般に、センサは非理想特性を有する。例えば、ピクセルは、暗闇でさえ出力信号を生成してしまう場合がある。さらに、ピクセルの容量に限界があったり(飽和してしまったり)、すべてのピクセルに対して光エネルギと出力値との関係が均一ではなかったり、各ピクセルの色レスポンスが異なったりする。レスポンスが固定値であるピクセルもある。センサの前に光学システムを配置することによって、光軸からより離れたイメージの各部における鮮鋭度や暗度のレベルの相違(口径食)などの他のパラメータが取り入れられる。
これらの特性は、時間クラスと空間クラスとに分けることができる。時間的特性とは、時間的ノイズなどの個々のピクセルのプロパティのことをいう。空間的特性とは、所与のセンサにおけるピクセル間の相違点のことをいう。また、センサは、シリアル番号、製造日時、およびカラーマトリックスを含むセンサ固有のパラメータを有することがある。カラーマトリックスは、センサの色空間をRGBなどの一般/周知の色空間に変換するのに使用される。
イメージ配列の中で空間的に変化するパラメータおよびセンサ固有のパラメータによる問題に起因して、画像品質が低下する場合がある。空間的に変化するパラメータの現象を空間ノイズと呼ぶ。センサ固有のパラメータは、一般に、同一のセンサのピクセルすべてに関して同一であるが、センサが異なると変動する。各ピクセルは、異なるレートで暗電流を生成するが、異なるピクセル間の相違は、桁違いになる場合さえある。これは、特に弱光条件において問題となる場合がある。異なる暗電流生成レートによるノイズは、暗信号不均一性(DSNU:Dark Signal Non-Uniformity)と呼ばれる。機械的シャッタを使用したり各イメージを撮った後ダークフレームを取ったりすることによって、DSNUを補正することができる。この補正は、例えば、イメージ処理製品が組み立てられる前の製造環境で、機械的シャッタを持たないイメージ処理装置または機械的シャッタにアクセスする手段を持たないセンサ構成においては、実施不可能である。
また、異なるピクセルに関して、ピクセル出力と入射光エネルギとの割合が異なる場合もある。すなわち、各ピクセルが異なる利得を有すると考えられる場合がある。これは、特に強光および中光の条件下で問題となる。このタイプの空間ノイズは、感光不均一性(PRNU:PhotoResponse Non-Uniformity)と呼ばれる。PRNUに関する一般的値は、1%=(平均偏差/平均ピクセル値)*100%である。これまで、プログラム可能不揮発性メモリを含むことによって、このメモリをカメラモジュール中に常駐させ、工場試験過程において較正を適用できるようにすることができるカメラモジュール(または、イメージセンサ)は、存在しなかった。したがって、従来技術の補正技術は、外部記憶装置を使用しており、これが、PRNU補正がより早期に広く適用されなかった理由である。
口径食に起因して、均一に照射した場合でも、イメージの端における絶対ピクセル出力値が光軸におけるピクセル出力値の25%〜50%にすぎない場合がある。この影響は、デジタル処理によって部分的に補正することができるが、各センサに対して個別に行われない。口径食は、光軸からより離れたピクセルに対してより大きい利得を適用することによって補正することができるが、個々のカメラモジュールに対する計算は、行われていなかった。
光学部品に起因するかすれは、一般に、デジタル処理でイメージを鮮鋭化することによって部分的に補正される。しかしながら、センサ固有の補正は、行われていなかった。したがって、2台の同一モデルのカメラからのイメージが異なって見えることがある。
同様に、同一のモデルのすべてのカメラに対して、同一のカラーマトリックスが使用される。しかしながら、これによって各カメラが個別に較正されないため、色に相違が現れる。
本発明の第1の形態による電子装置のカメラモジュールのカメラモジュール特性を記憶する方法は、
製造過程において、
a)前記カメラモジュールのイメージセンサのピクセルに関するピクセル較正データ、
b)センサ固有のパラメータ、および
c)機械的シャッタの遅延のうちの少なくとも1つを備える前記カメラモジュール特性を提供することと、
前記製造過程において、前記カメラモジュール内に組み込まれた不揮発性メモリに前記カメラモジュール特性を記憶することによって、前記電子装置が、前記カメラモジュール特性を使用して、イメージを撮り処理したりまたは前記カメラモジュールを識別したりすることと、を備える。
さらに、本発明の第1の形態によれば、前記ピクセル較正データは、暗電流較正、感光不均一性較正、および口径食較正の少なくとも1つを備えてもよい。また、前記ピクセル較正データを提供することは、前記カメラモジュールの前記イメージセンサの前記ピクセルに関する暗電流特性、感光不均一性特性、および口径食特性のうちの少なくとも1つを備えるピクセル特性データを生成するステップと、前記ピクセル特性データを処理することによって、前記暗電流較正、前記感光不均一性較正、および前記口径食較正のうちの前記少なくとも1つをそれぞれ生成するステップと、を備える。さらに、前記電子装置が、前記イメージを撮る間に、前記イメージセンサの各ピクセルに関して、他の暗電流特性、他の光電流特性、および他の口径食特性のうちの少なくとも1つを備える他のピクセル特性データを生成することと、前記電子装置が、前記他のピクセル特性データを処理することによって、他のピクセル較正データを生成することと、前記他のピクセル較正データを前記不揮発性メモリに記憶することによって、前記電子装置が前記他のピクセル較正データを使用して前記イメージセンサを使用して撮った他のイメージを補正することと、をさらに備えてもよい。さらにまた、予め選択された基準に従って、前記カメラモジュールの異なる作動条件に関して前記暗電流電流特性データを提供してもよい。その上、前記異なる作動条件は、異なる温度または異なる露光時間でもよい。また、イメージからの異なる距離を使用したりまたは前記イメージセンサの前に配置された集束光学アセンブリを備える光部品の異なる位置を使用したりして、前記口径食特性データを提供してもよい。
さらに、本発明の第1の形態によれば、前記製造過程において、前記不揮発性メモリに記憶される前記カメラモジュール特性は、
a)カメラモジュール識別情報、
b)製造日時、
c)前記イメージセンサの色補正マトリックス、および
d)イメージ鮮鋭化のうちの少なくとも1つをさらに備えてもよい。
さらにまた、本発明の第1の形態によれば、前記電子装置が前記イメージを撮るとき、前記遅延を使用して前記シャッタのタイミングを調整してもよい。また、本発明は、前記イメージを撮る間に他の機械的シャッタの遅延を記録し、前記他の遅延を前記不揮発性メモリに記憶することによって、前記電子装置が他のイメージを撮るとき、前記他の遅延を使用して前記シャッタのタイミングを調整するステップをさらに備えてもよい。
さらに、本発明の第1の形態によれば、前記イメージセンサおよび前記不揮発性メモリは、1つの集積回路に統合されてもよい。
さらにまた、本発明の第1の形態によれば、前記方法は、前記イメージセンサを使用して所望のビデオイメージからビデオ信号を生成するステップと、予め定められた基準によって前記不揮発性メモリに記憶された前記ピクセル較正データから選択された較正データを使用して前記ビデオ信号をさらに処理することによって、前記ビデオ信号を補正し、補正済ビデオ信号を生成するステップと、を備えてもよい。
さらに、本発明の第1の形態によれば、前記方法は、前記補正済ビデオ信号を他のメモリに記憶するステップをさらに備えてもよい。
本発明の第2の形態によるコンピュータプログラムプロダクトは、コンピュータプロセッサが実行するためのコンピュータプログラムコードを具現するコンピュータが読み取り可能な記憶構造を備え、前記電子装置の任意のコンポーネントによって実行するよう示された本発明の第1の形態の前記方法の前記ステップを実行するための指示を含むことを特徴とする。
本発明の第3の形態による電子装置は、
イメージセンサを備えるカメラモジュールと、
製造過程において、
a)前記カメラモジュールのイメージセンサのピクセルに関するピクセル較正データ、
b)センサ固有のパラメータ、および
c)機械的シャッタの遅延のうちの少なくとも1つを備えるカメラモジュール特性を提供するための処理ブロックと、
前記製造過程において前記カメラモジュール特性を記憶するための不揮発性メモリであって、前記電子装置が前記カメラモジュール特性を使用することによって、イメージを撮り処理したりまたは前記カメラモジュールを識別したりする前記不揮発性メモリと、を備え、前記不揮発性メモリは、前記カメラモジュール内に組み込まれる。
また、本発明の第3の形態によれば、前記カメラモジュールは、前記処理ブロックを備えてもよい。
さらに、本発明の第3の形態によれば、前記ピクセル較正データは、暗電流較正、感光不均一性較正、および口径食較正の少なくとも1つを備えてもよく、前記ピクセル較正データを提供することは、前記イメージセンサを使用して、前記カメラモジュールの前記イメージセンサの前記ピクセルに関する暗電流特性、感光不均一性特性、および口径食特性を備えるピクセル特性データを生成することと、前記処理ブロックが、前記ピクセル特性データを処理することによって、暗電流較正、感光不均一性較正、および口径食較正のうちの前記少なくとも1つをそれぞれ生成することと、を備える。
さらにまた、本発明の第3の形態によれば、前記製造過程において、前記不揮発性メモリに記憶される前記カメラモジュール特性は、
a)カメラモジュール識別情報、
b)製造日時、
c)前記イメージセンサの色補正マトリックス、および
d)イメージ鮮鋭化のうちの少なくとも1つをさらに備えてもよい。
また、本発明の第3の形態によれば、前記電子装置が前記イメージを撮るとき、前記遅延を使用して前記シャッタのタイミングを調整してもよい。
さらに、本発明の第3の形態によれば、前記イメージセンサおよび前記不揮発性メモリは、1つの集積回路に統合されてもよい。
さらにまた、本発明の第3の形態によれば、前記イメージセンサを使用して所望のビデオイメージからビデオ信号を生成してもよく、前記処理ブロックが、予め定められた基準によって前記不揮発性メモリに記憶された前記ピクセル較正データから選択された較正データを使用して前記ビデオ信号をさらに処理することによって、前記ビデオ信号を補正し、補正済ビデオ信号を生成する。
また、本発明の第3の形態によれば、前記電子装置は、無線通信装置、ポータブル電子装置、カメラ、またはカメラ付移動電話でもよい。
本発明の第4の形態による集積回路は、イメージセンサと、前記製造過程においてカメラモジュール特性を記憶するための不揮発性メモリであって、前記カメラモジュール特性を使用することによって、前記イメージセンサを使用してイメージを撮り処理する前記不揮発性メモリと、を備えてもよく、前記カメラモジュール特性は、前記イメージセンサのピクセルに関する暗電流較正、感光不均一性較正、および口径食較正を少なくとも備えるピクセル較正データを備える。
本発明の実施例によって、電子装置の製造(例えば、工場試験)過程において提供される電子装置のカメラモジュール(または、カメラ)のカメラモジュール特性をカメラモジュールの不揮発性メモリに保存することによって、電子装置がこれらのカメラモジュール特性を使用してイメージを撮り処理するための新規の方法、装置、およびソフトウェア製品が示される。電子装置は、無線通信装置、ポータブル電子装置、カメラ、カメラ付き携帯電話などでもよい。
本発明の一実施例によれば、カメラモジュール特性は、カメラモジュールのイメージセンサの各ピクセルに関するピクセル較正データを備えることがある。ピクセル較正データは、少なくとも暗電流較正、感光不均一性較正、および/または、口径食較正を備える(が、これらに限定されない)。
本発明の他の実施例によれば、ピクセル較正データを提供することは、イメージセンサを使用して、イメージセンサのすべてのピクセルに関する暗電流特性、感光不均一性特性、および/または、口径食特性を備えるピクセル特性データを生成する段階を備える。そして、カメラモジュールの処理ブロックまたは電子装置の処理ブロック(すなわち、カメラモジュールの処理ブロックは、電子装置の処理ブロックに組み込まれてもよい)は、このピクセル特性データを使用して、ピクセル較正(例えば、それぞれ、暗電流較正、感光不均一性較正、および/または口径食較正)データを生成する。
本発明の一実施例によれば、イメージを撮る間に、他のピクセル較正データを(上記の生成および処理によって)提供し不揮発性メモリに記憶することによって、製造過程において記憶されたピクセル較正データを更新することができる。これによって、他のピクセル較正データを使用して、電子装置がイメージセンサを使用して撮った他のイメージを補正することができる。
また、本発明の実施例によれば、カメラモジュール特性は、電子装置の製造過程において不揮発性メモリに記憶されることがあるセンサ固有のパラメータであってもよい。これらのセンサ固有のパラメータは、以下を備えることがある(が、これらに制限されない)。a)例えば、64ビットまたは32ビットのバイナリ値である場合があるシリアル番号などのカメラモジュール識別情報、b)例えば、所与の基準時間からの秒数を示す32ビット数などの製造日時、c)イメージセンサの色補正マトリックス、および/またはd)イメージ鮮鋭化などである。カラーマトリックスは、3×3マトリックスであってもよい。このマトリックスは、例えば、製造試験の過程において周知の色ターゲットのテストイメージを撮り、再生した色と理想の色との相違に基づいてカラーマトリックスに対する補正値を算出することによって、生成してもよい。また、集束光学アセンブリによって作成されるイメージは、イメージ領域における先鋭度が不均等になり、製造公差のためカメラモジュールごとに変動する。この問題を解決するため、製造過程においてモジュール固有のイメージ鮮鋭化データを記憶し、カメラモジュールが撮ったイメージを鮮鋭化するのに後で使用することができる。製造日時/時間およびシリアル番号は、共に、製造後のカメラモジュールを追跡するのに使用することができる。
さらに、本発明の実施例によれば、製造過程において記憶されるカメラモジュール特性は、機械的シャッタの遅延をさらに備えてもよい。電子装置によってイメージを撮るとき、シャッタのタイミングを調整するのにこの遅延を使用できる。以下のように、イメージを撮る間に遅延を較正し直すことができる。他の機械的なシャッタの遅延は、不揮発性メモリに記録/記憶することができる。これによって、代替の方法として、電子装置によって他のイメージを撮るときシャッタのタイミングについて調整するため、(製造過程において記録した最初の遅延でない)他の遅延を使用することができる。
さらに、本発明の実施例によれば、イメージセンサと不揮発性メモリとを1つの集積回路(例えば、センサチップ)に統合してもよい。統合メモリによる解決法は、システムサイズの小型化を可能にする。また、これによって、製造試験過程においてカメラモジュール特性を記憶することができる。工場試験過程においてカメラモジュールの特性が特定され、各モジュールについて個々のパラメータを記憶することができ、より高い画像品質が得られる。イメージセンサには、例えば、相補型金属酸化膜半導体(CMOS:Complimentary Metal Oxide Semiconductor)イメージアレイ、CCD、または同様の任意の利用可能な技術を使うことができる。不揮発性メモリには、CMOS論理処理、フラッシュメモリ技術などの使用を含む利用可能な製造方法を使うことができる(が、これらに限定されない)。市販の標準的CMOS論理処理におけるメモリの製造によって、CMOSイメージセンサとの統合が可能である。
本発明の実施例によれば、例えば、異なる温度または異なる露光時間などの予め選択された基準によるカメラモジュールの異なる作動条件に対して暗電流特性データを提供することができる。さらに、イメージからの異なる距離を使用したり、または(、例えば、動く光学部品が使用される場合、)(イメージセンサの前に配置される)集束光学アセンブリを備える光部品の異なる位置を使用したりすることによって、口径食特性データを提供することができる。
本発明の他の実施例によれば、イメージセンサを使用して所望のビデオイメージからビデオ信号を生成するとき、予め定められた基準によって不揮発性メモリに記憶されたピクセル較正データから選択された較正データを使用してビデオ信号をさらに処理することによって、ビデオ信号を補正し補正済ビデオ信号を生成する。オプションとして、補正済ビデオ信号を外部記憶装置に記憶したり、または所望の送り先に転送したりすることができる。
図1は、本発明の他の実施例による、製造過程において電子装置10のイメージセンサ14のピクセル較正データを記憶することによって、電子装置10によって前記イメージセンサ14を使用して撮ったイメージをさらに補正するための電子装置10のブロック図のいくつかある例の中の1つを示す。
カメラモジュール12は、1つの(例えば、センサチップなどの)集積回路15に統合された(例えば、CMOSセンサなどの)イメージセンサ14と不揮発性メモリ18とを備える。カメラモジュール12は、処理ブロック16をさらに備え、この処理ブロック16は、ブロック16または16aによって行われる計算をサポートするイメージ補正計算ブロック16aとオプションの処理メモリ16bとを備えてもよい。ブロック16は、カメラモジュール12内の専用ブロックでもよいし、電子装置10の処理ブロック内に組み込んでもよい。
イメージセンサ14は、製造過程において、イメージセンサ14の各ピクセルに関して、暗電流特性データ、感光不均一性特性データ、および/または口径食特性データを備えるピクセル特性データを生成することができる。ピクセル特性データは、ブロック16によって(例えば、イメージ補正計算ブロック16aを用いて)処理されることによって、(例えば、それぞれ、暗電流較正、感光不均一性較正、および/または口径食較正などの)ピクセル較正データを生成する。その後、これらのピクセル較正データは、不揮発性メモリ18に記憶される。
また、カメラモジュール12の(例えば、シリアル番号などの)識別情報、製造日時、および/または、イメージセンサ14の色補正マトリックスなどのセンサ固有のパラメータであるカメラモジュール特性は、電子装置10の製造過程において不揮発性メモリ18に記憶される。製造過程において、機械的シャッタ(図示せず)の遅延も不揮発性メモリ18に記録/記憶することができる。この遅延は、電子装置10でイメージを撮るときシャッタのタイミングを調整するのに使用することができる。ピクセル較正データ、カメラモジュール特性、および機械的シャッタの遅延の生成に関しては、上記でより詳細に説明している。
イメージセンサ14を使用して所望のビデオイメージ11からビデオ信号30を生成するとき、ブロック16(または、ブロック16a)が、予め定められた基準によって不揮発性メモリ18に記憶されたピクセル較正データから選択された較正データを使用してビデオ信号30をさらに処理することによって、ビデオ信号30を補正し補正済ビデオ信号34を生成する。オプションとして、補正済ビデオ信号34を装置メモリ20(または、外部記憶装置)に記憶するか、またはI/Oポート22を介して所望の送り先に転送することができる。
図2は、本発明の実施例による、電子装置10の較正およびイメージ撮影の手順を説明するフローチャートの一例を示す。この場合、カメラモジュール特性は、製造過程において不揮発性メモリ18に記憶される。
図2のフローチャートは、数ある可能なケースの中の1つを示すにすぎない。本発明の一実施例による1つの方法では、第1のステップ40で、図1に関して上記で説明したように、電子装置10の製造過程において(例えば、ピクセル較正データ、機械的シャッタの遅延、センサ固有パラメータなどの)カメラモジュール特性が提供される。本発明の実施例によれば、ピクセル較正データは、(例えば、異なる温度や作動条件に対する)暗電流較正、感光不均一性較正、(例えば異なる光学部品の位置や像距離に対する)口径食較正などを含む場合があるが、これらに限定されない。さらに、センサ固有のパラメータは、カメラモジュール識別情報、製造日時、イメージセンサの色補正マトリックス、イメージ鮮鋭化などを備える場合がある(が、これらに制限されない)。次のステップ42では、(例えば、試験などの製造過程において)提供されたカメラモジュール特性を不揮発性メモリ18に記憶する。
本発明の本実施例によれば、次のステップ44において、不揮発性メモリ18に記憶された機械的シャッタの遅延を使用して、イメージセンサ14によって所望のビデオイメージ11からビデオ信号30を生成することができる。次のステップ44において、ビデオ信号30が処理ブロック16において補正され、補正済ビデオ信号34を装置メモリ20(または、外部記憶装置)に提供したり、またはI/Oポート22を介して所望の送り先に転送したりする。最後のステップ48において、必要な場合、(例えばシリアル番号などの)カメラモジュール識別情報を使用しそれをトレースする(例えば、製造中に問題が起きた場合、問題のある装置を識別することができる)。
上記のように、本発明によって、方法と、これに対応する装置であって、本方法の各ステップを実行するための機能を提供する様々なモジュールで構成される装置と、の両方が提供される。これらのモジュールは、ハードウェアとして実現してもよいし、またはコンピュータプロセッサによって実行されるソフトウェアまたはファームウェアとして実現してもよい。特に、ファームウェアまたはソフトウェアの場合、本発明は、コンピュータプロセッサによって実行するためのコンピュータプログラムコード(すなわち、ソフトウェアまたはファームウェア)を具現するコンピュータで読み取り可能な記憶構造を含むコンピュータプログラムプロダクトとして提供することができる。
上記の構成は、本発明の原理の適用の例示にすぎないことを理解されたい。当業者であれば、本発明の範囲を逸脱することなく多様な変更および代替の構成を考案することができるであろう。したがって、添付の請求項は、これらの変更および構成を含むことを意図している。
本発明の実施例による、製造過程において電子装置のイメージセンサのピクセル較正データを記憶することによって、電子装置がイメージセンサを使用して撮ったイメージをさらに補正する電子装置のブロック図である。 本発明の実施例による、製造過程においてカメラモジュール特性を記憶する電子装置による較正およびイメージ撮影の手順を示すフローチャートである。

Claims (22)

  1. 電子装置(10)のカメラモジュール(12)のカメラモジュール特性を記憶する方法であって、
    製造過程において、
    a)前記カメラモジュール(12)のイメージセンサ(14)のピクセルに関するピクセル較正データ、
    b)センサ固有のパラメータ、および
    c)機械的シャッタの遅延のうちの少なくとも1つを備える前記カメラモジュール特性を提供すること(40)と、
    前記製造過程において、前記カメラモジュール(12)内に組み込まれた不揮発性メモリ(18)に前記カメラモジュール特性を記憶することによって、前記電子装置(10)が、前記カメラモジュール特性を使用して、イメージを撮り処理したりまたは前記カメラモジュールを識別したりすること(42)と、を備える方法。
  2. 前記ピクセル較正データは、暗電流較正、感光不均一性較正、および口径食較正の少なくとも1つを備え、
    前記ピクセル較正データを提供することは、
    前記カメラモジュール(12)の前記イメージセンサ(14)の前記ピクセルに関する暗電流特性、感光不均一性特性、および口径食特性のうちの少なくとも1つを備えるピクセル特性データを生成するステップと、
    前記ピクセル特性データを処理することによって、前記暗電流較正、前記感光不均一性較正、および前記口径食較正のうちの前記少なくとも1つをそれぞれ生成するステップと、を備える、請求項1に記載の方法。
  3. 前記電子装置(10)が、前記イメージを撮る間に、前記イメージセンサ(14)の各ピクセルに関して、他の暗電流特性、他の光電流特性、および他の口径食特性のうちの少なくとも1つを備える他のピクセル特性データを生成するステップと、
    前記電子装置(10)が、前記他のピクセル特性データを処理することによって、他のピクセル較正データを生成するステップと、
    前記他のピクセル較正データを前記不揮発性メモリ(18)に記憶することによって、前記電子装置(10)が前記他のピクセル較正データを使用して前記イメージセンサ(14)を使用して撮った他のイメージを補正するステップと、をさらに備える、請求項2に記載の方法。
  4. 予め選択された基準に従って、前記カメラモジュール(12)の異なる作動条件に関して前記暗電流電流特性データを提供する、請求項2に記載の方法。
  5. 前記異なる作動条件は、異なる温度または異なる露光時間である、請求項4に記載の方法。
  6. イメージからの異なる距離を使用したりまたは前記イメージセンサ(14)の前に配置された集束光学アセンブリを備える光部品の異なる位置を使用したりして、前記口径食特性データを提供する、請求項2に記載の方法。
  7. 前記製造過程において、前記不揮発性メモリ(18)に記憶される前記カメラモジュール特性は、
    a)カメラモジュール識別情報、
    b)製造日時、
    c)前記イメージセンサの色補正マトリックス、および
    d)イメージ鮮鋭化のうちの少なくとも1つをさらに備える、請求項1に記載の方法。
  8. 前記電子装置(10)が前記イメージを撮るとき、前記遅延を使用して前記シャッタのタイミングを調整する、請求項1に記載の方法。
  9. 前記イメージを撮る間に他の機械的シャッタの遅延を記録し、前記他の遅延を前記不揮発性メモリ(18)に記憶することによって、前記電子装置(10)が他のイメージを撮るとき、前記他の遅延を使用して前記シャッタのタイミングを調整するステップをさらに備える、請求項8に記載の方法。
  10. 前記イメージセンサ(14)および前記不揮発性メモリ(18)は、1つの集積回路(15)に統合されている、請求項1に記載の方法。
  11. 前記イメージセンサ(14)を使用して所望のビデオイメージからビデオ信号を生成するステップと、
    予め定められた基準によって前記不揮発性メモリ(18)に記憶された前記ピクセル較正データから選択された較正データを使用して前記ビデオ信号をさらに処理することによって、前記ビデオ信号(30)を補正し、補正済ビデオ信号(34)を生成するステップと、をさらに備える、請求項1に記載の方法。
  12. 前記補正済ビデオ信号を他のメモリ(20)に記憶するステップをさらに備える、請求項11に記載の方法。
  13. コンピュータプロセッサが実行するためのコンピュータプログラムコードを具現するコンピュータが読み取り可能な記憶構造を備えるコンピュータプログラムプロダクトであって、
    前記電子装置の任意のコンポーネントによって実行するよう示された請求項1の前記方法の前記ステップを実行するための指示を含むことを特徴とする、コンピュータプログラムプロダクト。
  14. イメージセンサ(14)を備えるカメラモジュール(12)と、
    製造過程において、
    a)前記カメラモジュール(12)のイメージセンサ(14)のピクセルに関するピクセル較正データ、
    b)センサ固有のパラメータ、および
    c)機械的シャッタの遅延のうちの少なくとも1つを備えるカメラモジュール特性を提供するための処理ブロック(16)と、
    前記製造過程において前記カメラモジュール特性を記憶するための不揮発性メモリ(18)であって、前記電子装置(10)が、前記カメラモジュール特性を使用することによって、イメージを撮り処理したりまたは前記カメラモジュールを識別したりする前記不揮発性メモリ(18)と、を備える電子装置(10)であって、
    前記不揮発性メモリ(18)は、前記カメラモジュール(12)内に組み込まれる、電子装置(10)。
  15. 前記カメラモジュールは、前記処理ブロック(16)を備える、請求項14に記載の電子装置。
  16. 前記ピクセル較正データは、暗電流較正、感光不均一性較正、および口径食較正の少なくとも1つを備え、
    前記ピクセル較正データを提供することは、
    前記イメージセンサ(14)を使用して、前記カメラモジュール(12)の前記イメージセンサ(14)の前記ピクセルに関する暗電流特性、感光不均一性特性、および口径食特性を備えるピクセル特性データを生成することと、
    前記処理ブロック(16)が、前記ピクセル特性データを処理することによって、前記暗電流較正、前記感光不均一性較正、および前記口径食較正のうちの前記少なくとも1つをそれぞれ生成することと、を備える、請求項14に記載の電子装置。
  17. 前記製造過程において、前記不揮発性メモリ(18)に記憶される前記カメラモジュール特性は、
    a)カメラモジュール識別情報、
    b)製造日時、
    c)前記イメージセンサの色補正マトリックス、および
    d)イメージ鮮鋭化のうちの少なくとも1つをさらに備える、請求項14に記載の電子装置。
  18. 前記電子装置(10)が前記イメージを撮るとき、前記遅延を使用して前記シャッタのタイミングを調整する、請求項14に記載の電子装置。
  19. 前記イメージセンサ(14)および前記不揮発性メモリ(18)は、1つの集積回路(15)に統合されている、請求項14に記載の電子装置。
  20. 前記イメージセンサ(14)を使用して所望のビデオイメージからビデオ信号を生成し、
    前記処理ブロック(16)が、予め定められた基準によって前記不揮発性メモリ(18)に記憶された前記ピクセル較正データから選択された較正データを使用して前記ビデオ信号をさらに処理することによって、前記ビデオ信号(30)を補正し、補正済ビデオ信号(34)を生成する、請求項14に記載の電子装置。
  21. 前記電子装置(10)は、無線通信装置、ポータブル電子装置、カメラ、またはカメラ付移動電話である、請求項14に記載の電子装置。
  22. イメージセンサ(14)と、
    前記製造過程においてカメラモジュール特性を記憶するための不揮発性メモリであって、前記カメラモジュール特性を使用することによって、前記イメージセンサ(14)を使用してイメージを撮り処理する前記不揮発性メモリ(18)と、を備え、
    前記カメラモジュール特性は、前記イメージセンサ(14)のピクセルに関する暗電流較正、感光不均一性較正、および口径食較正を少なくとも備えるピクセル較正データを備える、集積回路(15)。
JP2008532886A 2005-09-28 2005-09-28 製造過程におけるカメラ特性の内部記憶装置 Pending JP2009510868A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2005/002875 WO2007036756A1 (en) 2005-09-28 2005-09-28 Internal storage of camera characteristics during production

Publications (1)

Publication Number Publication Date
JP2009510868A true JP2009510868A (ja) 2009-03-12

Family

ID=37899403

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008532886A Pending JP2009510868A (ja) 2005-09-28 2005-09-28 製造過程におけるカメラ特性の内部記憶装置

Country Status (4)

Country Link
US (1) US20090213250A1 (ja)
EP (1) EP1938581A4 (ja)
JP (1) JP2009510868A (ja)
WO (1) WO2007036756A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007039021A1 (de) 2007-08-17 2009-02-26 Vistec Semiconductor Systems Gmbh Verfahren zum reproduzierbaren Bestimmen von Objekteigenschaften
US8149279B2 (en) 2008-08-18 2012-04-03 Apple Inc. Apparatus and method for compensating for variations in digital cameras
WO2010101945A2 (en) * 2009-03-02 2010-09-10 Flextronics Ap, Llc Calibration techniques for camera modules
JP2010251817A (ja) * 2009-04-10 2010-11-04 Sony Corp 撮影装置および方法、並びにプログラム
US8736722B2 (en) * 2010-07-15 2014-05-27 Apple Inc. Enhanced image capture sharpening
EP2636216A4 (en) * 2010-11-01 2014-05-07 Nokia Corp SETTING DIGITAL IMAGE QUALITY
US20140362286A1 (en) * 2011-12-12 2014-12-11 Opticon, Inc. Miniature imaging and decoding module
KR101864829B1 (ko) * 2012-05-30 2018-07-04 삼성전자주식회사 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 기록매체
GB201315669D0 (en) * 2013-09-03 2013-10-16 St Microelectronics Res & Dev An optical module and method
LU92406B1 (en) * 2014-03-19 2015-09-21 Iee Sarl Camera head with integrated calibration tables
US11626057B1 (en) * 2022-04-01 2023-04-11 Meta Platforms Technologies, Llc Real-time color conversion in display panels under thermal shifts

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252464A (ja) * 1997-11-05 1999-09-17 St Microelectronics Inc Cmosイメージャ用ピクセル補正システム及び方法
JP2001174690A (ja) * 1999-12-17 2001-06-29 Canon Inc 自動焦点調節装置、自動露出装置、自動調光装置、光学装置及びカメラ
JP2001257939A (ja) * 2000-03-09 2001-09-21 Sony Corp 固体撮像装置及びその欠陥画素記録方法
JP2003302681A (ja) * 2002-04-10 2003-10-24 Olympus Optical Co Ltd カメラ
JP2004023791A (ja) * 2002-06-20 2004-01-22 Hewlett-Packard Development Co Lp デジタルカメラにおける色不均一性補正のための方法および装置
US20040032627A1 (en) * 2002-08-19 2004-02-19 Tsai Richard H. CMOS imager having on-chip ROM
JP2005033691A (ja) * 2003-07-11 2005-02-03 Sanyo Electric Co Ltd カメラモジュールの調整方法
JP2007057796A (ja) * 2005-08-24 2007-03-08 Pentax Corp レンズユニット

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5047861A (en) * 1990-07-31 1991-09-10 Eastman Kodak Company Method and apparatus for pixel non-uniformity correction
US5389984A (en) * 1992-12-01 1995-02-14 Lovenheim; John E. System for recording identical electronic and photographic images
AU1689897A (en) * 1995-12-29 1997-07-28 Intel Corporation Cmos imaging device with integrated flash memory image correction circuitry
US6396539B1 (en) * 1998-02-27 2002-05-28 Intel Corporation CMOS imaging device with integrated defective pixel correction circuitry
KR100464955B1 (ko) * 1998-06-29 2005-04-06 매그나칩 반도체 유한회사 메모리소자와 함께 집적화된 씨모스 이미지센서
US6760068B2 (en) * 1998-12-31 2004-07-06 Sandisk Corporation Correction of corrupted elements in sensors using analog/multi-level non-volatile memory
US6819358B1 (en) * 1999-04-26 2004-11-16 Microsoft Corporation Error calibration for digital image sensors and apparatus using the same
EP1143521A1 (en) * 2000-04-05 2001-10-10 Omnivision Technologies Inc. CMOS image sensor having non-volatile memory
JP2004328117A (ja) * 2003-04-22 2004-11-18 Fuji Photo Film Co Ltd ディジタルカメラおよび撮像制御方法
US20040218087A1 (en) * 2003-04-29 2004-11-04 Thomas Jazbutis Shutter delay calibration method and apparatus
JP2005130045A (ja) * 2003-10-21 2005-05-19 Konica Minolta Photo Imaging Inc 撮像装置及びこれに用いる撮像素子
EP1530363B1 (en) * 2003-11-04 2010-08-11 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensors

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252464A (ja) * 1997-11-05 1999-09-17 St Microelectronics Inc Cmosイメージャ用ピクセル補正システム及び方法
JP2001174690A (ja) * 1999-12-17 2001-06-29 Canon Inc 自動焦点調節装置、自動露出装置、自動調光装置、光学装置及びカメラ
JP2001257939A (ja) * 2000-03-09 2001-09-21 Sony Corp 固体撮像装置及びその欠陥画素記録方法
JP2003302681A (ja) * 2002-04-10 2003-10-24 Olympus Optical Co Ltd カメラ
JP2004023791A (ja) * 2002-06-20 2004-01-22 Hewlett-Packard Development Co Lp デジタルカメラにおける色不均一性補正のための方法および装置
US20040032627A1 (en) * 2002-08-19 2004-02-19 Tsai Richard H. CMOS imager having on-chip ROM
JP2005033691A (ja) * 2003-07-11 2005-02-03 Sanyo Electric Co Ltd カメラモジュールの調整方法
JP2007057796A (ja) * 2005-08-24 2007-03-08 Pentax Corp レンズユニット

Also Published As

Publication number Publication date
EP1938581A1 (en) 2008-07-02
US20090213250A1 (en) 2009-08-27
EP1938581A4 (en) 2011-10-19
WO2007036756A1 (en) 2007-04-05

Similar Documents

Publication Publication Date Title
JP2009510868A (ja) 製造過程におけるカメラ特性の内部記憶装置
JP4314827B2 (ja) 撮像装置
CN102870404B (zh) 摄像设备及其暗电流校正方法
US20070076101A1 (en) Self-calibrating and/or self-testing camera module
JP2007053634A (ja) 撮像装置、欠陥画素補正装置および方法
TW201316763A (zh) 影像擷取裝置及控制影像擷取裝置的方法
US8711254B2 (en) Image processing apparatus and method having defective pixel detection and correction ability
CN109997352B (zh) 摄像装置、相机以及摄像方法
JP2009164690A (ja) 画像処理装置、補正情報生成方法、および撮像装置
US8620102B2 (en) Methods, apparatuses and systems for piecewise generation of pixel correction values for image processing
JPWO2014103169A1 (ja) 撮像装置及びその駆動方法
KR100819811B1 (ko) 촬상 장치 및 촬상 방법
CN101273621A (zh) 生产期间的照相机特性的内部存储
JP2006166194A (ja) 画素欠陥検出回路及び画素欠陥検出方法
US8488020B2 (en) Imaging device, method for controlling the imaging device, and recording medium recording the method
JP2009027289A (ja) ディジタル・カメラおよびその動作制御方法
JP2008288723A (ja) 撮像装置、撮像方法、プログラムおよび集積回路
CN114697574A (zh) 异常像素检测系统和方法
US20080239113A1 (en) Camera Sensor Defect Correction And Noise Reduction
JP4054780B2 (ja) 撮像装置
JP5720213B2 (ja) 撮像装置
JP6701025B2 (ja) データ処理装置、データ処理方法、プログラム
JP5404217B2 (ja) 撮像装置及びその制御方法
JP6704611B2 (ja) 撮影装置及び撮影方法
JP2007129328A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100928

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110510