JP2004297687A - Structure of image data, digital camera, and image data creation program - Google Patents

Structure of image data, digital camera, and image data creation program Download PDF

Info

Publication number
JP2004297687A
JP2004297687A JP2003090380A JP2003090380A JP2004297687A JP 2004297687 A JP2004297687 A JP 2004297687A JP 2003090380 A JP2003090380 A JP 2003090380A JP 2003090380 A JP2003090380 A JP 2003090380A JP 2004297687 A JP2004297687 A JP 2004297687A
Authority
JP
Japan
Prior art keywords
image
digital
digital image
defective pixel
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003090380A
Other languages
Japanese (ja)
Inventor
Taisuke Okawa
泰輔 大川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2003090380A priority Critical patent/JP2004297687A/en
Publication of JP2004297687A publication Critical patent/JP2004297687A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide structure of image data wherein a failure pixel can be corrected and portability is superior, a digital camera, and picture data creation program. <P>SOLUTION: In the digital camera, an object's optical image wherein imaging is performed by an optical system is subjected to photoelectric conversion with an image sensor, and a digital image showing the object is formed based on electric signals output from the image sensor. In the structure of image data recorded with the digital camera, a digital image data zone 43 which recorded a digital picture and a failure pixel data zone 42 which recorded failure pixel data showing failure pixel of the digital image are contained in one file. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は画像データの構造、ディジタルカメラ、及び画像データ作成プログラムに関する。
【0002】
【従来の技術】
光学系により結像される被写体の光学像をイメージセンサにより光電変換し、イメージセンサから出力される電気信号に基づいて被写体を表すディジタル画像を作成するディジタルカメラが知られている。イメージセンサは100万個や200万個などの多くの受光セルで構成されるため、製造時の歩留まりなどの問題からいくつかの正常に作動しない受光セル(欠陥セル)があってもそのまま用いられることが多い。こうしたイメージセンサを用いると、欠陥セルが正常な電気信号を出力しないため、作成したディジタル画像において欠陥セルに対応する画素が本来とは異なる輝度を表す不良画素となる。
【0003】
図4は、不良画素が存在するディジタル画像を示す模式図である。欠陥セルの受光量と欠陥セルが出力する電気信号とは相関しないため、例えば本来は明るいであろうはずの画素30が図示するように暗い画素として表れ、このためディジタル画像の画質が低下することになる。
こうした不良画素によって低下するディジタル画像の画質を補正するため、欠陥セルを特定する情報をディジタル画像と共に出力するディジタルカメラが知られている(例えば特許文献1参照。)。特許文献1の電子スチルカメラ(ディジタルカメラ)は、工場出荷時にCCDイメージセンサ(イメージセンサ)毎の欠陥画素アドレス(欠陥セルのアドレス)等を当該ディジタルカメラに固有の個別情報として設定し、再生側では出力されたディジタル画像を個別情報に基づいて補正を行って高画質の画像を得ている。再生側への出力においては、特許文献1のディジタルカメラはリムーバブルメモリの不良画素データ領域に個別情報を記録し、複数のディジタル画像データ領域にそれぞれディジタル画像を記録することで個別情報をディジタル画像と共に出力している。
【0004】
【特許文献1】
特開平6−86206号公報
【0005】
【発明が解決しようとする課題】
リムーバブルメモリは撮影したディジタル画像を一時的に記憶するために用いられるものであり、一般にリムーバブルメモリに記憶されたディジタル画像はパーソナルコンピュータで読み込まれてハードディスクに保存されることが多い。特許文献1のディジタルカメラでは、ディジタル画像をハードディスクに保存する場合、再生時に補正を行う必要があるためディジタル画像と併せて個別情報も保存しておく必要がある。この場合、特許文献1のディジタルカメラによると、個別情報とディジタル画像とを別々に保存しなければならないため可搬性が悪いという問題がある。具体的には例えば個別情報とディジタル画像とをハードディスクに保存するとき、ユーザは個別情報をハードディスクにコピーする操作とディジタル画像をハードディスクにコピーする操作とを行わなければならず、複数の操作を行わなければならないため可搬性が悪い。この結果、例えば一方をコピーし忘れるなどの誤りにより、後で再生あるいは補正が行えなくなることも起こり得る。
【0006】
また、従来のディジタルカメラによると、出荷後に新たに生じるようになった不良画素については個別情報に基づいて補正することはできないという問題がある。例えばレンズや受光セルにゴミが付着すると、ゴミの影が映り込む受光セルに対応する画素は不良画素になる。ゴミが付着するのは工場出荷の前であるとは限らず、むしろ出荷後に付着する可能性の方が高いといえる。しかしながら、従来のディジタルカメラでは欠陥セルによって生じる不良画素を補正することのみを目的としているため、個別情報は工場出荷時にROMに記憶され、出荷後に付着したゴミによる不良画素の情報を個別情報に反映することはできない。このためリムーバブルメモリに記録される個別情報を用いても出荷後に新たに生じるようになった不良画素を補正することはできない。
【0007】
本発明は、かかる問題に鑑みて創作されたものであって、不良画素を補正可能で可搬性に優れた画像データの構造、ディジタルカメラ、及び画像データ作成プログラムを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像データの構造は、光学系により結像される被写体の光学像をイメージセンサにより光電変換し、前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成するディジタルカメラで記録される画像データの構造であって、ディジタル画像を記録したディジタル画像データ領域と、ディジタル画像の不良画素を表す不良画素データを記録した不良画素データ領域と、を1ファイルに含むことを特徴とする。この画像データの構造によると、ディジタル画像と不良画素データとが1ファイルに記録されるため、画像データに記録されているディジタル画像の不良画素を当該画像データに記録されている不良画素データに基づいて補正することが可能である。また、画像データはディジタル画像と不良画素データとを1ファイルに含むため可搬性に優れている。
【0009】
また、上記目的を達成するため、本発明に係るディジタルカメラは、被写体の光学像を結像させる光学系と、前記光学系により結像される光学象を光電変換して電気信号を出力するイメージセンサと、前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成する処理部と、ディジタル画像を記録するディジタル画像データ領域と、ディジタル画像の不良画素を表す不良画素データを記録する不良画素データ領域とを1ファイルに含む画像データを記録する画像データ記録手段と、を備えることを特徴とする。このディジタルカメラによると、不良画素を補正可能な画像データを記録できる。また、記録した画像データはディジタル画像と不良画素データとを1ファイルに含むため可搬性に優れている。
【0010】
さらに本発明に係るディジタルカメラは、不良画素データを入力する入力手段を更に備えることを特徴とする。このディジタルカメラによると、出荷後に新たな不良画素が生じるようになった場合であっても、不良画素データを作成し直して入力することで、新たに生じるようになった不良画素を含めて補正することのできる不良画素データを不良画素データ領域に記録することができる。この結果、出荷後に新たに生じるようになった不良画素を含めて不良画素の補正が可能になる。
【0011】
尚、本発明に備わる複数の手段の各機能は、構成自体で機能が特定されるハードウェア資源、プログラムにより機能が特定されるハードウェア資源、又はそれらの組み合わせにより実現される。また、これら複数の手段の各機能は、各々が物理的に互いに独立したハードウェア資源で実現されるものに限定されない。
また、本発明は装置の発明として特定できるだけでなく、プログラムの発明としても、そのプログラムを記録した記録媒体の発明としても、方法の発明としても特定することができる。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態を複数の図面に基づいて説明する。
図2は、本発明の一実施例に係るディジタルカメラとしてのディジタルスチルカメラ1のハードウェア構成を示すブロック図である。
制御部19は、CPU19a、フラッシュメモリ19b、ワークメモリ19cを備える。CPU19aはフラッシュメモリ19bに記憶されているコンピュータプログラムを実行することにより、ディジタルスチルカメラ1の全体を制御する。また、CPU19aはフラッシュメモリ19bに記憶されている画像データ作成プログラムを実行することで画像データ記録手段としても機能する。フラッシュメモリ19bは、画像データ作成プログラム、不良画素データ、その他各種のプログラムやデータなどを記憶するメモリである。フラッシュメモリ19bに記憶する各種のプログラムやデータは所定のサーバからネットワークを介してダウンロードして記憶してもよいし、リムーバブルメモリ18等のコンピュータ読み取り可能な記憶媒体から読み出して記憶してもよい。ワークメモリ19cは、プログラムやデータを一時的に記憶するためのメモリである。
【0013】
光学系11は、レンズ、絞り等で構成されている。光学系11はイメージセンサ12の受光面に被写体の光学像を結像させる。
イメージセンサ12は、2次元空間に離散的に配置された受光セルとCCD(Charge Coupled Device)等の電荷転送素子とを備えたエリアイメージセンサである。イメージセンサ12は、センサコントローラ13によって駆動される。イメージセンサ12は、光学系11により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し、受光セル毎の受光量に応じた電気信号を出力する。受光面にC(Cyan)、M(Magenta)、Y(Yellow)及びG(Green)の4色の補色フィルタ、又はR(Red)、G(Green)及びB(Blue)の原色フィルタを設けることによりカラー画像を形成することが可能になる。
【0014】
処理部20は、A/D変換部(ADC)14、ディジタル画像処理部15、及び圧縮・伸張部16を備える。
ADC14は、イメージセンサ12から出力される電気信号を量子化してディジタル信号に変換する。具体的には例えば、ADC14は、電気信号に含まれる雑音の低減処理、ゲインの調整による電気信号のレベル調整処理、量子化処理等を行う。
【0015】
ディジタル画像処理部15は、ADC14から出力されたディジタル信号に対し、画像形成処理、ホワイトバランス補正、γ補正、色空間変換等を施し、各画素についてR、G、Bの階調値や、Y、Cb、Crの階調値などを表すディジタル画像を出力する。尚、ここでいう画像形成処理とは、受光セルから出力された一色分の輝度情報を近傍の受光セルの異なる色の輝度情報で補間することにより画素毎にRGB又はYCbCrの3つの階調値を持つディジタル画像を出力する処理である。
【0016】
圧縮・伸張部16は、ディジタル画像を圧縮又は伸張する。具体的には、ディジタル画像の系列変換及びエントロピー符号化を行うことによりディジタル画像を圧縮し、それらの逆変換を施すことによりディジタル画像を伸張する。具体的には例えば離散コサイン変換、ウェーブレット変換、ランレングス符号化、ハフマン符号化等を用いてディジタル画像を圧縮する。圧縮後のディジタル画像はワークメモリ19cに一時的に記憶される。
【0017】
入力手段としての入力部17は、リムーバブルメモリ18を接続するためのカードスロット、メモリコントローラなどを備える。入力部17は制御部19によって制御され、リムーバブルメモリ18に記憶されている不良画素データを読み込むことで不良画素データをディジタルスチルカメラ1に入力する。尚、本実施例の入力部はリムーバブルメモリから不良画素データを読み込むことで入力するが、入力部をネットワークインタフェースとして構成し、ネットワーク経由でダウンロードすることで入力するようにしてもよいし、USBインタフェースとして構成し、USBケーブルを介して他のUSBデバイスからデータを読み込むことで入力するようにしてもよい。
【0018】
操作部22は、回転角度に応じて撮影モード、画像表示モード等のモードを設定するためのダイヤルスイッチ、LCD(Liquid Crystal Display)24にメニューを呼び出すためのスイッチ、メニューを操作するためのスイッチ、撮影を指示するための撮像スイッチなどを備える。
LCD24は、撮影モードで電子ビューファインダとして機能する。ディスプレイコントローラ23は、LCD24の一画面分のディジタル画像を格納するためのフレームバッファと、フレームバッファに格納されたディジタル画像に基づいてLCD24を駆動するための表示回路とを備える。
【0019】
以上、ディジタルスチルカメラ1のハードウェア構成について説明した。次に、不良画素データについて説明する。
不良画素データは、ディジタル画像を構成する画素のうちどの画素が不良画素であるかを表すデータである。不良画素データは不良画素であるか否かを画素毎に2値で表すデータであってもよいし、不良画素の座標のみを表すデータであってもよい。不良画素の座標のみを表すと、画素毎に2値で表す場合に比べて不良画素データのデータ量を低減できる。また、ゴミが原因で不良画素が生じる場合はディジタル画像の特定の領域に不良画素が集中するため、不良画素データはディジタル画像において当該領域の中心にある不良画素の座標とその座標を中心に前述した領域が含まれる半径もしくは矩形領域とを表すデータであってもよい。中心にある不良画素の座標と半径とで不良画素を表すと、もしくは不良画素座標を含む矩形領域座標で不良画素を表すと、不良画素データのデータ量を更に低減できる。以下、不良画素の座標のみを表す場合を例に不良画素データについてより詳細に説明する。
【0020】
図3(A)はディジタル画像を構成する複数の画素を示す模式図であり、図3(B)は不良画素データを示す模式図である。ここで図3(A)に示す画素は白い平板状の被写体を表すディジタル画像を構成する画素であり、白い枠で表される画素は正常画素、黒い画素30は不良画素であることを意味している。ディジタル画像の一つの画素は基本的には一つの受光セルに対応している。しかしながら、一つの受光セルはRGB又はYCbCrのうちのいずれか1色の輝度情報しか出力できないため、画素の輝度情報はいずれか1色については対応する受光セルの輝度情報が用いられ、他の2色については近傍の受光セルの異なる色の輝度情報で補間される。これにより前述したように1画素はRGB又はYCbCrの3つの階調値を持つことが可能になる。すなわち、一つの受光セルは複数の画素に対応することになり、一つの欠陥セルによって、あるいは一つの受光セルにゴミが写り込むことによって複数の不良画素が生じることになる。図3(B)に示す不良画素データは図3(A)に示す不良画素のX座標とY座標とを格納しており、これによりディジタル画像においてどの画素が不良画素であるかを一意に特定することができる。不良画素データは、ディジタルスチルカメラ1で作成したディジタル画像をパーソナルコンピュータで画像処理することで作成される。作成された不良画素データはリムーバブルメモリ18に記憶され、入力部17で読み込まれてディジタルスチルカメラ1に入力される。具体的には例えばディジタルスチルカメラ1で図3(A)に示すような白い平板状の被写体を表すディジタル画像を作成し、パーソナルコンピュータに出力する。ここで白い平板状の被写体を表すディジタル画像を作成するのは、正常な画素と不良画素とを判別し易くするためである。パーソナルコンピュータは当該ディジタル画像の各画素について輝度が所定の閾値以上であれば正常画素、閾値未満であれば不良画素と判定し、不良画素についてはその座標を図3(B)に示すように不良画素データに追加する。画素の輝度は一般に256階調で表され、白い画素ほどR、G、Bの輝度が全て255に近くなり、暗い画素ほど全て0に近くなる。白い平板状の被写体を撮影した場合、本来は全ての画素の輝度が255に近いはずであるが、不良画素については輝度が低くなるため0に近くなる。これにより不良画素であるか否かを判別することができる。尚、不良画素データは画像処理以外の方法で作成してもよい。例えば任意の被写体を表すディジタル画像をパーソナルコンピュータが備える表示装置に拡大して表示し、ユーザが目視で不良画素を確認し、ユーザによりマウスでクリックされた画素、あるいはマウスで範囲指定された領域に含まれる画素を不良画素とするようにしてもよい。不良画素データは任意の時点で入力することができ、例えば出荷後にゴミが付着した場合は、パーソナルコンピュータで不良画素データを作成し直してディジタルスチルカメラ1に入力し直すことができる。従ってディジタルスチルカメラ1は、出荷後に付着したゴミによる不良画素を補正することのできる不良画素データを不良画素データ領域に記録することができる。この結果、出荷後に新たな不良画素が生じるようになったとしても不良画素を補正して高画質な画像を再生することが可能になる。
【0021】
次に、画像データとしてのディジタル画像ファイルの構造について説明する。
図1は、ディジタル画像ファイルの構造を示す模式図である。図示するようにディジタル画像ファイルは、ヘッダ領域41、不良画素データ領域42、ディジタル画像データ領域43などを含んでいる。不良画素データ領域42は不良画素データが記録される領域であり、ディジタル画像データ領域43はディジタル画像が記録される領域である。ヘッダ領域41は不良画素データ領域42の先頭アドレスを示すポインタ、ディジタル画像データ領域43の先頭アドレスを示すポインタ、その他、作成日付、画像サイズなどのヘッダ情報が記録される領域である。再生の際にはヘッダ領域41からポインタを読み込むことで不良画素データ領域42、あるいはディジタル画像データ領域43の先頭アドレスを特定でき、それにより不良画素データ、及びディジタル画像を読み込むことができる。
【0022】
次に、ディジタルスチルカメラ1の作動を説明する。尚、ここでは不良画素データは既にディジタルスチルカメラ1に入力されてフラッシュメモリ19bに記憶されているものとして説明する。
ダイヤルスイッチが撮影モードに設定されている状態で撮像スイッチがオンされると、光学系11により被写体の光学像がイメージセンサ12に結像され、光学像の濃淡に相関する電気信号が処理部20に出力される。
【0023】
出力された電気信号は処理部20のADC14及びディジタル画像処理部15で所定の処理が施され、被写体を表すディジタル画像が作成される。
作成されたディジタル画像は圧縮・伸張部16に出力され、圧縮・伸張部16は出力されたディジタル画像を圧縮してワークメモリ19cに記憶させる。
CPU19aは、フラッシュメモリ19bに記憶された画像データ作成プログラムを実行し、ワークメモリ19cに記憶されているディジタル画像とフラッシュメモリ19bに記憶されている不良画素データとを読み込んで、ディジタル画像と不良画素データとが格納されたディジタル画像ファイルを作成する。作成後、ディジタル画像ファイルを入力部17に出力する。
【0024】
入力部17は、ディジタル画像ファイルをリムーバブルメモリ18に記憶させる。例えばディジタル画像ファイルをハードディスクに保存する際には、リムーバブルメモリ18はユーザによって取り外されてパーソナルコンピュータに接続される。接続後、ユーザはパーソナルコンピュータでディジタル画像ファイルをハードディスクに保存する。再生時にはディジタル画像の不良画素が、当該ディジタル画像が記録されているディジタル画像ファイルに記録されている不良画素データに基づいて補正され、パーソナルコンピュータが備える表示装置に表示される。
【0025】
以上説明したディジタル画像ファイルによると、ディジタル画像と不良画素データとが1つのディジタル画像ファイルに記録されるため、ディジタル画像ファイルに記録されているディジタル画像の不良画素を当該ディジタル画像ファイルに記録されている不良画素データに基づいて補正することが可能になる。また、ディジタル画像と不良画素データとをハードディスクに保存する場合、ディジタル画像ファイルを保存することでディジタル画像と不良画素データとを保存できるため、ディジタル画像と不良画素データとをそれぞれ別々に保存する必要がなく、保存のための操作が少なくて済む。また、保存した後に別のディレクトリに移動したりする際の操作も同様に少なくて済む。この他、一方をコピーし忘れたために後で再生あるいは補正が行えなくなるようなこともなくなる。従って、本実施例のディジタル画像ファイルは可搬性に優れている。また、本実施例のディジタル画像ファイルによると、管理の手間が低減するという効果もある。不良画素データはディジタルカメラに固有の情報であるため、あるディジタルカメラで作成したディジタル画像を別のディジタルカメラの不良画素データで補正しても適切な補正は行えない。従って、ディジタルカメラが複数あり、それらで作成したディジタル画像を同じハードディスクに保存する場合には、ディジタル画像と当該ディジタル画像の不良画素の補正に用いる不良画素データとを関連付けて管理しておかなければならない。ディジタル画像と不良画素データとを1つのディジタル画像ファイルに記録すると、そうした管理の手間を低減できる。
【0026】
尚、本実施例では不良画素データをパーソナルコンピュータで作成する場合を例に説明したが、ディジタルスチルカメラ1が不良画素データを作成するようにしてもよい。
また、本実施例ではディジタルスチルカメラを例に説明したが、ディジタルビデオカメラに本発明を適用してもよい。
【図面の簡単な説明】
【図1】画像データの構造を示す模式図である。
【図2】ディジタルカメラのハードウェア構成を示すブロック図である。
【図3】(A)はディジタル画像を構成する画素を示す模式図であり、(B)は不良画素データを示す模式図である。
【図4】不良画素が存在するディジタル画像を示す模式図である。
【符号の説明】
1 ディジタルスチルカメラ(ディジタルカメラ)、11 光学系、12 イメージセンサ、17 入力部(入力手段)、19 制御部、20 処理部、42 不良画素データ領域、43 ディジタル画像データ領域
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a structure of image data, a digital camera, and an image data creation program.
[0002]
[Prior art]
2. Description of the Related Art There is known a digital camera that photoelectrically converts an optical image of a subject formed by an optical system with an image sensor and creates a digital image representing the subject based on an electric signal output from the image sensor. Since the image sensor is composed of many light receiving cells such as one million or two million, even if there are some malfunctioning light receiving cells (defective cells) due to a problem such as a yield in manufacturing, the image sensor is used as it is. Often. When such an image sensor is used, the defective cell does not output a normal electric signal, so that a pixel corresponding to the defective cell in the created digital image becomes a defective pixel having a luminance different from the original.
[0003]
FIG. 4 is a schematic diagram showing a digital image in which a defective pixel exists. Since there is no correlation between the amount of light received by the defective cell and the electric signal output from the defective cell, for example, the pixel 30, which should have been bright, appears as a dark pixel as shown in the figure, thereby deteriorating the image quality of the digital image. become.
There is known a digital camera that outputs information specifying a defective cell together with the digital image in order to correct the image quality of the digital image that is degraded by such defective pixels (for example, see Patent Document 1). The electronic still camera (digital camera) disclosed in Patent Document 1 sets a defective pixel address (address of a defective cell) and the like of each CCD image sensor (image sensor) as individual information unique to the digital camera at the time of shipment from a factory, and sets a playback side. In, an output digital image is corrected based on individual information to obtain a high-quality image. For output to the reproduction side, the digital camera disclosed in Patent Document 1 records individual information in a defective pixel data area of a removable memory, and records digital information in a plurality of digital image data areas, so that the individual information is stored together with the digital image. Output.
[0004]
[Patent Document 1]
JP-A-6-86206 [0005]
[Problems to be solved by the invention]
The removable memory is used for temporarily storing a photographed digital image. In general, the digital image stored in the removable memory is often read by a personal computer and stored on a hard disk. In the digital camera of Patent Document 1, when a digital image is stored on a hard disk, it is necessary to perform correction at the time of reproduction, so that it is necessary to store individual information together with the digital image. In this case, according to the digital camera of Patent Document 1, there is a problem that portability is poor because individual information and a digital image must be separately stored. Specifically, for example, when saving the individual information and the digital image to the hard disk, the user must perform an operation of copying the individual information to the hard disk and an operation of copying the digital image to the hard disk. Poor portability because it must be. As a result, it is possible that reproduction or correction cannot be performed later due to an error such as forgetting to copy one.
[0006]
Further, according to the conventional digital camera, there is a problem that a defective pixel newly generated after shipment cannot be corrected based on the individual information. For example, if dust adheres to the lens or the light receiving cell, the pixel corresponding to the light receiving cell in which the shadow of the dust is reflected becomes a defective pixel. It can be said that the dust does not always adhere before the factory shipment, but rather is more likely to adhere after the shipment. However, since the conventional digital camera only aims to correct defective pixels caused by defective cells, the individual information is stored in the ROM at the time of shipment from the factory, and the information of the defective pixel due to dust attached after shipment is reflected in the individual information. I can't. For this reason, even if the individual information recorded in the removable memory is used, it is not possible to correct a defective pixel newly generated after shipment.
[0007]
The present invention has been made in view of such a problem, and has as its object to provide an image data structure, a digital camera, and an image data creation program that can correct defective pixels and have excellent portability.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the structure of image data according to the present invention is such that an optical image of a subject formed by an optical system is photoelectrically converted by an image sensor, and the subject is converted based on an electric signal output from the image sensor. A digital image data area recorded with a digital camera that creates a digital image representing a digital image, and a defective pixel data area recorded with defective pixel data representing defective pixels of the digital image. , Are included in one file. According to the structure of the image data, since the digital image and the defective pixel data are recorded in one file, the defective pixels of the digital image recorded in the image data are determined based on the defective pixel data recorded in the image data. Can be corrected. Further, the image data is excellent in portability because the digital image and the defective pixel data are included in one file.
[0009]
In order to achieve the above object, a digital camera according to the present invention includes an optical system that forms an optical image of a subject and an image that photoelectrically converts an optical image formed by the optical system and outputs an electric signal. A sensor, a processing unit for creating a digital image representing the subject based on the electric signal output from the image sensor, a digital image data area for recording the digital image, and defective pixel data representing defective pixels of the digital image. Image data recording means for recording image data including a defective pixel data area to be recorded in one file. According to this digital camera, image data capable of correcting defective pixels can be recorded. Also, the recorded image data is excellent in portability since it includes a digital image and defective pixel data in one file.
[0010]
Further, the digital camera according to the present invention is further characterized by further comprising input means for inputting defective pixel data. According to this digital camera, even if a new defective pixel is generated after shipment, correction is performed including the newly generated defective pixel by re-creating and inputting the defective pixel data. The defective pixel data that can be recorded can be recorded in the defective pixel data area. As a result, it is possible to correct a defective pixel including a defective pixel newly generated after shipment.
[0011]
Each function of the plurality of means provided in the present invention is realized by a hardware resource whose function is specified by the configuration itself, a hardware resource whose function is specified by a program, or a combination thereof. The functions of the plurality of means are not limited to those realized by hardware resources which are physically independent of each other.
Further, the present invention can be specified not only as an invention of an apparatus, but also as an invention of a program, an invention of a recording medium on which the program is recorded, and an invention of a method.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described based on a plurality of drawings.
FIG. 2 is a block diagram showing a hardware configuration of the digital still camera 1 as a digital camera according to one embodiment of the present invention.
The control unit 19 includes a CPU 19a, a flash memory 19b, and a work memory 19c. The CPU 19a controls the entire digital still camera 1 by executing a computer program stored in the flash memory 19b. The CPU 19a also functions as an image data recording unit by executing an image data creation program stored in the flash memory 19b. The flash memory 19b is a memory that stores an image data creation program, defective pixel data, various other programs and data, and the like. Various programs and data stored in the flash memory 19b may be downloaded from a predetermined server via a network and stored, or may be read from a computer-readable storage medium such as the removable memory 18 and stored. The work memory 19c is a memory for temporarily storing programs and data.
[0013]
The optical system 11 includes a lens, a diaphragm, and the like. The optical system 11 forms an optical image of a subject on a light receiving surface of the image sensor 12.
The image sensor 12 is an area image sensor including light receiving cells discretely arranged in a two-dimensional space and a charge transfer device such as a CCD (Charge Coupled Device). The image sensor 12 is driven by a sensor controller 13. The image sensor 12 accumulates a charge obtained by photoelectrically converting the optical image formed by the optical system 11 for each light receiving cell for a certain period of time, and outputs an electric signal corresponding to the amount of light received for each light receiving cell. Four complementary color filters of C (Cyan), M (Magenta), Y (Yellow) and G (Green) or primary color filters of R (Red), G (Green) and B (Blue) are provided on the light receiving surface. Thus, a color image can be formed.
[0014]
The processing unit 20 includes an A / D conversion unit (ADC) 14, a digital image processing unit 15, and a compression / decompression unit 16.
The ADC 14 quantizes the electric signal output from the image sensor 12 and converts it into a digital signal. Specifically, for example, the ADC 14 performs a process of reducing noise included in the electric signal, a process of adjusting a level of the electric signal by adjusting a gain, a quantization process, and the like.
[0015]
The digital image processing unit 15 performs image forming processing, white balance correction, γ correction, color space conversion, and the like on the digital signal output from the ADC 14, and performs R, G, B gradation values, Y , Cb, and Cr are output. Note that the image forming process here means that three tone values of RGB or YCbCr are provided for each pixel by interpolating the luminance information of one color output from the light receiving cell with the luminance information of different colors of the neighboring light receiving cells. This is a process of outputting a digital image having.
[0016]
The compression / decompression unit 16 compresses or decompresses a digital image. More specifically, the digital image is compressed by performing series conversion and entropy coding of the digital image, and decompressed by performing the inverse transform thereof. More specifically, the digital image is compressed using, for example, discrete cosine transform, wavelet transform, run-length coding, Huffman coding, or the like. The compressed digital image is temporarily stored in the work memory 19c.
[0017]
The input unit 17 as an input unit includes a card slot for connecting the removable memory 18, a memory controller, and the like. The input unit 17 is controlled by the control unit 19 and inputs the defective pixel data to the digital still camera 1 by reading the defective pixel data stored in the removable memory 18. The input unit of the present embodiment is input by reading defective pixel data from a removable memory. However, the input unit may be configured as a network interface and input by downloading via a network, or may be input by a USB interface. , And input by reading data from another USB device via a USB cable.
[0018]
The operation unit 22 includes a dial switch for setting a mode such as a shooting mode and an image display mode according to the rotation angle, a switch for calling a menu on an LCD (Liquid Crystal Display) 24, a switch for operating the menu, An imaging switch for instructing photographing is provided.
The LCD 24 functions as an electronic viewfinder in the shooting mode. The display controller 23 includes a frame buffer for storing a digital image for one screen of the LCD 24, and a display circuit for driving the LCD 24 based on the digital image stored in the frame buffer.
[0019]
The hardware configuration of the digital still camera 1 has been described above. Next, defective pixel data will be described.
The defective pixel data is data indicating which pixel among the pixels constituting the digital image is the defective pixel. The defective pixel data may be data representing whether or not the pixel is a defective pixel in binary for each pixel, or data representing only the coordinates of the defective pixel. If only the coordinates of the defective pixel are represented, the data amount of the defective pixel data can be reduced as compared with the case where the pixel is represented by a binary value. Further, when defective pixels are generated due to dust, defective pixels are concentrated in a specific area of the digital image. Therefore, the defective pixel data is obtained by centering the coordinates of the defective pixel at the center of the area in the digital image and the coordinates thereof. It may be data indicating a radius or a rectangular area including the set area. When the defective pixel is represented by the coordinates and the radius of the defective pixel at the center, or when the defective pixel is represented by coordinates of a rectangular area including the defective pixel coordinates, the data amount of the defective pixel data can be further reduced. Hereinafter, defective pixel data will be described in more detail by taking as an example a case where only the coordinates of a defective pixel are represented.
[0020]
FIG. 3A is a schematic diagram showing a plurality of pixels constituting a digital image, and FIG. 3B is a schematic diagram showing defective pixel data. Here, the pixels shown in FIG. 3A are pixels constituting a digital image representing a white plate-like subject, the pixels represented by white frames represent normal pixels, and the black pixels 30 represent defective pixels. ing. One pixel of the digital image basically corresponds to one light receiving cell. However, since one light receiving cell can output only one color of the luminance information of RGB or YCbCr, the luminance information of the pixel uses the luminance information of the corresponding light receiving cell for any one of the colors, The color is interpolated with luminance information of different colors of the neighboring light receiving cells. Thus, as described above, one pixel can have three gradation values of RGB or YCbCr. That is, one light receiving cell corresponds to a plurality of pixels, and a plurality of defective pixels are generated by one defective cell or by dust being reflected in one light receiving cell. The defective pixel data shown in FIG. 3B stores the X coordinate and the Y coordinate of the defective pixel shown in FIG. 3A, thereby uniquely identifying which pixel in the digital image is the defective pixel. can do. The defective pixel data is created by subjecting a digital image created by the digital still camera 1 to image processing by a personal computer. The created defective pixel data is stored in the removable memory 18, read by the input unit 17, and input to the digital still camera 1. Specifically, for example, the digital still camera 1 creates a digital image representing a white flat object as shown in FIG. 3A, and outputs the digital image to a personal computer. The reason why the digital image representing the white plate-shaped object is created here is to make it easy to distinguish normal pixels from defective pixels. The personal computer determines that the luminance of each pixel of the digital image is equal to or higher than a predetermined threshold value, and determines that the pixel is a defective pixel if the luminance is less than the threshold value. The coordinates of the defective pixel are determined as shown in FIG. Add to pixel data. In general, the luminance of a pixel is represented by 256 gradations, and the luminance of R, G, and B is closer to 255 for a white pixel, and to 0 for a darker pixel. When a white plate-shaped subject is photographed, the luminance of all the pixels should originally be close to 255, but the luminance of the defective pixel is close to 0 because the luminance is low. This makes it possible to determine whether or not the pixel is a defective pixel. The defective pixel data may be created by a method other than the image processing. For example, a digital image representing an arbitrary subject is enlarged and displayed on a display device provided in a personal computer, and a user visually confirms a defective pixel, and a pixel clicked by a user with a mouse or an area specified by a mouse with an area. The included pixels may be determined to be defective pixels. The defective pixel data can be input at any time. For example, if dust adheres after shipment, the defective pixel data can be recreated by a personal computer and input to the digital still camera 1 again. Therefore, the digital still camera 1 can record in the defective pixel data area defective pixel data capable of correcting a defective pixel due to dust attached after shipping. As a result, even if a new defective pixel occurs after shipment, it is possible to correct the defective pixel and reproduce a high-quality image.
[0021]
Next, the structure of a digital image file as image data will be described.
FIG. 1 is a schematic diagram showing the structure of a digital image file. As shown, the digital image file includes a header area 41, a defective pixel data area 42, a digital image data area 43, and the like. The defective pixel data area 42 is an area where defective pixel data is recorded, and the digital image data area 43 is an area where a digital image is recorded. The header area 41 is an area in which a pointer indicating the start address of the defective pixel data area 42, a pointer indicating the start address of the digital image data area 43, and other header information such as creation date and image size are recorded. At the time of reproduction, by reading a pointer from the header area 41, the start address of the defective pixel data area 42 or the digital image data area 43 can be specified, whereby the defective pixel data and the digital image can be read.
[0022]
Next, the operation of the digital still camera 1 will be described. It is assumed that the defective pixel data has already been input to the digital still camera 1 and stored in the flash memory 19b.
When the imaging switch is turned on in a state where the dial switch is set to the photographing mode, an optical image of the subject is formed on the image sensor 12 by the optical system 11, and an electric signal correlated with the density of the optical image is processed by the processing unit 20. Is output to
[0023]
The output electric signal is subjected to predetermined processing by the ADC 14 and the digital image processing unit 15 of the processing unit 20, and a digital image representing the subject is created.
The created digital image is output to the compression / expansion unit 16, and the compression / expansion unit 16 compresses the output digital image and stores it in the work memory 19c.
The CPU 19a executes the image data creation program stored in the flash memory 19b, reads the digital image stored in the work memory 19c and the defective pixel data stored in the flash memory 19b, and reads the digital image and the defective pixel. A digital image file in which data is stored is created. After creation, the digital image file is output to the input unit 17.
[0024]
The input unit 17 stores the digital image file in the removable memory 18. For example, when storing a digital image file on a hard disk, the removable memory 18 is removed by a user and connected to a personal computer. After the connection, the user saves the digital image file on the hard disk using a personal computer. During reproduction, defective pixels of the digital image are corrected based on the defective pixel data recorded in the digital image file in which the digital image is recorded, and are displayed on a display device provided in the personal computer.
[0025]
According to the digital image file described above, since the digital image and the defective pixel data are recorded in one digital image file, the defective pixels of the digital image recorded in the digital image file are recorded in the digital image file. Correction can be performed based on defective pixel data. When a digital image and defective pixel data are stored on a hard disk, the digital image and the defective pixel data can be stored by storing the digital image file. Therefore, it is necessary to store the digital image and the defective pixel data separately. And there are fewer operations to save. In addition, the number of operations for moving to another directory after saving is similarly reduced. In addition, there is no case where reproduction or correction cannot be performed later due to forgetting to copy one of them. Therefore, the digital image file of the present embodiment is excellent in portability. Further, according to the digital image file of the present embodiment, there is an effect that the trouble of management is reduced. Since the defective pixel data is information unique to the digital camera, appropriate correction cannot be performed even if a digital image created by one digital camera is corrected by defective pixel data of another digital camera. Therefore, when there are a plurality of digital cameras and the digital images created by them are stored on the same hard disk, the digital images must be managed in association with the defective pixel data used for correcting the defective pixels of the digital images. No. If the digital image and the defective pixel data are recorded in one digital image file, such management can be reduced.
[0026]
In this embodiment, the case where the defective pixel data is created by a personal computer has been described as an example. However, the digital still camera 1 may create the defective pixel data.
In the present embodiment, a digital still camera has been described as an example, but the present invention may be applied to a digital video camera.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a structure of image data.
FIG. 2 is a block diagram illustrating a hardware configuration of the digital camera.
FIG. 3A is a schematic diagram illustrating pixels forming a digital image, and FIG. 3B is a schematic diagram illustrating defective pixel data.
FIG. 4 is a schematic diagram showing a digital image in which a defective pixel exists.
[Explanation of symbols]
Reference Signs List 1 digital still camera (digital camera), 11 optical system, 12 image sensor, 17 input unit (input means), 19 control unit, 20 processing unit, 42 defective pixel data area, 43 digital image data area

Claims (4)

光学系により結像される被写体の光学像をイメージセンサにより光電変換し、前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成するディジタルカメラで記録される画像データの構造であって、
ディジタル画像を記録したディジタル画像データ領域と、
ディジタル画像の不良画素を表す不良画素データを記録した不良画素データ領域と、
を1ファイルに含むことを特徴とする画像データの構造。
Structure of image data recorded by a digital camera that photoelectrically converts an optical image of a subject formed by an optical system by an image sensor and creates a digital image representing the subject based on an electric signal output from the image sensor And
A digital image data area in which a digital image is recorded;
A defective pixel data area in which defective pixel data representing defective pixels of the digital image is recorded;
Is included in one file.
被写体の光学像を結像させる光学系と、
前記光学系により結像される光学象を光電変換して電気信号を出力するイメージセンサと、
前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成する処理部と、
ディジタル画像を記録するディジタル画像データ領域と、ディジタル画像の不良画素を表す不良画素データを記録する不良画素データ領域とを1ファイルに含む画像データを記録する画像データ記録手段と、
を備えることを特徴とするディジタルカメラ。
An optical system that forms an optical image of the subject,
An image sensor that photoelectrically converts an optical image formed by the optical system and outputs an electric signal,
A processing unit that creates a digital image representing the subject based on the electric signal output from the image sensor,
Image data recording means for recording image data including a digital image data area for recording a digital image and a defective pixel data area for recording defective pixel data representing defective pixels of the digital image in one file;
A digital camera comprising:
不良画素データを入力する入力手段を更に備えることを特徴とする請求項2に記載のディジタルカメラ。3. The digital camera according to claim 2, further comprising input means for inputting defective pixel data. 光学系により結像される被写体の光学像をイメージセンサにより光電変換し、前記イメージセンサから出力される電気信号に基づいて前記被写体を表すディジタル画像を作成するディジタルカメラの制御部を、
ディジタル画像を記録するディジタル画像データ領域と、ディジタル画像の不良画素を表す不良画素データを記録する不良画素データ領域とを1ファイルに含む画像データを記録する画像データ記録手段、
として機能させることを特徴とする画像データ作成プログラム。
An optical image of a subject formed by an optical system is photoelectrically converted by an image sensor, and a control unit of a digital camera that creates a digital image representing the subject based on an electric signal output from the image sensor,
Image data recording means for recording image data including a digital image data area for recording a digital image and a defective pixel data area for recording defective pixel data representing defective pixels of the digital image in one file;
An image data creation program characterized by functioning as:
JP2003090380A 2003-03-28 2003-03-28 Structure of image data, digital camera, and image data creation program Withdrawn JP2004297687A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003090380A JP2004297687A (en) 2003-03-28 2003-03-28 Structure of image data, digital camera, and image data creation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003090380A JP2004297687A (en) 2003-03-28 2003-03-28 Structure of image data, digital camera, and image data creation program

Publications (1)

Publication Number Publication Date
JP2004297687A true JP2004297687A (en) 2004-10-21

Family

ID=33404020

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003090380A Withdrawn JP2004297687A (en) 2003-03-28 2003-03-28 Structure of image data, digital camera, and image data creation program

Country Status (1)

Country Link
JP (1) JP2004297687A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007023817A1 (en) * 2005-08-23 2007-03-01 Nikon Corporation Image processing system and image processing program
CN109615587A (en) * 2018-10-11 2019-04-12 杭州雄迈集成电路技术有限公司 A kind of image singular point bearing calibration

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007023817A1 (en) * 2005-08-23 2007-03-01 Nikon Corporation Image processing system and image processing program
US8089537B2 (en) 2005-08-23 2012-01-03 Nikon Corporation Image processing system and image processing program for defective pixel correction
JP4985403B2 (en) * 2005-08-23 2012-07-25 株式会社ニコン Image processing system and image processing program
CN109615587A (en) * 2018-10-11 2019-04-12 杭州雄迈集成电路技术有限公司 A kind of image singular point bearing calibration
CN109615587B (en) * 2018-10-11 2020-10-02 杭州雄迈集成电路技术股份有限公司 Image singular point correction method

Similar Documents

Publication Publication Date Title
US20040196381A1 (en) Image processing method and apparatus
US6650365B1 (en) Image correction information recording device
US7728886B2 (en) Image recording apparatus and method
US20090046158A1 (en) Image processing system, image capturing device, image processing terminal, image processing data storage terminal, program for the device, program for the terminal, data structure of image data, method of processing image, and method of generating image data
JP5014099B2 (en) Imaging apparatus and control method thereof
JP2004128809A (en) Method and apparatus for image processing, and imaging device
JP4466378B2 (en) History adding device, electronic camera, and image processing program
US9894270B2 (en) Image processing apparatus and image processing method for handling a raw image, of a moving image or a still image
JPWO2010016166A1 (en) Imaging apparatus, image processing method, image processing program, and semiconductor integrated circuit
US20070252850A1 (en) Image processing method and image processing apparatus
US9723169B2 (en) Imaging apparatus and imaging apparatus control method
JP4433883B2 (en) White balance correction device, white balance correction method, program, and electronic camera device
JP4096626B2 (en) Image processing method and image processing program
JP4560180B2 (en) Imaging device
US10091415B2 (en) Image processing apparatus, method for controlling image processing apparatus, image pickup apparatus, method for controlling image pickup apparatus, and recording medium
JP2001285703A (en) Electronic camera
US20140147091A1 (en) Image capturing apparatus, image processing apparatus and method, image processing system, and control method for image capturing apparatus
JP2007097032A (en) Image display apparatus, image display method and digital camera
JP6702792B2 (en) Image processing apparatus and control method thereof
JP2004297687A (en) Structure of image data, digital camera, and image data creation program
EP0998130B1 (en) Digital camera and image processing method
JP2010124114A (en) Digital camera and image data processing program
JP2000232618A (en) Photo-finishing method, system therefor and recording medium
JP2006081221A (en) Imaging apparatus
JP2012165474A (en) Imaging apparatus, control method of the same, program and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050329

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060810

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061222

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061226

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20071030