JP2004248061A - 画像処理装置、方法及びプログラム - Google Patents
画像処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2004248061A JP2004248061A JP2003036959A JP2003036959A JP2004248061A JP 2004248061 A JP2004248061 A JP 2004248061A JP 2003036959 A JP2003036959 A JP 2003036959A JP 2003036959 A JP2003036959 A JP 2003036959A JP 2004248061 A JP2004248061 A JP 2004248061A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- dynamic range
- photosensitive pixels
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 130
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003384 imaging method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 25
- 230000006835 compression Effects 0.000 claims description 16
- 238000007906 compression Methods 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims 5
- 230000002596 correlated effect Effects 0.000 abstract description 2
- 230000001235 sensitizing effect Effects 0.000 abstract 4
- 238000012546 transfer Methods 0.000 description 34
- 238000012937 correction Methods 0.000 description 30
- 238000006243 chemical reaction Methods 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 20
- 230000035945 sensitivity Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 13
- 239000010410 layer Substances 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000000926 separation method Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 240000007320 Pinus strobus Species 0.000 description 5
- 230000001276 controlling effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000005375 photometry Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 4
- 229920005591 polysilicon Polymers 0.000 description 4
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 229910052814 silicon oxide Inorganic materials 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241001637516 Polygonia c-album Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007687 exposure technique Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000005360 phosphosilicate glass Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
- H01L27/14627—Microlenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
- H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
- H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
- H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
- H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/21—Intermediate information storage
- H04N2201/212—Selecting different recording or reproducing modes, e.g. high or low resolution, field or frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/325—Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
Abstract
【課題】ｓＲＧＢなど標準的な画像出力を行う一方、プリント用途などに対しては、さらに広いダイナミックレンジの画像情報から画像処理により最適な画像を作成できるような画像処理装置、方法及びプログラムを提供する。
【解決手段】相対的に狭いダイナミックレンジを有する主感光画素と相対的に広いダイナミックレンジを有する従感光画素と備えたＣＣＤを用いて、一度の露光で主感光画素から得られる第１の画像情報と、従感光画素から得られる第２の画像情報とを取得し、これらを関連付けた名前の二つのファイルとして別々に記録する。所定のユーザインターフェースを通じてユーザは第２の画像情報の記録の要否、及び第２の画像情報のダイナミックレンジを選択することができる。第２の画像情報のダイナミックレンジ情報は第１の画像情報のファイル及び／又は第２の画像情報のファイルのヘッダー等に記録される。
【選択図】 図１０
【解決手段】相対的に狭いダイナミックレンジを有する主感光画素と相対的に広いダイナミックレンジを有する従感光画素と備えたＣＣＤを用いて、一度の露光で主感光画素から得られる第１の画像情報と、従感光画素から得られる第２の画像情報とを取得し、これらを関連付けた名前の二つのファイルとして別々に記録する。所定のユーザインターフェースを通じてユーザは第２の画像情報の記録の要否、及び第２の画像情報のダイナミックレンジを選択することができる。第２の画像情報のダイナミックレンジ情報は第１の画像情報のファイル及び／又は第２の画像情報のファイルのヘッダー等に記録される。
【選択図】 図１０
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及び方法に係り、特にデジタル入力デバイスにおける画像の保存、再生に関する装置、方法並びにこれを実現するコンピュータプログラムに関する。
【０００２】
【従来の技術】
特許文献１に開示された画像処理装置は、同じ被写体を異なる露光量で複数回撮像して得られた複数の画像データから標準画像と非標準画像を作り、非標準画像からダイナミックレンジ拡大に必要な領域を判別し、その部分を圧縮して保存することを特徴としている。
【０００３】
特許文献２乃至４には、ｓＲＧＢに代表される標準的な色空間よりも更に色再現域の広い色空間での画像再現を実現するために、拡張色再現域の情報を記録する方法が提案されている。すなわち、制限された色域を有する色空間の色値を有する制限色域デジタル画像データと、その制限色域の外側の色値を有する拡張色域デジタル画像との差分情報を制限色域デジタル画像データに関連付けて記録している。
【０００４】
【特許文献１】
特開平８−２５６３０３号公報
【０００５】
【特許文献２】
米国特許第６２８２３１１号明細書
【０００６】
【特許文献３】
米国特許第６２８２３１２号明細書
【０００７】
【特許文献４】
米国特許第６２８２３１３号明細書
【０００８】
【発明が解決しようとする課題】
一般的なデジタルスチルカメラにおいては、ＣＣＩＲ Ｒｅｃ７０９ で定められた光電変換特性を基本にして階調設計がなされている。こうすることで、パソコン（ＰＣ）用ディスプレイの実質上の標準色空間であるｓＲＧＢ色空間で再現された場合に良好な画像を提供することを目標にして画像設計がなされている。
【０００９】
一方、実シーンにおいては、晴天の日、曇りの日、夜間などのように、輝度域は １：１００ のときもあれば、 １：１００００ を越す場合もある。従来用いられている通常のＣＣＤ撮像素子は、このような広い輝度レンジから情報を一度に取得することができない。そのため、自動露出（ＡＥ）制御によって、最適な輝度の切り出し範囲を決め、先に定めた光電変換特性に応じた電気信号に変換し、ＣＲＴのようなディスプレイに画像を再現させるように構成されている。あるいは特許文献１に開示されているように、露光を変えて複数枚撮影することで広いダイナミックレンジを確保している。しかし、この複数露光の技術は静止している物体の撮影にしか適用できない。
【００１０】
ところで、ブライダル衣裳（白のウエディングドレス）の撮影、自動車のような金属光沢のある被写体の撮影、近接ストロボでの撮影、更には逆光撮影のような特殊な被写体又は撮影状況においては、露出を主要被写体に適切に合わせることが困難であり、広い輝度レンジをカバーした高画質の画像を得ることができない。このようなシーンについては、撮影した画像を後で（プリント工程で）補正するシステムを用い、より広いダイナミックレンジで画像を記録し、その情報をもとにプリント時に最適な画像を作成する方が好都合な画像が得られることが多い。
【００１１】
しかしながら、このような場合でも現状のような限られたダイナミックレンジの画像情報からでは十分な画質が得られないという問題がある。
【００１２】
本発明はこのような事情に鑑みてなされたもので、通常のＰＣ出力などについては定められたダイナミックレンジの画像で表示を行い、デスクトップパブリッシングのプリント用途など特別な用途に対して、必要に応じて更に広ダイナミックレンジ撮像で得られた情報から画像処理により最適な画像を作成できるような画像処理装置、方法及びプログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段と、前記主感光画素から得られた第１の画像情報及び前記従感光画素から得られた第２の画像情報をそれぞれ記録する情報記録手段と、前記第２の画像情報を記録するか否かの選択を行う選択手段と、前記選択手段の選択に従い前記第１の画像情報及び前記第２の画像情報の記録処理を制御する記録制御手段と、を備えたことを特徴とする。
【００１４】
本発明に用いられる撮像手段は、主感光画素と従感光画素とを組み合わせた複合画素の構造を有している。主感光画素と従感光画素とは光学的に同位相の情報を取得することができ、一回の撮像によってダイナミックレンジの異なる二つの画像情報を取得することができる。ユーザはより広いダイナミックレンジを有する第２の画像情報について記録の必要性を判断し、所定のユーザインターフェースを通じて記録の要否を選択する。例えば、ユーザが記録不要の選択を行った場合には、第１の画像情報のみを記録する記録モードとなり、第２の画像情報の記録処理は行われない。その一方、ユーザが第２の画像情報を記録する旨の選択を行った場合には、第１の画像情報及び第２の画像情報を記録するモードとなり、第１及び第２の画像情報がそれぞれ記録される。これにより、撮影シーンや撮影目的に応じて良好な画像を得ることができる。
【００１５】
本発明の一態様によれば、前記第１の画像情報と前記第２の画像情報とは互いに関連付けされた二つのファイルとして別々に記録されることを特徴とする。
【００１６】
再生時において必要に応じて関連付けファイルの第２の画像情報を利用することにより、拡張された再現域による画像再現が可能となる。
【００１７】
本発明の他の態様によれば、前記第２の画像情報は前記第１の画像情報との差分データとして前記第１の画像情報のファイルとは別のファイルに記録されることを特徴とする。差分情報を記録することによりファイルの容量を小さくすることができる。
【００１８】
また、前記第２の画像情報を前記第１の画像情報とは異なる圧縮方式で圧縮することによってファイル容量を小さくする態様もある。
【００１９】
本発明の更に他の態様は、上記構成に加えて、前記第２の画像情報のダイナミックレンジ情報を前記第１の画像情報及び前記第２の画像情報のうち少なくとも一方の画像情報とともに記録するＤレンジ情報記録手段を備えたことを特徴とする。
【００２０】
第２の画像情報のダイナミックレンジ情報（例えば、第１の画像情報のダイナミックレンジに対して何倍のダイナミックレンジを記録するかという情報）を第１の画像情報のファイル内に、又は第２の画像情報のファイル内に、或いはこれら両方のファイル内に付加情報として記録しておく態様が好ましい。これにより、画像再生時の情報合成を円滑に行うことができる。
【００２１】
また、他の態様によれば、画像処理装置において更に、前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段と、前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更するＤレンジ可変制御手段と、を備えたことを特徴としている。
【００２２】
撮像シーンや撮影意図などに応じてユーザ自身が記録時のダイナミックレンジを決定できる構成とする態様が好ましい。
【００２３】
本発明の他の態様に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段と、前記主感光画素から得られた信号に基づいて第１の出力装置による画像出力を目標として第１の画像情報を生成する第１の画像信号処理手段と、前記従感光画素から得られた信号に基づいて前記第１の出力装置と異なる第２の出力装置による画像出力を目標として第２の画像情報を生成する第２の画像信号処理手段と、を備えたことを特徴とする。
【００２４】
例えば、前記第１の画像情報はｓＲＧＢ規格のディスプレイに出力することを目標としてガンマ特性及びエンコード特性が設定され、前記第２の画像情報はｓＲＧＢよりも広い再現域のプリント出力に適した特性を持たせるようにガンマ特性及びエンコード特性が設定される態様がある。
【００２５】
標準的な画像出力を目標とした前記第１の画像情報と、拡張された再現域の画像出力を目標とした前記第２の画像情報とを記録する場合に、第２の画像情報について第１の画像情報よりも微妙な情報を持たせるために、第２の画像情報を第１の画像情報より深いビットの値で記録する態様が好ましい。
【００２６】
本発明の他の態様は、上記構成に加えて、前記第２の画像情報の再現域を指定する再現域設定操作手段と、前記再現域設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更する再現域可変制御手段と、を備えたことを特徴とする。これにより、ユーザ自身が記録画像の再現域（輝度再現域や色再現域など）を自由に決定できる。
【００２７】
本発明の更に他の態様に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段と、前記主感光画素から得られる第１の画像情報及び前記従感光画素から得られる第２の画像情報の記録処理を制御する記録制御手段と、前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段と、前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現輝度域を変更するＤレンジ可変制御手段と、を備えたことを特徴とする。
【００２８】
また、本発明に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示出力するための画像表示手段と、前記主感光画素から得られた第１の画像情報と前記従感光画素から得られた第２の画像情報とを切り替えて前記画像表示手段に表示させる表示制御手段と、を備えたことを特徴とする。
【００２９】
第１の画像情報から作成された第１の画像（例えば、標準再現域画像）と、第２の画像情報を用いて作成された第２の画像（例えば、拡張再現域画像）とを必要に応じて切り替えて表示部に出力することにより、第１の画像と第２の画像との差異を表示画面上で確認することができる。
【００３０】
この場合、主要被写体の明るさが略同じになるように、ガンマを変えて表示画像を作成することが好ましい。
【００３１】
本発明の他の態様に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示出力するための画像表示手段と、前記主感光画素から得られた第１の画像情報を前記画像表示手段に表示させるとともに、当該第１の画像情報に対して前記第２の画像情報によって再現域が拡張される画像部分を該第１の画像情報の表示画面上で強調表示させる表示制御手段と、を備えたことを特徴とする。
【００３２】
第１の画像情報を画像表示手段に表示し、当該第１の画像情報について第２の画像情報と第１の画像情報の差分があるか否かを判断し、差分がある場合に該当する部分について点滅、枠線による囲い込み表示、明るさ（濃淡）の変更、色調の変更などの強調表示を行う。
【００３３】
本発明の画像処理装置において、前記撮像手段は、各受光セルが少なくとも前記主感光画素及び前記従感光画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記主感光画素及び前記従感光画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられている態様が好ましい。
【００３４】
かかる構造の撮像手段は、同一受光セル（画素セル）内の主感光画素と従感光画素の画素位置は略同一の位置にあるものとして取り扱うことができる。したがって、時間的に同位相で空間的にも略同位置の二つの画像情報を１回の撮像で取得することができる。
【００３５】
本発明の画像処理装置は、デジタルカメラやビデオカメラなどの電子カメラに搭載することも可能であるし、コンピュータによって実現することも可能である。上述した画像処理装置を構成する各手段をコンピュータによって実現させるためのプログラムをＣＤ−ＲＯＭや磁気ディスクその他の記録媒体に記録し、記録媒体を通じて当該プログラムを第三者に提供したり、インターネットなどの通信回線を通じて当該プログラムのダウンロードサービスを提供したりすることも可能である。
【００３６】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００３７】
〔撮像素子の構造〕
まず、本発明が適用される電子カメラに用いられる広ダイナミックレンジ撮像用の撮像素子の構造について説明する。図１はＣＣＤ２０の受光面の構造例を示す平面図である。図１では２つの受光セル（画素ＰＩＸ）が横に並んでいる様子を示すが、実際には多数の画素ＰＩＸが水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配列されている。
【００３８】
各画素ＰＩＸは、感度の異なる２つのフォトダイオード領域２１、２２を含む。第１のフォトダイオード領域２１は、相対的に広い面積を有し、主たる感光部（以下、主感光画素という）を構成する。第２のフォトダイオード領域２２は、相対的に狭い面積を有し、従たる感光部（以下、従感光画素という。）を構成する。画素ＰＩＸの右側には垂直転送路（ＶＣＣＤ）２３が形成されている。
【００３９】
図１に示した構成はハニカム構造の画素配列であり、図示した２つの画素ＰＩＸ上側及び下側には不図示の画素が横方向に半ピッチずれた位置に配置される。図１上に示した各画素ＰＩＸの左側に示されている垂直転送路２３は、これら画像ＰＩＸの上側及び下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【００４０】
図１中点線で示すように、四相駆動（φ１，φ２，φ３，φ４）に必要な転送電極２４、２５、２６、２７（まとめてＥＬで示す。）が垂直転送路２３の上方に配置される。例えば、２層ポリシリコンで転送電極を形成する場合、φ１ のパルス電圧が印加される第１の転送電極２４と、φ３ のパルス電圧が印加される第３の転送電極２６とは第１層ポリシリコン層で形成され、φ２ のパルス電圧が印加される第２の転送電極２５と、φ４ のパルス電圧が印加される第４の転送電極２７とは第２層ポリシリコン層で形成される。なお、転送電極２４は従感光画素２２から垂直転送路２３への電荷読み出しも制御する。転送電極２５は主感光画素２１から垂直転送路２３への電荷読み出しも制御する。
【００４１】
図２は図１の２−２線に沿う断面図であり、図３は図１の３−３線に沿う断面図である。図２に示したように、ｎ型半導体基板３０の一表面にｐ型ウエル３１が形成されている。ｐ型ウエル３１の表面領域に２つのｎ型領域３３、３４が形成され、フォトダイオードを構成している。符号３３で示したｎ型領域のフォトダイオードが主感光画素２１に相当し、符号３４で示したｎ型領域のフォトダイオードが従感光画素２２に相当している。ｐ＋ 型領域３６は、画素ＰＩＸ、垂直転送路２３等の電気的な分離を行うチャネルストップ領域である。
【００４２】
図３に示すように、フォトダイオードを構成するｎ型領域３３の近傍に垂直転送路２３を構成するｎ型領域３７が配置されている。ｎ型領域３３、３７の間のｐ型ウエル３１が読み出しトランジスタを構成する。
【００４３】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ＥＬが形成される。転送電極ＥＬは、垂直転送路２３の上方を覆うように配置されている。転送電極ＥＬの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路２３等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜３８がタングステン等により形成されている。
【００４４】
遮光膜３８を覆うようにホスホシリケートガラス等で形成された層間絶縁膜３９が形成され、その表面が平坦化されている。層間絶縁膜３９の上にカラーフィルタ層（オンチップカラーフィルタ）４０が形成されている。カラーフィルタ層４０は、例えば赤色領域、緑色領域、及び青色領域等の３色以上の色領域を含み、各画素ＰＩＸについて一色の色領域が割り当てられている。
【００４５】
カラーフィルタ層４０の上に各画素ＰＩＸに対応してマイクロレンズ（オンチップマイクロレンズ）４１がレジスト材料等により形成されている。マイクロレンズ４１は、各画素ＰＩＸの上に１つ形成されており、上方より入射する光を遮光膜３８が画定する開口内に集光させる機能を有する。
【００４６】
マイクロレンズ４１を介して入射した光は、カラーフィルタ層４０によって色分解され、主感光画素２１及び従感光画素２２の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路２３に読み出される。
【００４７】
こうして、１つの画素ＰＩＸから感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【００４８】
図４は、ＣＣＤ２０の受光領域ＰＳ内の画素ＰＩＸ及び垂直転送路２３の配置を示す。画素ＰＩＸは、セルの幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素ＰＩＸの行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００４９】
図４において画素ＰＩＸが配列された受光領域ＰＳの右側には、転送電極ＥＬにパルス電圧を印加するＶＣＣＤ駆動回路４４が配置される。各画素ＰＩＸは上述のように主感光画素２１と従感光画素２２とを含む。垂直転送路２３は各列に近接して蛇行して配置されている。
【００５０】
また、受光領域ＰＳの下側（垂直転送路２３の下端側）には、垂直転送路２３から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４５が設けられている。
【００５１】
水平転送路４５は、２相駆動の転送ＣＣＤで構成されており、水平転送路４５の最終段（図４上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素ＰＩＸで光電変換した信号が点順次の信号列として出力される。
【００５２】
図５にＣＣＤ２０の他の構造例を示す。図５は平面図、図６は図５の６−６線に沿う断面図である。これらの図面中図１及び図２に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。
【００５３】
図５及び図６に示したように、主感光画素２１と従感光画素２２の間にｐ＋ 型分離領域４８が形成されている。この分離領域４８はチャネルストップ領域（チャネルストッパ）として機能し、フォトダイオード領域の電気的な分離を行う。また、分離領域４８の上方には分離領域４８に対応した位置に遮光膜４９が形成されている。
【００５４】
遮光膜４９と分離領域４８とを用いることにより、入射する光を効率的に分離するとともに、主感光画素２１及び従感光画素２２に蓄積された電荷がその後混合することを防止する。その他の構成は図１及び図２に示した例と同様である。
【００５５】
また、画素ＰＩＸのセル形状や開口形状は図１や図５に示した例に限定されず、多角形、円形など多様な形態をとり得る。更に、各受光セルの分離形状（分割形態）についても、図１や図５に示した形状に限定されない。
【００５６】
図７にＣＣＤ２０の更に他の構造例を示す。図７中図１及び図５に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。図７は、二つの感光部（２１、２２）が斜め方向に分離されている構成を示す。
【００５７】
このように、それぞれの分割感光エリアで蓄積された電荷を別々に垂直転送路に読み出すことができればよく、分割形状や分割数、面積の大小関係などは適宜設計される。ただし、従感光画素の面積を主感光画素の面積に比べて小さい値とする。また、主感光部の面積減少を抑制し、感度低下を最小限に抑えることが好ましい。
【００５８】
図８は、主感光画素２１と従感光画素２２の光電変換特性を示すグラフである。横軸は入射光量、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１２ビットデータを例示するが、ビット数はこれに限定されない。
【００５９】
同図に示すように、主感光画素２１と従感光画素２２の感度比は１：１／ａとなっている（ただし、ａ＞１、本例ではａ＝１６）。主感光画素２１の出力は、入射光量に比例して次第に増加し、入射光量が「ｃ」のときに出力が飽和値（ＱＬ値＝４０９５）に達する。以後、入射光量が増加しても主感光画素２１の出力は一定となる。この「ｃ」を主感光画素２１の飽和光量と呼ぶことにする。
【００６０】
一方、従感光画素２２の感度は、主感光画素２１の感度の１／ａであり、入射光量がα×ｃのときにＱＬ値＝４０９５／ｂで飽和する（ただし、ｂ＞１，α＝ａ／ｂ、本例ではｂ＝４，α＝４）。このときの「α×ｃ」を従感光画素２２の飽和光量と呼ぶ。
【００６１】
このように、異なる感度と飽和を持つ主感光画素２１と従感光画素２２とを組み合わせることにより、主感光画素のみの構成よりもＣＣＤ２０のダイナミックレンジをα倍に拡大できる。本例では感度比１／１６、飽和比１／４でダイナミックレンジを約４倍に拡大している。主感光画素のみを使用する場合の最大ダイナミックレンジを１００％とするとき、本例では従感光画素を活用することによって最大で約４００％までダイナミックレンジが拡大される。
【００６２】
上述したように、ＣＣＤ等の撮像素子ではＲＧＢ又はＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）等のカラーフィルタを通してフォトダイオードで受けた光を前記信号に変える。このうち、どれだけの光の情報に対して信号が得られるかはレンズを含めた光学系、ＣＣＤ感度及び飽和に依存する。相対的に感度は高いが蓄積可能な電荷量が少ない素子と、相対的に感度は低いが蓄積可能な電荷量が大きい素子とでは、後者の方が入射される光の強弱が強い場合に対しても適切な信号を供することが可能であり、ダイナミックレンジが広い。
【００６３】
光の強弱に対してどのように応答可能かを設定する手段としては、▲１▼フォトダイオードに入る光の量を調整する、▲２▼光を受けて電圧に変えるソースフォロアのアンプゲインを変える−などの態様がある。▲１▼の場合は、フォトダイオードに対し、上層部にあるマイクロレンズの光透過特性や相対位置関係によって調整できる。その一方、蓄積できる電荷量としては、フォトダイオードの大きさ等で決定される。図１乃至図７で説明したように、大きさの異なる二つのフォトダイオード（２１、２２）を並べることにより、異なる光のコントラスト比に対して応答可能な信号を得ることができ、更にこれらの二つのフォトダイオード（２１、２２）の感度を調整することで、最終的に広いダイナミックレンジを有する撮像デバイス（ＣＣＤ２０）を実現できる。
【００６４】
〔広ダイナミックレンジ撮像可能なカメラの例〕
次に、上述した広ダイナミックレンジ撮像用のＣＣＤを搭載した電子カメラについて説明する。
【００６５】
図９は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ５０は、ＣＣＤ２０を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア５２に記録するデジタルカメラである。カメラ５０は表示部５４を備えており、撮像中の映像や記録した画像データの再生画像を表示部５４に表示させることができる。
【００６６】
カメラ５０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）５６によって統括制御される。 ＣＰＵ５６は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御など各種演算を実施する演算手段として機能する。
【００６７】
ＣＰＵ５６は不図示のバスを介してＲＯＭ６０及びメモリ（ＲＡＭ）６２と接続されている。ＲＯＭ６０にはＣＰＵ５６が実行するプログラム及び制御に必要な各種データなどが格納されている。メモリ６２はプログラムの展開領域及びＣＰＵ５６の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００６８】
画像データの一時記憶領域として、メモリ６２は主に主感光画素２１から得られる画像データを記憶する第１領域（以下、第１画像メモリという。）６２Ａと、主に従感光画素２２から得られる画像データを記憶する第２領域（以下、第２画像メモリという。）６２Ｂとを備えている。
【００６９】
また、ＣＰＵ５６にはＥＥＰＲＯＭ６４が接続されている。ＥＥＰＲＯＭ６４は、ＣＣＤ２０の欠陥画素情報、ＡＥ、ＡＦ及びＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納される不揮発性の記憶手段であり、必要に応じてデータの書き換えが可能であるとともに、電源ＯＦＦ時においても情報内容が保持される。ＣＰＵ５６は必要に応じてＥＥＰＲＯＭ６４のデータを参照して演算等を行う。
【００７０】
カメラ５０にはユーザが各種の指令を入力するための操作部６６が設けられている。操作部６６は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ１ スイッチと、全押し時にＯＮするＳ２ スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１ オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ２ オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り替えるための操作手段である。
【００７１】
また、操作部６６には、上記の他、撮影目的に応じて最適な動作モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、表示部５４にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタン、表示部５４のＯＮ／ＯＦＦや表示方法の切り替え、或いはオンスクリーンディスプレイ（ＯＳＤ）の表示／非表示切り替えなどを行うための表示ボタン、ダイナミックレンジ拡大処理（画像合成） を実施するか否かの選択を行うＤレンジ拡大モードスイッチなどの操作手段も含まれる。
【００７２】
なお、操作部６６の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００７３】
操作部６６からの信号はＣＰＵ５６に入力される。ＣＰＵ５６は操作部６６からの入力信号に基づいてカメラ５０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、ＣＣＤ２０からの電荷読出制御、画像処理制御、画像データの記録／再生制御、記録メディア５２内のファイル管理、表示部５４の表示制御などを行う。
【００７４】
表示部５４には、例えば、カラー液晶ディスプレイが用いられている。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いてもよい。表示部５４は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、表示部５４は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。
【００７５】
次に、カメラ５０の撮影機能について説明する。
【００７６】
カメラ５０は、光学系ユニット６８とＣＣＤ２０とを備えている。なお、ＣＣＤ２０に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。光学系ユニット６８は、不図示の撮影レンズと、絞り兼用メカシャッター機構を含む。撮影レンズは電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００７７】
撮影者によって操作部６６のズームスイッチが操作されると、そのスイッチ操作に応じてＣＰＵ５６からモータ駆動回路７０に対して光学系制御信号が出力される。モータ駆動回路７０は、ＣＰＵ５６からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータ（不図示）に与える。こうして、モータ駆動回路７０から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズの焦点距離（光学ズーム倍率）が変更される。
【００７８】
光学系ユニット６８を通過した光は、ＣＣＤ２０の受光面に入射する。ＣＣＤ２０の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。なお、ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００７９】
ＣＣＤ２０の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ２０は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００８０】
ＣＣＤ２０の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバ７２から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ２０から出力された画像信号は、アナログ処理部７４に送られる。アナログ処理部７４は、ＣＤＳ（相関二重サンプリング）回路及びＧＣＡ（ゲインコントロールアンプ）回路を含む処理部であり、このアナログ処理部７４において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整が行われる。
【００８１】
アナログ処理部７４から出力された画像信号はＡ／Ｄ変換器７６によってデジタル信号に変換された後、信号処理部８０を介してメモリ６２に格納される。タイミング発生器（ＴＧ）８２は、ＣＰＵ５６の指令に従ってＣＣＤドライバ７２、アナログ処理部７４及びＡ／Ｄ変換器７６に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００８２】
信号処理部８０は、メモリ６２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部８０は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路、圧縮伸張回路、表示用信号生成回路等を含む画像処理手段であり、ＣＰＵ５６からのコマンドに従ってメモリ６２を活用しながら画像信号を処理する。
【００８３】
メモリ６２に格納されたデータ（ＣＣＤＲＡＷデータ）は、バスを介して信号処理部８０に送られる。信号処理部８０の詳細については後述するが、信号処理部８０に送られた画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ６２に格納される。
【００８４】
撮影画像を表示部５４にモニタ出力する場合、メモリ６２から画像データが読み出され、信号処理部８０の表示変換回路に送られる。表示変換回路に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、表示部５４に出力される。ＣＣＤ２０から出力される画像信号によってメモリ６２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が表示部５４に供給されることにより、撮像中の映像（スルー画）がリアルタイムに表示部５４に表示される。撮影者は表示部５４に映し出されるスルー画の映像によって画角（構図）を確認できる。
【００８５】
撮影者が画角を決めてシャッターボタンを押下すると、ＣＰＵ５６はこれを検知し、シャッターボタンの半押し（Ｓ１ ＝ＯＮ）に応動してＡＥ処理及びＡＦ処理などの撮影準備動作を行い、シャッターボタンの全押し（Ｓ２ ＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００８６】
すなわち、ＣＰＵ５６は、Ｓ１ ＝ＯＮに応動して取り込まれた画像データから焦点評価演算やＡＥ演算などの各種演算を行い、その演算結果に基づいてモータ駆動回路７０に制御信号を送り、不図示のＡＦモータを制御して光学系ユニット６８内のフォーカスレンズを合焦位置に移動させる。
【００８７】
また、オート演算部のＡＥ演算部は撮影画像の１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ５６に提供する。ＲＧＢの各色信号について積算値を求めてもよいし、これらのうちの一色（例えば、Ｇ信号）のみについて積算値を求めてもよい。
【００８８】
ＣＰＵ５６は、ＡＥ演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。
【００８９】
カメラ５０のＡＥは、広い輝度レンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、５〜１７ＥＶの範囲を測光するのに、１回の測光で３ＥＶの範囲を測定できるものとすると、露出条件を変えながら最大で４回の測光が行われる。
【００９０】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【００９１】
こうして、複数回に分けて測光を実行することで広いレンジ（５〜１７ＥＶ）を測光し、最適な露出条件を決定する。なお、１回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。
【００９２】
ＣＰＵ５６は、上述のＡＥ演算結果に基づいて絞りとシャッタースピードを制御し、Ｓ２ ＝ＯＮに応動して記録用の画像を取得する。本例のカメラ５０は、スルー画中は主感光画素２１のみからデータの読み出しを行い、主感光画素２１の画像信号からスルー画用の画像を作成する。また、シャッターボタンのＳ１ ＝ＯＮに伴うＡＥ処理及びＡＦ処理は主感光画素２１から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、又は、ＡＥの結果（ＩＳＯ感度や測光値）又はホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッターボタンのＳ２ ＝ＯＮに応動してＣＣＤ２０の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号（ＶＤ）に同期して、まず、主感光画素２１の電荷を読み出し、その後、従感光画素２２の電荷の読み出しを行う。
【００９３】
また、このカメラ５０はストロボ装置８４を有している。ストロボ装置８４はは、発光部としての放電管（例えば、キセノン管）、トリガー回路、放電用エネルギーを蓄積するメインコンデンサ及びその充電回路などを含むブロックである。ＣＰＵ５６は必要に応じてストロボ装置８４にコマンドを送り、ストロボ装置８４の発光を制御する。
【００９４】
こうして、シャッターボタンの全押し（Ｓ２ ＝ＯＮ）に応動して取り込まれた画像データは、信号処理部８０においてＹＣ処理その他の所定の信号処理を経た後、所定の圧縮フォーマット（例えば、ＪＰＥＧ方式） に従って圧縮され、メディアインターフェース部（図９中不図示）を介して記録メディア５２に記録される。圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよい。
【００９５】
画像データを保存する手段は、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ５０に内蔵された記録媒体（内部メモリ）であってもよい。
【００９６】
操作部６６のモード選択スイッチによって再生モードが選択されると、記録メディア５２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア５２から読み出された画像ファイルのデータは、信号処理部８０の圧縮伸張回路によって伸張処理された後、表示用の信号に変換されて表示部５４に出力される。
【００９７】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア５２から読み出され、表示画像が更新される。
【００９８】
図１０は図９に示した信号処理部８０における信号処理フローを示したブロック図である。
【００９９】
図１０に示すように、Ａ／Ｄ変換器７６によってデジタル信号に変換された主感光画素データ（高感度画像データという。）は、オフセット処理回路９１においてオフセット処理される。オフセット処理回路９１は、ＣＣＤ出力の暗電流成分を補正する処理部であり、ＣＣＤ２０上の遮光画素から得られるオプティカルブラック（ＯＢ）信号の値を画素値から減算する演算を行う。オフセット処理回路９１から出力されたデータ（高感度ＲＡＷ データ） は、リニアマトリックス回路９２に送られる。
【０１００】
リニアマトリックス回路９２は、ＣＣＤ２０の分光特性を補正する色調補正処理部である。リニアマトリックス回路９２において補正されたデータは、ホワイトバランス（ＷＢ）ゲイン調整回路９３に送られる。ＷＢゲイン調整回路９３は、Ｒ，Ｇ，Ｂの色信号のレベルを増減するためのゲイン可変アンプを含み、ＣＰＵ５６からの指令に基づいて各色信号のゲイン調整を行う。ＷＢゲイン調整回路９３においてホワイトバランス調整処理された信号は、ガンマ補正回路９４に送られる。
【０１０１】
ガンマ補正回路９４は、ＣＰＵ５６の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正回路９４においてガンマ補正された画像データは同時化処理回路９５に送られる。
【０１０２】
同時化処理回路９５は、単板ＣＣＤ２０のカラーフィルタ配列構造に伴う色信号の空間的なズレを補間して各点の色（ＲＧＢ）を計算する処理部と、ＲＧＢ信号から輝度（Ｙ）信号及び色差信号（Ｃｒ，Ｃｂ ）を生成するＹＣ変換処理部とを含む。同時化処理回路９５で生成された輝度・色差信号（ＹＣｒ Ｃｂ ）は、各種補正回路９６に送られる。
【０１０３】
各種補正回路９６には、例えば、輪郭強調（アパーチャ補正）回路や色差マトリックスによる色補正回路などが含まれる。各種補正回路９６において所要の補正処理が施された画像データはＪＰＥＧ圧縮回路９７に送られる。ＪＰＥＧ圧縮回路９７において圧縮処理された画像データは、画像ファイルとして記録メディア５２に記録される。
【０１０４】
同様に、Ａ／Ｄ変換器７６によってデジタル信号に変換された従感光画素データ（低感度画像データという。）は、オフセット処理回路１０１においてオフセット処理される。オフセット処理回路１０１から出力されたデータ（低感度ＲＡＷ データ） は、リニアマトリックス回路１０２に送られる。
【０１０５】
リニアマトリックス回路１０２から出力されたデータはホワイトバランス（ＷＢ）ゲイン調整回路１０３に送られ、ホワイトバランス調整が行われる。ホワイトバランス調整処理された信号は、ガンマ補正回路１０４に送られる。
【０１０６】
また、低感度画像データ用のリニアマトリックス回路１０２から出力された低感度画像データは、積算回路１０５にも与えられる。積算回路１０５は、撮像画面を複数のエリア（例えば、１６×１６）に分割し、それぞれのエリアごとにＲ，Ｇ，Ｂの画素値を色別に積算する処理を行い、色別の平均値を算出する。
【０１０７】
積算回路１０５において算出された平均値のうち、Ｇ成分の最大値（Ｇｍａｘ ）が検出され、その検出されたＧｍａｘ を表すデータはＤレンジ算出回路１０６に送られる。Ｄレンジ算出回路１０６は、図で説明した従感光画素の光電変換特性に基づき、最大値Ｇｍａｘ の情報から被写体の最大輝度レベルを算出し、当該被写体の記録に必要な最大のダイナミックレンジを算出する。
【０１０８】
また、本例では、再現ダイナミックレンジを何％までにするかという設定情報を所定のユーザインターフェース（後述）を通して入力することができる。ユーザが指定したＤレンジ選択情報１０７は、ＣＰＵ５６からＤレンジ算出回路１０６に送られる。Ｄレンジ算出回路１０６は、撮像データを解析して求めたダイナミックレンジと、ユーザが指定したＤレンジ選択情報とに基づき、記録時のダイナミックレンジを決定する。
【０１０９】
撮像データから求めた最大のダイナミックレンジがＤレンジ選択情報１０７のＤレンジ以下の場合には、撮像データから求めたダイナミックレンジが採用される。撮像データから求めた最大のダイナミックレンジがＤレンジ選択情報のＤレンジを超える場合には、Ｄレンジ選択情報が示すＤレンジが採用される。
【０１１０】
Ｄレンジ算出回路１０６で決定されたＤレンジに応じて、低感度画像データ用のガンマ補正回路１０４のガンマ係数が制御される。
【０１１１】
ガンマ補正回路１０４から出力された画像データは同時化処理回路１０８において、同時化処理及びＹＣ変換処理が行われる。同時化処理回路１０８で生成された輝度・色差信号（ＹＣｒ Ｃｂ ）は、各種補正回路１０９に送られ、輪郭強調、色差マトリックス処理などの補正処理が行われる。各種補正回路１０９において所要の補正処理が施された低感度画像データはＪＰＥＧ圧縮回路１１０において圧縮処理され、高感度画像データとは別の画像ファイルとして記録メディア５２に記録される。
【０１１２】
高感度画像データについては、民生用ディスプレイの代表的特性であるｓＲＧＢ色規格に対して画像設計がなされている。このｓＲＧＢ色空間を対象とした光電変換特性を図１１に示す。撮像系で図１１のような変換特性を持たせておくことにより、通常のディスプレイを用いた画像再現に際して、輝度に関して好ましい画像を再現することが可能となる。
【０１１３】
その一方で、近時、印刷用途などではｓＲＧＢよりも広い色空間を持つ拡張色空間を対象とした色再現設計が行われることがある。
【０１１４】
図１２には、ｓＲＧＢ空間と拡張色空間の例を示した。同図において、符号１２０で示した馬蹄形の内側は人間が知覚できる色領域を示す。符号１２１で示した三角形の内側はｓＲＧＢ色空間で再現できる色再現域を示し、符号１２２で示した三角形の内側は拡張色空間で再現できる色再現域を示す。リニアマトリックスの値（図１０で説明したリニアマトリックス回路９２、１０２におけるマトリックスの値）を変えることによって再現できる色の領域を変化させることができる。
【０１１５】
本実施形態では、ｓＲＧＢ以外の色空間を対象とした用途、例えば、プリント用途などにおいて、高感度画像データのみならず、同時露光で得られた低感度画像データを画像加工で利用することで色再現域や輝度再現域を拡張し、一層好ましい画像を作成する。再現域に応じて異なるガンマを持たせることにより、異なるダイナミックレンジに対応した別々の画像を作ることができる。
【０１１６】
ｓＲＧＢ色再現域に対するエンコード式と、拡張色再現域に対するエンコード式とを図１３に示す。例えば、同図の下段（Ｃａｓｅ２）に示すように、エンコード条件を負値や１以上の値にも対応させることによって、再現できる輝度域に応じたファイルを作成することができる。低感度画像データについては、拡張された再現域に対応したエンコード条件に従って信号処理が行われ、ファイルが生成される。
【０１１７】
なお、ハイライト情報は、微妙な情報を持つのでビットの深さが重要である。したがって、ｓＲＧＢに対応するデータを例えば８ビットで記録し、拡張された再現域に対応したデータについてはそれよりもビット数の大きい例えば１６ビットで記録することが好ましい。
【０１１８】
図１４は、記録メディア５２のディレクトリ（フォルダ）構造の一例を示す図である。カメラ５０はＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ： 社団法人日本電子工業振興協会〔ＪＥＩＤＡ 〕において規定されたデジタルカメラの統一記録フォーマット） 規格に従って画像ファイルを記録する機能を備えている。
【０１１９】
図１４のようにルートディレクトリ直下にディレクトリ名「ＤＣＩＭ」を持つＤＣＦ イメージルートディレクトリが形成され、ＤＣＦ イメージルートディレクトリの直下に少なくとも１つのＤＣＦ ディレクトリが存在する。ＤＣＦ ディレクトリは、ＤＣＦ オブジェクトである画像ファイルを格納するためのディレクトリである。ＤＣＦ ディレクトリ名は、ＤＣＦ 規格に従い３文字のディレクトリ番号とこれに続く５文字の自由文字（合計８文字）で定義される。ＤＣＦ ディレクトリ名はカメラ５０によって自動生成されてもよいし、ユーザが指定又は変更できる構成にしてもよい。
【０１２０】
カメラ５０で生成された画像ファイルは、ＤＣＦの命名規則等にしたがって自動生成されるファイル名が付与され、指定された又は自動選択されたＤＣＦ ディレクトリに格納される。ＤＣＦ 命名規則に従うＤＣＦ ファイル名は、４文字の自由文字とこれに続く４文字のファイル番号で定義される。
【０１２１】
広ダイナミックレンジ記録モードによって取得された高感度画像データと低感度画像データからそれぞれ作成された二つの画像ファイルは相互に関連付けられて記録される。例えば、高感度画像データから作成された一方のファイル（通常の標準的な再現域に対応したファイル、以下、標準画像ファイルという。）についてはＤＣＦ 命名規則に従って「ＡＢＣＤ＊＊＊＊．ＪＰＧ」と命名し（「＊＊＊＊」はファイル番号） 、これと同時撮像で得られた低感度画像データから作成された他方のファイル（拡張再現域に対応したファイル、以下、拡張画像ファイルという。）については、標準画像ファイルのファイル名（ 「． ＪＰＧ 」を除いた８ 文字列） の末尾に「ｂ 」を付加して「ＡＢＣＤ＊＊＊＊ｂ．ＪＰＧ 」と命名する。このように名前を関連づけて保存しておくことにより、出力時の特性に適したファイルを選択して使うことが可能である。
【０１２２】
なお、ファイル名の関連付け方法の他の例として、標準画像ファイルのファイル名の末尾にも「ａ 」などの文字を付加してもよい。ファイル番号の後ろに付加する文字列を変えることによって標準画像ファイルと拡張画像ファイルとを区別することができる。また、ファイル番号に先行する自由文字の部分を変更する態様がある。その他、標準画像ファイルと拡張画像ファイルとで拡張子を変更する態様もある。少なくともファイル番号の部分を共通にしておくことで二つのファイルの関連性を確保できる。
【０１２３】
拡張画像ファイルの記録形式は、ＪＰＥＧ形式に限定されない。図１２に示されているように、ｓＲＧＢ色空間と拡張色空間とでは大部分の色は共通である。したがって、撮像された画像をｓＲＧＢ色空間用と拡張色空間用とにそれぞれエンコードし、その差をとると画像の殆どのピクセルは「０」値となる。したがって、この差分に対して例えばハフマン圧縮を行い、一方を標準デバイスのｓＲＧＢ画像ファイル、もう一つのファイルを差分画像とすることで、拡張色空間に対応できると同時に記録容量を減らすことができる。
【０１２４】
図１５には低感度像データを上記のように差分画像として記録する態様のブロック図が示されている。図１５中図１０と同一又は類似の構成については同一の符号を付し、その説明は省略する。
【０１２５】
高感度画像データから生成された画像と低感度画像データから生成された画像とを差分処理回路１３２に送り、こられの画像の差分画像を生成する。差分処理回路１３２で生成された差分画像は圧縮回路１３３に送られ、ここでＪＰＥＧとは異なる所定の圧縮方法に従って圧縮処理される。圧縮回路１３３で生成された圧縮画像データのファイルは記録メディア５２に記録される。
【０１２６】
図１６は、再生系の構成を示したブロック図である。記録メディア５２に記録されている情報はメディアインターフェース部１４０を介して読み取られる。メディアインターフェース部１４０は、バスを介してＣＰＵ５６と接続されており、ＣＰＵ５６の指令に従い記録メディア５２の読み書きに必要な信号の受渡しを行うために所要の信号変換を行う。
【０１２７】
記録メディア５２から読み出された標準画像ファイルの圧縮データは伸張処理部１４２において伸張処理され、メモリ６２上の高感度画像データ復元領域６２Ｃに展開される。伸張された高感度画像データは表示変換回路１４６に送られる。表示変換回路１４６は、表示部５４の解像度に合わせて画像サイズを変換する縮小処理部と、縮小処理部で生成された表示用画像を表示用の所定の信号形式に変換する表示信号生成部とを含む。
【０１２８】
表示変換回路１４６において表示用の所定の信号形式に変換された信号は表示部５４に出力される。こうして、表示部に再生画像が表示される。通常は、標準画像ファイルのみを再生して表示部に表示させる。
【０１２９】
また、標準画像ファイルと関連付けられている拡張画像ファイルを利用して再現域の広い画像を作成する場合には、標準画像ファイルを伸張して得たデータからＲＧＢＧの高感度画像データを復元し、これをメモリ６２上の高感度画像データ復元領域６２Ｄに記憶する。
【０１３０】
更に、記録メディア５２から拡張画像ファイルが読み出され、伸張処理部１４８において伸張処理された後、ＲＧＢの低感度画像データに復元され、メモリ６２上の低感度画像データ復元領域６２Ｅに記憶される。こうしてメモリ６２上に記憶された高感度画像データと低感度画像データとが読み出され、合成処理部（画像加算部）１５０に送られる。
【０１３１】
合成処理部１５０は、高感度画像データに係数を乗算する乗算部と、低感度画像データに係数を乗算する乗算部と、係数乗算後の高感度画像データと低感度画像データとを加算（合成）する加算部と、を含む処理部である。高感度画像データ及び低感度画像データに乗算される各係数（加算割合を示す係数）はＣＰＵ５６によって可変設定される。
【０１３２】
合成処理部１５０で生成された信号はガンマ変換部１５２に送られる。ガンマ変換部１５２は、ＣＰＵ５６の制御に従いＲＯＭ６０内のデータを参照して、所望のガンマ特性となるように入出力特性を変換する。ＣＰＵ５６は画像出力時の再現域に合わせてガンマ特性を切り換える制御を行う。ガンマ補正された画像信号はＹＣ変換部１５３に送られ、ＲＧＢ信号から輝度（Ｙ）信号及び色差信号（Ｃｒ，Ｃｂ ）に変換される。
【０１３３】
ＹＣ変換部１５３で生成された輝度・色差信号（ＹＣｒ Ｃｂ ）は、各種補正部１５４に送られる。各種補正部１５４において輪郭強調（アパーチャ補正）、色差マトリックスによる色補正など所要の補正処理が施されて最終画像が生成される。こうして生成された最終画像のデータは表示変換回路１４６に送られ、表示用の信号に変換された後、表示部５４に出力される。
【０１３４】
図１６ではカメラ５０に搭載されている表示部５４に画像を再生表示する例を述べたが、外部の画像表示装置に画像を再生表示させることも可能である。また、画像閲覧用のアプリケーションプログラムを組み込んだパソコンや専用の画像再生装置、或いはプリンターなどを用いて図１６と同様の処理フローを実現することにより、標準画像の再現並びに拡張された再現域に対応した画像の再現が可能である。
【０１３５】
図１７は高感度画像データと低感度画像データとを合成して得られる最終画像（合成画像データ）のレベルと相対的被写体輝度との関係を示すグラフである。
【０１３６】
相対的被写体輝度は、高感度画像データが飽和するときのレベルを与える被写体輝度を１００ ％として、これを基準に被写体輝度を表したものである。図１７では、画像データを８ビット（０〜 ２５５）で表現しているが、ビット数はこれに限定されない。
【０１３７】
合成画像のダイナミックレンジは、ユーザインターフェースを通じて設定される。本例では、ダイナミックレンジをＤ０ からＤ５ までの６段階に設定できるものとする。人間の感覚は略ｌｏｇスケールで効いてくるので、ｌｏｇ（対数）の関数をとったときに略リニアになるように、再現ダイナミックレンジを例えば、相対被写体輝度で１００％−１３０％−１７０％−２２０％−３００％−４００％という具合に段階的に切り替えることができるように構成されている。
【０１３８】
もちろん、ダイナミックレンジの設定段数は本例に限定されず、任意の段階数に設計することが可能であるし、連続的な設定（無段階）も可能である。
【０１３９】
ダイナミックレンジの設定に応じて、ガンマ回路のガンマ係数や加算時の合成パラメータ、色差信号マトリックス回路のゲイン係数などが制御される。カメラ５０内の不揮発性メモリ（ＲＯＭ６０又はＥＥＰＲＯＭ６４）には、設定されるダイナミックレンジに対応した各種パラメータ、係数等を規定したテーブルデータが格納されている。
【０１４０】
図１８及び図１９にはダイナミックレンジ選択操作時のユーザインターフェースの例が示されている。図１８に示した例では、メニュー画面から遷移したダイナミックレンジ設定画面においてダイナミックレンジを指定する入力ボックス１６０が表示される。十字ボタンなど所定の操作手段を用いて入力ボックス１６０横のプルダウンメニューボタン１６２を選択すると、図示のように選択可能なダイナミックレンジの値（相対的被写体輝度）を示すプルダウンメニュー１６４が表示される。
【０１４１】
このプルダウンメニュー１６４の中から十字ボタンによって所望のダイナミックレンジを選択し、ＯＫボタンを押すことにより、ダイナミックレンジが設定される。
【０１４２】
図１９に示した他の例では、ダイナミックレンジ設定画面上に入力ボックス１７０とＤレンジパラメータ軸１７２が表示される。十字ボタンなどの操作手段を使用して、Ｄレンジパラメータ軸１７２に沿ってスライダ１７４を移動させることにより、１００ ％から最大４００ ％までの範囲でダイナミックレンジを任意に指定することができる。スライダ１７４の位置に応じて入力ボックス１７０に示されるダイナミックレンジの設定値が変更される。所望の設定値が得られたら、画面下の操作案内に従ってＯＫボタンを押し、設定処理を確定（実行）させる。なお、キャンセルボタンを押すと、設定処理が取り消され、元の設定状態に戻る。
【０１４３】
図１８及び図１９では表示部５４の画面上でダイナミックレンジの選択操作を行う例を述べたが、ダイヤル式のスイッチやスライドスイッチ、或いはプッシュ式のスイッチなどの操作部材によってダイナミックレンジの選択を行う態様も可能である。
【０１４４】
また、撮影シーンによって必要とされるダイナミックレンジが異なるので、撮像した画像を解析してダイナミックレンジを自動設定する態様もある。更に、ポートレートモード、夜景モードなどの撮影モードに応じて自動的にダイナミックレンジの設定を切り替える態様も可能である。
【０１４５】
何％までの情報を記録したかというダイナミックレンジの情報は画像データとともにファイルのヘッダー等に記録される。ダイナミックレンジ情報は、標準画像ファイル及び拡張画像ファイルの両方に記録してもよいし、何れか一方のファイルに記録してもよい。
【０１４６】
画像ファイル内にダイナミックレンジ情報を付加しておくことにより、プリンター等の画像出力装置においてその情報を読み込み、合成処理、ガンマ変換、色補正などの処理内容を変えて最適な画像を作成することが可能になる。
【０１４７】
プリント用途であっても、ポートレート用には階調の柔らかい、好ましい肌色を再現する画像が好まれるので、写真の用途別に、例えば、商業コマーシャル用写真と、ポートレート、或いは、屋内撮影用と屋外撮影用というように用途に応じて拡張画像を作成することが有用である。これを実現するために、図１８及び図１９で説明したように、カメラ５０において拡張画像の輝度再現域を指定し得るユーザインターフェースを設け、使用用途や撮影状況に応じてユーザに選択させる構成となっている。
【０１４８】
次に、上記の如く構成されたカメラ５０の動作について説明する。
【０１４９】
図２０乃至図２２は、カメラ５０の制御手順を示したフローチャートである。撮影モードを選択した状態でカメラ電源をＯＮしたとき、又は再生モードから撮影モードに切り替えられたときに、図２０の制御フローがスタートする。
【０１５０】
撮影モードの処理がスタートすると（ステップＳ２００）、ＣＰＵ５６はまず、表示部５４にスルー画を表示させるモードが選択されているか否かの判定を行う（ステップＳ２０２）。セットアップ画面等において撮影モード起動時に表示部５４をＯＮするモード（スルー画ＯＮモード）が選択されている場合には、ステップＳ２０４に進み、ＣＣＤ２０を含む撮像系に電源が供給され、撮像可能な状態になる。このとき、ＣＣＤ２０はスルー画表示用の連続撮像を行うために一定の撮像周期で駆動される。
【０１５１】
本例のカメラ５０は表示部５４においてＮＴＳＣ方式のビデオ信号を利用しており、フレームレートが３０フレーム／秒に設定されている（２フィールドで１フレームを構成するため１フィールド＝１／６０秒）。当該カメラ５０の場合、同じ画像を２フィールド表示させる方式を採用しているため１／３０秒ごとに画像内容が更新される。この周期で１画面の画像データを更新するために、スルー画時においてはＣＣＤ２０の垂直駆動（ＶＤ）パルスの周期が１／３０秒に設定される。ＣＰＵ５６はタイミング発生器８２に対してＣＣＤ駆動モードの制御信号を与え、タイミング発生器８２によってＣＣＤ駆動用の信号が生成される。こうして、ＣＣＤ２０による連続撮像が開始され、表示部５４にスルー画が表示される（ステップＳ２０６）。
【０１５２】
スルー画の表示中、ＣＰＵ５６はシャッターボタンからの信号入力を監視し、Ｓ１ スイッチがＯＮしたか否かの判定を行う（ステップＳ２０８）。Ｓ１ スイッチがＯＦＦの状態であれば、ステップＳ２０８の処理がループし、スルー画表示状態が維持される。
【０１５３】
ステップＳ２０２においてスルー画ＯＦＦ（非表示）の設定になっている場合には、ステップＳ２０４〜ステップＳ２０６を省略してステップＳ２０８に進む。
【０１５４】
その後、撮影者によってシャッターボタンが押され、撮影準備の指示が入力されると（ＣＰＵ５６がＳ１ ＝ＯＮを検出すると）、ステップＳ２１０に進み、ＡＥ及びＡＦ処理を行う。なお、このときＣＰＵ５６は、ＣＣＤ駆動モードを１／６０秒に変更する。ＣＣＤ２０からの画像取り込み周期が短くなり、高速にＡＥ・ＡＦ処理を実施することができる。ここで設定されるＣＣＤ駆動周期は、１／６０秒に限らず、１／１２０秒など適宜の値に設定可能である。ＡＥ処理によって撮影条件が決定され、ＡＦ処理によってフォーカス調整が行われる。
【０１５５】
その後、ＣＰＵ５６はシャッターボタンのＳ２ スイッチからの信号入力を判定する（ステップＳ２１２）。ステップＳ２１２でＳ２ スイッチがＯＮしていない場合は、Ｓ１ が解除されたか否かを判定する（ステップＳ２１４）。ステップＳ２１４でＳ１ が解除されていれば、ステップＳ２０８に戻り、撮影指示の入力待ち状態になる。
【０１５６】
一方、ステップＳ２１４でＳ１ が解除されていなければステップＳ２１２に戻り、Ｓ２ ＝ＯＮの入力を待機する。ステップＳ２１２においてＳ２ ＝ＯＮの入力が検出されると、図２１に示すステップＳ２１６に進み、記録用画像を取得するための撮影動作（ＣＣＤ露光）が実行される。
【０１５７】
次いで、広ダイナミックレンジ記録を行うモードであるか否かを判定し、設定モードに応じて処理が制御される。Ｄレンジ拡大モードスイッチなど所定の操作手段によって広ダイナミックレンジ記録モードが選択されている場合には、まず、主感光画素２１から信号の読み出しが行われ（ステップＳ２２０）、その画像データ（主感光部データ）は第１画像メモリ６２Ａに書き込まれる（ステップＳ２２２）。
【０１５８】
次に、従感光画素２２から信号の読み出しが行われ（ステップＳ２２４）、その画像データ（従感光部データ）は第２画像メモリ６２Ｂに書き込まれる（ステップＳ２２６）。
【０１５９】
その後、主感光部データと従感光部データとのそれぞれについて図１０又は図１５で説明したとおり、所要の信号処理が施される（ステップＳ２２８、Ｓ２３０）。主感光部データから生成された標準再現用の画像ファイルと従感光部データから生成された拡張再現用の画像ファイルとがそれぞれ関連付けられて記録メディア５２に記録される（ステップＳ２３２、Ｓ２３４）。
【０１６０】
その一方、ステップＳ２１８において広ダイナミックレンジ記録を行わない通常の記録モードの場合には、主感光画素２１のみから信号の読み出しが行われる（ステップＳ２４０）。主感光部データは第１画像メモリ６２Ａに書き込まれ（ステップＳ２４２）、その後、主感光部データの処理が行われる（ステップＳ２４８）。ここでは、図１０で説明した所要の信号処理を経て、主感光部データのみから画像を作成する通常の処理が行われる。ステップＳ２４８で生成された画像データは、所定のファイルフォーマットに従って記録メディア５２に記録される（ステップＳ２５２）。
【０１６１】
ステップＳ２３４又はステップＳ２５２において画像の記録処理が完了したら、ステップＳ２５６に進み、撮影モードの解除操作が行われたか否かの判定を行う。撮影モードの解除操作が行われた場合には、撮影モードを終了する（ステップＳ２６０）。また、撮影モードの解除操作が行われていなければ撮影モードの状態が維持され、図２０のステップＳ２０２に戻ることになる。
【０１６２】
図２２は、図２１のステップＳ２３０に示した従感光画素データの処理手順に関するサブルーチンのフローチャートである。図２２に示したように、従感光画素データの処理がスタートすると（ステップＳ３００）、まず、画面内を複数の積算エリアに分割する設定処理を行い（ステップＳ３０２）、各エリアについてＧ（緑）成分の平均値を算出し、Ｇ成分の最大値（Ｇｍａｘ ）を求める（ステップＳ３０４）。
【０１６３】
こうして得られたエリアの積算情報から被写体の輝度レンジを検出する（ステップＳ３０６）。その一方、所定のユーザインターフェースから設定されたダイナミックレンジ設定情報（何％までダイナミックレンジを広げるかという設定情報）が読み込まれる（ステップＳ３０８）。ステップＳ３０６で検出した被写体の輝度レンジと、ステップＳ３０８で読み込んだダイナミックレンジ設定情報とに基づいて、最終的なダイナミックレンジが決定される（ステップＳ３１０）。例えば、ダイナミックレンジ設定情報が示す設定Ｄレンジを上限として、被写体の輝度レンジに応じてダイナミックレンジが自動決定される。
【０１６４】
その後、ホワイトバランス処理によって各色チャンネルの信号レベルが調整される（ステップＳ３１２）。また、決定されたダイナミックレンジに対応して、ガンマ補正係数や色補正係数などの各種パラメータがテーブルデータに基づいて決定される（ステップＳ３１４）。
【０１６５】
決定されたパラメータに従ってガンマ変換その他の処理が行われ（ステップＳ３１６）、拡張再現用の画像データが生成される（ステップＳ３１８）。ステップＳ３１８の後は図２１のフローチャートに復帰する。
【０１６６】
このようにして記録メディア５２に記録した画像の再生に際しては、再現範囲を切り替え可能な構成とし、必要に応じて標準再現用画像と拡張画像とを切り替えて出力することができるようにすることが好ましい。この場合、拡張画像の再現に際しては、主要被写体の明るさが標準再現用の画像のそれと略同じになるようにガンマを調整し、高輝度部について階調を与える。これにより、主要被写体部分の印象を変えることなく、高輝度部分について標準再現用画像と拡張画像との差異を確認することができる。
【０１６７】
また、標準再現用画像を表示部５４に表示するときに、拡張再現用の情報が記録されているか否かを判断し、拡張情報が記録されている（関連付けのファイルが存在する）場合には、両者の差分に相当する部分について図２３のように、強調表示１８０を行う。
【０１６８】
例えば、高感度画像データと低感度画像データとの差分をとり、差分が正の値の部分（再現域を拡張する拡張情報が含まれている部分）について、その部分だけ特殊な表示（強調表示）を行う。強調表示の態様は、該当部分の点滅、囲い込み表示、明るさの変更、色調の変更、或いはこれらの組み合わせなど、対象領域を他の領域と識別できるようなものであればよく、具体的な表示形態については特に限定されない。
【０１６９】
このように、関連付けされている拡張情報を用いて、より詳細な再現が可能な領域部分を可視化することにより、ユーザは画像再現の拡張性を把握することができる。
【０１７０】
上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、ビデオカメラ、ＤＶＤカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の撮影装置についても本発明を適用できる。
【０１７１】
また、図１６で説明した画像再生の手段については、プリンターや画像閲覧装置などの出力装置に応用することができる。すなわち、図１６の表示変換回路１４６及び表示部５４に代えて、プリント用画像生成部及びプリント部とするなど、出力用画像を生成する画像生成部と、そこで生成された画像を最終的に出力する出力部とを備えることにより、拡張情報を活用した良好な画像を得ることができる。
【０１７２】
【発明の効果】
以上説明したように本発明によれば、相対的に狭いダイナミックレンジを有する主感光画素から得られる第１の画像情報と、相対的に広いダイナミックレンジを有する従感光画素から得られる第２の画像情報とをそれぞれ記録可能とし、ユーザ自身が第２の画像情報について記録の要否を選択することができるようにしたので、撮影シーンや撮影目的に応じて良好な画像を得ることができる。
【０１７３】
また、本発明によれば、前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段を設け、前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更し得る構成にしたので、撮像シーンや撮影意図などに応じてユーザ自身が記録時のダイナミックレンジを決定できる。
【０１７４】
更に、第２の画像情報のダイナミックレンジ情報を第１の画像情報のファイル内及び／又は第２の画像情報のファイル内に記録しておくことにより、画像再生時の情報合成を円滑に行うことができる。
【図面の簡単な説明】
【図１】本発明が適用される電子カメラに用いられるＣＣＤ撮像素子の受光面の構造例を示す平面図
【図２】図１の２−２線に沿う断面図
【図３】図１の３−３線に沿う断面図
【図４】図１に示すＣＣＤの全体構成を示す平面模式図
【図５】ＣＣＤの他の構造例を示す平面図
【図６】図５の６−６線に沿う断面図
【図７】ＣＣＤの更に他の構造例を示す平面図
【図８】主感光画素と従感光画素の光電変換特性を示すグラフ
【図９】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図１０】図９に示した信号処理部の詳細構成を示すブロック図
【図１１】ｓＲＧＢ色空間を対象とした光電変換特性を示すグラフ
【図１２】ｓＲＧＢ色空間と拡張色空間の例を示した図
【図１３】ｓＲＧＢ色再現域に対するエンコード式と拡張色再現域に対するエンコード式とを示す図表
【図１４】記録メディアのディレクトリ（フォルダ）構造の一例を示す図
【図１５】低感度像データを差分画像として記録する態様例を示すブロック図
【図１６】再生系の構成を示したブロック図
【図１７】高感度画像データと低感度画像データとを合成して得られる最終画像（合成画像データ）のレベルと相対的被写体輝度との関係を示すグラフ
【図１８】ダイナミックレンジ選択操作時のユーザインターフェースの例を示す図
【図１９】ダイナミックレンジ選択操作時のユーザインターフェースの例を示す図
【図２０】本例のカメラの制御手順を示したフローチャート
【図２１】本例のカメラの制御手順を示したフローチャート
【図２２】本例のカメラの制御手順を示したフローチャート
【図２３】広ダイナミックレンジ撮像により得られた画像の表示例を示す図
【符号の説明】
２０…ＣＣＤ、２１…フォトダイオード領域（主感光画素）、２２…フォトダイオード領域（従感光画素）、２３…垂直転送路、４０…カラーフィルタ層、４１…マイクロレンズ、５２…記録メディア、５４…表示部、５６…ＣＰＵ、６２…メモリ、９７…ＪＰＥＧ圧縮回路、１０５…積算回路、１０６…Ｄレンジ算出回路、１１０…ＪＰＥＧ圧縮回路、１３２…差分処理回路、１３３…圧縮回路、１８０…強調表示
【発明の属する技術分野】
本発明は画像処理装置及び方法に係り、特にデジタル入力デバイスにおける画像の保存、再生に関する装置、方法並びにこれを実現するコンピュータプログラムに関する。
【０００２】
【従来の技術】
特許文献１に開示された画像処理装置は、同じ被写体を異なる露光量で複数回撮像して得られた複数の画像データから標準画像と非標準画像を作り、非標準画像からダイナミックレンジ拡大に必要な領域を判別し、その部分を圧縮して保存することを特徴としている。
【０００３】
特許文献２乃至４には、ｓＲＧＢに代表される標準的な色空間よりも更に色再現域の広い色空間での画像再現を実現するために、拡張色再現域の情報を記録する方法が提案されている。すなわち、制限された色域を有する色空間の色値を有する制限色域デジタル画像データと、その制限色域の外側の色値を有する拡張色域デジタル画像との差分情報を制限色域デジタル画像データに関連付けて記録している。
【０００４】
【特許文献１】
特開平８−２５６３０３号公報
【０００５】
【特許文献２】
米国特許第６２８２３１１号明細書
【０００６】
【特許文献３】
米国特許第６２８２３１２号明細書
【０００７】
【特許文献４】
米国特許第６２８２３１３号明細書
【０００８】
【発明が解決しようとする課題】
一般的なデジタルスチルカメラにおいては、ＣＣＩＲ Ｒｅｃ７０９ で定められた光電変換特性を基本にして階調設計がなされている。こうすることで、パソコン（ＰＣ）用ディスプレイの実質上の標準色空間であるｓＲＧＢ色空間で再現された場合に良好な画像を提供することを目標にして画像設計がなされている。
【０００９】
一方、実シーンにおいては、晴天の日、曇りの日、夜間などのように、輝度域は １：１００ のときもあれば、 １：１００００ を越す場合もある。従来用いられている通常のＣＣＤ撮像素子は、このような広い輝度レンジから情報を一度に取得することができない。そのため、自動露出（ＡＥ）制御によって、最適な輝度の切り出し範囲を決め、先に定めた光電変換特性に応じた電気信号に変換し、ＣＲＴのようなディスプレイに画像を再現させるように構成されている。あるいは特許文献１に開示されているように、露光を変えて複数枚撮影することで広いダイナミックレンジを確保している。しかし、この複数露光の技術は静止している物体の撮影にしか適用できない。
【００１０】
ところで、ブライダル衣裳（白のウエディングドレス）の撮影、自動車のような金属光沢のある被写体の撮影、近接ストロボでの撮影、更には逆光撮影のような特殊な被写体又は撮影状況においては、露出を主要被写体に適切に合わせることが困難であり、広い輝度レンジをカバーした高画質の画像を得ることができない。このようなシーンについては、撮影した画像を後で（プリント工程で）補正するシステムを用い、より広いダイナミックレンジで画像を記録し、その情報をもとにプリント時に最適な画像を作成する方が好都合な画像が得られることが多い。
【００１１】
しかしながら、このような場合でも現状のような限られたダイナミックレンジの画像情報からでは十分な画質が得られないという問題がある。
【００１２】
本発明はこのような事情に鑑みてなされたもので、通常のＰＣ出力などについては定められたダイナミックレンジの画像で表示を行い、デスクトップパブリッシングのプリント用途など特別な用途に対して、必要に応じて更に広ダイナミックレンジ撮像で得られた情報から画像処理により最適な画像を作成できるような画像処理装置、方法及びプログラムを提供することを目的とする。
【００１３】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段と、前記主感光画素から得られた第１の画像情報及び前記従感光画素から得られた第２の画像情報をそれぞれ記録する情報記録手段と、前記第２の画像情報を記録するか否かの選択を行う選択手段と、前記選択手段の選択に従い前記第１の画像情報及び前記第２の画像情報の記録処理を制御する記録制御手段と、を備えたことを特徴とする。
【００１４】
本発明に用いられる撮像手段は、主感光画素と従感光画素とを組み合わせた複合画素の構造を有している。主感光画素と従感光画素とは光学的に同位相の情報を取得することができ、一回の撮像によってダイナミックレンジの異なる二つの画像情報を取得することができる。ユーザはより広いダイナミックレンジを有する第２の画像情報について記録の必要性を判断し、所定のユーザインターフェースを通じて記録の要否を選択する。例えば、ユーザが記録不要の選択を行った場合には、第１の画像情報のみを記録する記録モードとなり、第２の画像情報の記録処理は行われない。その一方、ユーザが第２の画像情報を記録する旨の選択を行った場合には、第１の画像情報及び第２の画像情報を記録するモードとなり、第１及び第２の画像情報がそれぞれ記録される。これにより、撮影シーンや撮影目的に応じて良好な画像を得ることができる。
【００１５】
本発明の一態様によれば、前記第１の画像情報と前記第２の画像情報とは互いに関連付けされた二つのファイルとして別々に記録されることを特徴とする。
【００１６】
再生時において必要に応じて関連付けファイルの第２の画像情報を利用することにより、拡張された再現域による画像再現が可能となる。
【００１７】
本発明の他の態様によれば、前記第２の画像情報は前記第１の画像情報との差分データとして前記第１の画像情報のファイルとは別のファイルに記録されることを特徴とする。差分情報を記録することによりファイルの容量を小さくすることができる。
【００１８】
また、前記第２の画像情報を前記第１の画像情報とは異なる圧縮方式で圧縮することによってファイル容量を小さくする態様もある。
【００１９】
本発明の更に他の態様は、上記構成に加えて、前記第２の画像情報のダイナミックレンジ情報を前記第１の画像情報及び前記第２の画像情報のうち少なくとも一方の画像情報とともに記録するＤレンジ情報記録手段を備えたことを特徴とする。
【００２０】
第２の画像情報のダイナミックレンジ情報（例えば、第１の画像情報のダイナミックレンジに対して何倍のダイナミックレンジを記録するかという情報）を第１の画像情報のファイル内に、又は第２の画像情報のファイル内に、或いはこれら両方のファイル内に付加情報として記録しておく態様が好ましい。これにより、画像再生時の情報合成を円滑に行うことができる。
【００２１】
また、他の態様によれば、画像処理装置において更に、前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段と、前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更するＤレンジ可変制御手段と、を備えたことを特徴としている。
【００２２】
撮像シーンや撮影意図などに応じてユーザ自身が記録時のダイナミックレンジを決定できる構成とする態様が好ましい。
【００２３】
本発明の他の態様に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段と、前記主感光画素から得られた信号に基づいて第１の出力装置による画像出力を目標として第１の画像情報を生成する第１の画像信号処理手段と、前記従感光画素から得られた信号に基づいて前記第１の出力装置と異なる第２の出力装置による画像出力を目標として第２の画像情報を生成する第２の画像信号処理手段と、を備えたことを特徴とする。
【００２４】
例えば、前記第１の画像情報はｓＲＧＢ規格のディスプレイに出力することを目標としてガンマ特性及びエンコード特性が設定され、前記第２の画像情報はｓＲＧＢよりも広い再現域のプリント出力に適した特性を持たせるようにガンマ特性及びエンコード特性が設定される態様がある。
【００２５】
標準的な画像出力を目標とした前記第１の画像情報と、拡張された再現域の画像出力を目標とした前記第２の画像情報とを記録する場合に、第２の画像情報について第１の画像情報よりも微妙な情報を持たせるために、第２の画像情報を第１の画像情報より深いビットの値で記録する態様が好ましい。
【００２６】
本発明の他の態様は、上記構成に加えて、前記第２の画像情報の再現域を指定する再現域設定操作手段と、前記再現域設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更する再現域可変制御手段と、を備えたことを特徴とする。これにより、ユーザ自身が記録画像の再現域（輝度再現域や色再現域など）を自由に決定できる。
【００２７】
本発明の更に他の態様に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段と、前記主感光画素から得られる第１の画像情報及び前記従感光画素から得られる第２の画像情報の記録処理を制御する記録制御手段と、前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段と、前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現輝度域を変更するＤレンジ可変制御手段と、を備えたことを特徴とする。
【００２８】
また、本発明に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示出力するための画像表示手段と、前記主感光画素から得られた第１の画像情報と前記従感光画素から得られた第２の画像情報とを切り替えて前記画像表示手段に表示させる表示制御手段と、を備えたことを特徴とする。
【００２９】
第１の画像情報から作成された第１の画像（例えば、標準再現域画像）と、第２の画像情報を用いて作成された第２の画像（例えば、拡張再現域画像）とを必要に応じて切り替えて表示部に出力することにより、第１の画像と第２の画像との差異を表示画面上で確認することができる。
【００３０】
この場合、主要被写体の明るさが略同じになるように、ガンマを変えて表示画像を作成することが好ましい。
【００３１】
本発明の他の態様に係る画像処理装置は、相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示出力するための画像表示手段と、前記主感光画素から得られた第１の画像情報を前記画像表示手段に表示させるとともに、当該第１の画像情報に対して前記第２の画像情報によって再現域が拡張される画像部分を該第１の画像情報の表示画面上で強調表示させる表示制御手段と、を備えたことを特徴とする。
【００３２】
第１の画像情報を画像表示手段に表示し、当該第１の画像情報について第２の画像情報と第１の画像情報の差分があるか否かを判断し、差分がある場合に該当する部分について点滅、枠線による囲い込み表示、明るさ（濃淡）の変更、色調の変更などの強調表示を行う。
【００３３】
本発明の画像処理装置において、前記撮像手段は、各受光セルが少なくとも前記主感光画素及び前記従感光画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記主感光画素及び前記従感光画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられている態様が好ましい。
【００３４】
かかる構造の撮像手段は、同一受光セル（画素セル）内の主感光画素と従感光画素の画素位置は略同一の位置にあるものとして取り扱うことができる。したがって、時間的に同位相で空間的にも略同位置の二つの画像情報を１回の撮像で取得することができる。
【００３５】
本発明の画像処理装置は、デジタルカメラやビデオカメラなどの電子カメラに搭載することも可能であるし、コンピュータによって実現することも可能である。上述した画像処理装置を構成する各手段をコンピュータによって実現させるためのプログラムをＣＤ−ＲＯＭや磁気ディスクその他の記録媒体に記録し、記録媒体を通じて当該プログラムを第三者に提供したり、インターネットなどの通信回線を通じて当該プログラムのダウンロードサービスを提供したりすることも可能である。
【００３６】
【発明の実施の形態】
以下添付図面に従って本発明の好ましい実施の形態について詳説する。
【００３７】
〔撮像素子の構造〕
まず、本発明が適用される電子カメラに用いられる広ダイナミックレンジ撮像用の撮像素子の構造について説明する。図１はＣＣＤ２０の受光面の構造例を示す平面図である。図１では２つの受光セル（画素ＰＩＸ）が横に並んでいる様子を示すが、実際には多数の画素ＰＩＸが水平方向（行方向）及び垂直方向（列方向）に一定の配列周期で配列されている。
【００３８】
各画素ＰＩＸは、感度の異なる２つのフォトダイオード領域２１、２２を含む。第１のフォトダイオード領域２１は、相対的に広い面積を有し、主たる感光部（以下、主感光画素という）を構成する。第２のフォトダイオード領域２２は、相対的に狭い面積を有し、従たる感光部（以下、従感光画素という。）を構成する。画素ＰＩＸの右側には垂直転送路（ＶＣＣＤ）２３が形成されている。
【００３９】
図１に示した構成はハニカム構造の画素配列であり、図示した２つの画素ＰＩＸ上側及び下側には不図示の画素が横方向に半ピッチずれた位置に配置される。図１上に示した各画素ＰＩＸの左側に示されている垂直転送路２３は、これら画像ＰＩＸの上側及び下側に配置される不図示の画素からの電荷を読み出し、転送するためのものである。
【００４０】
図１中点線で示すように、四相駆動（φ１，φ２，φ３，φ４）に必要な転送電極２４、２５、２６、２７（まとめてＥＬで示す。）が垂直転送路２３の上方に配置される。例えば、２層ポリシリコンで転送電極を形成する場合、φ１ のパルス電圧が印加される第１の転送電極２４と、φ３ のパルス電圧が印加される第３の転送電極２６とは第１層ポリシリコン層で形成され、φ２ のパルス電圧が印加される第２の転送電極２５と、φ４ のパルス電圧が印加される第４の転送電極２７とは第２層ポリシリコン層で形成される。なお、転送電極２４は従感光画素２２から垂直転送路２３への電荷読み出しも制御する。転送電極２５は主感光画素２１から垂直転送路２３への電荷読み出しも制御する。
【００４１】
図２は図１の２−２線に沿う断面図であり、図３は図１の３−３線に沿う断面図である。図２に示したように、ｎ型半導体基板３０の一表面にｐ型ウエル３１が形成されている。ｐ型ウエル３１の表面領域に２つのｎ型領域３３、３４が形成され、フォトダイオードを構成している。符号３３で示したｎ型領域のフォトダイオードが主感光画素２１に相当し、符号３４で示したｎ型領域のフォトダイオードが従感光画素２２に相当している。ｐ＋ 型領域３６は、画素ＰＩＸ、垂直転送路２３等の電気的な分離を行うチャネルストップ領域である。
【００４２】
図３に示すように、フォトダイオードを構成するｎ型領域３３の近傍に垂直転送路２３を構成するｎ型領域３７が配置されている。ｎ型領域３３、３７の間のｐ型ウエル３１が読み出しトランジスタを構成する。
【００４３】
半導体基板表面上には酸化シリコン膜等の絶縁層が形成され、その上にポリシリコンで形成された転送電極ＥＬが形成される。転送電極ＥＬは、垂直転送路２３の上方を覆うように配置されている。転送電極ＥＬの上に、更に酸化シリコン等の絶縁層が形成され、その上に垂直転送路２３等の構成要素を覆い、フォトダイオード上方に開口を有する遮光膜３８がタングステン等により形成されている。
【００４４】
遮光膜３８を覆うようにホスホシリケートガラス等で形成された層間絶縁膜３９が形成され、その表面が平坦化されている。層間絶縁膜３９の上にカラーフィルタ層（オンチップカラーフィルタ）４０が形成されている。カラーフィルタ層４０は、例えば赤色領域、緑色領域、及び青色領域等の３色以上の色領域を含み、各画素ＰＩＸについて一色の色領域が割り当てられている。
【００４５】
カラーフィルタ層４０の上に各画素ＰＩＸに対応してマイクロレンズ（オンチップマイクロレンズ）４１がレジスト材料等により形成されている。マイクロレンズ４１は、各画素ＰＩＸの上に１つ形成されており、上方より入射する光を遮光膜３８が画定する開口内に集光させる機能を有する。
【００４６】
マイクロレンズ４１を介して入射した光は、カラーフィルタ層４０によって色分解され、主感光画素２１及び従感光画素２２の各フォトダイオード領域にそれぞれ入射する。各フォトダイオード領域に入射した光は、その光量に応じた信号電荷に変換され、それぞれ別々に垂直転送路２３に読み出される。
【００４７】
こうして、１つの画素ＰＩＸから感度の異なる２種類の画像信号（高感度画像信号と低感度画像信号）と別々に取り出すことが可能であり、光学的に同位相の画像信号を得る。
【００４８】
図４は、ＣＣＤ２０の受光領域ＰＳ内の画素ＰＩＸ及び垂直転送路２３の配置を示す。画素ＰＩＸは、セルの幾何学的な形状の中心点を行方向及び列方向に１つおきに画素ピッチの半分（１／２ピッチ）ずらして配列させたハニカム構造となっている。すなわち、互いに隣接する画素ＰＩＸの行どうし（又は列どうし）において、一方の行（又は列）のセル配列が、他方の行（又は列）のセル配列に対して行方向（又は列方向）の配列間隔の略１／２だけ相対的にずれて配置された構造となっている。
【００４９】
図４において画素ＰＩＸが配列された受光領域ＰＳの右側には、転送電極ＥＬにパルス電圧を印加するＶＣＣＤ駆動回路４４が配置される。各画素ＰＩＸは上述のように主感光画素２１と従感光画素２２とを含む。垂直転送路２３は各列に近接して蛇行して配置されている。
【００５０】
また、受光領域ＰＳの下側（垂直転送路２３の下端側）には、垂直転送路２３から移された信号電荷を水平方向に転送する水平転送路（ＨＣＣＤ）４５が設けられている。
【００５１】
水平転送路４５は、２相駆動の転送ＣＣＤで構成されており、水平転送路４５の最終段（図４上で最左段）は出力部４６に接続されている。出力部４６は出力アンプを含み、入力された信号電荷の電荷検出を行い、信号電圧として出力端子に出力する。こうして、各画素ＰＩＸで光電変換した信号が点順次の信号列として出力される。
【００５２】
図５にＣＣＤ２０の他の構造例を示す。図５は平面図、図６は図５の６−６線に沿う断面図である。これらの図面中図１及び図２に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。
【００５３】
図５及び図６に示したように、主感光画素２１と従感光画素２２の間にｐ＋ 型分離領域４８が形成されている。この分離領域４８はチャネルストップ領域（チャネルストッパ）として機能し、フォトダイオード領域の電気的な分離を行う。また、分離領域４８の上方には分離領域４８に対応した位置に遮光膜４９が形成されている。
【００５４】
遮光膜４９と分離領域４８とを用いることにより、入射する光を効率的に分離するとともに、主感光画素２１及び従感光画素２２に蓄積された電荷がその後混合することを防止する。その他の構成は図１及び図２に示した例と同様である。
【００５５】
また、画素ＰＩＸのセル形状や開口形状は図１や図５に示した例に限定されず、多角形、円形など多様な形態をとり得る。更に、各受光セルの分離形状（分割形態）についても、図１や図５に示した形状に限定されない。
【００５６】
図７にＣＣＤ２０の更に他の構造例を示す。図７中図１及び図５に示した例と同一又は類似の部材には同一の符号を付し、その説明は省略する。図７は、二つの感光部（２１、２２）が斜め方向に分離されている構成を示す。
【００５７】
このように、それぞれの分割感光エリアで蓄積された電荷を別々に垂直転送路に読み出すことができればよく、分割形状や分割数、面積の大小関係などは適宜設計される。ただし、従感光画素の面積を主感光画素の面積に比べて小さい値とする。また、主感光部の面積減少を抑制し、感度低下を最小限に抑えることが好ましい。
【００５８】
図８は、主感光画素２１と従感光画素２２の光電変換特性を示すグラフである。横軸は入射光量、縦軸はＡ／Ｄ変換後の画像データ値（ＱＬ値）を示す。本例では１２ビットデータを例示するが、ビット数はこれに限定されない。
【００５９】
同図に示すように、主感光画素２１と従感光画素２２の感度比は１：１／ａとなっている（ただし、ａ＞１、本例ではａ＝１６）。主感光画素２１の出力は、入射光量に比例して次第に増加し、入射光量が「ｃ」のときに出力が飽和値（ＱＬ値＝４０９５）に達する。以後、入射光量が増加しても主感光画素２１の出力は一定となる。この「ｃ」を主感光画素２１の飽和光量と呼ぶことにする。
【００６０】
一方、従感光画素２２の感度は、主感光画素２１の感度の１／ａであり、入射光量がα×ｃのときにＱＬ値＝４０９５／ｂで飽和する（ただし、ｂ＞１，α＝ａ／ｂ、本例ではｂ＝４，α＝４）。このときの「α×ｃ」を従感光画素２２の飽和光量と呼ぶ。
【００６１】
このように、異なる感度と飽和を持つ主感光画素２１と従感光画素２２とを組み合わせることにより、主感光画素のみの構成よりもＣＣＤ２０のダイナミックレンジをα倍に拡大できる。本例では感度比１／１６、飽和比１／４でダイナミックレンジを約４倍に拡大している。主感光画素のみを使用する場合の最大ダイナミックレンジを１００％とするとき、本例では従感光画素を活用することによって最大で約４００％までダイナミックレンジが拡大される。
【００６２】
上述したように、ＣＣＤ等の撮像素子ではＲＧＢ又はＣ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー）等のカラーフィルタを通してフォトダイオードで受けた光を前記信号に変える。このうち、どれだけの光の情報に対して信号が得られるかはレンズを含めた光学系、ＣＣＤ感度及び飽和に依存する。相対的に感度は高いが蓄積可能な電荷量が少ない素子と、相対的に感度は低いが蓄積可能な電荷量が大きい素子とでは、後者の方が入射される光の強弱が強い場合に対しても適切な信号を供することが可能であり、ダイナミックレンジが広い。
【００６３】
光の強弱に対してどのように応答可能かを設定する手段としては、▲１▼フォトダイオードに入る光の量を調整する、▲２▼光を受けて電圧に変えるソースフォロアのアンプゲインを変える−などの態様がある。▲１▼の場合は、フォトダイオードに対し、上層部にあるマイクロレンズの光透過特性や相対位置関係によって調整できる。その一方、蓄積できる電荷量としては、フォトダイオードの大きさ等で決定される。図１乃至図７で説明したように、大きさの異なる二つのフォトダイオード（２１、２２）を並べることにより、異なる光のコントラスト比に対して応答可能な信号を得ることができ、更にこれらの二つのフォトダイオード（２１、２２）の感度を調整することで、最終的に広いダイナミックレンジを有する撮像デバイス（ＣＣＤ２０）を実現できる。
【００６４】
〔広ダイナミックレンジ撮像可能なカメラの例〕
次に、上述した広ダイナミックレンジ撮像用のＣＣＤを搭載した電子カメラについて説明する。
【００６５】
図９は本発明の実施形態に係る電子カメラの構成を示すブロック図である。このカメラ５０は、ＣＣＤ２０を介して撮像した被写体の光学像をデジタル画像データに変換して記録メディア５２に記録するデジタルカメラである。カメラ５０は表示部５４を備えており、撮像中の映像や記録した画像データの再生画像を表示部５４に表示させることができる。
【００６６】
カメラ５０全体の動作は、カメラ内蔵の中央処理装置（ＣＰＵ）５６によって統括制御される。 ＣＰＵ５６は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、及びオートホワイトバランス（ＡＷＢ）制御など各種演算を実施する演算手段として機能する。
【００６７】
ＣＰＵ５６は不図示のバスを介してＲＯＭ６０及びメモリ（ＲＡＭ）６２と接続されている。ＲＯＭ６０にはＣＰＵ５６が実行するプログラム及び制御に必要な各種データなどが格納されている。メモリ６２はプログラムの展開領域及びＣＰＵ５６の演算作業用領域として利用されるとともに、画像データの一時記憶領域として利用される。
【００６８】
画像データの一時記憶領域として、メモリ６２は主に主感光画素２１から得られる画像データを記憶する第１領域（以下、第１画像メモリという。）６２Ａと、主に従感光画素２２から得られる画像データを記憶する第２領域（以下、第２画像メモリという。）６２Ｂとを備えている。
【００６９】
また、ＣＰＵ５６にはＥＥＰＲＯＭ６４が接続されている。ＥＥＰＲＯＭ６４は、ＣＣＤ２０の欠陥画素情報、ＡＥ、ＡＦ及びＡＷＢ等の制御に必要なデータ或いはユーザが設定したカスタマイズ情報などが格納される不揮発性の記憶手段であり、必要に応じてデータの書き換えが可能であるとともに、電源ＯＦＦ時においても情報内容が保持される。ＣＰＵ５６は必要に応じてＥＥＰＲＯＭ６４のデータを参照して演算等を行う。
【００７０】
カメラ５０にはユーザが各種の指令を入力するための操作部６６が設けられている。操作部６６は、シャッターボタン、ズームスイッチ、モード切換スイッチなど各種操作部を含む。シャッターボタンは、撮影開始の指示を入力する操作手段であり、半押し時にＯＮするＳ１ スイッチと、全押し時にＯＮするＳ２ スイッチとを有する二段ストローク式のスイッチで構成されている。Ｓ１ オンにより、ＡＥ及びＡＦ処理が行われ、Ｓ２ オンによって記録用の露光が行われる。ズームスイッチは、撮影倍率や再生倍率を変更するための操作手段である。モード切換スイッチは、撮影モードと再生モードとを切り替えるための操作手段である。
【００７１】
また、操作部６６には、上記の他、撮影目的に応じて最適な動作モード（連写モード、オート撮影モード、マニュアル撮影モード、人物モード、風景モード、夜景モードなど）を設定する撮影モード設定手段、表示部５４にメニュー画面を表示させるメニューボタン、メニュー画面から所望の項目を選択する十字ボタン（カーソル移動操作手段）、選択項目の確定や処理の実行を指令するＯＫボタン、選択項目など所望の対象の消去や指示内容の取消し、或いは１つ前の操作状態に戻らせる指令を入力するキャンセルボタン、表示部５４のＯＮ／ＯＦＦや表示方法の切り替え、或いはオンスクリーンディスプレイ（ＯＳＤ）の表示／非表示切り替えなどを行うための表示ボタン、ダイナミックレンジ拡大処理（画像合成） を実施するか否かの選択を行うＤレンジ拡大モードスイッチなどの操作手段も含まれる。
【００７２】
なお、操作部６６の中には、プッシュ式のスイッチ部材、ダイヤル部材、レバースイッチなどの構成によるものに限らず、メニュー画面から所望の項目を選択するようなユーザインターフェースによって実現されるものも含まれている。
【００７３】
操作部６６からの信号はＣＰＵ５６に入力される。ＣＰＵ５６は操作部６６からの入力信号に基づいてカメラ５０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、ＣＣＤ２０からの電荷読出制御、画像処理制御、画像データの記録／再生制御、記録メディア５２内のファイル管理、表示部５４の表示制御などを行う。
【００７４】
表示部５４には、例えば、カラー液晶ディスプレイが用いられている。なお、液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いてもよい。表示部５４は、撮影時に画角確認用の電子ファインダーとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、表示部５４は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。
【００７５】
次に、カメラ５０の撮影機能について説明する。
【００７６】
カメラ５０は、光学系ユニット６８とＣＣＤ２０とを備えている。なお、ＣＣＤ２０に代えて、ＭＯＳ型固体撮像素子など他の方式の撮像素子を用いることも可能である。光学系ユニット６８は、不図示の撮影レンズと、絞り兼用メカシャッター機構を含む。撮影レンズは電動式のズームレンズで構成されており、詳細な光学構成については図示しないが、主として倍率変更（焦点距離可変）作用をもたらす変倍レンズ群及び補正レンズ群と、フォーカス調整に寄与するフォーカスレンズとを含む。
【００７７】
撮影者によって操作部６６のズームスイッチが操作されると、そのスイッチ操作に応じてＣＰＵ５６からモータ駆動回路７０に対して光学系制御信号が出力される。モータ駆動回路７０は、ＣＰＵ５６からの制御信号に基づいてレンズ駆動用の信号を生成し、ズームモータ（不図示）に与える。こうして、モータ駆動回路７０から出力されるモータ駆動電圧によってズームモータが作動し、撮影レンズ内の変倍レンズ群及び補正レンズ群が光軸に沿って前後移動することにより、撮影レンズの焦点距離（光学ズーム倍率）が変更される。
【００７８】
光学系ユニット６８を通過した光は、ＣＣＤ２０の受光面に入射する。ＣＣＤ２０の受光面には多数のフォトセンサ（受光素子）が平面的に配列され、各フォトセンサに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。なお、ＲＧＢカラーフィルタに代えて、ＣＭＹ等のカラーフィルタを用いることもできる。
【００７９】
ＣＣＤ２０の受光面に結像された被写体像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。ＣＣＤ２０は、シャッターゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。
【００８０】
ＣＣＤ２０の各フォトセンサに蓄積された信号電荷は、ＣＣＤドライバ７２から与えられるパルス（水平駆動パルスφＨ，垂直駆動パルスφＶ，オーバーフロードレインパルス）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。ＣＣＤ２０から出力された画像信号は、アナログ処理部７４に送られる。アナログ処理部７４は、ＣＤＳ（相関二重サンプリング）回路及びＧＣＡ（ゲインコントロールアンプ）回路を含む処理部であり、このアナログ処理部７４において、サンプリング処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整が行われる。
【００８１】
アナログ処理部７４から出力された画像信号はＡ／Ｄ変換器７６によってデジタル信号に変換された後、信号処理部８０を介してメモリ６２に格納される。タイミング発生器（ＴＧ）８２は、ＣＰＵ５６の指令に従ってＣＣＤドライバ７２、アナログ処理部７４及びＡ／Ｄ変換器７６に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。
【００８２】
信号処理部８０は、メモリ６２の読み書きを制御するメモリコントローラを兼ねたデジタル信号処理ブロックである。信号処理部８０は、ＡＥ／ＡＦ／ＡＷＢ処理を行うオート演算部、ホワイトバランス回路、ガンマ変換回路、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理回路）、輝度・色差信号輝度・色差信号生成回路、輪郭補正回路、コントラスト補正回路、圧縮伸張回路、表示用信号生成回路等を含む画像処理手段であり、ＣＰＵ５６からのコマンドに従ってメモリ６２を活用しながら画像信号を処理する。
【００８３】
メモリ６２に格納されたデータ（ＣＣＤＲＡＷデータ）は、バスを介して信号処理部８０に送られる。信号処理部８０の詳細については後述するが、信号処理部８０に送られた画像データは、ホワイトバランス調整処理、ガンマ変換処理、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）への変換処理（ＹＣ処理）など、所定の信号処理が施された後、メモリ６２に格納される。
【００８４】
撮影画像を表示部５４にモニタ出力する場合、メモリ６２から画像データが読み出され、信号処理部８０の表示変換回路に送られる。表示変換回路に送られた画像データは表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換された後、表示部５４に出力される。ＣＣＤ２０から出力される画像信号によってメモリ６２内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が表示部５４に供給されることにより、撮像中の映像（スルー画）がリアルタイムに表示部５４に表示される。撮影者は表示部５４に映し出されるスルー画の映像によって画角（構図）を確認できる。
【００８５】
撮影者が画角を決めてシャッターボタンを押下すると、ＣＰＵ５６はこれを検知し、シャッターボタンの半押し（Ｓ１ ＝ＯＮ）に応動してＡＥ処理及びＡＦ処理などの撮影準備動作を行い、シャッターボタンの全押し（Ｓ２ ＝ＯＮ）に応動して記録用の画像を取り込むためのＣＣＤ露光及び読み出し制御を開始する。
【００８６】
すなわち、ＣＰＵ５６は、Ｓ１ ＝ＯＮに応動して取り込まれた画像データから焦点評価演算やＡＥ演算などの各種演算を行い、その演算結果に基づいてモータ駆動回路７０に制御信号を送り、不図示のＡＦモータを制御して光学系ユニット６８内のフォーカスレンズを合焦位置に移動させる。
【００８７】
また、オート演算部のＡＥ演算部は撮影画像の１画面を複数のエリア（例えば、８×８）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ５６に提供する。ＲＧＢの各色信号について積算値を求めてもよいし、これらのうちの一色（例えば、Ｇ信号）のみについて積算値を求めてもよい。
【００８８】
ＣＰＵ５６は、ＡＥ演算部から得た積算値に基づいて重み付け加算を行い、被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。
【００８９】
カメラ５０のＡＥは、広い輝度レンジを精度よく測光するために、複数回の測光を行い、被写体の輝度を正しく認識する。例えば、５〜１７ＥＶの範囲を測光するのに、１回の測光で３ＥＶの範囲を測定できるものとすると、露出条件を変えながら最大で４回の測光が行われる。
【００９０】
ある露出条件で測光を行い、各分割エリアの積算値を監視する。画像内に飽和しているエリアが存在していれば露出条件を変えて測光を行う。その一方、画像内に飽和しているエリアがなければ、その露出条件で正しく測光できるため、更なる露出条件の変更は行わない。
【００９１】
こうして、複数回に分けて測光を実行することで広いレンジ（５〜１７ＥＶ）を測光し、最適な露出条件を決定する。なお、１回の測光で測定できる範囲や、測光すべき範囲については、カメラ機種ごとに適宜設計可能である。
【００９２】
ＣＰＵ５６は、上述のＡＥ演算結果に基づいて絞りとシャッタースピードを制御し、Ｓ２ ＝ＯＮに応動して記録用の画像を取得する。本例のカメラ５０は、スルー画中は主感光画素２１のみからデータの読み出しを行い、主感光画素２１の画像信号からスルー画用の画像を作成する。また、シャッターボタンのＳ１ ＝ＯＮに伴うＡＥ処理及びＡＦ処理は主感光画素２１から得られる信号に基づいて行われる。そして、広ダイナミックレンジ撮像を行う撮影モードが選択されている場合、又は、ＡＥの結果（ＩＳＯ感度や測光値）又はホワイトバランスゲイン値などに基づき自動的に広ダイナミックレンジ撮像モードが選択された場合には、シャッターボタンのＳ２ ＝ＯＮに応動してＣＣＤ２０の露光を行い、露光後にメカシャッターを閉じて光の進入を遮断した状態で垂直駆動信号（ＶＤ）に同期して、まず、主感光画素２１の電荷を読み出し、その後、従感光画素２２の電荷の読み出しを行う。
【００９３】
また、このカメラ５０はストロボ装置８４を有している。ストロボ装置８４はは、発光部としての放電管（例えば、キセノン管）、トリガー回路、放電用エネルギーを蓄積するメインコンデンサ及びその充電回路などを含むブロックである。ＣＰＵ５６は必要に応じてストロボ装置８４にコマンドを送り、ストロボ装置８４の発光を制御する。
【００９４】
こうして、シャッターボタンの全押し（Ｓ２ ＝ＯＮ）に応動して取り込まれた画像データは、信号処理部８０においてＹＣ処理その他の所定の信号処理を経た後、所定の圧縮フォーマット（例えば、ＪＰＥＧ方式） に従って圧縮され、メディアインターフェース部（図９中不図示）を介して記録メディア５２に記録される。圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよい。
【００９５】
画像データを保存する手段は、スマートメディア（商標）、コンパクトフラッシュ（商標）などで代表される半導体メモリカード、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。また、リムーバブルメディアに限らず、カメラ５０に内蔵された記録媒体（内部メモリ）であってもよい。
【００９６】
操作部６６のモード選択スイッチによって再生モードが選択されると、記録メディア５２に記録されている最終の画像ファイル（最後に記録したファイル）が読み出される。記録メディア５２から読み出された画像ファイルのデータは、信号処理部８０の圧縮伸張回路によって伸張処理された後、表示用の信号に変換されて表示部５４に出力される。
【００９７】
再生モードの一コマ再生時に十字ボタンを操作することにより、順方向又は逆方向にコマ送りすることができ、コマ送りされた次のファイルが記録メディア５２から読み出され、表示画像が更新される。
【００９８】
図１０は図９に示した信号処理部８０における信号処理フローを示したブロック図である。
【００９９】
図１０に示すように、Ａ／Ｄ変換器７６によってデジタル信号に変換された主感光画素データ（高感度画像データという。）は、オフセット処理回路９１においてオフセット処理される。オフセット処理回路９１は、ＣＣＤ出力の暗電流成分を補正する処理部であり、ＣＣＤ２０上の遮光画素から得られるオプティカルブラック（ＯＢ）信号の値を画素値から減算する演算を行う。オフセット処理回路９１から出力されたデータ（高感度ＲＡＷ データ） は、リニアマトリックス回路９２に送られる。
【０１００】
リニアマトリックス回路９２は、ＣＣＤ２０の分光特性を補正する色調補正処理部である。リニアマトリックス回路９２において補正されたデータは、ホワイトバランス（ＷＢ）ゲイン調整回路９３に送られる。ＷＢゲイン調整回路９３は、Ｒ，Ｇ，Ｂの色信号のレベルを増減するためのゲイン可変アンプを含み、ＣＰＵ５６からの指令に基づいて各色信号のゲイン調整を行う。ＷＢゲイン調整回路９３においてホワイトバランス調整処理された信号は、ガンマ補正回路９４に送られる。
【０１０１】
ガンマ補正回路９４は、ＣＰＵ５６の指令に従い、所望のガンマ特性となるように入出力特性を変換する。ガンマ補正回路９４においてガンマ補正された画像データは同時化処理回路９５に送られる。
【０１０２】
同時化処理回路９５は、単板ＣＣＤ２０のカラーフィルタ配列構造に伴う色信号の空間的なズレを補間して各点の色（ＲＧＢ）を計算する処理部と、ＲＧＢ信号から輝度（Ｙ）信号及び色差信号（Ｃｒ，Ｃｂ ）を生成するＹＣ変換処理部とを含む。同時化処理回路９５で生成された輝度・色差信号（ＹＣｒ Ｃｂ ）は、各種補正回路９６に送られる。
【０１０３】
各種補正回路９６には、例えば、輪郭強調（アパーチャ補正）回路や色差マトリックスによる色補正回路などが含まれる。各種補正回路９６において所要の補正処理が施された画像データはＪＰＥＧ圧縮回路９７に送られる。ＪＰＥＧ圧縮回路９７において圧縮処理された画像データは、画像ファイルとして記録メディア５２に記録される。
【０１０４】
同様に、Ａ／Ｄ変換器７６によってデジタル信号に変換された従感光画素データ（低感度画像データという。）は、オフセット処理回路１０１においてオフセット処理される。オフセット処理回路１０１から出力されたデータ（低感度ＲＡＷ データ） は、リニアマトリックス回路１０２に送られる。
【０１０５】
リニアマトリックス回路１０２から出力されたデータはホワイトバランス（ＷＢ）ゲイン調整回路１０３に送られ、ホワイトバランス調整が行われる。ホワイトバランス調整処理された信号は、ガンマ補正回路１０４に送られる。
【０１０６】
また、低感度画像データ用のリニアマトリックス回路１０２から出力された低感度画像データは、積算回路１０５にも与えられる。積算回路１０５は、撮像画面を複数のエリア（例えば、１６×１６）に分割し、それぞれのエリアごとにＲ，Ｇ，Ｂの画素値を色別に積算する処理を行い、色別の平均値を算出する。
【０１０７】
積算回路１０５において算出された平均値のうち、Ｇ成分の最大値（Ｇｍａｘ ）が検出され、その検出されたＧｍａｘ を表すデータはＤレンジ算出回路１０６に送られる。Ｄレンジ算出回路１０６は、図で説明した従感光画素の光電変換特性に基づき、最大値Ｇｍａｘ の情報から被写体の最大輝度レベルを算出し、当該被写体の記録に必要な最大のダイナミックレンジを算出する。
【０１０８】
また、本例では、再現ダイナミックレンジを何％までにするかという設定情報を所定のユーザインターフェース（後述）を通して入力することができる。ユーザが指定したＤレンジ選択情報１０７は、ＣＰＵ５６からＤレンジ算出回路１０６に送られる。Ｄレンジ算出回路１０６は、撮像データを解析して求めたダイナミックレンジと、ユーザが指定したＤレンジ選択情報とに基づき、記録時のダイナミックレンジを決定する。
【０１０９】
撮像データから求めた最大のダイナミックレンジがＤレンジ選択情報１０７のＤレンジ以下の場合には、撮像データから求めたダイナミックレンジが採用される。撮像データから求めた最大のダイナミックレンジがＤレンジ選択情報のＤレンジを超える場合には、Ｄレンジ選択情報が示すＤレンジが採用される。
【０１１０】
Ｄレンジ算出回路１０６で決定されたＤレンジに応じて、低感度画像データ用のガンマ補正回路１０４のガンマ係数が制御される。
【０１１１】
ガンマ補正回路１０４から出力された画像データは同時化処理回路１０８において、同時化処理及びＹＣ変換処理が行われる。同時化処理回路１０８で生成された輝度・色差信号（ＹＣｒ Ｃｂ ）は、各種補正回路１０９に送られ、輪郭強調、色差マトリックス処理などの補正処理が行われる。各種補正回路１０９において所要の補正処理が施された低感度画像データはＪＰＥＧ圧縮回路１１０において圧縮処理され、高感度画像データとは別の画像ファイルとして記録メディア５２に記録される。
【０１１２】
高感度画像データについては、民生用ディスプレイの代表的特性であるｓＲＧＢ色規格に対して画像設計がなされている。このｓＲＧＢ色空間を対象とした光電変換特性を図１１に示す。撮像系で図１１のような変換特性を持たせておくことにより、通常のディスプレイを用いた画像再現に際して、輝度に関して好ましい画像を再現することが可能となる。
【０１１３】
その一方で、近時、印刷用途などではｓＲＧＢよりも広い色空間を持つ拡張色空間を対象とした色再現設計が行われることがある。
【０１１４】
図１２には、ｓＲＧＢ空間と拡張色空間の例を示した。同図において、符号１２０で示した馬蹄形の内側は人間が知覚できる色領域を示す。符号１２１で示した三角形の内側はｓＲＧＢ色空間で再現できる色再現域を示し、符号１２２で示した三角形の内側は拡張色空間で再現できる色再現域を示す。リニアマトリックスの値（図１０で説明したリニアマトリックス回路９２、１０２におけるマトリックスの値）を変えることによって再現できる色の領域を変化させることができる。
【０１１５】
本実施形態では、ｓＲＧＢ以外の色空間を対象とした用途、例えば、プリント用途などにおいて、高感度画像データのみならず、同時露光で得られた低感度画像データを画像加工で利用することで色再現域や輝度再現域を拡張し、一層好ましい画像を作成する。再現域に応じて異なるガンマを持たせることにより、異なるダイナミックレンジに対応した別々の画像を作ることができる。
【０１１６】
ｓＲＧＢ色再現域に対するエンコード式と、拡張色再現域に対するエンコード式とを図１３に示す。例えば、同図の下段（Ｃａｓｅ２）に示すように、エンコード条件を負値や１以上の値にも対応させることによって、再現できる輝度域に応じたファイルを作成することができる。低感度画像データについては、拡張された再現域に対応したエンコード条件に従って信号処理が行われ、ファイルが生成される。
【０１１７】
なお、ハイライト情報は、微妙な情報を持つのでビットの深さが重要である。したがって、ｓＲＧＢに対応するデータを例えば８ビットで記録し、拡張された再現域に対応したデータについてはそれよりもビット数の大きい例えば１６ビットで記録することが好ましい。
【０１１８】
図１４は、記録メディア５２のディレクトリ（フォルダ）構造の一例を示す図である。カメラ５０はＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ： 社団法人日本電子工業振興協会〔ＪＥＩＤＡ 〕において規定されたデジタルカメラの統一記録フォーマット） 規格に従って画像ファイルを記録する機能を備えている。
【０１１９】
図１４のようにルートディレクトリ直下にディレクトリ名「ＤＣＩＭ」を持つＤＣＦ イメージルートディレクトリが形成され、ＤＣＦ イメージルートディレクトリの直下に少なくとも１つのＤＣＦ ディレクトリが存在する。ＤＣＦ ディレクトリは、ＤＣＦ オブジェクトである画像ファイルを格納するためのディレクトリである。ＤＣＦ ディレクトリ名は、ＤＣＦ 規格に従い３文字のディレクトリ番号とこれに続く５文字の自由文字（合計８文字）で定義される。ＤＣＦ ディレクトリ名はカメラ５０によって自動生成されてもよいし、ユーザが指定又は変更できる構成にしてもよい。
【０１２０】
カメラ５０で生成された画像ファイルは、ＤＣＦの命名規則等にしたがって自動生成されるファイル名が付与され、指定された又は自動選択されたＤＣＦ ディレクトリに格納される。ＤＣＦ 命名規則に従うＤＣＦ ファイル名は、４文字の自由文字とこれに続く４文字のファイル番号で定義される。
【０１２１】
広ダイナミックレンジ記録モードによって取得された高感度画像データと低感度画像データからそれぞれ作成された二つの画像ファイルは相互に関連付けられて記録される。例えば、高感度画像データから作成された一方のファイル（通常の標準的な再現域に対応したファイル、以下、標準画像ファイルという。）についてはＤＣＦ 命名規則に従って「ＡＢＣＤ＊＊＊＊．ＪＰＧ」と命名し（「＊＊＊＊」はファイル番号） 、これと同時撮像で得られた低感度画像データから作成された他方のファイル（拡張再現域に対応したファイル、以下、拡張画像ファイルという。）については、標準画像ファイルのファイル名（ 「． ＪＰＧ 」を除いた８ 文字列） の末尾に「ｂ 」を付加して「ＡＢＣＤ＊＊＊＊ｂ．ＪＰＧ 」と命名する。このように名前を関連づけて保存しておくことにより、出力時の特性に適したファイルを選択して使うことが可能である。
【０１２２】
なお、ファイル名の関連付け方法の他の例として、標準画像ファイルのファイル名の末尾にも「ａ 」などの文字を付加してもよい。ファイル番号の後ろに付加する文字列を変えることによって標準画像ファイルと拡張画像ファイルとを区別することができる。また、ファイル番号に先行する自由文字の部分を変更する態様がある。その他、標準画像ファイルと拡張画像ファイルとで拡張子を変更する態様もある。少なくともファイル番号の部分を共通にしておくことで二つのファイルの関連性を確保できる。
【０１２３】
拡張画像ファイルの記録形式は、ＪＰＥＧ形式に限定されない。図１２に示されているように、ｓＲＧＢ色空間と拡張色空間とでは大部分の色は共通である。したがって、撮像された画像をｓＲＧＢ色空間用と拡張色空間用とにそれぞれエンコードし、その差をとると画像の殆どのピクセルは「０」値となる。したがって、この差分に対して例えばハフマン圧縮を行い、一方を標準デバイスのｓＲＧＢ画像ファイル、もう一つのファイルを差分画像とすることで、拡張色空間に対応できると同時に記録容量を減らすことができる。
【０１２４】
図１５には低感度像データを上記のように差分画像として記録する態様のブロック図が示されている。図１５中図１０と同一又は類似の構成については同一の符号を付し、その説明は省略する。
【０１２５】
高感度画像データから生成された画像と低感度画像データから生成された画像とを差分処理回路１３２に送り、こられの画像の差分画像を生成する。差分処理回路１３２で生成された差分画像は圧縮回路１３３に送られ、ここでＪＰＥＧとは異なる所定の圧縮方法に従って圧縮処理される。圧縮回路１３３で生成された圧縮画像データのファイルは記録メディア５２に記録される。
【０１２６】
図１６は、再生系の構成を示したブロック図である。記録メディア５２に記録されている情報はメディアインターフェース部１４０を介して読み取られる。メディアインターフェース部１４０は、バスを介してＣＰＵ５６と接続されており、ＣＰＵ５６の指令に従い記録メディア５２の読み書きに必要な信号の受渡しを行うために所要の信号変換を行う。
【０１２７】
記録メディア５２から読み出された標準画像ファイルの圧縮データは伸張処理部１４２において伸張処理され、メモリ６２上の高感度画像データ復元領域６２Ｃに展開される。伸張された高感度画像データは表示変換回路１４６に送られる。表示変換回路１４６は、表示部５４の解像度に合わせて画像サイズを変換する縮小処理部と、縮小処理部で生成された表示用画像を表示用の所定の信号形式に変換する表示信号生成部とを含む。
【０１２８】
表示変換回路１４６において表示用の所定の信号形式に変換された信号は表示部５４に出力される。こうして、表示部に再生画像が表示される。通常は、標準画像ファイルのみを再生して表示部に表示させる。
【０１２９】
また、標準画像ファイルと関連付けられている拡張画像ファイルを利用して再現域の広い画像を作成する場合には、標準画像ファイルを伸張して得たデータからＲＧＢＧの高感度画像データを復元し、これをメモリ６２上の高感度画像データ復元領域６２Ｄに記憶する。
【０１３０】
更に、記録メディア５２から拡張画像ファイルが読み出され、伸張処理部１４８において伸張処理された後、ＲＧＢの低感度画像データに復元され、メモリ６２上の低感度画像データ復元領域６２Ｅに記憶される。こうしてメモリ６２上に記憶された高感度画像データと低感度画像データとが読み出され、合成処理部（画像加算部）１５０に送られる。
【０１３１】
合成処理部１５０は、高感度画像データに係数を乗算する乗算部と、低感度画像データに係数を乗算する乗算部と、係数乗算後の高感度画像データと低感度画像データとを加算（合成）する加算部と、を含む処理部である。高感度画像データ及び低感度画像データに乗算される各係数（加算割合を示す係数）はＣＰＵ５６によって可変設定される。
【０１３２】
合成処理部１５０で生成された信号はガンマ変換部１５２に送られる。ガンマ変換部１５２は、ＣＰＵ５６の制御に従いＲＯＭ６０内のデータを参照して、所望のガンマ特性となるように入出力特性を変換する。ＣＰＵ５６は画像出力時の再現域に合わせてガンマ特性を切り換える制御を行う。ガンマ補正された画像信号はＹＣ変換部１５３に送られ、ＲＧＢ信号から輝度（Ｙ）信号及び色差信号（Ｃｒ，Ｃｂ ）に変換される。
【０１３３】
ＹＣ変換部１５３で生成された輝度・色差信号（ＹＣｒ Ｃｂ ）は、各種補正部１５４に送られる。各種補正部１５４において輪郭強調（アパーチャ補正）、色差マトリックスによる色補正など所要の補正処理が施されて最終画像が生成される。こうして生成された最終画像のデータは表示変換回路１４６に送られ、表示用の信号に変換された後、表示部５４に出力される。
【０１３４】
図１６ではカメラ５０に搭載されている表示部５４に画像を再生表示する例を述べたが、外部の画像表示装置に画像を再生表示させることも可能である。また、画像閲覧用のアプリケーションプログラムを組み込んだパソコンや専用の画像再生装置、或いはプリンターなどを用いて図１６と同様の処理フローを実現することにより、標準画像の再現並びに拡張された再現域に対応した画像の再現が可能である。
【０１３５】
図１７は高感度画像データと低感度画像データとを合成して得られる最終画像（合成画像データ）のレベルと相対的被写体輝度との関係を示すグラフである。
【０１３６】
相対的被写体輝度は、高感度画像データが飽和するときのレベルを与える被写体輝度を１００ ％として、これを基準に被写体輝度を表したものである。図１７では、画像データを８ビット（０〜 ２５５）で表現しているが、ビット数はこれに限定されない。
【０１３７】
合成画像のダイナミックレンジは、ユーザインターフェースを通じて設定される。本例では、ダイナミックレンジをＤ０ からＤ５ までの６段階に設定できるものとする。人間の感覚は略ｌｏｇスケールで効いてくるので、ｌｏｇ（対数）の関数をとったときに略リニアになるように、再現ダイナミックレンジを例えば、相対被写体輝度で１００％−１３０％−１７０％−２２０％−３００％−４００％という具合に段階的に切り替えることができるように構成されている。
【０１３８】
もちろん、ダイナミックレンジの設定段数は本例に限定されず、任意の段階数に設計することが可能であるし、連続的な設定（無段階）も可能である。
【０１３９】
ダイナミックレンジの設定に応じて、ガンマ回路のガンマ係数や加算時の合成パラメータ、色差信号マトリックス回路のゲイン係数などが制御される。カメラ５０内の不揮発性メモリ（ＲＯＭ６０又はＥＥＰＲＯＭ６４）には、設定されるダイナミックレンジに対応した各種パラメータ、係数等を規定したテーブルデータが格納されている。
【０１４０】
図１８及び図１９にはダイナミックレンジ選択操作時のユーザインターフェースの例が示されている。図１８に示した例では、メニュー画面から遷移したダイナミックレンジ設定画面においてダイナミックレンジを指定する入力ボックス１６０が表示される。十字ボタンなど所定の操作手段を用いて入力ボックス１６０横のプルダウンメニューボタン１６２を選択すると、図示のように選択可能なダイナミックレンジの値（相対的被写体輝度）を示すプルダウンメニュー１６４が表示される。
【０１４１】
このプルダウンメニュー１６４の中から十字ボタンによって所望のダイナミックレンジを選択し、ＯＫボタンを押すことにより、ダイナミックレンジが設定される。
【０１４２】
図１９に示した他の例では、ダイナミックレンジ設定画面上に入力ボックス１７０とＤレンジパラメータ軸１７２が表示される。十字ボタンなどの操作手段を使用して、Ｄレンジパラメータ軸１７２に沿ってスライダ１７４を移動させることにより、１００ ％から最大４００ ％までの範囲でダイナミックレンジを任意に指定することができる。スライダ１７４の位置に応じて入力ボックス１７０に示されるダイナミックレンジの設定値が変更される。所望の設定値が得られたら、画面下の操作案内に従ってＯＫボタンを押し、設定処理を確定（実行）させる。なお、キャンセルボタンを押すと、設定処理が取り消され、元の設定状態に戻る。
【０１４３】
図１８及び図１９では表示部５４の画面上でダイナミックレンジの選択操作を行う例を述べたが、ダイヤル式のスイッチやスライドスイッチ、或いはプッシュ式のスイッチなどの操作部材によってダイナミックレンジの選択を行う態様も可能である。
【０１４４】
また、撮影シーンによって必要とされるダイナミックレンジが異なるので、撮像した画像を解析してダイナミックレンジを自動設定する態様もある。更に、ポートレートモード、夜景モードなどの撮影モードに応じて自動的にダイナミックレンジの設定を切り替える態様も可能である。
【０１４５】
何％までの情報を記録したかというダイナミックレンジの情報は画像データとともにファイルのヘッダー等に記録される。ダイナミックレンジ情報は、標準画像ファイル及び拡張画像ファイルの両方に記録してもよいし、何れか一方のファイルに記録してもよい。
【０１４６】
画像ファイル内にダイナミックレンジ情報を付加しておくことにより、プリンター等の画像出力装置においてその情報を読み込み、合成処理、ガンマ変換、色補正などの処理内容を変えて最適な画像を作成することが可能になる。
【０１４７】
プリント用途であっても、ポートレート用には階調の柔らかい、好ましい肌色を再現する画像が好まれるので、写真の用途別に、例えば、商業コマーシャル用写真と、ポートレート、或いは、屋内撮影用と屋外撮影用というように用途に応じて拡張画像を作成することが有用である。これを実現するために、図１８及び図１９で説明したように、カメラ５０において拡張画像の輝度再現域を指定し得るユーザインターフェースを設け、使用用途や撮影状況に応じてユーザに選択させる構成となっている。
【０１４８】
次に、上記の如く構成されたカメラ５０の動作について説明する。
【０１４９】
図２０乃至図２２は、カメラ５０の制御手順を示したフローチャートである。撮影モードを選択した状態でカメラ電源をＯＮしたとき、又は再生モードから撮影モードに切り替えられたときに、図２０の制御フローがスタートする。
【０１５０】
撮影モードの処理がスタートすると（ステップＳ２００）、ＣＰＵ５６はまず、表示部５４にスルー画を表示させるモードが選択されているか否かの判定を行う（ステップＳ２０２）。セットアップ画面等において撮影モード起動時に表示部５４をＯＮするモード（スルー画ＯＮモード）が選択されている場合には、ステップＳ２０４に進み、ＣＣＤ２０を含む撮像系に電源が供給され、撮像可能な状態になる。このとき、ＣＣＤ２０はスルー画表示用の連続撮像を行うために一定の撮像周期で駆動される。
【０１５１】
本例のカメラ５０は表示部５４においてＮＴＳＣ方式のビデオ信号を利用しており、フレームレートが３０フレーム／秒に設定されている（２フィールドで１フレームを構成するため１フィールド＝１／６０秒）。当該カメラ５０の場合、同じ画像を２フィールド表示させる方式を採用しているため１／３０秒ごとに画像内容が更新される。この周期で１画面の画像データを更新するために、スルー画時においてはＣＣＤ２０の垂直駆動（ＶＤ）パルスの周期が１／３０秒に設定される。ＣＰＵ５６はタイミング発生器８２に対してＣＣＤ駆動モードの制御信号を与え、タイミング発生器８２によってＣＣＤ駆動用の信号が生成される。こうして、ＣＣＤ２０による連続撮像が開始され、表示部５４にスルー画が表示される（ステップＳ２０６）。
【０１５２】
スルー画の表示中、ＣＰＵ５６はシャッターボタンからの信号入力を監視し、Ｓ１ スイッチがＯＮしたか否かの判定を行う（ステップＳ２０８）。Ｓ１ スイッチがＯＦＦの状態であれば、ステップＳ２０８の処理がループし、スルー画表示状態が維持される。
【０１５３】
ステップＳ２０２においてスルー画ＯＦＦ（非表示）の設定になっている場合には、ステップＳ２０４〜ステップＳ２０６を省略してステップＳ２０８に進む。
【０１５４】
その後、撮影者によってシャッターボタンが押され、撮影準備の指示が入力されると（ＣＰＵ５６がＳ１ ＝ＯＮを検出すると）、ステップＳ２１０に進み、ＡＥ及びＡＦ処理を行う。なお、このときＣＰＵ５６は、ＣＣＤ駆動モードを１／６０秒に変更する。ＣＣＤ２０からの画像取り込み周期が短くなり、高速にＡＥ・ＡＦ処理を実施することができる。ここで設定されるＣＣＤ駆動周期は、１／６０秒に限らず、１／１２０秒など適宜の値に設定可能である。ＡＥ処理によって撮影条件が決定され、ＡＦ処理によってフォーカス調整が行われる。
【０１５５】
その後、ＣＰＵ５６はシャッターボタンのＳ２ スイッチからの信号入力を判定する（ステップＳ２１２）。ステップＳ２１２でＳ２ スイッチがＯＮしていない場合は、Ｓ１ が解除されたか否かを判定する（ステップＳ２１４）。ステップＳ２１４でＳ１ が解除されていれば、ステップＳ２０８に戻り、撮影指示の入力待ち状態になる。
【０１５６】
一方、ステップＳ２１４でＳ１ が解除されていなければステップＳ２１２に戻り、Ｓ２ ＝ＯＮの入力を待機する。ステップＳ２１２においてＳ２ ＝ＯＮの入力が検出されると、図２１に示すステップＳ２１６に進み、記録用画像を取得するための撮影動作（ＣＣＤ露光）が実行される。
【０１５７】
次いで、広ダイナミックレンジ記録を行うモードであるか否かを判定し、設定モードに応じて処理が制御される。Ｄレンジ拡大モードスイッチなど所定の操作手段によって広ダイナミックレンジ記録モードが選択されている場合には、まず、主感光画素２１から信号の読み出しが行われ（ステップＳ２２０）、その画像データ（主感光部データ）は第１画像メモリ６２Ａに書き込まれる（ステップＳ２２２）。
【０１５８】
次に、従感光画素２２から信号の読み出しが行われ（ステップＳ２２４）、その画像データ（従感光部データ）は第２画像メモリ６２Ｂに書き込まれる（ステップＳ２２６）。
【０１５９】
その後、主感光部データと従感光部データとのそれぞれについて図１０又は図１５で説明したとおり、所要の信号処理が施される（ステップＳ２２８、Ｓ２３０）。主感光部データから生成された標準再現用の画像ファイルと従感光部データから生成された拡張再現用の画像ファイルとがそれぞれ関連付けられて記録メディア５２に記録される（ステップＳ２３２、Ｓ２３４）。
【０１６０】
その一方、ステップＳ２１８において広ダイナミックレンジ記録を行わない通常の記録モードの場合には、主感光画素２１のみから信号の読み出しが行われる（ステップＳ２４０）。主感光部データは第１画像メモリ６２Ａに書き込まれ（ステップＳ２４２）、その後、主感光部データの処理が行われる（ステップＳ２４８）。ここでは、図１０で説明した所要の信号処理を経て、主感光部データのみから画像を作成する通常の処理が行われる。ステップＳ２４８で生成された画像データは、所定のファイルフォーマットに従って記録メディア５２に記録される（ステップＳ２５２）。
【０１６１】
ステップＳ２３４又はステップＳ２５２において画像の記録処理が完了したら、ステップＳ２５６に進み、撮影モードの解除操作が行われたか否かの判定を行う。撮影モードの解除操作が行われた場合には、撮影モードを終了する（ステップＳ２６０）。また、撮影モードの解除操作が行われていなければ撮影モードの状態が維持され、図２０のステップＳ２０２に戻ることになる。
【０１６２】
図２２は、図２１のステップＳ２３０に示した従感光画素データの処理手順に関するサブルーチンのフローチャートである。図２２に示したように、従感光画素データの処理がスタートすると（ステップＳ３００）、まず、画面内を複数の積算エリアに分割する設定処理を行い（ステップＳ３０２）、各エリアについてＧ（緑）成分の平均値を算出し、Ｇ成分の最大値（Ｇｍａｘ ）を求める（ステップＳ３０４）。
【０１６３】
こうして得られたエリアの積算情報から被写体の輝度レンジを検出する（ステップＳ３０６）。その一方、所定のユーザインターフェースから設定されたダイナミックレンジ設定情報（何％までダイナミックレンジを広げるかという設定情報）が読み込まれる（ステップＳ３０８）。ステップＳ３０６で検出した被写体の輝度レンジと、ステップＳ３０８で読み込んだダイナミックレンジ設定情報とに基づいて、最終的なダイナミックレンジが決定される（ステップＳ３１０）。例えば、ダイナミックレンジ設定情報が示す設定Ｄレンジを上限として、被写体の輝度レンジに応じてダイナミックレンジが自動決定される。
【０１６４】
その後、ホワイトバランス処理によって各色チャンネルの信号レベルが調整される（ステップＳ３１２）。また、決定されたダイナミックレンジに対応して、ガンマ補正係数や色補正係数などの各種パラメータがテーブルデータに基づいて決定される（ステップＳ３１４）。
【０１６５】
決定されたパラメータに従ってガンマ変換その他の処理が行われ（ステップＳ３１６）、拡張再現用の画像データが生成される（ステップＳ３１８）。ステップＳ３１８の後は図２１のフローチャートに復帰する。
【０１６６】
このようにして記録メディア５２に記録した画像の再生に際しては、再現範囲を切り替え可能な構成とし、必要に応じて標準再現用画像と拡張画像とを切り替えて出力することができるようにすることが好ましい。この場合、拡張画像の再現に際しては、主要被写体の明るさが標準再現用の画像のそれと略同じになるようにガンマを調整し、高輝度部について階調を与える。これにより、主要被写体部分の印象を変えることなく、高輝度部分について標準再現用画像と拡張画像との差異を確認することができる。
【０１６７】
また、標準再現用画像を表示部５４に表示するときに、拡張再現用の情報が記録されているか否かを判断し、拡張情報が記録されている（関連付けのファイルが存在する）場合には、両者の差分に相当する部分について図２３のように、強調表示１８０を行う。
【０１６８】
例えば、高感度画像データと低感度画像データとの差分をとり、差分が正の値の部分（再現域を拡張する拡張情報が含まれている部分）について、その部分だけ特殊な表示（強調表示）を行う。強調表示の態様は、該当部分の点滅、囲い込み表示、明るさの変更、色調の変更、或いはこれらの組み合わせなど、対象領域を他の領域と識別できるようなものであればよく、具体的な表示形態については特に限定されない。
【０１６９】
このように、関連付けされている拡張情報を用いて、より詳細な再現が可能な領域部分を可視化することにより、ユーザは画像再現の拡張性を把握することができる。
【０１７０】
上述の実施形態では、デジタルカメラを例示したが、本発明の適用範囲はこれに限定されず、ビデオカメラ、ＤＶＤカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きモバイルパソコンなど、電子撮像機能を備えた他の撮影装置についても本発明を適用できる。
【０１７１】
また、図１６で説明した画像再生の手段については、プリンターや画像閲覧装置などの出力装置に応用することができる。すなわち、図１６の表示変換回路１４６及び表示部５４に代えて、プリント用画像生成部及びプリント部とするなど、出力用画像を生成する画像生成部と、そこで生成された画像を最終的に出力する出力部とを備えることにより、拡張情報を活用した良好な画像を得ることができる。
【０１７２】
【発明の効果】
以上説明したように本発明によれば、相対的に狭いダイナミックレンジを有する主感光画素から得られる第１の画像情報と、相対的に広いダイナミックレンジを有する従感光画素から得られる第２の画像情報とをそれぞれ記録可能とし、ユーザ自身が第２の画像情報について記録の要否を選択することができるようにしたので、撮影シーンや撮影目的に応じて良好な画像を得ることができる。
【０１７３】
また、本発明によれば、前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段を設け、前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更し得る構成にしたので、撮像シーンや撮影意図などに応じてユーザ自身が記録時のダイナミックレンジを決定できる。
【０１７４】
更に、第２の画像情報のダイナミックレンジ情報を第１の画像情報のファイル内及び／又は第２の画像情報のファイル内に記録しておくことにより、画像再生時の情報合成を円滑に行うことができる。
【図面の簡単な説明】
【図１】本発明が適用される電子カメラに用いられるＣＣＤ撮像素子の受光面の構造例を示す平面図
【図２】図１の２−２線に沿う断面図
【図３】図１の３−３線に沿う断面図
【図４】図１に示すＣＣＤの全体構成を示す平面模式図
【図５】ＣＣＤの他の構造例を示す平面図
【図６】図５の６−６線に沿う断面図
【図７】ＣＣＤの更に他の構造例を示す平面図
【図８】主感光画素と従感光画素の光電変換特性を示すグラフ
【図９】本発明の実施形態に係る電子カメラの構成を示すブロック図
【図１０】図９に示した信号処理部の詳細構成を示すブロック図
【図１１】ｓＲＧＢ色空間を対象とした光電変換特性を示すグラフ
【図１２】ｓＲＧＢ色空間と拡張色空間の例を示した図
【図１３】ｓＲＧＢ色再現域に対するエンコード式と拡張色再現域に対するエンコード式とを示す図表
【図１４】記録メディアのディレクトリ（フォルダ）構造の一例を示す図
【図１５】低感度像データを差分画像として記録する態様例を示すブロック図
【図１６】再生系の構成を示したブロック図
【図１７】高感度画像データと低感度画像データとを合成して得られる最終画像（合成画像データ）のレベルと相対的被写体輝度との関係を示すグラフ
【図１８】ダイナミックレンジ選択操作時のユーザインターフェースの例を示す図
【図１９】ダイナミックレンジ選択操作時のユーザインターフェースの例を示す図
【図２０】本例のカメラの制御手順を示したフローチャート
【図２１】本例のカメラの制御手順を示したフローチャート
【図２２】本例のカメラの制御手順を示したフローチャート
【図２３】広ダイナミックレンジ撮像により得られた画像の表示例を示す図
【符号の説明】
２０…ＣＣＤ、２１…フォトダイオード領域（主感光画素）、２２…フォトダイオード領域（従感光画素）、２３…垂直転送路、４０…カラーフィルタ層、４１…マイクロレンズ、５２…記録メディア、５４…表示部、５６…ＣＰＵ、６２…メモリ、９７…ＪＰＥＧ圧縮回路、１０５…積算回路、１０６…Ｄレンジ算出回路、１１０…ＪＰＥＧ圧縮回路、１３２…差分処理回路、１３３…圧縮回路、１８０…強調表示
Claims (25)
- 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジが広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段と、
前記主感光画素から得られた第１の画像情報及び前記従感光画素から得られた第２の画像情報をそれぞれ記録する情報記録手段と、
前記第２の画像情報を記録するか否かの選択を行う選択手段と、
前記選択手段の選択に従い前記第１の画像情報及び前記第２の画像情報の記録処理を制御する記録制御手段と、
を備えたことを特徴とする画像処理装置。 - 前記第１の画像情報と前記第２の画像情報とは互いに関連付けされた二つのファイルとして別々に記録されることを特徴とする請求項１記載の画像処理装置。
- 前記第２の画像情報は前記第１の画像情報との差分データとして前記第１の画像情報のファイルとは別のファイルに記録されることを特徴とする請求項１又は２記載の画像処理装置。
- 前記第２の画像情報は、前記第１の画像情報と異なる圧縮方式で圧縮されて記録されることを特徴とする請求項１、２又は３記載の画像処理装置。
- 前記第２の画像情報のダイナミックレンジ情報を前記第１の画像情報及び前記第２の画像情報のうち少なくとも一方の画像情報とともに記録するＤレンジ情報記録手段を備えたことを特徴とする請求項１乃至４の何れか１項記載の画像処理装置。
- 前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段と、
前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更するＤレンジ可変制御手段と、
を備えたことを特徴とする請求項１乃至５の何れか１項記載の画像処理装置。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段と、
前記主感光画素から得られた信号に基づいて第１の出力装置による画像出力を目標として第１の画像情報を生成する第１の画像信号処理手段と、
前記従感光画素から得られた信号に基づいて前記第１の出力装置と異なる第２の出力装置による画像出力を目標として第２の画像情報を生成する第２の画像信号処理手段と、
を備えたことを特徴とする画像処理装置。 - 前記第１の画像情報はｓＲＧＢ規格のディスプレイに出力することを目標として画像設計されることを特徴とする請求項７記載の画像処理装置。
- 前記第２の画像情報はプリント出力に適した特性を持たせるように画像設計されることを特徴とする請求項７又は８記載の画像処理装置。
- 前記第１の画像情報と前記第２の画像情報とはそれぞれ異なるビットの深さで記録されることを特徴とする請求項７、８又は９記載の画像処理装置。
- 前記第２の画像情報の再現域を指定する再現域設定操作手段と、
前記再現域設定操作手段の設定に基づいて前記第２の画像情報の再現域を変更する再現域可変制御手段と、
を備えたことを特徴とする請求項７乃至１０の何れか１項記載の画像処理装置。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段と、
前記主感光画素から得られる第１の画像情報及び前記従感光画素から得られる第２の画像情報の記録処理を制御する記録制御手段と、
前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作手段と、
前記Ｄレンジ設定操作手段の設定に基づいて前記第２の画像情報の再現輝度域を変更するＤレンジ可変制御手段と、
を備えたことを特徴とする画像処理装置。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示出力するための画像表示手段と、
前記主感光画素から得られた第１の画像情報と前記従感光画素から得られた第２の画像情報とを切り替えて前記画像表示手段に表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示出力するための画像表示手段と、
前記主感光画素から得られた第１の画像情報を前記画像表示手段に表示させるとともに、当該第１の画像情報に対して前記第２の画像情報によって再現域が拡張される画像部分を該第１の画像情報の表示画面上で強調表示させる表示制御手段と、
を備えたことを特徴とする画像処理装置。 - 前記撮像手段は、各受光セルが少なくとも前記主感光画素及び前記従感光画素を含む複数の受光領域に分割された構造を有し、各受光セル上方には同一受光セル内の前記主感光画素及び前記従感光画素について同一の色成分のカラーフィルタが配置されるとともに、各受光セルにはそれぞれ１つの受光セルに対して１つのマイクロレンズが設けられていることを特徴とする請求項１乃至１４の何れか１項記載の画像処理装置。
- 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって被写体を撮像する撮像工程と、
前記主感光画素から得られた第１の画像情報及び前記従感光画素から得られた第２の画像情報をそれぞれ記録する情報記録工程と、
前記第２の画像情報を記録するか否かの選択を行う選択工程と、
前記選択に従い前記第１の画像情報及び前記第２の画像情報の記録処理を制御する記録制御工程と、
を含むことを特徴とする画像処理方法。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって被写体を撮像する撮像工程と、
前記主感光画素から得られた信号に基づいて第１の出力装置による画像出力を目標として第１の画像情報を生成する第１の画像信号処理工程と、
前記従感光画素から得られた信号に基づいて前記第１の出力装置と異なる第２の出力装置による画像出力を目標として第２の画像情報を生成する第２の画像信号処理工程と、
を含むことを特徴とする画像処理方法。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって被写体を撮像する撮像工程と、
前記主感光画素から得られる第１の画像情報及び前記従感光画素から得られる第２の画像情報の記録処理を制御する記録制御工程と、
前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作工程と、
前記Ｄレンジ設定操作工程の設定に基づいて前記第２の画像情報の再現輝度域を変更するＤレンジ可変制御工程と、
を含むことを特徴とする画像処理方法。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示装置に出力する画像表示工程と、
前記主感光画素から得られた第１の画像情報と前記従感光画素から得られた第２の画像情報とを切り替えて前記表示装置に表示させる表示制御工程と、
を含むことを特徴とする画像処理方法。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示装置に出力する画像表示工程と、
前記主感光画素から得られた第１の画像情報を前記表示装置に表示させるとともに、当該第１の画像情報に対して前記第２の画像情報によって再現域が拡張される画像部分を該第１の画像情報の表示画面上で強調表示させる表示制御工程と、
を含むことを特徴とする画像処理方法。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段を用いて撮像を行う撮像制御機能と、
前記主感光画素から得られた第１の画像情報及び前記従感光画素から得られた第２の画像情報をそれぞれ記録する情報記録機能と、
前記第２の画像情報を記録するか否かの選択を行う選択機能と、
前記選択に従い前記第１の画像情報及び前記第２の画像情報の記録処理を制御する記録制御機能と、
をコンピュータに実現させるための画像処理プログラム。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段を用いて撮像を行う撮像制御機能と、
前記主感光画素から得られた信号に基づいて第１の出力装置による画像出力を目標として第１の画像情報を生成する第１の画像信号処理機能と、
前記従感光画素から得られた信号に基づいて前記第１の出力装置と異なる第２の出力装置による画像出力を目標として第２の画像情報を生成する第２の画像信号処理機能と、
をコンピュータに実現させるための画像処理プログラム。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段を用いて撮像を行う撮像制御機能と、
前記主感光画素から得られる第１の画像情報及び前記従感光画素から得られる第２の画像情報の記録処理を制御する記録制御機能と、
前記第２の画像情報のダイナミックレンジを指定するＤレンジ設定操作機能と、
前記Ｄレンジ設定操作機能による設定に基づいて前記第２の画像情報の再現輝度域を変更するＤレンジ可変制御機能と、
をコンピュータに実現させるための画像処理プログラム。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示装置に出力する画像表示機能と、
前記主感光画素から得られた第１の画像情報と前記従感光画素から得られた第２の画像情報とを切り替えて前記表示装置に表示させる表示制御機能と、
をコンピュータに実現させるための画像処理プログラム。 - 相対的にダイナミックレンジが狭い高感度の主感光画素と、相対的にダイナミックレンジの広い低感度の従感光画素とが所定の配列形態に従って多数配置され、一度の露光で前記主感光画素及び前記従感光画素から画像信号を取り出すことができる構造を有する撮像手段によって取得された画像を表示装置に出力する画像表示機能と、
前記主感光画素から得られた第１の画像情報を前記表示装置に表示させるとともに、当該第１の画像情報に対して前記第２の画像情報によって再現域が拡張される画像部分を該第１の画像情報の表示画面上で強調表示させる表示制御機能と、
をコンピュータに実現させるための画像処理プログラム。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036959A JP2004248061A (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置、方法及びプログラム |
| US10/774,566 US20040169751A1 (en) | 2003-02-14 | 2004-02-10 | Image processing apparatus, method, and program |
| TW093103268A TWI243611B (en) | 2003-02-14 | 2004-02-12 | Device and method for image processing, and computer readable recording medium recorded with image processing program |
| KR1020040009499A KR100611607B1 (ko) | 2003-02-14 | 2004-02-13 | 화상처리장치, 방법 및 프로그램이 기록되어 있는 컴퓨터판독가능한 기록매체 |
| CNB200410039471XA CN1260953C (zh) | 2003-02-14 | 2004-02-13 | 图像处理装置，方法以及程序 |
| KR1020060037662A KR20060070496A (ko) | 2003-02-14 | 2006-04-26 | 화상처리장치, 방법 및 프로그램이 기록되어 있는컴퓨터판독가능한 기록매체 |
| US12/289,141 US20090051781A1 (en) | 2003-02-14 | 2008-10-21 | Image processing apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003036959A JP2004248061A (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置、方法及びプログラム |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008061191A Division JP4544318B2 (ja) | 2008-03-11 | 2008-03-11 | 画像処理装置、方法及びプログラム |
| JP2008061192A Division JP4544319B2 (ja) | 2008-03-11 | 2008-03-11 | 画像処理装置、方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004248061A true JP2004248061A (ja) | 2004-09-02 |
Family
ID=32905093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003036959A Pending JP2004248061A (ja) | 2003-02-14 | 2003-02-14 | 画像処理装置、方法及びプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US20040169751A1 (ja) |
| JP (1) | JP2004248061A (ja) |
| KR (2) | KR100611607B1 (ja) |
| CN (1) | CN1260953C (ja) |
| TW (1) | TWI243611B (ja) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005110236A (ja) * | 2003-09-09 | 2005-04-21 | Konica Minolta Holdings Inc | 撮像装置 |
| JP2007124599A (ja) * | 2005-09-30 | 2007-05-17 | Seiko Epson Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2008092544A (ja) * | 2006-10-04 | 2008-04-17 | Lianfa Science & Technology Co Ltd | 携帯型マルチメディア再生装置 |
| JP2009081693A (ja) * | 2007-09-26 | 2009-04-16 | Nikon Corp | 電子カメラ |
| JP2009081617A (ja) * | 2007-09-26 | 2009-04-16 | Mitsubishi Electric Corp | 画像データ処理装置および画像データ処理方法 |
| JP2010524408A (ja) * | 2007-04-11 | 2010-07-15 | レッド．コム，インコーポレイテッド | ビデオカメラ |
| US8878952B2 (en) | 2007-04-11 | 2014-11-04 | Red.Com, Inc. | Video camera |
| JP2016082487A (ja) * | 2014-10-20 | 2016-05-16 | キヤノン株式会社 | 露出制御装置及びその制御方法、撮像装置、プログラム、記憶媒体 |
| US9521384B2 (en) | 2013-02-14 | 2016-12-13 | Red.Com, Inc. | Green average subtraction in image data |
| JP2017534230A (ja) * | 2014-11-05 | 2017-11-16 | デューライト・リミテッド・ライアビリティ・カンパニーＤｕｅｌｉｇｈｔ Ｌｌｃ | 同時に複数の画像を捕捉するための画像センサ装置および方法 |
| JP2017229025A (ja) * | 2016-06-24 | 2017-12-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10652478B2 (en) | 2012-09-04 | 2020-05-12 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US10785401B2 (en) | 2016-09-01 | 2020-09-22 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US10904505B2 (en) | 2015-05-01 | 2021-01-26 | Duelight Llc | Systems and methods for generating a digital image |
| US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US10931897B2 (en) | 2013-03-15 | 2021-02-23 | Duelight Llc | Systems and methods for a digital image sensor |
| US11375085B2 (en) | 2016-07-01 | 2022-06-28 | Duelight Llc | Systems and methods for capturing digital images |
| US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| US11503294B2 (en) | 2017-07-05 | 2022-11-15 | Red.Com, Llc | Video image data processing in electronic devices |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006238410A (ja) * | 2005-01-31 | 2006-09-07 | Fuji Photo Film Co Ltd | 撮像装置 |
| JP4678218B2 (ja) * | 2005-03-24 | 2011-04-27 | コニカミノルタホールディングス株式会社 | 撮像装置及び画像処理方法 |
| JP4733419B2 (ja) * | 2005-04-26 | 2011-07-27 | 富士フイルム株式会社 | 合成画像データ生成装置およびその制御方法ならびにその制御プログラム |
| US7683913B2 (en) * | 2005-08-22 | 2010-03-23 | Semiconductor Energy Laboratory Co., Ltd. | Display device and driving method thereof |
| JP4517301B2 (ja) * | 2006-01-06 | 2010-08-04 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| US8243326B2 (en) * | 2006-09-11 | 2012-08-14 | Electronics For Imaging, Inc. | Methods and apparatus for color profile editing |
| US8013871B2 (en) * | 2006-09-11 | 2011-09-06 | Electronics For Imaging, Inc. | Apparatus and methods for selective color editing of color profiles |
| KR100849783B1 (ko) * | 2006-11-22 | 2008-07-31 | 삼성전기주식회사 | 컬러 영상의 선명도 향상 방법 |
| US8242426B2 (en) * | 2006-12-12 | 2012-08-14 | Dolby Laboratories Licensing Corporation | Electronic camera having multiple sensors for capturing high dynamic range images and related methods |
| JP5054981B2 (ja) * | 2007-01-12 | 2012-10-24 | キヤノン株式会社 | 撮像装置及び撮像処理方法 |
| KR100892078B1 (ko) * | 2007-05-03 | 2009-04-06 | 엠텍비젼 주식회사 | 영상 밝기 조절 장치 및 그 방법 |
| US8731322B2 (en) * | 2007-05-03 | 2014-05-20 | Mtekvision Co., Ltd. | Image brightness controlling apparatus and method thereof |
| US8269852B2 (en) * | 2007-09-14 | 2012-09-18 | Ricoh Company, Ltd. | Imaging apparatus and imaging method |
| JP5090302B2 (ja) * | 2008-09-19 | 2012-12-05 | 富士フイルム株式会社 | 撮影装置および方法 |
| JP5109962B2 (ja) * | 2008-12-22 | 2012-12-26 | ソニー株式会社 | 固体撮像装置および電子機器 |
| US8391601B2 (en) * | 2009-04-30 | 2013-03-05 | Tandent Vision Science, Inc. | Method for image modification |
| JP4788809B2 (ja) * | 2009-08-17 | 2011-10-05 | セイコーエプソン株式会社 | 流体噴射方法 |
| JP5643555B2 (ja) * | 2010-07-07 | 2014-12-17 | キヤノン株式会社 | 固体撮像装置及び撮像システム |
| JP5697371B2 (ja) | 2010-07-07 | 2015-04-08 | キヤノン株式会社 | 固体撮像装置および撮像システム |
| JP5885401B2 (ja) | 2010-07-07 | 2016-03-15 | キヤノン株式会社 | 固体撮像装置および撮像システム |
| JP5751766B2 (ja) | 2010-07-07 | 2015-07-22 | キヤノン株式会社 | 固体撮像装置および撮像システム |
| JP5947507B2 (ja) * | 2011-09-01 | 2016-07-06 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5924943B2 (ja) * | 2012-01-06 | 2016-05-25 | キヤノン株式会社 | 撮像装置および撮像装置の制御方法 |
| CN106454285B (zh) * | 2015-08-11 | 2019-04-19 | 比亚迪股份有限公司 | 白平衡的调整系统及调整方法 |
| WO2017039038A1 (ko) * | 2015-09-04 | 2017-03-09 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 다중 필팩터가 적용된 이미지 센서 |
| JP6233424B2 (ja) * | 2016-01-05 | 2017-11-22 | ソニー株式会社 | 撮像システムおよび撮像方法 |
| CN106108586B (zh) * | 2016-08-13 | 2018-12-11 | 林智勇 | 陈皮剥皮刀的使用方法 |
| KR20220159829A (ko) | 2021-05-26 | 2022-12-05 | 삼성전자주식회사 | 넓은 색역의 영상을 제공하는 영상 획득 장치 및 이를 포함하는 전자 장치 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5929908A (en) * | 1995-02-03 | 1999-07-27 | Canon Kabushiki Kaisha | Image sensing apparatus which performs dynamic range expansion and image sensing method for dynamic range expansion |
| JP4245699B2 (ja) * | 1998-09-16 | 2009-03-25 | オリンパス株式会社 | 撮像装置 |
| US6282312B1 (en) * | 1998-09-28 | 2001-08-28 | Eastman Kodak Company | System using one or more residual image(s) to represent an extended color gamut digital image |
| US6282313B1 (en) * | 1998-09-28 | 2001-08-28 | Eastman Kodak Company | Using a set of residual images to represent an extended color gamut digital image |
| US6282311B1 (en) * | 1998-09-28 | 2001-08-28 | Eastman Kodak Company | Using a residual image to represent an extended color gamut digital image |
| JP4018820B2 (ja) * | 1998-10-12 | 2007-12-05 | 富士フイルム株式会社 | 固体撮像装置および信号読出し方法 |
| JP3819631B2 (ja) * | 1999-03-18 | 2006-09-13 | 三洋電機株式会社 | 固体撮像装置 |
| US7064861B2 (en) * | 2000-12-05 | 2006-06-20 | Eastman Kodak Company | Method for recording a digital image and information pertaining to such image on an oriented polymer medium |
| JP4511066B2 (ja) * | 2001-03-12 | 2010-07-28 | オリンパス株式会社 | 撮像装置 |
| US7489352B2 (en) * | 2002-11-15 | 2009-02-10 | Micron Technology, Inc. | Wide dynamic range pinned photodiode active pixel sensor (APS) |
-
2003
- 2003-02-14 JP JP2003036959A patent/JP2004248061A/ja active Pending
-
2004
- 2004-02-10 US US10/774,566 patent/US20040169751A1/en not_active Abandoned
- 2004-02-12 TW TW093103268A patent/TWI243611B/zh not_active IP Right Cessation
- 2004-02-13 KR KR1020040009499A patent/KR100611607B1/ko not_active IP Right Cessation
- 2004-02-13 CN CNB200410039471XA patent/CN1260953C/zh not_active Expired - Fee Related
-
2006
- 2006-04-26 KR KR1020060037662A patent/KR20060070496A/ko not_active Application Discontinuation
-
2008
- 2008-10-21 US US12/289,141 patent/US20090051781A1/en not_active Abandoned
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4720130B2 (ja) * | 2003-09-09 | 2011-07-13 | コニカミノルタホールディングス株式会社 | 撮像装置 |
| JP2005110236A (ja) * | 2003-09-09 | 2005-04-21 | Konica Minolta Holdings Inc | 撮像装置 |
| JP2007124599A (ja) * | 2005-09-30 | 2007-05-17 | Seiko Epson Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| US7924462B2 (en) | 2005-09-30 | 2011-04-12 | Seiko Epson Corporation | Image processing apparatus, image processing method and image processing program |
| JP2008092544A (ja) * | 2006-10-04 | 2008-04-17 | Lianfa Science & Technology Co Ltd | 携帯型マルチメディア再生装置 |
| US8194059B2 (en) | 2006-10-04 | 2012-06-05 | Mediatek Inc. | Portable multimedia playback apparatus |
| US8035628B2 (en) | 2006-10-04 | 2011-10-11 | Mediatek Inc. | Portable multimedia playback apparatus |
| US9787878B2 (en) | 2007-04-11 | 2017-10-10 | Red.Com, Llc | Video camera |
| US9436976B2 (en) | 2007-04-11 | 2016-09-06 | Red.Com, Inc. | Video camera |
| JP2010524408A (ja) * | 2007-04-11 | 2010-07-15 | レッド．コム，インコーポレイテッド | ビデオカメラ |
| US9792672B2 (en) | 2007-04-11 | 2017-10-17 | Red.Com, Llc | Video capture devices and methods |
| US8358357B2 (en) | 2007-04-11 | 2013-01-22 | Red.Com, Inc. | Video camera |
| US8872933B2 (en) | 2007-04-11 | 2014-10-28 | Red.Com, Inc. | Video camera |
| US8878952B2 (en) | 2007-04-11 | 2014-11-04 | Red.Com, Inc. | Video camera |
| US9019393B2 (en) | 2007-04-11 | 2015-04-28 | Red.Com, Inc. | Video processing system and method |
| US9230299B2 (en) | 2007-04-11 | 2016-01-05 | Red.Com, Inc. | Video camera |
| US9245314B2 (en) | 2007-04-11 | 2016-01-26 | Red.Com, Inc. | Video camera |
| US9596385B2 (en) | 2007-04-11 | 2017-03-14 | Red.Com, Inc. | Electronic apparatus |
| JP2009081693A (ja) * | 2007-09-26 | 2009-04-16 | Nikon Corp | 電子カメラ |
| JP2009081617A (ja) * | 2007-09-26 | 2009-04-16 | Mitsubishi Electric Corp | 画像データ処理装置および画像データ処理方法 |
| US8130280B2 (en) | 2007-09-26 | 2012-03-06 | Nikon Corporation | Electronic camera |
| US10652478B2 (en) | 2012-09-04 | 2020-05-12 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US11025831B2 (en) | 2012-09-04 | 2021-06-01 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
| US9521384B2 (en) | 2013-02-14 | 2016-12-13 | Red.Com, Inc. | Green average subtraction in image data |
| US9716866B2 (en) | 2013-02-14 | 2017-07-25 | Red.Com, Inc. | Green image data processing |
| US10582168B2 (en) | 2013-02-14 | 2020-03-03 | Red.Com, Llc | Green image data processing |
| US10931897B2 (en) | 2013-03-15 | 2021-02-23 | Duelight Llc | Systems and methods for a digital image sensor |
| JP2016082487A (ja) * | 2014-10-20 | 2016-05-16 | キヤノン株式会社 | 露出制御装置及びその制御方法、撮像装置、プログラム、記憶媒体 |
| JP2021158674A (ja) * | 2014-11-05 | 2021-10-07 | デューライト・リミテッド・ライアビリティ・カンパニーDuelight Llc | 同時に複数の画像を捕捉するための画像センサ装置および方法 |
| JP2017534230A (ja) * | 2014-11-05 | 2017-11-16 | デューライト・リミテッド・ライアビリティ・カンパニーＤｕｅｌｉｇｈｔ Ｌｌｃ | 同時に複数の画像を捕捉するための画像センサ装置および方法 |
| US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US11394894B2 (en) | 2014-11-06 | 2022-07-19 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
| US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
| US11356647B2 (en) | 2015-05-01 | 2022-06-07 | Duelight Llc | Systems and methods for generating a digital image |
| US10904505B2 (en) | 2015-05-01 | 2021-01-26 | Duelight Llc | Systems and methods for generating a digital image |
| JP2017229025A (ja) * | 2016-06-24 | 2017-12-28 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US11375085B2 (en) | 2016-07-01 | 2022-06-28 | Duelight Llc | Systems and methods for capturing digital images |
| US10785401B2 (en) | 2016-09-01 | 2020-09-22 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
| US11503294B2 (en) | 2017-07-05 | 2022-11-15 | Red.Com, Llc | Video image data processing in electronic devices |
| US11818351B2 (en) | 2017-07-05 | 2023-11-14 | Red.Com, Llc | Video image data processing in electronic devices |
| US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US11455829B2 (en) | 2017-10-05 | 2022-09-27 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US10586097B2 (en) | 2017-10-05 | 2020-03-10 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
| US11699219B2 (en) | 2017-10-05 | 2023-07-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI243611B (en) | 2005-11-11 |
| US20040169751A1 (en) | 2004-09-02 |
| TW200427324A (en) | 2004-12-01 |
| US20090051781A1 (en) | 2009-02-26 |
| KR20040073989A (ko) | 2004-08-21 |
| CN1260953C (zh) | 2006-06-21 |
| CN1522054A (zh) | 2004-08-18 |
| KR100611607B1 (ko) | 2006-08-11 |
| KR20060070496A (ko) | 2006-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100611607B1 (ko) | 화상처리장치, 방법 및 프로그램이 기록되어 있는 컴퓨터판독가능한 기록매체 | |
| JP4051674B2 (ja) | 撮像装置 | |
| US20080259188A1 (en) | Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information | |
| JP4544319B2 (ja) | 画像処理装置、方法及びプログラム | |
| JP2004328461A (ja) | オートホワイトバランス調整方法 | |
| JP2008124994A (ja) | 撮像装置及び露出制御方法 | |
| JP2001211362A (ja) | デジタルカメラの構図補助フレーム選択方法及びデジタルカメラ | |
| JP2008028960A (ja) | 撮影装置及び露出制御方法 | |
| JP4544318B2 (ja) | 画像処理装置、方法及びプログラム | |
| JP4158029B2 (ja) | ホワイトバランス調整方法および電子カメラ | |
| JP4306306B2 (ja) | ホワイトバランス制御方法及び撮像装置 | |
| JP2004320119A (ja) | 画像記録装置 | |
| JP2004201228A (ja) | 顔領域抽出方法及び装置 | |
| JP4114707B2 (ja) | 撮像装置 | |
| JP2004007133A (ja) | 撮像装置 | |
| JP4178548B2 (ja) | 撮像装置 | |
| JP4239218B2 (ja) | ホワイトバランス調整方法及び電子カメラ | |
| JP4051701B2 (ja) | 固体撮像素子の欠陥画素補正方法及び撮影装置 | |
| JP2004222134A (ja) | 撮像装置 | |
| JP2005051298A (ja) | ディジタルカメラ及びテンプレートデータ構造 | |
| JP4277258B2 (ja) | ホワイトバランス制御方法及び撮像装置 | |
| JP2004336264A (ja) | 画像記録装置 | |
| JP4276847B2 (ja) | 撮像装置 | |
| JP2006303755A (ja) | 撮像装置及び撮像方法 | |
| JP2004229154A (ja) | ホワイトバランス制御方法及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050330 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061211 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080417 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080806 |