JP2009284025A - 画像合成装置、撮像装置、画像合成方法、およびプログラム - Google Patents
画像合成装置、撮像装置、画像合成方法、およびプログラム Download PDFInfo
- Publication number
- JP2009284025A JP2009284025A JP2008131249A JP2008131249A JP2009284025A JP 2009284025 A JP2009284025 A JP 2009284025A JP 2008131249 A JP2008131249 A JP 2008131249A JP 2008131249 A JP2008131249 A JP 2008131249A JP 2009284025 A JP2009284025 A JP 2009284025A
- Authority
- JP
- Japan
- Prior art keywords
- image
- gain
- synthesis
- image signal
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 59
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 59
- 238000001308 synthesis method Methods 0.000 title abstract 2
- 239000002131 composite material Substances 0.000 claims abstract description 44
- 238000003384 imaging method Methods 0.000 claims description 31
- 239000000203 mixture Substances 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 23
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 8
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 101001139126 Homo sapiens Krueppel-like factor 6 Proteins 0.000 description 4
- 101100311460 Schizosaccharomyces pombe (strain 972 / ATCC 24843) sum2 gene Proteins 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 101000710013 Homo sapiens Reversion-inducing cysteine-rich protein with Kazal motifs Proteins 0.000 description 1
- 101000661807 Homo sapiens Suppressor of tumorigenicity 14 protein Proteins 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【解決手段】画像合成部30は、露光時間の異なる複数の画像信号から合成ゲインを決定する合成制御部32と、合成制御部32で決定された合成ゲインを用いて複数の画像信号を合成する合成処理部33と、を有し、合成制御部32は、合成ゲインを決定する際に、予め決定した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外する。
【選択図】図2
Description
この場合、不適切な画像信号の比が得られるため、不適切な合成ゲインが算出され擬似輪郭の原因となる。
そして、画像合成装置は、予測画像信号比を参照して合成ゲイン決定部に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定部から除外することで、擬似輪郭の発生を抑えるように構成されている。
撮像素子23は、CCDやCMOSセンサにより構成される。
本実施形態では、適正露光で撮影された白潰れのある標準画像信号と、短時間で撮影された黒潰れのある非標準画像信号の2枚の画像信号を撮影する。
撮影された画像信号はそれぞれA/D変換器25にてデジタル信号に変換されメモリ31に記録される。
この合成制御部32の合成ゲインGおよび置き換え閾値レベルTを決定する具体的な処理については、後で詳述する。
合成制御部32は、決定した合成ゲインGおよび置き換え閾値レベルTを合成処理部33に供給する。
合成処理部33は、合成した画像を圧縮部34に出力する。
閾値決定部321は、決定した長短置き換えの閾値レベルTをゲイン決定部322および合成処理部33に供給する。
ステップST10において、ゲイン決定部322はメモリ31標準画像信号と非標準画像信号の読み込みを行い、ステップST14の加算処理において用いるsum1とsum2の初期化を行う。
ステップST11において、ゲイン決定部322は、長短置き換え閾値レベルTにおける標準画像信号と非標準画像信号の予測画像信号比GPの予測を行う。
LUTはスミアの発生していない参照画像(複数枚)から画像信号比の平均を算出して作成する。
このとき予測画像信号比GPの予測誤差THBも決定する。
ステップST12において、ゲイン決定部322は、閾値決定部321で決定された長短置き換え閾値レベルTを参照し、標準画像信号から長短置き換え閾値レベルTの領域を分割する。
分割された領域が許容値より小さい場合、長短置き換え閾値レベルT±THAの領域を分割する。
ステップST13において、ゲイン決定部322は、ステップST12で分割された領域の画素位置に対応する標準画像信号と非標準画像信号を参照し、各信号レベルの比から画像信号比を算出する。
算出された画像信号比がステップST11において予測された予測画像信号比GPの予測誤差THBの範囲内に含まれている場合はステップST14へ、含まれていない場合はステップST15へ進む。
図5は、標準画像SIMと非標準画像信号NSIMとの対応関係を概念的に示す図である。
図6は、分割された領域における画像信号比のヒストグラムの例を示す図である。
図6に示すように、露光時間の比から経験的に予測画像信号比GPを予測し、予測された予測画像信号比GPから±THB以内の信号比を用いて合成ゲインを算出する。
また、スミア以外の動被写体やノイズの影響等も同様に無視することができる。
ステップST13において、予測画像信号比GP±THBの範囲内に入っているか否かを判定する。
両方の領域に含まれている範囲が合成ゲイン算出に用いられる領域になる。
ステップST13において非標準画像で(T±THA)/(GP±THB)の範囲内に入っているか否かを判定する。
そして、両方の領域に含まれている範囲が合成ゲイン算出に用いられる領域になる。
ステップST14において、ゲイン決定部322は、ステップST13で参照した画素位置の標準画像信号レベルをsum1に、非標準画像信号レベルをsum2に加算し、ステップST15に進む。
または、ステップST13で参照した画素位置の標準画像信号と非標準画像信号の比を加算し、加算回数を記憶しても良い。
ステップST15において、ゲイン決定部322は、ステップST12で分割された領域内の画素位置に対してステップST13の処理を行ったか否かを判定する。
全ての画素位置においてステップST13の処理を行っている場合はステップST16へ進み、完了していない場合は未処理の画素位置においてステップST13に進む。
ステップST16においては、ゲイン決定部322は、合成処理部33に供給する合成ゲインGを決定する。
合成ゲインGはステップST14で加算したsum1とsum2の比よりゲイン決定部322が決定する。
撮像素子23は、CCDやCMOSセンサにより構成される。
本実施形態では、適正露光で撮影された白潰れのある標準画像信号と、短時間で撮影された黒潰れのある非標準画像信号の2枚の画像信号を撮影する。
撮影された画像信号はそれぞれA/D変換器25にてデジタル信号に変換されメモリ31に記録される。
次に、合成制御部32ではメモリ31の情報を参照しながら、合成ゲインGおよび置き換え閾値レベルTが決定される。
次に、これらの値を用いて標準画像信号と非標準画像信号は、合成処理部33で合成され、圧縮部34で圧縮され出力される。
露光時間の比から経験的に予測画像信号比GPを予測し、予測された予測画像信号比GPから±THB以内の信号比を用いて合成ゲインを算出する。
また、スミア以外の動被写体やノイズの影響も同様に無視することができる。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
Claims (8)
- 露光時間の異なる複数の画像信号から合成ゲインを決定する合成制御部と、
上記合成制御部で決定された合成ゲインを用いて複数の画像信号を合成する合成処理部と、を有し、
上記合成制御部は、
上記合成ゲインを決定する際に、予め決定した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外する
画像合成装置。 - 上記合成制御部は、
適正露光画像において置き換えの閾値の信号レベルから予測誤差内の信号レベルを持つ画素の信号レベルの比を算出する
請求項1記載の画像合成装置。 - 上記合成制御部は、
露光時間の比から予測画像信号比を予測し、予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する
請求項2記載の画像合成装置。 - 露光時間の異なる複数の画像を連続して撮影する撮像部と、
上記撮像部で撮影された複数の画像を合成する画像合成部と、を有し、
上記画像合成部は、
上記撮像部で撮影された露光時間の異なる複数の画像信号から合成ゲインを決定する合成制御部と、
上記合成制御部で決定された合成ゲインを用いて複数の画像信号を合成する合成処理部と、を有し、
上記合成制御部は、
上記合成ゲインを決定する際に、予め決定した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外する
撮像装置。 - 上記合成制御部は、
適正露光画像において置き換えの閾値の信号レベルから予測誤差内の信号レベルを持つ画素の信号レベルの比を算出する
請求項4記載の撮像装置。 - 上記合成制御部は、
露光時間の比から予測画像信号比を予測し、予測された予測画像信号比から予測誤差以内の信号比を用いて合成ゲインを算出する
請求項5記載の撮像装置。 - 露光時間の異なる複数の画像信号から合成ゲインを決定する第1ステップと、
上記合成制御部で決定された合成ゲインを用いて複数の画像信号を合成する第2ステップと、を有し、
上記第1ステップにおいて、
上記合成ゲインを決定する際に、予め決定した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外する
画像合成方法。 - 露光時間の異なる複数の画像信号から合成ゲインを決定する第1処理と、
上記合成制御部で決定された合成ゲインを用いて複数の画像信号を合成する第2処理と、を有し、
上記第1処理において、
上記合成ゲインを決定する際に、予め決定した予測画像信号比を参照して合成ゲイン決定に不適切な画像信号を持つ画素位置の領域を合成ゲイン決定対象から除外する
画像合成処理をコンピュータに実行させるプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008131249A JP5286927B2 (ja) | 2008-05-19 | 2008-05-19 | 画像合成装置、撮像装置、画像合成方法、およびプログラム |
TW098112543A TWI424740B (zh) | 2008-05-19 | 2009-04-15 | 影像合成裝置,影像拾取裝置,影像合成方法及程式 |
US12/435,854 US8094210B2 (en) | 2008-05-19 | 2009-05-05 | Image synthesis apparatus, image pickup apparatus, image synthesis method, and program |
KR1020090042984A KR20090120409A (ko) | 2008-05-19 | 2009-05-18 | 화상 합성 장치, 촬상 장치, 화상 합성 방법, 및 프로그램 |
CN2009102030636A CN101588446B (zh) | 2008-05-19 | 2009-05-19 | 图像合成设备、图像拾取设备、图像合成方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008131249A JP5286927B2 (ja) | 2008-05-19 | 2008-05-19 | 画像合成装置、撮像装置、画像合成方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009284025A true JP2009284025A (ja) | 2009-12-03 |
JP5286927B2 JP5286927B2 (ja) | 2013-09-11 |
Family
ID=41315778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008131249A Expired - Fee Related JP5286927B2 (ja) | 2008-05-19 | 2008-05-19 | 画像合成装置、撮像装置、画像合成方法、およびプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8094210B2 (ja) |
JP (1) | JP5286927B2 (ja) |
KR (1) | KR20090120409A (ja) |
CN (1) | CN101588446B (ja) |
TW (1) | TWI424740B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5882599B2 (ja) * | 2011-04-28 | 2016-03-09 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5797072B2 (ja) * | 2011-09-22 | 2015-10-21 | キヤノン株式会社 | 撮像装置及びその制御方法、並びにプログラム |
JP6937736B2 (ja) * | 2016-02-15 | 2021-09-22 | ヌヴォトンテクノロジージャパン株式会社 | 固体撮像装置および撮像装置 |
US10482600B2 (en) * | 2018-01-16 | 2019-11-19 | Siemens Healthcare Gmbh | Cross-domain image analysis and cross-domain image synthesis using deep image-to-image networks and adversarial networks |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07131718A (ja) * | 1993-10-29 | 1995-05-19 | Canon Inc | 画像合成装置 |
JPH07131708A (ja) * | 1993-10-29 | 1995-05-19 | Canon Inc | 画像合成装置 |
JP2008263522A (ja) * | 2007-04-13 | 2008-10-30 | Canon Inc | 画像処理装置及び方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06227033A (ja) * | 1993-02-01 | 1994-08-16 | Minolta Camera Co Ltd | デジタル画像形成装置 |
US5801773A (en) * | 1993-10-29 | 1998-09-01 | Canon Kabushiki Kaisha | Image data processing apparatus for processing combined image signals in order to extend dynamic range |
US6744471B1 (en) * | 1997-12-05 | 2004-06-01 | Olympus Optical Co., Ltd | Electronic camera that synthesizes two images taken under different exposures |
EP1237363B1 (en) * | 1999-11-22 | 2006-01-18 | Matsushita Electric Industrial Co., Ltd. | Solid-state imaging device |
JP3985134B2 (ja) * | 2001-12-25 | 2007-10-03 | ソニー株式会社 | 撮像装置及びその画像合成方法 |
JP3801126B2 (ja) * | 2002-09-25 | 2006-07-26 | ソニー株式会社 | 撮像装置,撮像装置の画像出力方法,およびコンピュータプログラム |
US7525579B2 (en) * | 2004-12-27 | 2009-04-28 | Konica Minolta Holdings, Inc. | Image sensing apparatus and image processing method for use therein |
JP5156991B2 (ja) * | 2005-10-28 | 2013-03-06 | カシオ計算機株式会社 | 撮像装置、撮像方法および撮像プログラム |
JP4567593B2 (ja) * | 2005-12-27 | 2010-10-20 | 三星デジタルイメージング株式会社 | 撮像装置および撮影方法 |
JP4671430B2 (ja) * | 2006-06-02 | 2011-04-20 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法、プログラム及び記録媒体 |
CN100464572C (zh) * | 2007-07-25 | 2009-02-25 | 北京中星微电子有限公司 | 一种图像合成方法和装置 |
CN101394485B (zh) * | 2007-09-20 | 2011-05-04 | 华为技术有限公司 | 图像生成方法、装置及图像合成设备 |
CN101764959A (zh) * | 2008-12-25 | 2010-06-30 | 昆山锐芯微电子有限公司 | 图像拾取系统及图像处理方法 |
-
2008
- 2008-05-19 JP JP2008131249A patent/JP5286927B2/ja not_active Expired - Fee Related
-
2009
- 2009-04-15 TW TW098112543A patent/TWI424740B/zh not_active IP Right Cessation
- 2009-05-05 US US12/435,854 patent/US8094210B2/en not_active Expired - Fee Related
- 2009-05-18 KR KR1020090042984A patent/KR20090120409A/ko not_active Application Discontinuation
- 2009-05-19 CN CN2009102030636A patent/CN101588446B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07131718A (ja) * | 1993-10-29 | 1995-05-19 | Canon Inc | 画像合成装置 |
JPH07131708A (ja) * | 1993-10-29 | 1995-05-19 | Canon Inc | 画像合成装置 |
JP2008263522A (ja) * | 2007-04-13 | 2008-10-30 | Canon Inc | 画像処理装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
US20090284617A1 (en) | 2009-11-19 |
CN101588446A (zh) | 2009-11-25 |
US8094210B2 (en) | 2012-01-10 |
CN101588446B (zh) | 2013-08-14 |
JP5286927B2 (ja) | 2013-09-11 |
TW201010416A (en) | 2010-03-01 |
KR20090120409A (ko) | 2009-11-24 |
TWI424740B (zh) | 2014-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5083046B2 (ja) | 撮像装置及び撮像方法 | |
JP4127411B1 (ja) | 画像処理装置及び方法 | |
US7990433B2 (en) | Imaging apparatus and imaging method | |
US9699387B2 (en) | Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program | |
JP2013009316A (ja) | 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体 | |
JP2011109638A (ja) | 画像処理装置、画像処理方法 | |
JP2017022610A (ja) | 画像処理装置、画像処理方法 | |
JP2010147786A (ja) | 撮像装置及び画像処理方法 | |
JP2006245999A (ja) | 撮像装置、およびプログラム | |
JP2013135343A (ja) | 撮像装置 | |
JP5286927B2 (ja) | 画像合成装置、撮像装置、画像合成方法、およびプログラム | |
JP2010206776A (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2011171842A (ja) | 画像処理装置及び画像処理プログラム | |
JP2002232777A (ja) | 撮像システム | |
US20130089270A1 (en) | Image processing apparatus | |
JP5245648B2 (ja) | 画像処理装置、及び、プログラム | |
JP5274686B2 (ja) | 撮像装置及び撮像方法 | |
JP2012235390A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2012134745A (ja) | 画像信号処理装置 | |
JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
JP2009065691A (ja) | 画像処理装置、記録媒体及び画像処理プログラム | |
JP2015037222A (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
US11012630B1 (en) | Image processor and image processing method | |
JP5871590B2 (ja) | 撮像装置、及びその制御方法 | |
JP5091734B2 (ja) | 撮像装置および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110502 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130520 |
|
LAPS | Cancellation because of no payment of annual fees |