JP2001268345A

JP2001268345A - 画像合成装置

Info

Publication number: JP2001268345A
Application number: JP2000076956A
Authority: JP
Inventors: Toshiaki Watanabe; 利明渡辺
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2000-03-17
Filing date: 2000-03-17
Publication date: 2001-09-28

Abstract

(57)【要約】【課題】彩度補正の強さを適正化し、彩度補正をかけ
た後の合成画像がより適正になる画像合成装置を提供す
る。【解決手段】撮影画像のある特定の位置（ｘ，ｙ）に
対応する基準画像の画素の成分情報ＲＧＢを入力し（Ｓ
１）、輝度１，彩度１，色相１情報を計算等で求める
（Ｓ２）。同じ位置（ｘ，ｙ）に対応する背景画像の画
素の成分情報ＲＧＢを入力し（Ｓ３）、同様に輝度２，
彩度２，色相２を求める（Ｓ４）。基準画像と背景画像
の画素の輝度１，輝度２により領域を分割しどの領域に
属する画像合成処理方法を用いるかを判別し（Ｓ５，Ｓ
７，Ｓ９）、さらに、色相が変更されるべき範囲内にあ
る場合は（Ｓ９のＹＥＳ）、合成後にどの色相にするか
の変更量を計算等で求める（Ｓ１０）。色相変更量と輝
度１，輝度２及び彩度１，彩度２から彩度補正量を求め
る（Ｓ１１）。彩度補正量，色相変更量等の合成情報に
より、彩度補正をして合成変換が行なわれる（Ｓ１
２）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像合成装置、よ
り詳細には、デジタルビデオカメラ，デジタルスチルカ
メラ等のダイナミックレンジを拡大するための画像合成
装置に関し、複数の画像を１枚の画像に合成する画像合
成装置に応用可能な技術に関する。

【０００２】

【従来の技術】ＣＣＤ撮像素子等の固体撮像素子による
ダイナミックレンジは、銀塩写真システムによる撮影画
像のダイナミックレンジに比べて非常に狭く、一般の風
景や人物を撮影した場合でも被写体の暗い部分は黒つぶ
れが発生し、逆に被写体の明るい部分は白飛びが発生す
るため画像品質が低下する。このような固体撮像素子に
よるダイナミックレンジ拡大方法として、例えば、特開
昭６０−５２１７１号公報，特開平５−３０４２４号公
報等において、同一被写体を、露光量を異ならせて（変
えて）複数枚撮影し、この複数枚の画像信号を加算して
ダイナミックレンジを拡大させる画像合成の手法が提案
されている。

【０００３】図２は、画像合成による入力画像信号と出
力画像信号の関係を説明するための図で、図２（Ａ）は
露光量の異なる撮影画像の入出力画像信号特性図、図２
（Ｂ）は露光量の異なる撮影画像の出力画像信号を重み
付けして加算して合成した際の入出力画像信号特性図で
ある。図２(Ｂ)に示したように、図２（Ａ）に示したよ
うな露光量の異なる撮影画像を加算した後に圧縮するこ
とにより、1枚の撮影画像では得られなかった低輝度画
像と高輝度画像が含まれたダイナミックレンジの拡大さ
れた画像が可能になる。

【０００４】上述のような合成方法を用いることによ
り、固体撮像素子においてもダイナミックレンジが拡大
された画像を得ることができるが、主要被写体などの適
正露光状態に近い部分はさほどでもないが、図２（Ｂ）
に示すように、背景部、特に、空などの明るい部分は、
画像合成の際には輝度を上げて合成するために彩度が低
下し、空がほとんど白っぽくなって雲と空との区別がは
っきりとつかない画像となり、合成の効果が落ちてしま
う問題がある。

【０００５】そこで、露光量が異なる複数枚の撮影画像
の合成後において彩度が低下してしまう高輝度部に対し
て、合成前の高輝度撮影画像の彩度をできるだけ保つよ
うな彩度補正を、合成時または合成後の画像にかけるこ
とにより、彩度低下を防止している。この彩度補正を行
なうことにより、一般の風景や人物の画像での違和感が
なくなり、例えば、空の青さが鮮やかになり、空と雲と
が区別できるようになる。

【０００６】

【発明が解決しようとする課題】しかしながら、彩度補
正を行なう際に、彩度補正の強さを適当に選ばないと、
彩度が強すぎて色が変化したように見えたり、実際に色
相がずれたり、逆に彩度補正があまりかからなかったり
することが生じる。

【０００７】本発明は、上述のような実情を考慮してな
されたもので、彩度補正をかける際に、元の画像の色
相，輝度，彩度，被写体露出値などの画像情報に基づい
て彩度補正の強さを適正化し、彩度補正をかけた後の合
成画像がより適正になり、違和感がない画像が得られる
画像合成装置を提供することを目的としてなされたもの
である。

【０００８】

【課題を解決するための手段】請求項１の発明は、撮像
手段と画像合成処理手段とを有する画像合成装置であっ
て、同一被写体について露光量を変えて撮影された複数
枚の撮影画像を画像合成して１枚の合成画像を作成する
とき、より露光量を少なくして撮影された前記撮影画像
に対し、あらかじめ定められた輝度以上の画素の彩度補
正をして合成変換を行なうことにより前記合成画像を作
成する画像合成装置において、前記合成変換前の画像の
画素の彩度，色相，輝度の画像情報を判別する画像情報
判別手段を有し、該画像情報に基づいて前記彩度補正の
強度が定められることを特徴としたものである。

【０００９】請求項２の発明は、請求項１の発明におい
て、前記合成変換前の画像の画素の色相が特定の色相範
囲内にある場合で、かつ、対象の被写体部分の輝度が特
定の輝度範囲内にある場合には、前記合成変換後の画像
の画素の輝度が前記彩度補正前の合成画像の輝度から変
更されることにより、彩度を優先して前記彩度補正をし
て前記合成変換を行なうことを特徴としたものである。

【００１０】請求項３の発明は、請求項１の発明におい
て、前記合成変換前の画像の画素の色相が特定の色相範
囲内にある場合に、色相ごとにあらかじめ定められた許
容範囲内で該画素の色相をずらして前記彩度補正をして
前記合成変換を行なうことを特徴としたものである。

【００１１】請求項４の発明は、請求項１乃至３のいず
れかの発明において、前記合成変換前の画像の画素に前
記合成変換を行なう際に、該画素の近傍にある画素の輝
度，彩度，色相も使用して前記合成変換を行なうことを
特徴としたものである。

【００１２】請求項５の発明は、請求項１乃至４のいず
れかの発明において、前記複数枚の撮影画像の撮影条件
を記録する撮影条件記録手段と、該撮影条件から前記撮
影画像の画素ごとの被写体露出値を判別する被写体露出
値判別手段とを有し、該被写体露出値が１５ｅＶ以上
で、かつ、前記特定の色相が青色近辺の色相である時に
前記合成変換を行なうことを特徴としたものである。

【００１３】請求項６の発明は、露光量を変えて撮影さ
れた複数枚の撮影画像を画像合成して１枚の合成画像を
作成する画像合成装置であって、該画像合成を行なうと
きに、露光量を最も多くして撮影された前記撮影画像
（以下、基準画像と記す）の入力画像信号の輝度の大き
さにより複数の領域に分割し、該入力画像信号の輝度が
あらかじめ定められた輝度以下の低輝度領域において
は、前記基準画像の出力画像信号をそのまま前記合成画
像の出力画像信号とし、前記低輝度領域を越える輝度の
高輝度領域においては、前記分割した各領域に対応して
前記合成画像の出力画像信号があらかじめ定められた輝
度となるように、輝度の低い領域順に露光量をより多く
して撮影された前記撮影画像の順に１枚ずつ対応させ
て、該撮影画像の次に露光量を多くして撮影された撮影
画像との２枚の撮影画像のそれぞれの出力画像信号を重
み付けして加算して画像合成を順次行ない、かつ、あら
かじめ定められた輝度以上の画像に対しては彩度補正を
して合成変換を行なう画像合成装置において、前記合成
変換前の画像の画素の彩度，色相，輝度の画像情報を判
別する画像情報判別手段を有し、該画像情報に基づいて
前記彩度補正の強度が定められることを特徴としたもの
である。

【００１４】請求項７の発明は、同一被写体について露
光量を変えて撮影された複数枚の撮影画像を画像合成し
て１枚の合成画像を作成するとき、より露光量を少なく
して撮影された前記撮影画像に対し、あらかじめ定めら
れた輝度以上の画素の彩度補正をして合成変換を行なう
ことにより前記合成画像を作成する画像合成装置におい
て、前記合成変換前の画像の画素の彩度，色相，輝度の
画像情報を判別する画像情報判別手段を有し、該画像情
報に基づいて前記彩度補正の強度が定められることを特
徴としたものである。

【００１５】請求項８の発明は、請求項７の発明におい
て、前記合成変換前の画像の画素の色相が特定の色相範
囲内にある場合で、かつ、対象の被写体部分の輝度が特
定の輝度範囲内にある場合には、前記合成変換後の画像
の画素の輝度が前記彩度補正前の合成画像の輝度から変
更されることにより、彩度を優先して前記彩度補正をし
て前記合成変換を行なうことを特徴としたものである。

【００１６】請求項９の発明は、請求項７の発明におい
て、前記合成変換前の画像の画素の色相が特定の色相範
囲内にある場合に、色相ごとにあらかじめ定められた許
容範囲内で該画素の色相をずらして前記彩度補正をして
前記合成変換を行なうことを特徴としたものである。

【００１７】請求項１０の発明は、請求項７乃至９のい
ずれかの発明において、前記合成変換前の画像の画素に
前記合成変換を行なう際に、該画素の近傍にある画素の
輝度，彩度，色相も使用して前記合成変換を行なうこと
を特徴としたものである。

【００１８】請求項１１の発明は、請求項７乃至１０の
いずれかの発明において、前記複数枚の撮影画像の撮影
条件を記録する撮影条件記録手段と、該撮影条件から前
記撮影画像の画素ごとの被写体露出値を判別する被写体
露出値判別手段とを有し、該被写体露出値が１５ｅＶ以
上で、かつ、前記特定の色相が青色近辺の色相である時
に前記合成変換を行なうことを特徴としたものである。

【００１９】請求項１２の発明は、請求項１乃至５のい
ずれかの発明において、前記露光量を変える手段として
露光時間のみを変えることを特徴としたものである。

【００２０】請求項１３の発明は、請求項７乃至１１の
いずれかの発明において、異なる被写体の撮影画像を合
成して１枚の前記合成画像を作成することを特徴とした
ものである。

【００２１】請求項１４の発明は、請求項１乃至１３の
いずれかに記載の画像合成装置として機能させるための
プログラムを記録したコンピュータ読み取り可能な記録
媒体である。

【００２２】

【発明の実施の形態】図１は、本発明による画像合成装
置の一実施例を説明するための要部ブロック図である。
すなわち、図１は撮影部を有するデジタルカメラに本発
明による画像合成機能を組み込んでいる場合を示してい
る。図１において、撮影レンズ１に入射した被写体から
の光は絞り２で光量が調整されてＣＣＤ３に結像する。
ＣＣＤ３に結像した画像は画素毎の光量に応じた電気信
号に変換されて画像信号として一定時間毎に出力され
る。出力された一画像分の画像信号は、相関二重サンプ
リング回路ＣＤＳ（Cor-related Double Sampling Circ
uit）４によってノイズ等が除去され、プロセス処理回
路５にてゲインコントロールされた後、Ａ／Ｄ変換器６
にてアナログ信号からデジタル信号に変換される。デジ
タル画像信号に変換された画像信号は、デジタル信号処
理部１２に送られて、ＲＧＢ信号変換や画像補間等のデ
ジタル画像処理が行なわれる。デジタル信号処理部１２
の画像処理結果は、画像情報判別処理部２０に送られ、
画素毎に輝度，彩度，色相の画像情報が判別される。該
画像情報は、システム制御部９に送られる。システム制
御部９は該画像情報に基づき、絞り駆動部７およびＣＣ
Ｄ駆動部８を動作させて、絞り２の口径およびＣＣＤ３
のシャッタ速度を変更する。

【００２３】絞り２には、絞り駆動部７が接続されてお
り、ＣＣＤ３にはＣＣＤ駆動部８が接続されている。絞
り駆動部７は、システム制御部９によって制御され、撮
像レンズ１から入射してＣＣＤ３に至る光線束の径を変
化させるように絞り２の口径を開閉する。また、ＣＣＤ
駆動部８は、システム制御部９により、撮影光量によっ
て変換された電気信号の蓄積及び取り出しができるよう
に、ＣＣＤ３の動作を制御する。すなわち、ＣＣＤ３
は、ＣＣＤ駆動部８の制御によってシャッタ動作が実行
される。したがって、上記の２つの駆動部により、様々
な露出での画像撮影が可能になっている。

【００２４】デジタル信号処理部１２には、切替器１３
が接続されており、デジタル画像処理した画像信号は切
替器１３を介して出力される。システム制御部９によっ
て切替器１３の接続先が切り替えられ、画像合成を行な
うために被写体像の露光条件が変えられて連写撮影され
た複数の画像信号は一画像分の画像信号ごとに、第１メ
モリ１４，第２メモリ１５に順次記憶される。また、切
替器１３は、画像データ処理部１７にも接続されてお
り、システム制御部９により画像合成を行わない画像信
号は、切替器１３から画像データ処理部１７に送られ
る。第１メモリ１４と第２メモリ１５は、画像情報判別
処理部２０に接続されており、画像合成時に、画素毎の
輝度，彩度，色相の画像情報が判別され、該画像情報
が、システム制御部９と画像合成処理部１６に渡され
る。

【００２５】画像合成のために第１メモリ１４と第２メ
モリ１５に記憶された同一被写体の露光条件が異なる各
画像信号は、画像合成処理部１６にて、システム制御部
９からの制御信号と画像情報判別処理部２０からの画像
情報に基づいて画像変換すなわち画像合成処理が行なわ
れる。なお、Ａ／Ｄ変換器６から送りだされた画像信号
は、デジタル信号処理部１２にて、画像合成に必要な画
像信号のみが抽出されて第１メモリ１４と第２メモリ１
５に記憶されることにより、メモリの容量を減少させる
ことができることは言うまでもない。

【００２６】画像合成処理部１６は、画像データ処理部
１７に接続されており、画像合成処理部１６で合成され
た合成画像信号、および、切替器１３から直接送られて
きた画像信号は、画像データ処理部１７にて、ガンマ補
正や圧縮等の画像処理が行われた後、メモリカードなど
の外部メモリ１８に出力され、記憶される。また、デジ
タル信号処理部１２からの画像信号は、画像表示処理部
２３に送られ、ガンマ補正処理等の画像表示用処理が行
なわれた後にＬＣＤモニタ等の画像表示装置２４に送ら
れ、撮影画像が確認される。

【００２７】画像合成処理部１６における画像合成処理
の一例について、図２（Ａ）,（Ｂ）を参照して説明す
る。なお、前述のように、図２（Ａ）は、露光量の異な
る撮影画像の入力画像信号と出力画像信号の関係を示す
図で、図２（Ｂ）は、露光量の異なる撮影画像の入力画
像信号と画像合成処理後の出力画像信号の関係を示す図
である。図２（Ａ），図２（Ｂ）は、説明を簡単にする
ため、２つの露光量の異なる撮影画像で画像合成を行な
う場合の一例を示しているが、実際には、２枚を越える
複数枚の撮影画像に対して画像合成が同様の方法で行な
われる。また、２つの撮影画像を画像合成する方法につ
いて、以下に示す方法は、その一例にすぎない。

【００２８】図２（Ａ）において、基準画像Ａは主要被
写体に合わせて露光した場合の入力画像信号に対する出
力画像信号を示し、背景画像Ｂは基準画像Ａよりも少な
い露光量で撮影されたもので、基準画像Ａにおいては白
飛びを起こすような明るい部分に露光を合わせられた場
合の入力画像信号に対する出力画像信号を示す。一方、
図２（Ｂ）における合成画像Ｃは、画像合成処理部１６
で画像合成された後の合成画像の入力画像信号に対する
出力画像信号を示す。なお、前述のように、上記露光量
は、システム制御部９の制御により、絞り駆動部７、お
よび、ＣＣＤ駆動部８を動作させて、絞り２の口径の大
きさおよびＣＣＤ３の露光時間を変更させることによ
り、調整することができる。

【００２９】図２（Ａ）に示すように、たとえば入力画
像信号が同じ輝度ｂに対して、基準画像Ａの出力画像信
号は、より露光量を少なくして撮影された背景画像Ｂよ
りも非常に大きくなっている。したがって、画像合成処
理部１６において基準画像Ａと背景画像Ｂとを合成する
場合、あらかじめ定められた法則に従って違和感がない
合成画像が得られるように両方の画像に対して重みを付
けて合成変換を行なうことが必要である。

【００３０】図２（Ｂ）において、入力画像信号が輝度
ａまでの低輝度部の範囲（領域１）においては、基準画
像Ａの出力画像信号をそのまま用い、入力画像信号が輝
度ａを越えて輝度ｂまでの範囲（領域２）では、出力画
像信号がある一定の法則で定められた特性が得られるよ
うに、出力画像信号が点（ａ，ｋ１）と点（ｂ，ｋ２）
とを結ぶ直線の関係になるように、基準画像Ａと背景画
像Ｂの出力画像信号が重みを変えて加算される。さらに
入力画像信号が輝度ｂを越えて輝度ｃまでの高輝度部の
範囲（領域３）においては、出力画像信号が点（ｂ，ｋ
２）と点（ｃ，ｋ３）とを結ぶ直線の関係になるように
変換される。しかしながら、このように基準画像Ａと背
景画像Ｂとを重み付けして加算することにより生成した
合成画像Ｃは、図２（Ｂ）からもわかるように、入力画
像信号が輝度ｂを越す高輝度部では、合成画像Ｃの背景
画像部分は、出力差、すなわち出力画像信号の最大値と
最小値の幅が（ｋ３−ｋ２）と小さくなるため、彩度の
低下が生じてしまう。そこで、入力画像信号が撮影条件
であらかじめ定められた輝度閾値ｓ以上の画素に対して
は、彩度補正を行ない、彩度の低下を防ぐ。

【００３１】ここで、本発明で行なわれる各画素の彩度
補正方法の一例を示す。まず、ある画素における赤，
青，緑の成分が大きい方、すなわち明るい方からＬ，
Ｍ，Ｓとした時に、彩度Ｓａは式（１）で表される。Ｓａ＝［｛（Ｌ−Ｓ）＋（Ｍ−Ｓ）｝／（Ｌ＋Ｍ＋Ｓ）］＊ｔ（１）ここで、ｔは彩度Ｓａを表すための変換定数であり、８
ビットで表す場合は２５５となる。

【００３２】また、輝度Ｙは、ある画素における赤，
緑，青の成分をＲ，Ｇ，Ｂとした場合、一般に式（２）
で表される。Ｙ＝ａ＊Ｒ＋ｂ＊Ｇ＋ｃ＊Ｂａ＋ｂ＋ｃ＝１（２）ここで、ａ，ｂ，ｃは赤，緑，青の成分の重みを示す。
一般的には、ＮＴＳＣで用いられるａ＝０.３，ｂ＝０.
５９，ｃ＝０.１１であるが、ここでは、明度とも呼ば
れるａ＝ｂ＝ｃ＝１／３とする。

【００３３】この時、彩度補正の前後で輝度値（明度）
を変えないで彩度補正するには、式（３）によって彩度
を補正すれば良い。Ｒ’＝｛（２ｋ＋１）＊Ｒ＋（１−ｋ）＊Ｇ＋（１−ｋ）＊Ｂ｝／３Ｇ’＝｛（１−ｋ）＊Ｒ＋（２ｋ＋１）＊Ｇ＋（１−ｋ）＊Ｂ｝／３（３）Ｂ’＝｛（１−ｋ）＊Ｒ＋（１−ｋ）＊Ｇ＋（２ｋ＋１）＊Ｂ｝／３ここで、Ｒ’，Ｇ’，Ｂ’は彩度補正後の赤，緑，青の
成分を表す。ｋは彩度補正量を表し、ｋ＝０でモノクロ
画像，ｋ＝１で彩度補正なし，ｋ＞１で彩度強化，ｋ＜
１で彩度低下を示す。

【００３４】次に、基準画像Ａ内で入力画像信号がある
輝度以上の画素に対し、同じ場所にある背景画像Ｂの彩
度Ｓａ０を求め、背景画像Ｂを彩度補正なしで合成を行
なったときの合成後の彩度Ｓａ１を求める。彩度補正量
ｋとして式（４）を計算する。ｋ＝Ｓａ０／Ｓａ１＊Ｐ（４）ここで、Ｐは彩度補正量を制御するための値であり、本
発明では、合成変換前の画像すなわち背景画像Ｂの彩
度，色相や撮影輝度等によって変更することができる。

【００３５】式（４）で計算した彩度補正量ｋを式
（３）に適用することにより、彩度補正を行ない、合成
変換した画像を得ることができる。上記手法による彩度
補正では、彩度補正の前後において輝度値（明度）を変
えることなく彩度の補正を行なうことができ、背景部な
どの高輝度部において彩度の低下を抑制することができ
る。

【００３６】しかしながら、実際に彩度補正をかける場
合には、上記の式（３）をそのままでは使えない場合が
ある。たとえばＲ，Ｇ，Ｂの各成分を８ビットで表して
いる場合、各成分を示す値が最大２５５までという制限
がある。この場合、たとえば、（Ｒ，Ｇ，Ｂ）＝（５
０，１００，２００）の画素の明度は１１７であるが、
この画素の明度を２００に変換する際に、彩度，色相を
変えずに変換しようとすると、赤，緑，青の各成分を同
じ比率で変換することになるため、（Ｒ’，Ｇ’，
Ｂ’）＝（８６，１７１，３４２）となり、青の成分
Ｂ’が最大値２５５を越えてしまう。ここで、単に、青
の成分Ｂ’を最大値２５５に変換すると、明度，色相，
彩度のすべてが変化してしまう。すなわち、赤，緑，青
の各成分の何れも最大値２５５を越えないように合成変
換を行なおうとしても、色相，彩度，明度の何れかを変
化させなければ変換することができない場合がある。

【００３７】そこで、本発明においては、彩度補正をし
て合成変換を行なう際に、合成変換前の画像の色相情報
を中心に、彩度および輝度情報も使用し、ある場合は彩
度を変化させたり、別の場合には輝度を変化させる、ま
た、別の場合には、色相も若干変化させることにより、
合成変換後の画像に違和感がないようにする。

【００３８】例えば、合成変換前の画素が、青空のよう
に輝度をある程度下げても青を強調した方が良い色相の
場合には、色相と彩度をできるだけ変えないようにする
が、曇り空など青がはっきりしないような空などでは、
元々彩度が低下しているため、ある程度の彩度を確保し
ながら色相と輝度を変えないようにする。すなわち、合
成変換前の画素の色相が特定の色相範囲内にある場合
で、かつ、該画素の輝度が特定の輝度範囲内にある場合
には、合成変換後における合成画像の出力画像信号の輝
度が前記の直線の関係にならなくても、すなわち、前記
あらかじめ定められた法則に従わなくても、色相情報と
輝度情報とを同時に使い、彩度を優先して合成変換を行
なうことによって、たとえば、空の青などのように、高
輝度部の領域（図２（Ｂ）に示す領域３）における特定
の色のみを強調することができる。また、樹木などの緑
では合成変換前の画素の色相が変わらないようにした
り、樹木の緑に部分的に含まれる黄色などは、若干緑側
にシフトするように変化させたりして彩度補正を行な
う。すなわち、合成変換前の画素の色相が、特定の色相
範囲内にある場合、各色相ごとに定められた許容範囲内
で色相をずらして彩度補正をすることによって、違和感
がない合成画像が得られる。

【００３９】この時に、空の青色であることや樹木など
の緑色であることをより確実に判別して、特定画素だけ
が彩度補正されて、合成変換後の画像に違和感がでない
ように、該特定画素だけではなく、その周辺にある近傍
の画素の輝度，色相，彩度の画像情報も使用して色相変
換等の合成変換処理を行なわせることにより、より自然
で違和感がない合成画像が得られる。特に、空の青色に
関しては、通常の撮影条件では、空部分を撮影したＣＣ
Ｄ画素の露出値が１５ｅＶ以上となり、かつ、色相が青
色近辺であり、また、撮影画像の上半分に存在する確率
が高いため、撮影画像の撮影条件を記録して対象画素の
露出情報、色相や位置情報などから、必要な情報を選ん
で使用することにより、さらに確実に判別することがで
きる。そして、空の青みを保持した状態で合成変換を行
わせることができる。

【００４０】図３は、本発明による画像合成装置におけ
る合成変換の動作の一実施例を説明するためのフローチ
ャートである。図４は、図３に示した実施例による一具
体例を説明するための図である。図３に示した実施例
は、図４（Ａ）に示すように、手前に主要被写体である
人物が立っていてその背景に空が浮かんでいる情景を、
露光量すなわち露出を変えた２つの撮影画像（図４
（Ｂ），図４（Ｃ））から合成する場合を示している。
図４（Ｂ）は、人物に露出が合っている撮影画像であ
り、標準画像すなわち図２（Ａ）に示す基準画像Ａであ
る。一方、図４（Ｃ）は、空に露出が合っている画像で
あり、図２（Ａ）に示す背景画像Ｂである。

【００４１】基準画像Ａにおけるある特定の位置（ｘ，
ｙ）に対応する画素に関する成分情報Ｒ，Ｇ，Ｂを入力
し（Ｓ１）、基準画像Ａにおける輝度（輝度１），彩度
（彩度１），色相（色相１）情報を計算等で求める（Ｓ
２）。次に、高輝度部の空に露出が合っている背景画像
Ｂにおいて、同一の位置（ｘ，ｙ）に対応する画素に関
する成分情報Ｒ，Ｇ，Ｂを入力し（Ｓ３）、同様に輝度
（輝度２），彩度（彩度２），色相（色相２）情報を求
める（Ｓ４）。基準画像Ａと背景画像Ｂのそれぞれの入
力画像信号の輝度情報（輝度１および輝度２）により、
図２（Ｂ）に示した領域１乃至３のどの部分の合成変換
処理を行なうかを判別される（Ｓ５，Ｓ７，Ｓ９）。こ
のフローチャートの例では、領域３の部分にのみ彩度補
正をかける例を示している。しかし、領域１，２の部分
で彩度補正を行なっても良いし、また、２枚を越える複
数枚の撮影画像から１枚の合成画像を生成する場合にお
いては、複数の領域に対して彩度補正をして合成変換を
行なう。

【００４２】領域３に判別された場合には（Ｓ７のＮ
Ｏ）、先ず、色相が変更されるべき色相範囲内にあるか
が判断される（Ｓ９）。この判断に使用される画像の色
相情報は、背景画像Ｂの色相情報（色相２）が使用され
る。領域３では、基準画像Ａの彩度がほぼ０になってい
るためであるが、この例以外の領域１，２で彩度補正を
行なう場合などにおいては、どちらの画像の色相情報を
使うかまたは両方使用するかは適宜定められる。色相が
変更されるべき色相範囲内にあると判断された場合には
（Ｓ９のＹＥＳ）、その色相情報（色相２）に基づい
て、合成変換後にどの色相にするかの変更量が計算等で
求められる（Ｓ１０）。色相変更量と輝度１，輝度２、
及び、彩度２（基準画像Ａの彩度１は前述のように０に
近いため）から彩度補正量を求める（Ｓ１１）。その
後、求められた彩度補正量，色相変更量等の合成情報に
より、彩度補正を行ない、合成変換が行なわれる（Ｓ１
２）。

【００４３】図４（Ｄ）は、本発明による彩度補正を行
なわない場合を示した図であり、空の雲の部分が不鮮明
になっている状態を表している。図４（Ｅ）は、本発明
による彩度補正によって空の青さが強調されて雲がはっ
きり写っている状態を示している。また、図４（Ｅ）で
は、空の部分が撮影画像の半分以下にまで写っている
が、近傍の画素の画像情報を含めた合成変換処理を行な
うことにより、該当部分も一連の空と認識させることが
できるため、空一面にわたって同様の処理を行なわせる
ことができる。

【００４４】上述のごとき各種の彩度補正処理のうち、
いずれの彩度補正処理を施して合成変換を行なうかは、
撮影画像の色相，彩度，輝度等の画像情報や被写体露出
値に基づいて定まる。この彩度補正処理の選択条件を図
１の画像合成処理部１６内のメモリ（図示していない）
などに記憶しておくことにより、撮影画像における画素
の画像情報などに基づいて所望の彩度補正を行なうこと
ができる。

【００４５】上述の実施例は、露光量を変えて撮影され
た基準画像Ａと背景画像Ｂとを彩度補正して合成変換す
る画像合成機能をデジタルカメラに組み込んでいる場合
を示しているが、この場合に限らず、本発明による彩度
補正して合成変換を行なう画像合成機能をたとえばパソ
コン等を用いた画像合成装置に適用することもできる。

【００４６】図５は、一般に使用されているデジタルカ
メラ５０で撮影された画像を表示するパソコンの構成を
示すブロック図である。パソコン４０は全体の動作を制
御するＣＰＵ４１とメモリ４２、情報を蓄積するハード
ディスク４８、外部記憶装置４５、データの入出力を行
なう入力装置４７、ディスプレイ４６さらにはＣＤ−Ｒ
ＯＭ４４との情報をやり取りするＣＤ−ＲＯＭドライバ
４３を有している。入力装置４７にデジタルカメラ５０
を接続し、デジタルカメラ５０のメモリに記憶されてい
る画像データがパソコン４０のメモリ４２に読み込まれ
る。ディスプレイ４６は読み込まれた画像データやＣＰ
Ｕ４１により画像処理された画像データによる画像を表
示する。外部記録媒体ＣＤ−ＲＯＭ４４には上述した本
発明に係る彩度補正をして合成変換処理を実現する制御
プログラムが格納されている。

【００４７】ＣＤ−ＲＯＭ４４に格納された制御プログ
ラムをメモり４２に取り出して起動し、デジタルカメラ
５０で露光量を変えて撮影されてデジタルカメラ５０内
のメモリに記憶された複数の画像データを入力装置４７
を介して入力すると、ＣＰＵ４１は入力された画像デー
タをメモリ４２に蓄積する。メモリ４２に蓄積された各
画像データは画像の合成処理を行なう際に、各画像デー
タの輝度，色相，彩度の画像情報に基づいて上述のごと
き彩度補正をして合成変換が施される。合成変換処理さ
れた合成画像はガンマ補正や圧縮などの画像処理が施さ
れた後、ディスプレイ４６に表示されるとともにハード
ディスク４８や外部記憶装置４５に格納される。

【００４８】図５に示す実施例では、デジタルカメラ５
０を入力装置に接続した状態で、彩度補正をして合成変
換を行なう場合を示しているが、デジタルカメラ５０の
メモリにある画像データに限らず、過去に既にハードデ
ィスク４８などに保存されている画像データを用いて彩
度補正をして合成変換を行なうことももちろん可能であ
り、いずれの場合でも、撮影後の画像データに対し、任
意の時期で前記合成変換を行なうことができる。上述の
実施例においては、同一の被写体を露光量を変えて撮影
した複数枚の撮影画像から１枚の合成画像を作成する例
を示しているが、主要の被写体が撮影されている基準画
像に異なる背景画像を合成して１枚の合成画像を作成す
る場合においても、同様の彩度補正手法を用いることが
できる。

【００４９】なお、前述のように、以上の実施例は説明
を簡単にするために、露光量が異なる２枚の撮影画像す
なわち１枚の基準画像と１枚の背景画像に対して画像合
成を行なう場合を示しているが、２枚を越える複数枚の
撮影画像の場合であっても、全く同様の彩度補正をして
合成変換を行なうことができる。この場合、前述したよ
うに、彩度補正も複数の領域にわたって行なうことにな
る。

【００５０】

【発明の効果】（１）請求項１および６の発明に対する
効果合成画像の高輝度部の彩度の低下を防ぐとともに、色相
がずれたりして色が違ったり、明るさが変化するなどの
違和感を軽減することができる。

【００５１】（２）請求項２の発明に対する効果空の青色を強調し、雲をはっきりさせるなど特定の色の
みを強調することができる。

【００５２】（３）請求項３の発明に対する効果特定の色相をずらすことにより、色が強調されることで
生じる違和感を防止することができる。

【００５３】（４）請求項４の発明に対する効果近傍の画素の状態も使用して彩度補正することにより、
より違和感のない画像合成を行なうことができる。

【００５４】（５）請求項５の発明に対する効果空の抽出を確実に行なうことができ、空の青みを保持し
た状態での画像合成を行なうことができる。

【００５５】（６）請求項７乃至１１のいずれかの発明
に対する効果それぞれ対応する請求項１乃至５のいずれかの発明に対
する効果と同様の効果が、撮影後の複数枚の撮影画像を
合成する場合においても得られる。

【００５６】（７）請求項１２の発明に対する効果露光時間のみを変えることにより露光量を変えて撮影さ
れた複数枚の撮影画像を合成する場合においても、請求
項１乃至５のいずれかの発明に対する効果と同様の効果
が得られる。

【００５７】（８）請求項１３の発明に対する効果同一被写体に限らず、背景画像が異なる撮影画像を合成
する場合においても請求項７乃至１１のいずれかの発明
に対する効果と同様の効果が得られる。

【００５８】（９）請求項１４の発明に対する効果パソコンなどのプログラムの実行可能な処理装置さえ用
意すれば、撮影時に限らず、撮影後でも、合成変換処理
を行なうことができる。

【図面の簡単な説明】

【図１】本発明による画像合成装置の一実施例を説明
するための要部ブロック図である。

【図２】画像合成による入力画像信号と出力画像信号
との関係を説明するための図である。

【図３】本発明による画像合成装置の動作の一実施例
を説明するためのフローチャートである。

【図４】図３に示した実施例による一具体例を説明す
るための図である。

【図５】本発明による別の実施例を説明するための要
部ブロック図である。

【符号の説明】

１…撮影レンズ、２…絞り、３…ＣＣＤ、４…ＣＤＳ、
５…プロセス処理回路、６…Ａ／Ｄ変換器、７…絞り駆
動部、８…ＣＣＤ駆動部、９…システム制御部、１２…
デジタル信号処理部、１３…切替器、１４…第１メモ
リ、１５…第２メモリ、１６…画像合成処理部、１７…
画像データ処理部、１８…外部メモリ、２０…画像情報
判別処理部、２３…画像表示処理部、２４…画像表示装
置、３０…空、３１…人物、３２…雲、３３…地面、４
１…ＣＰＵ、４２…メモリ、４３…ＣＤ−ＲＯＭドライ
ブ、４４…ＣＤ−ＲＯＭ、４５…外部記憶装置、４６…
ディスプレイ、４７…入力装置、４８…ハードディス
ク、５０…デジタルカメラ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 9/64 Ｈ０４Ｎ 101:00 ５Ｃ０７９ // Ｈ０４Ｎ 101:00 1/46 ＺＦターム(参考） 5B057 AA20 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE08 CE11 CE17 5C022 AA13 AB01 AB68 AC01 AC42 AC52 AC56 5C065 AA03 BB48 CC01 CC02 CC03 CC08 CC09 DD02 FF02 GG18 GG21 GG30 GG32 GG49 5C066 AA01 AA11 BA13 CA05 DD07 EA05 EB01 EC01 ED00 EE01 EF02 GA01 GA05 GA32 GA33 GB01 HA02 KA12 KD06 KE02 KE07 KE19 KL13 KM02 KP02 5C076 AA19 AA26 AA27 BA01 BA06 5C079 HB01 LB01 NA03

Claims

【特許請求の範囲】

【請求項１】撮像手段と画像合成処理手段とを有する
画像合成装置であって、同一被写体について露光量を変
えて撮影された複数枚の撮影画像を画像合成して１枚の
合成画像を作成するとき、より露光量を少なくして撮影
された前記撮影画像に対し、あらかじめ定められた輝度
以上の画素の彩度補正をして合成変換を行なうことによ
り前記合成画像を作成する画像合成装置において、前記
合成変換前の画像の画素の彩度，色相，輝度の画像情報
を判別する画像情報判別手段を有し、該画像情報に基づ
いて前記彩度補正の強度が定められることを特徴とする
画像合成装置。
【請求項２】請求項１に記載の画像合成装置におい
て、前記合成変換前の画像の画素の色相が特定の色相範
囲内にある場合で、かつ、対象の被写体部分の輝度が特
定の輝度範囲内にある場合には、前記合成変換後の画像
の画素の輝度が前記彩度補正前の合成画像の輝度から変
更されることにより、彩度を優先して前記彩度補正をし
て前記合成変換を行なうことを特徴とする画像合成装
置。
【請求項３】請求項１に記載の画像合成装置におい
て、前記合成変換前の画像の画素の色相が特定の色相範
囲内にある場合に、色相ごとにあらかじめ定められた許
容範囲内で該画素の色相をずらして前記彩度補正をして
前記合成変換を行なうことを特徴とする画像合成装置。
【請求項４】請求項１乃至３のいずれかに記載の画像
合成装置において、前記合成変換前の画像の画素に前記
合成変換を行なう際に、該画素の近傍にある画素の輝
度，彩度，色相も使用して前記合成変換を行なうことを
特徴とする画像合成装置。
【請求項５】請求項１乃至４のいずれかに記載の画像
合成装置において、前記複数枚の撮影画像の撮影条件を
記録する撮影条件記録手段と、該撮影条件から前記撮影
画像の画素ごとの被写体露出値を判別する被写体露出値
判別手段とを有し、該被写体露出値が１５ｅＶ以上で、
かつ、前記特定の色相が青色近辺の色相である時に前記
合成変換を行なうことを特徴とする画像合成装置。
【請求項６】露光量を変えて撮影された複数枚の撮影
画像を画像合成して１枚の合成画像を作成する画像合成
装置であって、該画像合成を行なうときに、露光量を最
も多くして撮影された前記撮影画像（以下、基準画像と
記す）の入力画像信号の輝度の大きさにより複数の領域
に分割し、該入力画像信号の輝度があらかじめ定められ
た輝度以下の低輝度領域においては、前記基準画像の出
力画像信号をそのまま前記合成画像の出力画像信号と
し、前記低輝度領域を越える輝度の高輝度領域において
は、前記分割した各領域に対応して前記合成画像の出力
画像信号があらかじめ定められた輝度となるように、輝
度の低い領域順に露光量をより多くして撮影された前記
撮影画像の順に１枚ずつ対応させて、該撮影画像の次に
露光量を多くして撮影された撮影画像との２枚の撮影画
像のそれぞれの出力画像信号を重み付けして加算して画
像合成を順次行ない、かつ、あらかじめ定められた輝度
以上の画像に対しては彩度補正をして合成変換を行なう
画像合成装置において、前記合成変換前の画像の画素の
彩度，色相，輝度の画像情報を判別する画像情報判別手
段を有し、該画像情報に基づいて前記彩度補正の強度が
定められることを特徴とする画像合成装置。
【請求項７】同一被写体について露光量を変えて撮影
された複数枚の撮影画像を画像合成して１枚の合成画像
を作成するとき、より露光量を少なくして撮影された前
記撮影画像に対し、あらかじめ定められた輝度以上の画
素の彩度補正をして合成変換を行なうことにより前記合
成画像を作成する画像合成装置において、前記合成変換
前の画像の画素の彩度，色相，輝度の画像情報を判別す
る画像情報判別手段を有し、該画像情報に基づいて前記
彩度補正の強度が定められることを特徴とする画像合成
装置。
【請求項８】請求項７に記載の画像合成装置におい
て、前記合成変換前の画像の画素の色相が特定の色相範
囲内にある場合で、かつ、対象の被写体部分の輝度が特
定の輝度範囲内にある場合には、前記合成変換後の画像
の画素の輝度が前記彩度補正前の合成画像の輝度から変
更されることにより、彩度を優先して前記彩度補正をし
て前記合成変換を行なうことを特徴とする画像合成装
置。
【請求項９】請求項７記載の画像合成装置において、
前記合成変換前の画像の画素の色相が特定の色相範囲内
にある場合に、色相ごとにあらかじめ定められた許容範
囲内で該画素の色相をずらして前記彩度補正をして前記
合成変換を行なうことを特徴とする画像合成装置。
【請求項１０】請求項７乃至９のいずれかに記載の画
像合成装置において、前記合成変換前の画像の画素に前
記合成変換を行なう際に、該画素の近傍にある画素の輝
度，彩度，色相も使用して前記合成変換を行なうことを
特徴とする画像合成装置。
【請求項１１】請求項７乃至１０のいずれかに記載の
画像合成装置において、前記複数枚の撮影画像の撮影条
件を記録する撮影条件記録手段と、該撮影条件から前記
撮影画像の画素ごとの被写体露出値を判別する被写体露
出値判別手段とを有し、該被写体露出値が１５ｅＶ以上
で、かつ、前記特定の色相が青色近辺の色相である時に
前記合成変換を行なうことを特徴とする画像合成装置。
【請求項１２】請求項１乃至５のいずれかに記載の画
像合成装置において、前記露光量を変える手段として露
光時間のみを変えることを特徴とする画像合成装置。
【請求項１３】請求項７乃至１１のいずれかに記載の
画像合成装置において、異なる被写体の撮影画像を合成
して１枚の前記合成画像を作成することを特徴とする画
像合成装置。
【請求項１４】請求項１乃至１３のいずれかに記載の
画像合成装置として機能させるためのプログラムを記録
したコンピュータ読み取り可能な記録媒体。