JP2010074693A - デジタルカメラ及び補正画像生成方法及び記憶媒体 - Google Patents

Abstract

【課題】フラッシュ撮影画像とフラッシュなし撮影画像から、被写体の影あるいは不用な反射光や写り込みのない綺麗な画像を生成する。
【解決手段】本発明によるデジタルカメラは、撮像した画像の画像信号を出力する撮像装置と、前記撮像装置によって前記被写体を撮像する際に、前記被写体に向けてフラッシュ光を発光するストロボ装置と、前記フラッシュ光を発光させないで撮像した第1の画像と前記フラッシュ光を発光させて撮像した第２の画像とを一時保存するメモリと、前記メモリに一時保存された前記第1の画像と前記第２の画像とを読み出して比較し相関の無い画像部分を検出する画像相関検出回路と、前記第１の画像から前記相関の無い画像部分を切り取り、前記第２の画像から前記相関の無い画像部分を除去して除去したところに前記第１の画像から切り取った前記画像部分を嵌めこんで第３の画像を生成する補正画像生成回路と、を備える。
【選択図】図４

Description

本発明はフラッシュ撮影画像からフラッシュ光による不要な映像を除去し、正しい画像を復元させるデジタルカメラ及び補正画像生成方法及び記憶媒体に関するものである。

従来の銀塩フィルムを用いるカメラやデジタルカメラにおいて、フラッシュ撮影の際に発光したフラッシュ光が予期せぬところで反射して、好ましくないところに影がでたり、激しく光るところが現れて、撮影した画像のイメージを台無しにすることがあった。例えばポートレート撮影で、背後の壁に被写体の影が写ったり金属物が異様に光ったりすることがある。また、フラッシュ光がショーウィンドウのガラスで反射して本来写すつもりであったものが写らなかったり、被写体の中にある鏡に撮影者が写ってしまうなどのトラブルも経験することがある。

特にカメラにフラッシュの組み込みが一般的になっていつでもどこでも写真が撮れるようになってから上記のような不具合の発生が目立つようになってきた。この対策として、フラッシュ光を発光した第１の画像だけでなく、フラッシュ光を発光しない第２の画像をも撮像して、２つの画像から綺麗な補正画像を生成する方法が提案されている。例えば、下記特許文献１には、画像相関検出手段によって前記第１、第２の画像の相関を検出し、前記第１の画像で相関のない画素部分について、ローパスフィルタ処理を施して高周波分を除去する周波数特性の補正を行なう画像の改善方法が記載されている。また、下記特許文献２には、前記第２の画像の主要被写体以外の部分を前記第１の画像に上乗せして背景の露光量アップを図ってフラッシュ撮影画像を改良する方法が記載されている。
特開２０００−１０２０２２号公報 特開２００３−０８７６４５号公報

しかしながら、前記特許文献１，２に示される画像の改良方法では、いずれもフラッシュの反射光や影、あるいは反射物への写り込みを取り除くことはできない。

本発明は上記問題点に鑑み、画像相関検出手段を用いて、反射光や影や不用な写り込みのない綺麗な画像を生成することができるデジタルカメラ及び補正画像生成方法及び記憶媒体を提案するものである。

本発明によるデジタルカメラは、被写体に向けてフラッシュ光を発光するストロボ装置と、カメラのレリーズ操作に応答して、前記フラッシュ光を発光させないで撮影した第1の画像と前記フラッシュ光を発光させて撮影した第２の画像とを連続して取得する撮像装置と、前記第1の画像と第２の画像とを一時保存するメモリと、前記メモリに一時保存された前記第1の画像と前記第２の画像とを読み出して比較し、相関の無い画像部分を検出する画像相関検出回路と、前記第２の画像から前記相関の無い画像部分を切り取り、前記第1の画像から前記相関の無い画像部分を除去し、除去したところに前記第２の画像から切り取った前記画像部分を嵌めこんで第３の画像を生成する補正画像生成回路と、を備える。

前記撮像装置は、前記第1の画像を取得した後に前記第２の画像を取得する。前記画像相関検出回路は、予め定められた輝度差内を相関あり、前記輝度差を超える場合を相関なしとする。

本発明による補正画像生成方法は、フラッシュ光を発光させないで撮影した第1の画像をメモリに一時保存する第1画像保存ステップと、フラッシュ光を発光させて撮影した第２の画像をメモリに一時保存する第２画像保存ステップと、前記メモリに一時保存された前記第1の画像と前記第２の画像とを読み出して比較し、相関の無い画像部分を検出する画像相関検出ステップと、前記第１の画像から前記画像相関検出ステップによって検出された相関の無い画像部分を切り取る切り取りステップと、前記画像相関検出ステップで検出された相関の無い画像部分を前記第２の画像から除去する除去ステップと、前記第２の画像の前記除去ステップで除去された部分に、前記切り取りステップで切り取った画像部分を嵌め込む補正画像生成ステップと、によって第３の画像を生成する。

本発明による記憶媒体は、前記補正画像生成方法を実行するためのプログラムを記憶し、コンピータで読み取り可能である。

本発明によるデジタルカメラ及び補正画像生成方法によれば、フラッシュ撮影による画像であっても、反射光や影や不用な写り込みのない綺麗な画像を得ることができる。また、本発明による記憶媒体は、前記補正画像生成方法を実行するプログラムが記憶され、前記プログラムをパーソナルコンピュータ等に読み取らせて、フラッシュ光を発光させて撮像した第1の画像とフラッシュ光を発光させないで撮像した第２の画像から反射光や影や不用な写り込みのない綺麗な画像を得ること可能にする。

図１及び図２に示すように、本発明によるデジタルカメラ１０は、略直方体形状のカメラ本体１１の前面に、撮像レンズ１２と、ストロボ発光部（ストロボ装置）１４、ファインダ対物窓１５とが設けられ、カメラ本体１１の上面には、電源ボタン１６、シャッタボタン１７が設けられている。カメラ本体１１の背面には、画像を表示するＬＣＤパネル１８が設けられており、ＬＣＤパネル１８の表面はタッチパネルとなっている。ＬＣＤパネル１８に表示された操作アイコンに対して、ユーザの指、又は付属する操作ペン（図示せず）などを用いて、タッチパネルに接触することによって操作を行うことができる。また、ファインダ接眼窓１９、撮影モードと再生モードとを切替える撮影再生切替ボタン２０、などの他に撮影準備あるいは再生画面に関する操作などを行う各種操作ボタンが設けられている。カメラ本体１１の底面には、画像データが記憶されるメモリカード２１が着脱自在に装填されるスロット（図示せず）が設けられ、撮影された画像データがメモリカード２１に書き込まれて保存される。

図３に示すように、撮影レンズ１２と、撮影レンズ１２のピント調節を行うステッピングモータ（図示せず）を制御するモータドライバ２４と、前記撮影レンズ１２に組込まれた絞り装置２５を制御するアイリスドライバ２６と、撮像レンズ１２によって受光面に被写体像が結像されるＣＣＤ２７とによって撮像装置２８を構成する。ＣＣＤ２７に結像された画像のピントが合っているか否かはＡＥ／ＡＦ処理回路２９によって検知され、ピントが合っていない場合は、ＣＰＵ３０からモータドライバ２４に指令がでて撮像レンズ１２のピント合わせが行われる。ＣＰＵ３０は、ＲＯＭ３１に記憶されたシーケンスプログラムをワークメモリであるＲＡＭ３２に読み出して、これらの制御を実行する。ＣＰＵ３０には、前記ストロボ発光部１４の発光を制御するストロボ回路３３が接続される。また、前記シャッタボタン１７の操作信号がＣＰＵ３０に入力される。

ＣＰＵ３０には、データバス３４を介して各種回路と接続されている。前記ＣＣＤ２７に結像した被写体画像は、ＣＣＤ２７から撮像信号として出力され、ＣＤＳ（相関二重サンプリング回路）３５に入力される。ＣＤＳ３５は、ＣＣＤ２７の各受光素子の蓄積電荷量に正確に対応したＲ（赤）、Ｇ（緑）、Ｂ（青）の画像データに変換して出力する。ＣＤＳ３５から出力された画像データは、ＡＭＰ（増幅回路）３６で増幅され、Ａ／Ｄ変換器３７でデジタルの画像データに変換される。Ａ／Ｄ変換器３７から出力された画像データは、データバス３４を介してＳＤＲＡＭ（メモリ）３９に一時的にストアされる。画像信号処理回路４０は、ＳＤＲＡＭ３９から画像データを読み出して、階調変換、γ補正処理などの各種画像処理を施し、この画像データを再度ＳＤＲＡＭ３９に記録する。ＳＤＲＡＭ３９に一時的に格納された画像データは、ＬＣＤドライバ３８でアナログのコンポジット信号に変換され、ＬＣＤパネル１８にスルー画として表示される。

ＳＤＲＡＭ３９には、複数の画像を記憶する複数のメモリエリアがあり、一方からの読み出し中に、他方に書き込みをすることができる。また、前記スルー画を保存する一方で、シャッタレリーズによるフラッシュ撮影画像（以下、第１の画像という。）を保存することができる。ＳＤＲＡＭ３９に一時的に保存された第１の画像と、その直前のスルー画画像（以下、第２の画像という。）とがＳＤＲＡＭ３９から読み出され、画像相関検出回路４１によって双方の画像の輝度の相関が比較される。そして、予め定められた輝度差以内を相関あり、予め定められた輝度差以上を相関なしとして画素単位で比較し、それぞれの画像から相関のない部分を検出する。相関ありなしの閾値は、例えば、１〜２ｍの近距離撮影で人物被写体にフラッシュ光を照射した時と照射しない時での人物被写体の輝度差が相関ありとなるように、定めることが好ましい。

補正画像生成回路４２は、前記画像相関検出回路４１によって相関なしとされた画像部分を前記第１の画像から切り取る。同様に、前記第２の画像から前記相関の無い画像部分を除去して、除去したところに前記第１の画像から切り取った画像部分を嵌めこんで第３の画像を生成する。圧縮伸長処理回路４３は、画像信号処理回路４０で画像処理が施された前記第１の画像、前記第２の画像、及び前記第３の画像のそれぞれの画像データに対して、所定の圧縮形式（例えばＪＰＥＧ形式）で画像圧縮を施す。圧縮された画像データは、メディアコントローラ４４を経由してメモリカード２１に記憶される。

次に、図４に示すフローチャートに沿って、本発明によるデジタルカメラ１０による第３の画像を生成する撮影手順及び作用について説明する。電源ボタン１６がオンにされ撮影再生切替ボタン２０が撮影モードを選択された状態で、シャッタボタン１７が押下されるとフラッシュ光なしで前記撮影レンズ１２を通してＣＣＤ２７に結像された被写体画像が第１の画像としてＳＤＲＡＭ３９に一時的に保存される。第１の画像はフラッシュ撮影ではないため図５に示すように主被写体である人物が暗く写し込まれている。第１の画像の取得に連続して、ストロボ発光部１４から被写体に向けてフラッシュ光が照射されフラッシュ撮影による被写体像がＣＣＤ２７に結像される。結像された画像は第２の画像としてＳＤＲＡＭ３９に一時的に保存される。しかし、このフラッシュ撮影による第２の画像は、図６に示されるように、撮影される人物の背後の壁に人物の影（ア）が映ってしまう。また、フラッシュ光が撮影範囲内にある、例えば、金属の棚などに直射して、その反射光及びフレア光（イ）によって周囲の画像が著しく見難くなる。更に、背後にある絵画や写真が収められた額縁のガラスに撮影者が映り込んでしまうことがある（ウ）など、全体として非常に見苦しい写真となっている。

前記ＳＤＲＡＭ３９に一時的に保存された前記第１の画像と前記第２の画像は、画像信号処理回路４０によって一旦読み出されて、階調変換、γ補正処理などの各種画像処理が施された後にＳＤＲＡＭ３９に再度保存される。そして各種画像処理が施された前記第１の画像と前記第２の画像は、再びＳＤＲＡＭ３９から読み出され、画像相関検出回路４１によってそれぞれの画像の輝度についての相関が比較され、予め定められた輝度差を超える部分の画像（図７参照）が、それぞれ相関なしとされて検出される。補正画像生成回路４２は、前記第１の画像から相関なしとされた画像部分を切り出し、前記第２の画像から相関なしとされた画像部分を除去して、除去したところに、前記第１の画像から切り出した画像部分を嵌め込んで、第３の画像を生成する（図８参照）。主被写体である人物は、輝度差が相関ありとなるように設定されているため、殆どの場合、置き換えは行われないが、撮影距離が近すぎて白くなり人物画像が飛んでしまうような場合は、当然に設定された輝度差を超えることになるので、人物画像も置き換えられることになる。

前記第１の画像、前記第２の画像、及び前記第３の画像のそれぞれの画像データは、圧縮伸長処理回路４３によって所定の圧縮形式（例えばＪＰＥＧ形式）で圧縮された後に、メディアコントローラ４４を経由してメモリカード２１に保存される。前記第１の画像と前記第２の画像から相関のない部分が検出されなかった場合は、前記第１の画像と前記第２の画像が前記メモリカード２１に保存される。

次に、図９に示すフローチャートに沿って、本発明による補正画像生成方法及び補正画像生成方法を実行するためのプログラムを記憶したコンピュータで読み取り可能な記憶媒体について説明する。補正画像生成方法を実行するためのプログラムを記憶したＣＤ−Ｒ（記憶媒体）をパソコンに装填し、ＣＤ−Ｒから前記プログラムを読み取って内蔵メモリに記憶させる。次に、（画像取得ステップ）デジタルカメラで同時に撮影したフラッシュなしの第１の画像とフラッシュありの第２の画像とが記録されたＣＤ−Ｒを装填し、（一時保存ステップ）第１の画像と第２の画像とを内蔵メモリに一時保存する。（画像相関検出ステップ）前記ＣＤ−Ｒから第１の画像と第２の画像を読み出して双方の画像の輝度の相関が比較され、予め定められた輝度差を超える部分の画像部分がそれぞれについて相関なしとされる。（切り取りステップ）前記第１の画像から相関なしとされた画像部分が切り出され、（除去ステップ）前記第２の画像から相関なしとされた画像部分が除去される。（補正画像生成ステップ）切り出された画像部分が、一部が除去された第２の画像に嵌め込まれて第３の画像が生成される。上記の画像取得ステップから補正画像生成ステップに至る補正画像生成方法によって生成された前記第３の画像は、所定の圧縮形式で圧縮された後に前記第１の画像と第２の画像とが記録されたＣＤ−Ｒに保存される。あるいは、新しいＣＤ−Ｒ等に保存しても良い。

前記実施形態では、２つの画像の相関を判断する画像相関検出回路（又は画像相関検出ステップ）は、前記２つの画像の輝度差を比較して相関のありなしを判断するものであるとして説明したが、輝度差を比較するのではなく、画像の形状や色の違いを基に相関のありなしを判断する画像相関検出回路を用いて本発明によるデジタルカメラを構成しても良く、あるいは補正画像生成方法の画像相関検出ステップで画像の形状や色の違いを基に相関のありなしを検出するようにしても良い。

本発明によるデジタルカメラの外観を示す斜視図である。 デジタルカメラを裏面側から見た外観を示す斜視図である。 デジタルカメラの電気的構成を示すブロック図である。 デジタルカメラの撮影手順を示すフローチャートである。 フラッシュなしで撮影した第1の画像を示す図である。 フラッシュ撮影した第２の画像を示す図である。 相関のない画像部分を示す図である。 補正された第３の画像を示す図である。 パソコンで第３の画像を生成するときの手順を示すフローチャートである。

符号の説明

１０ デジタルカメラ
１２ 撮影レンズ
１４ ストロボ発光部（ストロボ装置）
１８ ＬＣＤパネル
２１ メモリカード
２７ ＣＣＤ
２８ 撮像装置
３０ ＣＰＵ
３９ ＳＤＲＡＭ（メモリ）
４１ 画像相関検出回路
４２ 補正画像生成回路

Claims (5)

1. 被写体に向けてフラッシュ光を発光するストロボ装置と、
   カメラのレリーズ操作に応答して、前記フラッシュ光を発光させないで撮影した第1の画像と前記フラッシュ光を発光させて撮影した第２の画像とを連続して取得する撮像装置と、
   前記第1の画像と第２の画像とを一時保存するメモリと、
   前記メモリに一時保存された前記第1の画像と前記第２の画像とを読み出して比較し、相関の無い画像部分を検出する画像相関検出回路と、
   前記第２の画像から前記相関の無い画像部分を切り取り、前記第1の画像から前記相関の無い画像部分を除去し、除去したところに前記第２の画像から切り取った前記画像部分を嵌めこんで第３の画像を生成する補正画像生成回路と、
   を備えたことを特徴とするデジタルカメラ。
2. 前記撮像装置は、前記第1の画像を取得した後に前記第２の画像を取得することを特徴とする請求項１記載のデジタルカメラ。
3. 前記画像相関検出回路は、予め定められた輝度差内を相関あり、前記輝度差を超える場合を相関なしとすることを特徴とする請求項１又は２記載のデジタルカメラ。
4. フラッシュ光を発光させないで撮影した第1の画像をメモリに一時保存する第1画像保存ステップと、
   フラッシュ光を発光させて撮影した第２の画像をメモリに一時保存する第２画像保存ステップと、
   前記メモリに一時保存された前記第1の画像と前記第２の画像とを読み出して比較し、相関の無い画像部分を検出する画像相関検出ステップと、
   前記第１の画像から前記画像相関検出ステップによって検出された相関の無い画像部分を切り取る切り取りステップと、
   前記画像相関検出ステップで検出された相関の無い画像部分を前記第２の画像から除去する除去ステップと、
   前記第２の画像の前記除去ステップで除去された部分に、前記切り取りステップで切り取った画像部分を嵌め込む補正画像生成ステップと、
   によって第３の画像を生成することを特徴とする補正画像生成方法。
5. 請求項４記載の補正画像生成方法を実行するためのプログラムを記憶したコンピータで読み取り可能な記憶媒体。

Images