JP2004032592A

JP2004032592A - 画像合成回路及びこれを具えた撮影装置

Info

Publication number: JP2004032592A
Application number: JP2002189237A
Authority: JP
Inventors: Hirofumi Fujikawa; 藤川　裕文
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2002-06-28
Filing date: 2002-06-28
Publication date: 2004-01-29

Abstract

【課題】小規模な回路構成で鮮明な合成画像を得ることが出来るデジタルカメラを提供する。
【解決手段】本発明に係るデジタルカメラ１は、複数枚の撮影画像から合成画像を作成するＡＳＩＣ３を具え、該ＡＳＩＣ３は、比較回路６によって、背景画像と（Ｎ−１）枚目の撮影画像と（Ｎ−１）枚目の合成画像とを画素単位で比較し、背景画像と撮影画像と合成画像とが同じ画素については何れかの画像の画素データを採用し、背景画像と撮影画像とが異なる画素については撮影画像の画素データを採用し、背景画像と撮影画像とが同じで合成画像が異なる画素については合成画像の画素データを採用して、これらの画素データから合成画像を生成し、ＳＤＲＡＭ４に格納する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、一定の撮影方向で連続的に撮影された複数枚の静止画から１枚の合成画像を作成する画像合成回路、及び該回路を具えたデジタルカメラ等の撮影装置に関するものである。
【０００２】
【従来の技術】
デジタルカメラにおいては、通常、１回のシャッターボタンの操作によって１枚の静止画が撮影されるが、シャッターボタンを押下している期間、一定の周期で複数枚の静止画を撮影し、これら複数枚の静止画を合成して、１枚の合成画像を作成する、所謂多重露光撮影を可能とすることが検討されている。
【０００３】
【発明が解決しようとする課題】
多重露光撮影時の画像合成においては、撮影された複数枚の静止画の画像データを画素毎に単純に加算する方法が考えられるが、この方法では画像データが飽和してしまう問題がある。
そこで、撮影された複数枚の静止画の画像データを画素毎に平均して合成画像を作成する方法が考えられるが、この方法では、各静止画の画像データが徐々に希釈化されていくので、合成する静止画の枚数が多くなるほど、合成画像が不鮮明となる問題がある。
これに対して、動き検出回路を装備して、撮影された複数枚の静止画をそれぞれ背景画像と動体画像に分離し、背景画像に対して各静止画中の動体画像を上書きすることによって、合成画像を作成する方法が考えられるが、動き検出回路の装備によって回路規模が大きくなる問題がある。
【０００４】
そこで本発明の目的は、小規模な回路構成で鮮明な合成画像を得ることが出来る画像合成回路及び該回路を具えた撮影装置を提供することである。
【０００５】
【課題を解決する為の手段】
本発明に係る画像合成回路は、一定の撮影方向で連続的に撮影された複数枚の静止画から１枚の合成画像を作成する回路であって、１枚目の静止画を背景画像及び１枚目の合成画像として取り込むと共に、２枚目以降の静止画を撮影画像として順次取り込む画像取り込み手段と、合成画像を逐次的に生成する画像合成手段とを具えている。
画像合成手段は、Ｎ枚目（Ｎは２以上の整数）の合成画像の生成において、背景画像と、（Ｎ−１）枚目の撮影画像と、（Ｎ−１）枚目の合成画像とを画素単位で比較して、背景画像と撮影画像と合成画像とが同じ画素については何れかの画像の画素データを採用し、背景画像と撮影画像とが異なる画素については撮影画像の画素データを採用し、背景画像と撮影画像とが同じで合成画像が異なる画素については合成画像の画素データを採用して、これらの画素データから新たな合成画像を生成するものである。
【０００６】
上記本発明の画像合成回路においては、一定の時間間隔で静止画の撮影が行なわれ、１枚目の静止画は背景画像及び１枚目の合成画像として取り込まれる。又、２枚目以降の静止画は撮影画像として順次取り込まれる。そして、背景画像と、（Ｎ−１）枚目の撮影画像と、（Ｎ−１）枚目の合成画像とに基づいて、次のＮ枚目の合成画像を生成するという、逐次的な処理で画像合成が進められる。
画像合成においては、背景画像と撮影画像と合成画像とが同じ画素については何れかの画像の画素データを採用することによって、移動物体の画像を含まない領域（背景部分）の画像データが得られる。又、背景画像と撮影画像とが異なる画素については撮影画像の画素データを採用することによって、移動物体の最新の画像についての画像データが得られる。更に、背景画像と撮影画像とが同じで合成画像が異なる画素については合成画像の画素データを採用することによって、移動物体が移動した後の領域について最新の合成画像の画像データが得られることになる。
この結果、最終的に得られる合成画像は、背景画像の上に、各撮影画像中の移動物体の画像が新しいものほど前面側に重ねられた、所謂多重露光画像となる。
【０００７】
具体的構成において、背景画像と合成画像の画素データを格納するメモリを具え、該メモリには、背景画像の格納エリアと、２枚分の合成画像の格納エリアとが設けられ、（Ｎ−１）枚目の合成画像の格納エリアとＮ枚目の合成画像の格納エリアとが交互に入れ替えられる。
これによって、メモリに確保すべきデータ格納エリアの削減が可能となる。
【０００８】
本発明に係る撮影装置は、上記本発明の画像合成回路を具えたものである。該撮影装置においては、シャッターボタンが押下されている期間、画像合成回路による合成画像の生成が繰り返され、シャッターボタンの押下を解除したとき、１枚の最終的な合成画像が得られる。
【０００９】
【発明の効果】
本発明に係る画像合成回路及び撮影装置によれば、画像の合成は画素データの置き換えのみによって行なわれるので、従来の如き画像データの単純加算処理によるデータの飽和や画像データの平均処理による画像不鮮明化の問題は発生しない。又、動き検出回路等の複雑な回路は不要であるので、回路規模が大きくなることはない。
【００１０】
【発明の実施の形態】
以下、本発明をデジタルカメラに実施した形態につき、図面に沿って具体的に説明する。
本発明に係るデジタルカメラ（１）は、図１に示す如く、ＣＣＤ（２）と、ＣＣＤ（２）から得られる画像データを取り込んで画像合成を実行するＡＳＩＣ（３）と、ＡＳＩＣ（３）が画像合成処理に用いるＳＤＲＡＭ（４）とを具えている。ＳＤＲＡＭ（４）には、１枚分の背景画像の格納エリアと、２枚分の合成画像の格納エリアとが設けられている。
【００１１】
ＡＳＩＣ（３）は、ＣＣＤ（２）からの画像データに対して必要な信号処理を施す信号処理回路（５）と、ＳＤＲＡＭ（４）に対するデータの書込み及び読出しを制御するＳＤＲＡＭコントローラ（７）と、ＳＤＲＡＭ（４）の背景画像格納エリアから読み出された画像データを一時的に保持する第１バッファ（８）と、ＳＤＲＡＭ（４）の合成画像格納エリアから読み出された画像データを一時的に保持する第２バッファ（９）と、第１バッファ（８）に保持されている撮影画像と第２バッファ（９）に保持されている合成画像と信号処理回路（５）から得られる撮影画像とを画素単位で比較して何れかの画像データを選択する比較回路（６）と、比較回路（６）によって選択された画像データを一時的に保持してＳＤＲＡＭコントローラ（７）に供給する第３バッファ（１０）とを具えている。
【００１２】
上記デジタルカメラにおいては、画像合成モードにて、シャッターボタン（図示書略）の操作によってＡＳＩＣ（３）に対してシャッターボタン操作信号が入力されると、ＡＳＩＣ（３）は、ＣＣＤ（２）から一定の時間間隔で静止画の画像データを取り込んで、後述の画像合成処理を実行する。
【００１３】
図４〜図６は、ＡＳＩＣ（３）による画像合成処理によって、背景画像、撮影画像及び合成画像の３枚の画像から次の合成画像が生成されていく段階▲１▼〜▲７▼を表わしており、先ず段階▲１▼では、１枚目の撮影画像が背景画像としてＳＤＲＡＭの背景画像格納エリアに格納されると共に、１枚目の撮影画像が１枚目の合成画像としてＳＤＲＡＭの一方の合成画像格納エリアに格納され、その後の段階▲２▼〜▲６▼では、（Ｎ−１）枚目（Ｎは２以上の整数）の撮影画像と、（Ｎ−１）枚目の合成画像と、背景画像とに基づいて、Ｎ枚目の合成画像が生成される。そして、最終段階▲７▼では、１枚の背景画像を含む６枚の撮影画像が合成された合成画像が得られることになる。
【００１４】
Ｎ枚目の合成画像の生成においては、背景画像と、（Ｎ−１）枚目の撮影画像と、（Ｎ−１）枚目の合成画像とを画素単位で比較して、背景画像と撮影画像と合成画像とが同じ画素については背景画像の画素データを採用し、背景画像と撮影画像とが異なる画素については撮影画像の画素データを採用し、背景画像と撮影画像とが同じで合成画像が異なる画素については合成画像の画素データを採用するという、規則が適用される。
【００１５】
図２は、ＳＤＲＡＭ（４）が実行する画像合成処理を表わしている。
先ずステップＳ１では、ユーザの操作に応じてデジタルカメラを画像合成モードに設定した後、ステップＳ２にて、シャッターボタンが押下されたかどうかを判断し、イエスと判断されたとき、ステップＳ３に移行して、ＣＣＤから１枚目の撮影画像の画像データを取り込む。そして、ステップＳ４では、取り込んだ画像を背景画像及び１枚目の合成画像として、それぞれＳＤＲＡＭの背景エリアと一方の合成画像エリアに格納する。
【００１６】
次にステップＳ５にて所定の時間間隔を取った後、ステップＳ６にて、ＣＣＤから次の撮影画像の画像データを取り込む。そして、ステップＳ７では、ＳＤＲＡＭから背景画像と合成画像を読み出して、取り込んだ撮影画像と画素単位で比較する。
【００１７】
そして、図３のステップＳ８にて、背景画像の当該画素と撮影画像の当該画素とが同じデータかどうかを判断し、ここでイエスと判断されたときは、ステップＳ９に移行して、背景画像の当該画素と合成画像の当該画素とが同じデータかどうかを判断する。
ステップＳ９にてイエスと判断されたときは、ステップＳ１１にて、背景画像の画素データを新たな合成画像の画素データとして採用する。又、ステップＳ８にてノーと判断されたときは、ステップＳ１０にて、撮影画像の画素データを新たな合成画像の画素データとして採用する。又、ステップＳ９にてノーと判断されときは、ステップＳ１２にて、合成画像の画素データを新たな合成画像の画素データとして採用する。採用した画像データは、ＳＤＲＡＭの他方の合成画像エリアに書き込む。
【００１８】
その後、ステップＳ１３にて、１画面分の全ての画素についての合成処理が終了したかどうかを判断し、ここでノーと判断されたときは、図２のステップＳ７に戻って、次の画素についての合成処理に進む。
そして、図３のステップＳ１３にてイエスと判断されたときは、ステップＳ１４に移行して、シャッターボタンがまだ押され続けているかどうかを判断し、ここでイエスと判断されたときは、図２のステップＳ５に戻って、次の撮影画像についての合成処理を繰り返す。
その後、ステップＳ１４にてノーと判断されたときは、ステップＳ１５に移行して、最終的に得られた合成画像をデータ圧縮した後、カード型メモリ等の外部メモリに書き込んで、一連の画像合成処理を終了する。
【００１９】
上記画像合成処理によれば、図４〜図６に示す複数枚の撮影画像に基づいて画像データの入れ替えのみを行なうことによって、図６の最終段階▲７▼に示す様に、背景画像の上に各撮影画像中の移動物体の画像が新しいものほど前面側に重ねられた多重露光画像が得られる。従って、従来の画像合成方法で発生していた画像データの飽和や画像の不鮮明化などの問題は発生しない。又、動き検出回路等の複雑な回路は不要であるので、回路規模が大きくなることはない。
更に又、ＳＤＲＡＭに設けた２つの合成画像エリアを最終の合成画像と最新の合成画像の格納に交互に利用することによって、ＳＤＲＡＭの容量の有効活用を図ることが出来る。
【００２０】
尚、本発明の各部構成は上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能である。例えば、上記実施例では、合成段階▲１▼にて１枚目の撮影画像が背景画像及び１枚目の合成画像としてＳＤＲＡＭの２つのエリアに格納されているが、これに限らず、背景画像は１枚目の撮影画像としてＳＤＲＡＭに格納するが、１枚目の合成画像としてはＳＤＲＡＭに格納せず、比較回路（６）が背景画像を１枚目の合成画像として取り扱う構成とすることも可能である。
又、本発明はデジタルカメラの如きデジタル記録式の撮影装置に限らず、上述の合成処理を経たアナログの画像信号を記録媒体に記録するアナログ記録式の撮影装置に実施することも可能である。
【図面の簡単な説明】
【図１】本発明に係るデジタルカメラの主要構成を示すブロック図である。
【図２】画像合成処理の前半を示すフローチャートである。
【図３】画像合成処理の後半を示すフローチャートである。
【図４】画像合成の初期の進行過程を示す図である。
【図５】画像合成の中期の進行過程を示す図である。
【図６】画像合成の最終段階に至る進行過程を示す図である。
【符号の説明】
（１）　デジタルカメラ
（２）　ＣＣＤ
（３）　ＡＳＩＣ
（４）　ＳＤＲＡＭ
（５）　信号処理回路
（６）　比較回路
（７）　ＳＤＲＡＭコントローラ
（８）　第１バッファ
（９）　第２バッファ
（１０）　第３バッファ

Claims

一定の撮影方向で連続的に撮影された複数枚の静止画から１枚の合成画像を作成する画像合成回路であって、１枚目の静止画を背景画像及び１枚目の合成画像として取り込むと共に、２枚目以降の静止画を撮影画像として順次取り込む画像取り込み手段と、２枚目以降の合成画像を逐次的に生成する画像合成手段とを具え、画像合成手段は、
Ｎ枚目（Ｎは２以上の整数）の合成画像の生成において、背景画像と、（Ｎ−１）枚目の撮影画像と、（Ｎ−１）枚目の合成画像とを画素単位で比較して、背景画像と撮影画像と合成画像とが同じ画素については何れかの画像の画素データを採用し、背景画像と撮影画像とが異なる画素については撮影画像の画素データを採用し、背景画像と撮影画像とが同じで合成画像が異なる画素については合成画像の画素データを採用して、これらの画素データから新たな合成画像を生成することを特徴とする画像合成回路。
背景画像と合成画像の画素データを格納するメモリを具え、該メモリには、背景画像の格納エリアと、２枚分の合成画像の格納エリアとが設けられ、（Ｎ−１）枚目の合成画像の格納エリアとＮ枚目の合成画像の格納エリアとが交互に入れ替えられる請求項１に記載の画像合成回路。
外部から供給される画像合成開始指令から画像合成終了指令までの期間、合成画像の生成が繰り返される請求項１又は請求項２に記載の画像合成回路。
一定の撮影方向で連続的に撮影した複数枚の静止画から１枚の合成画像を作成する画像合成回路を具えた撮影装置であって、前記画像合成回路は、１枚目の静止画を背景画像及び１枚目の合成画像として取り込むと共に、２枚目以降の静止画を撮影画像として順次取り込む画像取り込み手段と、２枚目以降の合成画像を逐次的に生成する画像合成手段とを具え、画像合成手段は、
Ｎ枚目（Ｎは２以上の整数）の合成画像の生成において、背景画像と、（Ｎ−１）枚目の撮影画像と、（Ｎ−１）枚目の合成画像とを画素単位で比較して、背景画像と撮影画像と合成画像とが同じ画素については何れかの画像の画素データを採用し、背景画像と撮影画像とが異なる画素については撮影画像の画素データを採用し、背景画像と撮影画像とが同じで合成画像が異なる画素については合成画像の画素データを採用して、これらの画素データから新たな合成画像を生成することを特徴とする撮影装置。
シャッターボタンが押下されている期間、画像合成回路による合成画像の生成が繰り返される請求項４に記載の撮影装置。