JP2006191305A

JP2006191305A - カメラ付き携帯端末装置

Info

Publication number: JP2006191305A
Application number: JP2005000866A
Authority: JP
Inventors: Nobuhiro Mikami; 信弘三上; Yoshihiro Nishida; 好宏西田; Yasuyuki Hashizume; 靖之橋詰
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-01-05
Filing date: 2005-01-05
Publication date: 2006-07-20

Abstract

【課題】複数回の撮影画像を重ねて合成画像を得る低照度下の撮影において、良好な画像が得られるカメラ付携帯端末装置を提供する。
【解決手段】画像信号処理部４において検出された画像データの平均値と最大値に基づき、ＣＰＵ１９により合成に必要な枚数が決定される。最初に、撮影画像メモリ５に記憶された１枚目の画像データが、基準画像データとして基準画像メモリ６に書き込まれると共に、画像一時メモリ８に書き込まれる。２枚目以降の画像データは、動き検出部７により基準画像データと比較され、動きベクトルが検出される。この動きベクトルに基づいて、ＣＰＵ１９により動き補正に適しているか否かが判定さる。動き補正に適している画像データが、動き補正部９においてその動きベクトルに対応した動き補正がなされた後、画像データ合成部１０において画像一時メモリ８に記憶された画像と合成された後、画像一時メモリ８に書き込まれる。
【選択図】図１

Description

本発明は、露光時間が長い場合に発生する手ぶれを低減可能な、カメラ付き携帯端末装置に関するものである。

従来からカメラによる静止画の撮影では、露光時間中に撮影に用いる光学系の光軸が動いてしまうことに起因する像ぶれ、いわゆる手ぶれ、が問題となっている。特に、被写体の照度が暗い場合は露光時間が長くなり、像ぶれが発生しやすい。カメラを備えた携帯端末装置は、撮影者が片手で携帯端末装置を保持する場合が多く、両手で携帯端末装置を保持して撮影される場合に比べて、露光中に筐体が動きやすく手ぶれが発生しやすい。
別の像ぶれの原因としては、撮影時間が長くなることで、撮影開始時には撮影範囲外であった物が露光中に画面を横切るような状況もある。例えば夜景撮影中の通行人や自動車の通過などが、その一例である。

手ぶれ対策のひとつとして、露光時間を短くすることが有効である。例えばデジタルカメラでは、撮像素子の大型化、レンズの口径の拡大、フラッシュなどの補助光源の使用、などが露光時間を短くする効果を有する。しかし、これらは携帯端末装置の大型化を伴うので、カメラ付携帯電話や携帯情報端末などの小型携帯端末装置では携帯端末装置本来の利便性を損なうという問題がある。またコストが上昇するという問題もある。

前記の手ぶれの改善策として、被写体輝度により決定される適正積分時間が手振れ限界積分時間よりも長くなる場合（低照度条件下での撮影）において、被写体の略同一部分を手振れ限界積分時間又はそれよりも短い制御積分時間で複数回撮像し、複数の画像データを合成して１つの画像データを作成し、適正露光画像を得る。また、第２回目以降の各画像を撮像する際、最初の画像を撮像した位置からのカメラの移動量を角度センサーにより検出し、検出した移動量に基づいて撮像した画像データを補正し、補正後の画像データを合成するカメラシステムの構成がある。（例えば特許文献１参照）
特開２０００−２２４４７０公報（段落０００６、００１８、００８０、００９１及び図１１）

前記従来例では、光軸のぶれに基づく手ぶれに対応できるが、複数の画像データを合成して１つの画像データを作成する期間に、被写体が動いた場合や撮影範囲外から移動物が入り込んだ場合にも単純に画像データを重ねて合成するので、良好な画像が得られないという問題があった。

本発明は、前記従来例の問題点を解決するためになされたものであり、画像データの合成中に光軸が大きく振れた場合、被写体が動いた場合、及び撮影範囲外から移動物が入り込んだ場合にも良好な画像が速やかに得られるカメラ付き携帯端末装置を提供することを目的としている。

本発明の請求項１に係わるカメラ付き携帯端末装置は、所望する映像領域より広い撮影領域を有する撮像素子と、前記撮像素子から出力される撮影データを画像データに変換する画像処理手段と、前記画像データの輝度レベルに基づいて、適正輝度の合成画像データを得るために必要な画像データ数ｍ（ｍは正の整数）を設定する画像枚数設定手段と、前記画像データを記憶する撮影画像メモリと、前記撮影画像メモリに記憶された１枚目の画像データを、基準画像データとして記憶する基準画像メモリと、前記基準画像データと前記撮影画像メモリに記憶された２枚目以降の画像データとの画像のずれを動きベクトルとして検出する動き検出手段と、前記動きベクトルに基づいて、前記２枚目以降の画像データの動き補正適否を判定する補正適否判定手段と、前記撮影画像メモリに記憶された１枚目の画像データ、又はそれと２枚目以降の画像データを合成した合成画像データを記憶する画像一時メモリと、前記補正適否判定手段により適正画像データと判定された２枚目以降の正常画像データの画像のずれを前記動きベクトルに基づいて動き補正する動き補正手段と、前記動き補正された適正画像データと前記画像一時メモリに記憶された画像データを合成し、前記画像一時メモリにする画像合成手段とを備えたことを特徴とする。

また、本発明の請求項２に係わるカメラ付き携帯端末装置は、所望する映像領域より広い撮影領域を有する撮像素子と、前記撮像素子から出力される撮影データを画像データに変換する画像処理手段と、前記画像データの輝度レベルに基づいて、適正輝度の合成画像データを得るために必要な画像データ数ｍ（ｍは正の整数）を設定する画像枚数設定手段と、前記画像データを記憶する撮影画像メモリと、前記撮影画像メモリに記憶された１枚目の画像データ、又はそれと２枚目以降の画像データを合成した合成画像データを記憶する画像一時メモリと、前記撮影画像メモリに記憶されている画像データと前記画像一時メモリに記憶されている画像データとの画像のずれを動きベクトルとして検出する動き検出手段と、前記動きベクトルに基づいて、前記２枚目以降の画像データの動き補正適否を判定する補正適否判定手段と、動き補正が適と判定された２枚目以降の正常画像データの画像のずれを前記動きベクトルに基づいて動き補正して合成画像データを得る画像合成手段とを備えたことを特徴とする。

また、本発明の請求項３に係わるカメラ付き携帯端末装置は、請求項２に記載のカメラ付き携帯端末装置において、前記撮影画像メモリに記憶された撮影画像データをｋ倍する乗算手段を備え、前記動き検出手段が、前記画像一時メモリに記憶されたｋ枚の画像データ（ｋは２≦ｋ＜ｍを満たす整数）を合成した合成画像データと前記ｋ倍された撮影画像データと間の画像のずれを動きベクトルとして検出することを特徴とする。

また、本発明の請求項４に係わるカメラ付き携帯端末装置は、請求項１乃至請求項３に記載のカメラ付き携帯端末装置において、前記撮像素子の露光時間と撮像データとに基づいて、適正露光の撮像データを得るために必要な適正露光時間を算出する適正露光時間算出手段と、前記撮像素子の露光時間を前記適正露光時間の略１／ｍ（ｍは正の整数）に設定する露光時間設定手段とを備えたことを特徴とする。

また、本発明の請求項５に係わるカメラ付き携帯端末装置は、請求項１乃至請求項３に記載のカメラ付き携帯端末装置において、前記画像合成手段において、ｍ枚の画像データを合成する以前に、前記補正適否判定手段により動き補正が不適と判定された２枚目以降の異常画像データの枚数がｎ枚（ｎは２≦ｎ＜ｍを満たす整数）に到達した場合に、撮影を終了することを特徴とする。

また、本発明の請求項６に係わるカメラ付き携帯端末装置は、請求項１乃至請求項５に記載のカメラ付き携帯端末装置において、前記画像表示手段が一定の周期毎に、その時点での合成画像データを表示することを特徴とする。

また、本発明の請求項６に係わるカメラ付き携帯端末装置は、請求項５に記載のカメラ付き携帯端末装置において、前記画像表示手段が、ｋ枚の画像データを合成した合成画像データを表示するときに、画像の明るさをｍ／ｋ倍して表示することを特徴とする。

本発明によれば、低照度条件下で撮影された複数の撮像データを合成して撮影画像を得る場合に、１枚目の画像データと２枚目以降の画像データとの画像のずれを動きベクトルとして検出し、この動きベクトルに基づいて、前記２枚目以降の画像データが動き補正に適するか否か判定し、動き補正に適する画像データにより画像合成を行うようにしたので、画像データの合成中に光軸が大きく振れた場合、被写体が動いた場合、及び撮影範囲外から移動物が入り込んだ場合にも良好な画像が得られるという効果がある。

実施の形態１．
図１は本発明の実施の形態１に係るカメラ付携帯端末装置のカメラシステム部分の構成を示すブロック図である。図において、被写体の像はレンズ１を通して撮像素子２の撮像面に結像され、撮像信号に変換される。この撮像信号はＡ／Ｄ変換器（ＡＤＣ）３によりデジタルデータに変換され、フィルタ処理などを行なう画像信号処理部４により画像データに変換された後、撮影画像メモリ５に書き込まれる。複数の画像データを重ね合わせて合成画像を得る場合の１枚目の画像データ（基準画像データ）は基準画像メモリ６に記憶され、この基準画像データに対する２枚目以降の画像データの動き（像ぶれ）が動き検出部７において画像の動きベクトルとして検出される。２枚目以降の画像データは動き補正部９において動き補正された後、画像データ合成部１０において画像一時メモリ８に記憶された画像データと合成され、画像一時メモリ８に記憶される。

また、画像一時メモリ８は、画像データを表示素子１２に表示、記録媒体１４に記録する画像データ、記録媒体１４から再生した画像データを一時的に記憶するためのメモリとしても使用される。表示画像生成部１１は、画像一時メモリ８から図３に示す映像信号領域５１の画像データ（映像データ）を取出し、表示素子１２に合わせた表示データに変換処理をして表示素子１２に出力する。なお、補助ライト１５は、補助ライトドライバ１６により駆動される照度の低い補助光源である。
記録再生制御部１３は、画像一時メモリ８から映像信号領域の映像データを取り出し、記録媒体１４に記録し、また、記録媒体１４にされた映像データを読み出し、記録画像一時メモリ８に書き込むための制御を行う。
これらカメラシステム全体の動作は、操作釦１７、レリーズ釦１８の操作に基づいて、ＣＰＵ１９により制御される。

図２はこのカメラ付携帯端末装置の一例であるカメラ付き携帯電話の外観模式図である。携帯電話２０は、通話機能のための構成要素として、アンテナ２１、受話口２２、液晶あるいは有機ＥＬ（Electroluminescence）などによる表示素子１２、電話操作のためのキーパネル２５、送話口２６を備えている。また、主に通話以外の機能で用いるカーソル釦２３ａ〜２３ｄ、ファンクション釦２４ａ〜２４ｃを備えている。なお、図１に示す操作釦１７、レリーズ釦１８は、ファンクション釦２４ａ〜２４ｃが割り当てられる。

静止画撮影用として、レンズ１、および暗所撮影時に用いる白色ＬＥＤ（Light Emitting Diode）などによる補助ライト１５を備えており、レンズ１および補助ライト１５は望ましくは表示画面の裏側もしくはファンクション釦２４ａ〜２４ｃの裏側に配置される。

以下、動作について詳細に説明する。被写体の像は、レンズ１を経て撮像素子２の撮像面に結像され、撮像信号として出力され、Ａ／Ｄ変換器３によりデジタル信号（撮像データ）に変換される。この撮像データは、撮像素子２の撮像面の色フィルタ（図示せず）の配列に対応して、例えば、赤信号、緑信号、青信号の順に出力されるので、画像信号処理部４により補間等のフィルタ処理がなされ、赤、緑、青各色の画像データに変換され、撮影画像メモリ５に書き込まれる。

図３は、画像合成による手ぶれ補正を説明するための図である。図３（ａ）に示すように、撮影画像メモリ５に記憶される画像データの画像領域（撮像領域）５０は、出力される映像信号の画像領域（映像信号領域）５１より大きく設定されている。図３（ｂ）に示す撮影者が撮影を意図している撮影対象画像５２は、この映像信号領域５１の内側の範囲である。撮影中に表示素子１２に表示される動画や静止画も、映像信号領域５１の内側の画像データである。

画像一時メモリ８の画像データが図３（ａ）の撮像領域５０、撮影画像メモリ５の画像データが図３（ｃ）の撮像領域５０であれば、図３（ｂ）に示す撮影対象画像領域５２は、図３（ａ）では５１で示す画像領域(映像信号領域)、図３（ｃ）では５３で示す画像領域に位置するので、動きベクトルは図３（ｃ）の５４で示される。

つまり、図３（ｃ）に示すように、レンズの向きが１回目の撮影から移動ベクトル５４だけ変動していれば、撮影対象画像領域５２の位置は撮影画像メモリ領域５０の中央の映像信号領域５１から移動ベクトル５４だけずれた位置になる。画像領域５３を移動ベクトル５４の分ずらして映像信号領域５１に一致させれば、撮影毎に読み出される画像データは、全て同じ構図のものとなるので、重ね合わせることが可能となり、その結果、画像が明るくなると共にランダムノイズが減少する。

なお、図３（ｃ）では、画像領域５３を映像信号領域５１から平行移動した領域としたが、図３（ｄ）に示すように、平行移動５６と回転移動５７した画像領域５５としたものであってもよい。この場合、動き補正部９における回転に伴う演算量は増加するものの、光軸を中心にしたカメラの回転に対する補正も可能となるので、像ぶれ低減の精度が向上できる。

１度の露光で撮影する場合は、撮影画像メモリ５から読み出された画像データ（例えば、図３（ａ）に示す画像）が、画像一時メモリ８にそのまま書き込まれる。画像一時メモリ８に書き込まれた映像信号領域の画像データ（映像データ）が表示素子１２に連続して表示される場合を動画表示、例えば、レリーズ釦１８が押された際に、画像一時メモリ８の画像が保持、表示される場合を静止画表示と称す。また、数回の露光・撮影で得られた複数の画像データを合成して得られた画像データを合成画像データと称す。

画像合成の動作について以下に説明する。まず、画像信号処理部４において検出された撮像データ又は画像データの平均値と最大値に基づき、ＣＰＵ１９により合成に必要な枚数ｍ（ｍは正の整数）が決定される。画像合成の最初に、撮影画像メモリ５に記憶された１枚目の画像データが、基準画像データとして基準画像メモリ６に書き込まれると共に、画像一時メモリ８に書き込まれる。２枚目の画像データは、動き検出部７により基準画像データと比較され、２枚目の画像のずれの方向と量、即ち、２枚目の画像の動きベクトルが検出される。詳細は後述するが、この動きベクトルに基づいて、ＣＰＵ１９により動き補正に適しているか否かが判定され、動き補正に適していると判定された画像データが、動き補正部９においてその動きベクトルに対応した平行移動及び回転の補正（動き補正）がなされた後、画像データ合成部１０において画像一時メモリ８に記憶された１枚目の画像と合成され、その結果が合成画像データとして画像一時メモリ８に書き込まれる。

同様に、３枚目の画像についても、動き検出部７により基準画像データと比較され、３枚目の画像の動きベクトルが検出され、この動きベクトルに基づいて、動き補正に適していると判定された画像データが、動き補正部９において動き補正され、画像データ合成部１０において、１枚目と２枚目の合成画像データと合成される。以下、所定の輝度の画像データが得られるまで、即ち、ｍ枚の合成が終わるまで、４枚目以降の画像データについても、同様に合成され、画像一時メモリ８に書き込まれる。

画像一時メモリ８に書き込まれた合成画像データの映像データの部分は、表示画像生成部１１により表示素子１２に合わせた画素数の表示データへの変換、表示素子１２の特性に合わせた色彩の補正などがなされ、表示素子１２に出力される。また、記録再生制御部１３は、画像一時メモリ８から読み出された映像データにファイル名などの情報の付加、データ形式の変換などの記録媒体１４に記録するための制御、及び、記録媒体１４に記録された映像データを読み出し、データ形式を変換するなどの記録画像一時メモリ８に書き込むための制御を行う。

撮影時に照度が不足する場合は、補助ライトドライバ１６により制御される補助ライト１５を点灯して撮影を行なってもよい。補助ライト１５としては、例えば白色発光ダイオードが用いられ、数メートル程度の範囲内の被写体に対して若干の照度を補うものである。一般のカメラのフラッシュとしてはキセノン管が用いられるが、消費電力が大きいこと、駆動するのに１００マイクロファラッド程度の大型のキャパシタが必要であることなどから、一般的に低消費電力で小型であることが必要な携帯電話などには適さない。

以下、本発明に関わる静止画撮影の動作について、図１と、図４乃至図８に示すフローチャートにより説明する。操作者（撮影者）は、撮影を所望する被写体にレンズ１を向け、表示素子１２の表示を観て撮影構図を決定して撮影する。

なお、ここでは、一回の露光で撮影をするのではなく、複数回の露光を行ない複数枚の静止画を得て、それらに必要に応じて動き補正を行ない、それらの結果を加算して１枚の静止画とする分割撮影の場合について説明する。

表示素子１２に表示される画像データ、及び記録媒体１４に記録される画像データは、図３ａに示すように撮影画像メモリ領域５０の一部分である映像信号領域５１の内側の画像データである。撮影画像メモリ５から読み出された映像信号領域５１の画像データは、表示画像生成部１１によって適当な画素数への変換（リサイズ）や文字やアイコンなどの表示データの付加がなされ、表示素子１２に表示される。

図４に示すように、レンズ１を経て取り込んだ画像を表示素子１２に表示するまでの動作を繰り返し行なうことで、表示素子１２に動画が表示される（Ｓ１００）。この場合、撮像素子２の露光時間は、撮像データの信号レベル（平均値、ピーク値）に基づいてＣＰＵ１９により決定され、ほぼ最適レベルの撮像データが得られるように制御される。
なお、被写体照度が不足する場合の撮像素子２の最大値露光時間は、手ぶれを起こさない露光時間（手ぶれ限界積分時間）ｔ０以下に設定されることが望ましい。この動画表示はレリーズ釦３が押されるまで、例えば毎秒５回から３０回程度の表示の更新を行なえばよい。表示画面の更新頻度が多いと、レンズの向きを変えたときの表示素子２の動きが滑らかになるので操作性は向上するが、消費電力が増えて携帯端末装置の稼動時間が短くなるので、これらトレードオフを考慮して更新頻度が決められる。

レリーズ釦１８が押されると（Ｓ１０５のＹＥＳ）、撮影処理Ｓ１１０が行われる。次に図４に従って、撮影処理Ｓ１１０について述べる。最初に、撮影条件を決定する（Ｓ２００）。これにはレリーズ釦１８が押される直前の動画表示Ｓ１００で撮像素子２に結像されていた画像の明るさ、例えば、画像信号処理部９から出力される撮像データの平均値や最大値に基づいて、ＣＰＵ１９において必要な露光時間ｔ１（秒）が決定される。
なお、手ぶれ限界積分時間ｔ０としては「１／焦点距離（３５ｍｍフィルム換算）」秒以下であることが一般に知られているので、望ましくは個々の撮影の露光時間ｔ２を手ぶれ限界積分時間ｔ０以下に設定する。例えば、撮影回数ｍを、
ｍ ≧ ｔ１／ｔ０・・・・・・・・（１）
を満たす最小の整数の設定し、更に、
ｔ２＝ｔ１／ｍ・・・・・・・・（２）
により露光時間ｔ２（秒）を設定する。個々の撮影の露光時間ｔ２（秒）と撮影回数ｍについては、凡そｔ２＝ｔ１÷ｍの関係が成り立ち、ｍが２以上の整数であれば良く、１回での長時間露光の撮影、即ちｍ＝１の場合と比べて像ぶれが低減される。

以上のように、露光時間ｔ２（秒）を設定することにより、少ない撮影回数で、手ぶれの少ない撮影が行える。なお、被写体の明るさが十分であり、１回の撮影でも像ぶれが起こらないと想定される場合は、本発明の撮影方法を行なわずに、通常の撮影方法で撮影すればよい。

このように撮影条件を決めた（Ｓ２００）後に、分割撮影して正常に画像データを取得した回数を数える撮影回数カウンタｘと、撮像したものが静止画を得るための加算に利用できなかったときの回数を数える無効回数カウンタｙの初期化を行なう（Ｓ２０５）。

次に、撮像素子２から得られたアナログ信号をＡ／Ｄ変換器３によりデジタル信号にし、画像信号処理部４により適宜フィルタ処理を行なった後に撮影画像メモリ５に撮影画像領域５０として記録する撮影画像データの取得処理を行う（Ｓ２１５）。

ＣＰＵ１９の撮影回数カウンタがｘ＝０、即ち１回目の撮影か否かを判定し（Ｓ２２０）、１回目の撮影であれば（Ｓ２２０のＹＥＳ）、撮影画像メモリ５に記録された撮影画像データを、基準画像メモリ６と画像一時メモリ８に保存（Ｓ２２５）し、撮影回数カウンタｘに１を加算する（Ｓ２６０）。

図４の動画表示（Ｓ１００）、および、図５の１回目の撮影時（Ｓ２２５）では、映像信号領域５１は撮影画像領域５０の中央部である（図３ａ）。
２回目以降の撮影であれば（Ｓ２２０のＮＯ）、動き検出部７おいて、撮影画像メモリ５の画像データ（撮影画像データ）と、画像一時メモリ８の画像データ（合成画像データ）を用いて、撮影画像データの動きベクトル５４を検出する（Ｓ２３０）。

なお、動き検出部７による動きベクトルの検出動作については、詳細説明を省略するが、例えば、画像の輪郭部分の動きに動きベクトルを検出する技術や、ＭＰＥＧ２などの動画圧縮技術で用いられている技術が利用できるが、ここでは、ＭＰＥＧ２などの動画圧縮技術を用いるものとする。ＭＰＥＧ２では、図９（ａ）に示すように画面を複数の矩形領域に区切り、その矩形領域ごとに動きベクトルを算出して、「前画像からの動きベクトル」と「動きベクトルによる再構築画像と実画像の差分」で画像データをあらわすようにしている。このアルゴリズムを利用して、基準画像メモリ６の基準画像データと、撮影画像メモリ５の画像データとの間の動きベクトルを計算する。

なお、低照度下の撮影では、露光時間が短いと撮影画像が暗くなるので、相対的にノイズの影響が大きくなるが、このような場合は前記の「動きベクトルによる再構築画像と実画像の差分」の許容範囲を決めるにあたり、このノイズを考慮すればよい。

次に動き補正が可能か否かを判定する（Ｓ２３５）。図９（ａ）に示すように、映像信号領域付近の各領域の動きベクトル５４が概ね同じで、かつ、「動きベクトルによる再構築画像と実画像の差分」が十分に小さければ、「動き補正が可能である」と判断し（Ｓ２３５のＹＥＳ）、動き補正部９において、この動きベクトル５４の分だけ撮影画像メモリ５の画像データに動き補正を施し（Ｓ２５０）、画像データ合成部１０で画像一時メモリ８に記憶されている画像データと合成（加算）し、その結果を再び画像一時メモリ８に保存する（Ｓ２５５）。

次に、撮影回数カウンタｘに１を加算し（Ｓ２６０）、画像一時メモリ８の映像データを表示画像生成部１１で処理した後、表示画面１２に表示する画面表示更新処理を行ない（Ｓ２６５）、撮影回数カウンタｘが撮影回数ｍに到達したか否かで撮影の終了を判定し（Ｓ２７０）、撮影回数がｍ回の場合、撮影処理Ｓ１１０を終了し、ｍ回に達しない場合撮影処理を継続する（Ｓ２１０）。

この撮影処理Ｓ１１０が終了した後、それが正常に終わったのか途中終了したのかの判定を行なう（Ｓ１１５）。正常に終了した場合は保存処理Ｓ１２０を行ない、途中終了した場合は途中終了処理Ｓ１２０後に保存処理Ｓ１２５を行ない、静止画の撮影が終わる。ここで途中終了とは、個々の撮影結果（画像データ）を平行移動や回転することでは重ね合わせが出来ない場合などである。

「動き補正が可能でない」と判定される場合（Ｓ２３５のＮＯ）について説明する。
例えば、図１０の様に撮像領域５０を横切る自動車５５が有る場合、あるいは図１１の様に画像の振れ（移動）が大きく、画像領域５３が撮像領域５０の内側に収まらない場合などがある。図１０（ａ）から図１０（ｂ）の様に、横切る自動車５５が在る場合に、それらの画像を足し合わせてしまうと、図１０（ｃ）の様に横切る自動車５５の移動した部分に薄く形跡５８が残った画像となる。これは撮影者の意図しないものである。

図１０の様に撮像領域５０を横切る自動車５５が有る場合、ＭＰＥＧ２などの動画圧縮技術により動きベクトルを検出すると、図９（ｂ）に示すように、手振れに基づく動きベクトル５４ａとは、方向又は大きさが異なる動きベクトル５４ｂが検出される。即ち、図１０（ｃ）の自動車５５の形跡５８の領域とそれ以外の領域で異なる動きベクトルが検出される。

このように、基準画像メモリ６に記憶されている基準画像データの撮影時から、撮影画像メモリ５にある撮影画像データの撮像時から、画像一時メモリ８にある画像データの撮像時までに、被写体の一部が動いたとき、また、撮影領域外から撮影領域内に入ってくるものがあるときは、一部の領域で動きベクトルの方向や大きさが異なることになり「動きベクトルによる再構築画像と実画像の差分」が大きなものとなる。この場合、ほぼ同一の画像が、手振れにより動いたのではなく、異なった画像であるので、画像が概ね同一となる画像領域５３の画像データが正しく得られず、動き補正が可能でないと判定できる。

また、図１１のように画像の振れ（移動）が大きい場合も、図９（ｃ）に示すように全体的な動きベクトルが過大である場合、動き補正が可能でないと判断できる。

以上のように、「動き補正が可能でないと」と判定された場合（Ｓ２３５のＮＯ）、画像の合成をせずに、無効回数カウンタｙに１加算する（Ｓ２４０）。そして、無効回数カウンタｙが無効回数の上限値ｎに達したか否かの判定を行ない（Ｓ２４５）、上限値ｎに達した場合（Ｓ２４５のＹＥＳ）は、撮影処理を終了し、上限値ｎに達していない場合（Ｓ２４５のＮＯ）は撮影処理を継続する。

このように、撮影途中に被写体の一部が動いたり、撮影範囲外から撮影領域内に入ってくるものがあった場合のように、画像合成に適さない撮像データを除いて画像合成を行うので、像ぶれが少ない所望の画像を撮影することが可能になる。

また、上限値ｎを設定することで、撮影途中に大きくカメラの向きが変わってしまったり、撮影範囲外から入ってきた物（図１０の自動車５５）が撮影範囲内で静止してしまった場合などに、いつまでも撮影が終了しないということを回避できる。

なお、図１０（ａ）のに示すように、映像信号領域５２の内側に、基準画像メモリ６に記憶されていない自動車５５がある場合は、動き補正が可能でない場合と判断するが、図１０（ｂ）に示すように、映像信号領域５２の外側に撮影領域を横切る自動車５５が存在する場合は、動き補正が可能であるとしても良い。

ＣＰＵ１９は、以上のように、動き検出部７から出力される動きベクトルに基づいて、図３（ｃ）に示す画像領域５３の内側の画像が基準画像メモリ６の基準画像と同じになる位置になるように補正が可能か否かを判断して（Ｓ２３５）、補正が可能と判断した場合（Ｓ２３５のＹＥＳ）、撮影画像メモリ５から出力された撮影画像データに対して動きベクトル分の動き補正を行い（Ｓ２５０）、画像データ合成部１０において、撮影画像メモリ５の画像データの画像領域５３が基準画像メモリ６の基準画像データ（結果的には、画像一時メモリ８の画像データ）の映像信号領域５１と重なるように合成し、その結果を画像一時メモリ８に保存する（Ｓ２５５）一連の制御を行う。

次いで、図５の画面表示更新処理Ｓ２６５について、図６のフローチャートにより更に詳しく説明する。この処理は、撮影の進行に応じて画像一時メモリ８の合成画像データの映像データを表示素子１２に表示するものである。最初に前回の画面表示更新から規定時間以上経過したかの判定を行なう（Ｓ３００）。
例えば、ズームで夜景を撮影する場合は、１秒間に５０回の撮影が行なわれることがある。このような場合に毎回表示素子１２の更新をすると１秒間に５０回も行なう事となるので、Ｓ３００の判定を行ない、動画表示と同等程度の１秒間に５回乃至３０回程度の周期で表示素子１２の更新を行うようにする。
規定時間以上経過していれば、表示素子１２の更新を行うためにＳ３０５に進み、そうでなければ更新を行なわずに画面表示更新処理Ｓ２６５を終了して、撮影処理を継続する（Ｓ２７０に進む）。

規定時間以上経過している場合（Ｓ３００のＹＥＳ）は、画像一時メモリ８の映像データを表示画像生成部１１に取り込み（Ｓ３０５）、表示素子１２の画素数に合わせた縮小を行なう（Ｓ３１０）。そして、表示素子１２の表示内容を更新し（Ｓ３１５）、表示画面更新処理Ｓ２６５を終える。

なお、撮影した画像データを画像一時メモリ８の画像データに加算し保存する（Ｓ２５５）毎に、表示更新処理Ｓ２６５を行うと、撮影の進捗に従って、表示素子１２に表示される画像は暗い画像から徐々に明るい画像となる。

次に、保存処理Ｓ１２５について図７のフローチャートを用いて説明する。まず、画像一時メモリ８の映像データを表示画像生成部１１に取り込む（Ｓ４００）。表示画像生成部１１は、表示素子１２に適した大きさに画像サイズの変換を行なう（Ｓ４０５）。そして、表示素子１２にこの画像を表示すると同時に、この画像を記録媒体に「保存する／保存しない」の判断を促す文字を挿入して（Ｓ４１０）、表示する（Ｓ４１５）。「保存する／保存しない」に、例えばファンクション釦２４ａ、２４ｃを対応させ、そのいずれかが押されるまで待つ（Ｓ４２０）。

保存に対応するキー入力があった場合（Ｓ４２０の保存）は、画像データを保存するために必要なファイル名などの情報を決定する（Ｓ４２５）。ファイル名は、撮影者に入力させてもよく、また、撮影日時などから自動決定してもよい。次に画像一時メモリ１３の画像データを記録媒体１４に保存し（Ｓ４３０）、画像一時メモリ８の画像データを消去し（Ｓ４３５）、保存処理Ｓ１２５を終了する。
なお、記録媒体１４に保存する場合は、一般的には、ファイル容量を小さくするためにＪＰＥＧなどの画像を圧縮した形式に変換して保存し、読み出す際にはこのファイルを展開することが多い。

保存しないに対応するキー入力があった場合（Ｓ４２０の廃却）は、画像一時メモリ８の画像データを消去し（Ｓ４３５）、保存処理Ｓ１２５を終了する。

カメラ付携帯電話に搭載される記録媒体１４の容量はそれ程大きくないので、画素数の多い映像データを保存する場合では、保存可能な画像が１０枚未満である場合もある。このような場合、上述のように、撮影毎に画像を保存する／保存しないを撮影者が決定するステップＳ４２０を設けることがある。

その場合は、表示内容更新処理Ｓ４１５の後に、撮影した画像を認識するための時間、例えば３秒間、撮影した画像を表示し続けるようにして、撮影者の利便性を向上させることもできる。なお、記録媒体が十分に大きい場合などでは、必ず保存するようにしてもよい。

次に、図４のＳ１１５で正常に撮影を完了しなかった（Ｓ２４５のＹＥＳでの撮影終了に対応）と判定された場合に行なわれる途中終了処理Ｓ１２０について図８のフローチャートを用いて説明する。この処理は、必要とする回数（ｍ回）未満の撮影しか行なわれなかった場合、即ち画像一時メモリ８に記録されている画像データが適切な明るさに達していない場合に対応した処理を行なうものである。

まず、画像一時メモリ８の映像データを表示画像生成部１１に取り込む（Ｓ５００）。表示画像生成部１１は表示素子１２に適した大きさに画像サイズの変換を行なう（Ｓ５０５）。そして、この画像を表示すると同時に、この画像の明度を「補正する／補正しない」の判断を促す文字を併せ（Ｓ５１０）て、表示する（Ｓ５１５）。前述のように、表示される画像は、本来必要とする枚数ｍより少ない枚数の撮影画像データを合成したものであるので、得ようとしていた画像に比べて暗いものである。

その次に、明度を「補正する／補正しない」に、例えばファンクションボタン２４ａ、２４ｃを対応させ、そのいずれかが押されるまで待つ（Ｓ５２０）。補正に対応するキー入力があった場合（Ｓ５２０の補正）は、明度補正処理Ｓ５２５に進むが、補正しない対応するキー入力があった場合（Ｓ５２０の補正しない）は、明度を補正せずに途中終了処理Ｓ２１０を終える。

この途中終了処理は、必要とする回数（ｍ回）未満の撮影しか行なわれなかった場合でも、ほぼ満足のできる画像データであれば、適切な明るさにして保存することを可能にするためのものである。

実施の形態２．
図１２は本発明の実施の形態１に係るカメラ付携帯端末装置のカメラシステム部分の構成を示すブロック図である。図において、被写体の像はレンズ１を通して撮像素子２の撮像面に結像され、撮像信号に変換される。この撮像信号はＡ／Ｄ変換器３によりデジタルデータに変換され、フィルタ処理などを行なう画像信号処理部４により画像データに変換された後、撮影画像メモリ５に書き込まれる。複数の画像データを重ね合わせて合成画像を得る場合の１枚目の画像データ（基準画像データ）は、画像一時メモリ８に記憶される。この基準画像データに対する２枚目以降の画像データの動き（像ぶれ）が動き検出部７において画像の動きベクトルとして検出される。２枚目以降の画像データは、画像一時メモリ８の合成画像データがｋ枚の画像データで合成されている場合、乗算回路３０によりｋ倍された後、動き補正部９において動き補正され、画像データ合成部１０において画像一時メモリ８に記憶された画像データと合成され、画像一時メモリ８に記憶される。

また、画像一時メモリ８は、画像データを表示素子１２に表示、記録媒体１４に記録する画像データ、記録媒体１４から再生した画像データを一時的に記憶するためのメモリとしても使用される。表示画像生成部１１は、一時メモリ８から映像信号領域の画像データ（映像データ）を取出し、表示素子１２に合わせた表示データに変換処理をして表示素子１２に出力する。なお、補助ライト１５は、補助ライトドライバ１６により駆動される照度の低い補助光源である。記録再生制御部１３は、画像一時メモリ８から映像信号領域の映像データを取り出し、記録媒体１４に記録し、また、記録媒体１４にされた映像データを読み出し、記録画像一時メモリ８に書き込むための制御を行う。これらカメラシステム全体の動作は、操作釦１７、レリーズ釦１８の操作に基づいて、ＣＰＵ１９により制御される。

以下、動作について、図１３のフロー図を参照して説明する。動き検出動作が、実施の形態１では、図１に示す基準画像メモリ６、撮影画像メモリ５、及び、動き検出部７により実施されるのに対し、図１２に示す乗算回路３０、動き検出部１１及び画像メモリ８により実現される点で異なるのみであるので、その他の動作についての説明は省略する。

１枚目の画像データの場合（Ｓ２２０のＹＥＳ）、画像一時メモリ８に１枚目の撮影画像データが保存される（Ｓ２２６）。撮影画像メモリ５記憶されている画像データが２枚目以降の場合（Ｓ２２０のＮＯ）、撮影画像メモリ５と画像一時メモリ８に記憶されている画像データが比較され、動きベクトルが検出される（Ｓ２３１）。

以上のように、本実施の形態では、撮影画像データの動きベクトルを検出する場合に、単に、基準画像メモリ６の代わりに画像一時メモリ８を用いたにすぎない。しかしながら、画像一時メモリ８にｋ枚（ｋ≧２）の撮影画像データにより合成された合成画像データが記録されている場合は、その明るさは撮影画像メモリ５の画像データの略ｋ倍である。ＭＰＥＧ２の動き検出方法では、２枚の画像データの明るさが大きく異なると、画像全体が変化した（所謂、シーンチェンジ）と判断することがある。

この動き検出の誤判断を避けるために、撮影回数カウンタｘの値がｋの場合（ｋは２≦ｋ＜ｍを満たす整数）、乗算回路３０により、撮影画像メモリ５に記憶されている画像データをｋ倍して、動き検出部７で比較される２枚の画像データの明るさが略同一になるように補正した後、動きベクトルを検出する（Ｓ２３１）。

なお、動き補正の可否判定Ｓ２３５以後の処理は、実施の形態１の図５に示す撮影処理と同様であり、また、図４に示す撮影処理Ｓ１１０終了後の正常終了か途中終了かの判定処理Ｓ１１５以降の処理も同様であるので、説明を省略する。

以上により、基準画像メモリ６を省略しても、実施の形態１と同様の像ぶれ（手ぶれ）補正が可能になる。

実施の形態３．
図１３は本発明の実施の形態１に係るカメラ付携帯端末装置の画面表示更新処理Ｓ２６５を示すフローチャートである。撮影における他の動作は、即ち実施の形態１の説明で用いた図４〜５、図７〜８のフローチャートと同様である。以下、図１３に従って動作を説明する。

撮影回数カウンタｘに１加算され（Ｓ２６０）、その後に図１３の画面表示更新処理Ｓ２６５が行なわれる。まず、前回の画面表示更新から規定時間以上経過したかの判定を行なう（Ｓ６００）。規定時間以上経過していれば（Ｓ６００のＹＥＳ）、画像一時メモリ１３の画像データを表示画像生成手段１６にコピーし（Ｓ６０５）、表示画面生成部１１は表示素子１２に適した大きさに画像サイズの変換を行なう（Ｓ６１０）。次に、明るさの補正を行なう（Ｓ６１５）。これは、撮影回数ｘ（＝ｋ）が小さいときでも撮影者が撮影中の像を見やすくするために行なうものであり、例えば明るさをｍ／ｋ倍にする。

例えば撮影が１／５０しか進んでいない場合、実施の形態１では表示装置１２には、最終的な撮影結果に比べて１／５０の明るさの画像が表示されるので、撮影者にとって観辛いものとなるが、本実施例のようにすれば、合成回数が少ない段階であっても、表示素子１２に明るい画像が表示される。このとき、撮影の最初ではノイズの多い不鮮明な画像であるが、撮影が進行するに伴い、ノイズの少ない鮮明な画像になっていく。

以上のように、撮影が終了していない場合に、一定周期毎に、その明るさをほぼ撮影終了時の明るさに補正して表示するようにしたので、撮影中の画像の確認が行い易くなる。

この発明の実施の形態１のカメラ付携帯端末装置のカメラシステム部分の構成を示すブロック図である。この発明のカメラ付携帯端末装置の一例であるカメラ付き携帯電話の外観模式図である。この発明のカメラ付携帯端末装置の画像合成による手ぶれ補正を説明するための図である。この発明のカメラ付携帯端末装置の動作を説明するフロー図である。この発明の実施の形態１のカメラ付携帯端末装置の撮影処理を説明するフロー図である。この発明の実施の形態１及び２の画面表示更新処理を説明するフロー図である。この発明のカメラ付携帯端末装置の保存処理を説明するフロー図である。この発明のカメラ付携帯端末装置の途中終了処理を説明するフロー図である。この発明のカメラ付携帯端末装置の動きベクトル検出例を示す図である。この発明のカメラ付携帯端末装置の動き処理が行なえない場合を説明する模式図である。この発明のカメラ付携帯端末装置の動き処理が行なえない場合を説明する模式図である。この発明の実施の形態２のカメラ付携帯端末装置のカメラシステム部分の構成を示すブロック図である。この発明の実施の形態２のカメラ付携帯端末装置の撮影処理を説明するフロー図である。この発明の実施の形態３の画面表示更新処理を説明するフローチャートである。

符号の説明

１レンズ、２撮像素子、３Ａ／Ｄ変換器、４画像信号処理部、５撮影画像メモリ、６基準画像メモリ、７動き検出部、８画像一時メモリ、９動き補正部、１０画像データ合成部、１１表示画像生成部、１２表示素子、１３記録再生制御部、１４記録媒体、１５補助ライト、１６補助ライトドライバ、１７操作釦、１８レリーズ釦、１９ＣＰＵ。

Claims

所望する映像領域より広い撮影領域を有する撮像素子と、
前記撮像素子から出力される撮影データを画像データに変換する画像処理手段と、
前記画像データの輝度レベルに基づいて、適正輝度の合成画像データを得るために必要な画像データ数ｍ（ｍは正の整数）を設定する画像枚数設定手段と、
前記画像データを記憶する撮影画像メモリと、
前記撮影画像メモリに記憶された１枚目の画像データを、基準画像データとして記憶する基準画像メモリと、
前記基準画像データと前記撮影画像メモリに記憶された２枚目以降の画像データとの画像のずれを動きベクトルとして検出する動き検出手段と、
前記動きベクトルに基づいて、前記２枚目以降の画像データの動き補正適否を判定する補正適否判定手段と、
前記撮影画像メモリに記憶された１枚目の画像データ、又はそれと２枚目以降の画像データを合成した合成画像データを記憶する画像一時メモリと、
前記補正適否判定手段により適正画像データと判定された２枚目以降の正常画像データの画像のずれを前記動きベクトルに基づいて動き補正する動き補正手段と、
前記動き補正された適正画像データと前記画像一時メモリに記憶された画像データを合成し、前記画像一時メモリにする画像合成手段と、
を備えたことを特徴とするカメラ付き携帯端末装置。
所望する映像領域より広い撮影領域を有する撮像素子と、
前記撮像素子から出力される撮影データを画像データに変換する画像処理手段と、
前記画像データの輝度レベルに基づいて、適正輝度の合成画像データを得るために必要な画像データ数ｍ（ｍは正の整数）を設定する画像枚数設定手段と、
前記画像データを記憶する撮影画像メモリと、
前記撮影画像メモリに記憶された１枚目の画像データ、又はそれと２枚目以降の画像データを合成した合成画像データを記憶する画像一時メモリと、
前記撮影画像メモリに記憶されている画像データと前記画像一時メモリに記憶されている画像データとの画像のずれを動きベクトルとして検出する動き検出手段と、
前記動きベクトルに基づいて、前記２枚目以降の画像データの動き補正適否を判定する補正適否判定手段と、
動き補正が適と判定された２枚目以降の正常画像データの画像のずれを前記動きベクトルに基づいて動き補正して合成画像データを得る画像合成手段と、
を備えたことを特徴とするカメラ付き携帯端末装置。
前記撮影画像メモリに記憶された撮影画像データをｋ倍する乗算手段を備え、
前記動き検出手段が、前記画像一時メモリに記憶されたｋ枚の画像データ（ｋは２≦ｋ＜ｍを満たす整数）を合成した合成画像データと前記ｋ倍された撮影画像データと間の画像のずれを動きベクトルとして検出することを特徴とする請求項２に記載のカメラ付き携帯端末装置。
前記撮像素子の露光時間と撮像データとに基づいて、適正露光の撮像データを得るために必要な適正露光時間を算出する適正露光時間算出手段と、
前記撮像素子の露光時間を前記適正露光時間の略１／ｍ（ｍは正の整数）に設定する露光時間設定手段とを備えたことを特徴とする請求項１乃至請求項３の何れかに記載のカメラ付き携帯端末装置。
前記画像合成手段において、ｍ枚の画像データを合成する以前に、前記補正適否判定手段により動き補正が不適と判定された２枚目以降の異常画像データの枚数がｎ枚（ｎは２≦ｎ＜ｍを満たす整数）に到達した場合に、撮影を終了することを特徴とする請求項１乃至請求項３の何れかに記載のカメラ付き携帯端末装置。
前記画像表示手段が一定の周期毎に、その時点での合成画像データを表示することを特徴とする請求項１乃至請求項５の何れかに記載のカメラ付き携帯端末装置。
前記画像表示手段が、ｋ枚の画像データを合成した合成画像データを表示するときに、画像の明るさをｍ／ｋ倍して表示することを特徴とする、請求項６に記載のカメラ付き携帯端末装置。