JP2006074678A - カメラ付き携帯機器 - Google Patents

Abstract

【課題】低コストかつ小型化を図りつつ、撮影時の手ぶれによる画像の歪みを低減できるカメラ付き携帯機器を得る。
【解決手段】被写体を撮影し、画像データに変換するＣＭＯＳ型撮像センサを有したカメラ部１と、カメラ部１で変換された画像データを記憶する画像データ記憶部２と、撮影時の手ぶれによってカメラ部１が受ける加速度を検出する加速度センサ部３と、加速度センサ部３が検出する加速度に基づいて、手ぶれの方向および手ぶれ量を検出する手ぶれ方向・手ぶれ量検出部５と、手ぶれ方向・手ぶれ量検出部５が検出する手ぶれの方向および手ぶれ量に基づいて、画像データ記憶部に記憶された画像データの手ぶれによる画像の歪みを補正する画像データ処理部６を備える。
【選択図】図１

Description

本発明は、手ぶれによる撮影画像の歪みを補正する機能を有したカメラ付き携帯機器に関する。

従来のカメラ付き携帯機器（例えば、カメラ付き携帯電話機など）においては、カメラによる画像撮影時の手ぶれに起因する画像の歪みを補正する機能は特に有していない。
しかしながら、カメラ部に撮像センサとしてＣＭＯＳ型イメージセンサを用いた従来のカメラ付き携帯機器では、手ぶれによる画像の歪みが多く発生していた。
一方、デジタルカメラ等においては、手ぶれによる画像の歪みを補正する方法として、手ぶれによる画像の歪みを光学的に低減する方法や高度な画像処理によって手ぶれ量を検出し、検出した手ぶれ量に応じて撮影された画像の歪みを補正する方法は、すでに知られている。
例えば、特許文献１は合焦特性を改善したカメラに関するものであり、高度な画像処理によって手ぶれ量を検出する方法が示されている。

画像処理によって手ぶれ量を検出し、検出した手ぶれ量に基づいて画像を補正する場合は、高性能な画像処理ＬＳＩが必要であり、コストアップの要因となり、また、画像処理ＬＳＩを実装するためのスペースも必要となる。
従って、高度な画像処理によって手ぶれ量を検出し、検出した手ぶれ量に基づいて画像を補正する方法は、低コスト、かつ、小型化が要求されるカメラ付き携帯機器には適した方法ではない。
また、光学的に手ぶれによる画像の歪みを低減する方法は、カメラのレンズ部分で手ぶれを吸収する機構が必要となり、やはり小型化が要求されるカメラ付き携帯機器には適した方法ではない。
特開平０６−２４５１３８号公報（図１、段落０００７）

従来のカメラ付き携帯電話機などのような小型・低コストが要求されるカメラ付き携帯機器は、画像撮影時の手ぶれに起因する画像の歪みを補正する機能は特に有していなので、カメラ撮影時に手ぶれすると、撮影画像に歪みが発生する。
また、デジタルカメラに搭載されるような光学的に手ぶれを低減する方法や高度な画像処理によって手ぶれによる画像歪みを補正する方法は、低コストかつ省スペース（小型化）が要求されるカメラ付き携帯機器には実装できないという問題があった。

この発明はこのような問題点を解決するためになされたもので、カメラ撮影時の手ぶれによる画像の歪みを低減できる共に、低コストかつ小型化が図れたカメラ付き携帯機器を提供することを目的とする。

本発明のカメラ付き携帯機器は、被写体を撮影し、画像データに変換するＣＭＯＳ型撮像センサを有したカメラ部と、上記カメラ部で変換された画像データを記憶する画像データ記憶部と、撮影時の手ぶれによって上記カメラ部が受ける加速度を検出する加速度センサ部と、上記加速度センサ部が検出する加速度に基づいて、手ぶれの方向および手ぶれ量を検出する手ぶれ方向・手ぶれ量検出部と、上記手ぶれ方向・手ぶれ量検出部が検出する手ぶれの方向および手ぶれ量に基づいて、上記画像データ記憶部に記憶された画像データの手ぶれによる画像の歪みを補正する画像データ処理部とを備えたものである。

本発明のカメラ付き携帯機器によれば、手ぶれによってカメラ部が受ける加速度を検出する加速度センサと、加速度センサが検出する加速度に基づいて手ぶれの方向および手ぶれ量を検出する手ぶれ方向・手ぶれ量検出部と、手ぶれ方向・手ぶれ量検出部が検出する手ぶれの方向および手ぶれ量に基づいて画像の歪みを補正する画像データ処理部を備えているので、小型の加速度センサから得る情報に基づいて、簡易な画像処理によって撮影画像の歪みを補正することができる。
その結果、低コストかつ小型化を図りつつ、カメラ撮影時の手ぶれによる画像の歪みを低減できるカメラ付き携帯機器を実現することができる。

実施の形態１．
図面に基づいて、本発明の一実施の形態について説明する。
図１は、実施の形態１によるカメラ付き携帯機器（例えば、カメラ付き携帯電話機など）の要部の構成を示すブロック図である。
ＣＭＯＳ型撮像センサを有したカメラ部１は、被写体（図示せず）を撮影し、画像データに変換する。カメラ部１で変換された画像データは、画像データ記憶部２に送られ、記憶される。
同時に、カメラ付き携帯機器に内蔵されている加速度センサ部３は、カメラ付き携帯機器が受ける（従って、カメラ部１が受ける）Ｘ方向およびＹ方向の加速度を検出し、検出した加速度を制御部４内の手ぶれ方向・手ぶれ量検出部５に送信する。

手ぶれ方向・手ぶれ量検出部５は、加速度センサ部３からの情報（即ち、Ｘ方向およびＹ方向の加速度）を周期的に受信し続ける。
手ぶれ量を知るには撮影時の手ぶれの「速度」が必要であるが、加速度センサ部３からは「速度」ではなく「加速度」の情報が出力される。
そのため、手ぶれ方向・手ぶれ量検出部５では、受信した加速度を積分し、その積分値から速度を算出する。

加速度の積分値から速度を算出する方法について説明する。
手ぶれ方向・手ぶれ量検出部５は、先ず、カメラを起動した状態から加速度センサ部３から出力される加速度の計測を始める。
そして、加速度の変化が所定の閾値より小さくなった時点を、カメラが固定された状態、即ち、速度＝０（手ぶれ無し）として認識する。
次に、速度＝０の状態からカメラが撮影動作を開始するまで加速度の積分を続け、撮影動作開始時の手ぶれの速度を算出する。
算出された手ぶれ速度に時間を掛けると、手ぶれの量（距離）が判る。

例えば、ｎ本の走査線（走査ライン）で構成される画像画面において、走査開始ラインの時刻をｔ１、走査終了ラインの時刻をｔｎとすると、走査開始ライン上での画像位置と走査終了ライン上の画像位置とでは、手ぶれ方向・手ぶれ量検出部５によって算出された撮影動作開始時の手ぶれ速度に時間（ｔｎ−ｔ１）を掛けた距離だけ位置がずれており、画像の下側になるほど画像が歪んで表示される。
また、手ぶれ方向・手ぶれ量検出部５は、手ぶれの方向も検出する。
なお、手ぶれの方向は、Ｘ方向、Ｙ方向あるいはＺ方向の手ぶれの量（距離）から検出できる。
例えば、Ｘ方向およびＹ方向の手ぶれの量をベクトル的に合成することにより、手ぶれの方向を求めることができる。

制御部４の手ぶれ方向・手ぶれ量検出部５は、算出した撮影動作開始時の手ぶれの速度が所定の閾値以上の場合に、「手ぶれ発生」と判定する。
そして、手ぶれ方向・手ぶれ量検出部５は、「手ぶれ発生」と判定すると、検出した手ぶれ方向と手ぶれ量を画像データ処理部５に送信して、検出した手ぶれ方向と手ぶれ量に基づいて、画像データ記憶部２に記憶されている撮影画像（画像データ）の補正を指令する。
画像データ処理部５は、画像データ記憶部２から記憶されている撮影画像を受け取り、手ぶれ方向・手ぶれ量検出部５が検出する手ぶれ方向と手ぶれ量に応じた画像データの補正処理を行う。

補正処理の結果得られた歪みの低減された画像データは、再び画像データ記憶部２に送られる。
補正により歪みの低減された画像データは、表示用の画像データとして表示部７に送られ、表示される。
なお、加速度センサ部３は、カメラ付き携帯機器が受けるＸ方向、Ｙ方向およびＺ方向の３方向の加速度を検出するものであってもよい。

次に、手ぶれによる画像の歪み方と、その補正の方法について具体的に説明する。
カメラ付き携帯機器に用いられるカメラ部１のＣＭＯＳ型撮像センサは、水平方向のライン走査を1本ずつ垂直方向の画素の数だけ繰り返し走査するので、ＣＣＤ型撮像センサに比べると手ぶれによる画像の歪みが発生しやすい。
なお、ＣＣＤ型撮像センサは、一般的には感度が高く、高画質であるというメリットがある。
一方、ＣＭＯＳ型撮像センサでは、一般的に感度はＣＣＤ型撮像センサに劣るが、ＣＣＤ型撮像センサに比べて低消費電力、低コスト、小型であるというメリットがある。
そこで、カメラ付き携帯機器のコンセプトに応じて、ＣＣＤ型撮像センサとＣＭＯＳ型撮像センサが使い分けされている。

カメラ部１にＣＭＯＳ型撮像センサを用いている場合、最初の走査ライン（走査開始ライン）から最後の走査ライン（走査終了ライン）までの間の時間差が発生するので、その時間差の間に発生した手ぶれの分だけ、表示される撮影画像に歪みが生じることになる。
図２は、本実施の形態によるカメラ付き携帯機器用いられるＣＭＯＳ型撮像センサの走査方法と画像歪みの発生を説明するための図であり、図２（ａ）は手ぶれ無しの場合の撮影画像を、図２（ｂ）は手ぶれ有りの場合の撮影画像を示している。
図２（ｂ）に示すように、走査開始の時刻ｔ１から走査終了の時刻ｔｎまでの間の時間差（ｔｎ−ｔ１）の間に、例えば、右方向に手ぶれがある場合、画像の下側（即ち、走査終了ライン）では左方向に距離Ｌだけ位置がずれて（即ち、歪んで）表示される。
なお、この距離Ｌは、手ぶれ方向・手ぶれ量検出部５によって算出された撮影動作開始時の手ぶれ速度に時間（ｔｎ−ｔ１）を掛けて算出される。

図３は、水平方向に手ぶれが発生した場合の撮影画像の歪みとその補正方法を説明するための図である。
図において、図３（ａ）は、手ぶれが無い場合の撮影画像を示している。
ここで、例えば右方向に手ぶれが発生した場合、図３（ｂ）に示すように、画像の下側にいくにしたがって、撮影画像は左方向へ歪みを生じる。
即ち、ｔｎからｔ１の時間差の間に、右方向に手ぶれがある場合、画像の下側（走査終了ライン）では距離Ｌだけ位置がずれて（即ち、歪んで）表示される。

次に、この歪み（水平方向の歪み）を補正する方法について説明する。
図３（ｃ）に示すように、先ず、画像下側を歪みとは反対方向、つまり右側に移動し、画像全体が斜めになるように画像処理を行う。
これにより、歪みの低減された画像を得ることができる。（補正手順１）
ただし、この段階では必要な撮影画像サイズとは合致しないので、図３（ｃ）に示すように、必要な縦横比率を確保できる最大の大きさの長方形（一点鎖線で示した長方形Ｓ）に画像を切り出す。
切り出した画像のサイズは、撮影サイズ（画像データ記憶部２に保存するのに必要なサイズ）よりも小さいので、図３（ｄ）に示すように、切り出した画像を保存に適した撮影画像サイズ（即ち、撮影時の画像サイズ）に合わせて拡大する。
これにより、歪みのない目的とする画像を得ることができる。（補正手順２）

図３では、右方向に手ぶれが発生した場合を示した、逆に左方向にぶれた場合は、画像下側を左側に移動する方法で、補正画像を得ることができる。
なお、上述の説明では、歪みの方向を手ぶれ方向情報を用いて認識し、画像下側（走査終了ライン）を右側に移動させる距離（補正量）は手ぶれ量情報に基づいて得ているが、画像の上部と下部の中間地点での補正については、例えば、時刻ｔ１のタイミングと時刻ｔｎのタイミングの両方で手ぶれの方向と速度を測定し、その変化から補正量を１ライン毎に徐々に変えてゆけばよい。
さらに、時刻ｔ１と時刻ｔｎの間に手ぶれの方向と速度を測定する測定点を増やすことにより、画像歪みの補正精度を向上させることもできる。

図４は、垂直方向に手ぶれが発生した場合の撮影画像の歪みとその補正方法を説明するための図である。
図において、図４（ａ）は、手ぶれが無い場合の撮影画像を示している。
ここで、例えば下方向に手ぶれが発生した場合、図４（ｂ）に示すように、画像の下側にいくにしたがって、撮影画像は上方向へ歪みを生じる。
即ち、ｔｎからｔ１の時間差の間に下方向に手ぶれがある場合、画像の下側は距離Ｌ′だけ位置が上側にずれて（即ち、歪んで）表示される。

次に、この歪み（垂直方向の歪み）を補正する方法について説明する。
図４（ｃ）に示すように、先ず、画像下側を歪みとは反対方向、つまり下側に移動し、画像全体が縦方向に拡大されるように画像処理を行うことで、歪みの低減された画像を得ることができる。
ただし、この段階では必要な撮影画像サイズとは合致しないので、図４（ｃ）に示すように、必要な縦横比率を確保できる最大の大きさの長方形（一点鎖線で示した長方形Ｓ′）に画像を切り出す。（補正手順１）
切り出した画像のサイズは、撮影サイズ（画像データ記憶部２に保存するのに必要なサイズ）と同じサイズとなっている。
これにより、歪みのない目的とする画像を得ることができる。（補正手順２）

なお、あらかじめ、ＣＭＯＳ型撮像センサの有効画素サイズを、撮影画像サイズよりも大きくしておけば、撮影サイズの周辺にある有効画素を含めた範囲から、必要な画像を切り出せるので、画質の劣化を少なくできる効果もある。
また、図４では、下方向に手ぶれが発生した場合の補正方法を示したが、逆に上方向にぶれた場合には、画像下側を上側に移動する方法（即ち、縮小する方向）で、歪みの低減された撮影画像を得ることができる。
また、水平方向および垂直方向の両方向に手ぶれが発生した場合は、上述した水平方向および垂直方向のそれぞれの手ぶれ補正方法をあわせて用いることにより、歪みの低減された補正画像を得ることができる。

以上説明したように、本発明によるカメラ付き携帯機器は、被写体を撮影し、画像データに変換するＣＭＯＳ型撮像センサを有したカメラ部１と、カメラ部１で変換された画像データを記憶する画像データ記憶部２と、撮影時の手ぶれによってカメラ部１が受ける加速度を検出する加速度センサ部３と、加速度センサ部３が検出する加速度に基づいて、手ぶれの方向および手ぶれ量を検出する手ぶれ方向・手ぶれ量検出部５と、手ぶれ方向・手ぶれ量検出部５が検出する手ぶれの方向および手ぶれ量に基づいて、画像データ記憶部２に記憶された画像データの手ぶれによる画像の歪みを補正する画像データ処理部６とを備えている。
従って、小型な加速度センサから得る情報に基づいて、簡易な画像処理によって撮影画像の歪みを補正することができ、低コストかつ小型化を図りつつ、カメラ撮影時の手ぶれによる画像の歪みを低減できる。

この発明は、カメラ付き携帯機器（例えば、カメラ付き携帯電話機）に利用できるだけでなく、高性能な画像処理を用いているデジタルカメラや産業用カメラ機器の小型化や低コスト化にも有用である。

実施の形態１によるカメラ付き携帯機器の構成を示すブロック図である。 実施の形態１によるカメラ付き携帯機器用いられるＣＭＯＳ型撮像センサの走査方法と画像の歪みの発生を説明するための図である。 実施の形態１によるカメラ付き携帯機器における水平方向画像歪みとその補正方法を説明するための図である。 実施の形態１によるカメラ付き携帯機器における垂直方向画像歪みとその補正方法を説明するための図である

符号の説明

１ カメラ部 ２ 画像データ記憶部
３ 加速度センサ部 ４ 制御部
５ 手ぶれ方向・手ぶれ量検出部
６ 画像データ処理部 ７ 表示部

Claims (4)

1. 被写体を撮影し、画像データに変換するＣＭＯＳ型撮像センサを有したカメラ部と、
   上記カメラ部で変換された画像データを記憶する画像データ記憶部と、
   撮影時の手ぶれによって上記カメラ部が受ける加速度を検出する加速度センサ部と、
   上記加速度センサ部が検出する加速度に基づいて、手ぶれの方向および手ぶれ量を検出する手ぶれ方向・手ぶれ量検出部と、
   上記手ぶれ方向・手ぶれ量検出部が検出する手ぶれの方向および手ぶれ量に基づいて、
   上記画像データ記憶部に記憶された画像データの手ぶれによる画像の歪みを補正する画像データ処理部とを備えたことを特徴とするカメラ付き携帯機器。
2. 手ぶれの方向は水平方向であって、水平方向の手ぶれによる撮影画像の歪みを補正することを特徴とする請求項１に記載のカメラ付き携帯機器。
3. 手ぶれの方向は垂直方向であって、垂直方向の手ぶれによる撮影画像の歪みを補正することを特徴とする請求項１に記載のカメラ付き携帯機器。
4. 手ぶれの方向は水平方向および垂直方向であって、水平方向および垂直方向の両方向の手ぶれによる撮影画像の歪みを補正することを特徴とする請求項１に記載のカメラ付き携帯機器。

Images