JP2008294504A - 撮影装置及び撮影装置を備える携帯端末装置 - Google Patents

Abstract

【課題】メモリ容量や消費電力を低減し、自然な感覚で電子式手ぶれ補正及び電子ズームを行うことができる、動画を撮影可能な撮影装置を提供する。
【解決手段】電子式ズーム機能と手ぶれ補正機能とを有し、動画を撮影可能な撮影装置であって、画像を認識するセンサ（１）と、制御部（５）と、前記画像データの手ぶれ補正を行う信号処理部（４）と、各画像における前画像からの動きを検出する動き検出部（９）とを備え、動画撮影時に手ぶれ補正が行われ、電子式ズームが行われる際、前記制御部（５）は、ズーム前後の画像の中心がずれないように、前記動き検出部（９）からの動き情報と電子式ズームの縮小率とに基づいて、前記センサ（１）からの画像データの読み出し開始位置及び読み出しライン数を決定して前記センサ（１）から画像データを取得する。
【選択図】図１

Description

本発明は、動画を撮影可能で、電子式動画手ぶれ機能と電子式ズーム機能とを有する撮影装置に関する。本発明は、このような撮影装置を備える携帯端末装置にも関する。

近年の携帯電話や携帯情報端末などの携帯端末装置は、１メガピクセル〜５メガピクセルの画素数のセンサを備えたカメラを搭載してものが主流となっており、電子式動画手ぶれ機能及び電子式ズーム機能や、同一のカメラでセンサの画素数より非常に少ない画素数の動画像を撮影する機能を有しているものもある。少ない画素数を扱う動画像においても、従来は、その画像データを扱うには、大量のメモリと高速処理のハードウェアが必要であった。例えば、特許文献１（特に図１、図４）には、画像データをメモリ上に置き、そのメモリ上で電子式手ぶれ補正や電子式ズームを処理するシステムが開示されている。この従来のシステムでは、カメラ側でセンサ上の垂直方向の読み出し領域を変え、信号処理によって水平方向を縮小を行い、電子式ズームを実施し、カメラ出力された画像データをメモリ上に置き、電子式手ぶれ補正をメモリ上で行うことにより、メモリ削減と高速処理のハードウェアの削減を試みている。

特開２０００−１０１８９６号公報

近年、メモリの大容量化によって、メモリ使用量の増大も機器によっては大きな課題にならなくありつつあるが、携帯機器においては、物理的なサイズ及びコストの面からメモリ容量の削減は重要である。さらに、消費電力を抑え、バッテリによる駆動時間を延ばすことは恒久的な課題である。

上記特許文献１の図１及び図４に記載のシステムでは、動画像を扱う場合において、実際に記録する動画像がＶＧＡサイズであったとしても、その１０倍もあるセンサの画素数に相当する容量（記録形式によるが、３メガピクセルの画素数をもつ撮影装置では４．５〜９メガバイト）のメモリと、動画手ぶれ補正処理のための同容量以上のメモリとが必要となる。さらに、動画像の場合、このような大容量のデータを短時間の内に処理することが必要であるため、高速な処理が必要となり、消費電力が大きくなってしまうという課題があった。さらに、センサから全画素を読み出す必要があるため、動画におけるフレームレートが上げにくく、消費電力も大きくなってしまっていた。図８は、この従来技術でのメモリ使用を説明する模式図である。この従来技術のシステムでは、センサの読み出し領域の画素（斜線部分）に相当するメモリ領域が必要となる。例えば３メガピクセルの画素をもつセンサにおいて、ＹＵＶ４２２形式で保存するシステムの場合は、６メガバイトのメモリ領域が必要となる。これに加え、電子式手ぶれ補正を実施しようとすると前画面を保持していなければいけなくなり、少なくとも合計１２メガバイトのメモリ領域を確保しなければならなくなる。

また、他の従来技術では、電子ズームのワイド端においては、読み出し領域は静止画の場合と変わらないものの、読み出し方法として間引きや画素加算などの方法を利用することにより、動画のフレームレートを確保しつつ、必要なメモリ容量を削減し、処理するデータ量を削減することにより、消費電力を下げることを可能にしている。

図９は、このような従来技術の撮影装置の構成を示すブロック図である。図１０は、従来技術におけるメモリ使用とセンサ上の読み出し領域を説明する模式図である。図１１は、従来技術の課題の概略図である。この従来技術のカメラは、撮像素子であるセンサ９１と、ＣＤＳ（相関２重サンプリング回路）／ＡＧＣ（アナログ・ゲイン制御回路）９２と、Ａ（アナログ）／Ｄ（デジタル）コンバータ９３と、信号処理部９４と、ラインメモリ９５と、マイコン９６と、タイミング発生器９７と、メモリ９８と、動き検出部９９とを備える。

センサ９１からのアナログの画像データは、ＣＤＳ／ＡＧＣ９２において増幅され、Ａ／Ｄコンバータ９３によってデジタル化される。デジタル化された画像データは、信号処理部９４によってγ補正、ホワイトバランス調整、輝度調整、輪郭強調等のカメラ処理を行われ、メモリ９８に記憶される。制御部として機能するマイコン９６は、センサ９１を駆動するためのタイミングパルスを発生するタイミング発生器９７に、所望のタイミングを発生させるような制御値を入力する。動き検出部９９では、信号処理部９４から出力された現画像データと、メモリ９８に記憶された前画像データから動きを検出し、現画像データの切出し位置を算出し、メモリ９８から電子式手ぶれ補正された現画像データを読み出す。

動画像の電子式手ぶれ補正を行う場合、広角端の場合には、マイコン９６は、読み出し領域を静止画の場合と変更せず、読み出し方法を間引きや画像加算等にしてセンサ９１から画像データを読み出すようなタイミングパルスを発生するような制御値をタイミング発生器９７に入力し、同時に、信号処理部９４に画像のサイズを指定する。センサ９１からは、全領域が読み出される（図１０の１０ａ）。信号処理部９４は、ラインメモリ９６に必要なライン数分の画像データを記憶し、水平・垂直の縮小処理を行い（図１０の１０ｂ）、メモリ９８に記憶する（図１０の１０ｃ）。信号処理部９４は、動き検出部９９で検出された動き量に基づいて、メモリ９８に記憶された画像データから画像を切出す（図１０の１０ｄ）。このようにして切出された画像が、電子式手ぶれ補正された画像となる（図１０の１０ｅ）。図１１において、センサの読み出し領域を１１ａで示し、このときの画像のセンサ上の位置を１１ｂで示し、中心位置を１１ｃで示す。画像例を１１ｄで示し、このときユーザが期待するズームの範囲を１１ｅで示す。

望遠側への電子ズームが行われる場合、マイコン９６は、読み出し方法を間引きや画像加算等にし、かつ、ズーム後の画像サイズを考慮して垂直方向の中心部分を必要ライン数分のみセンサ９１から読み出すようなタイミングパルスを発生するような制御値をタイミング発生器９７に入力し、同時に、信号処理部９４に画像の縮小率を設定する。センサ９１からは、垂直方向の中心部分を必要ライン数分が読み出される（図１０の１０ｆ）。信号処理部９４は、ラインメモリ９５に必要なライン数分の画像データを記憶し、水平・垂直の縮小処理を行い（図１０の１０ｇ）、メモリ９８に記憶する（図１０の１０ｈ）。信号処理部９４は、動き検出部９９で検出された動き量に基づいて、メモリ９８に記憶された画像データから画像を切出す（図１０の１０ｉ）。このようにして切出された画像が、電子式手ぶれ補正された画像となる（図１０の１０ｊ）。図１１において、センサの読み出し領域を１１ｆで示し、このときの画像のセンサ上の位置を１１ｇで示し、画像中心を１１ｈで示す。画像例を１１ｋで示し、このとき実際にズームされた範囲を１１ｉで示す。

このように、電子式手ぶれ補正を行いながら電子式ズームを行うと、カメラ側でセンサ上の垂直方向の読み出し領域を、センサ上の垂直方向の中心から変えることができないため、中心位置がずれてしまい、自然な感覚で電子ズームを行うことができないといった課題があった。このため、使用者は、動画撮影で子供などの被写体を撮影している場合、電子式ズームを行った途端、被写体から外れた思いも寄らない場所を撮影することになり、どこを撮影しているのか分からなくなったりするという課題があった。

本発明は、上記事情を鑑みてなされたものであり、メモリ容量や消費電力を低減し、自然な感覚で電子式手ぶれ補正及び電子ズームを行うことができる、動画を撮影可能な撮影装置を提供するものである。

本発明の撮影装置は、電子式ズーム機能と手ぶれ補正機能とを有し、動画を撮影可能な撮影装置であって、画像を認識するセンサと、制御部と、前記画像データの手ぶれ補正を行う信号処理部と、各画像における前画像からの動きを検出する動き検出部とを備え、動画撮影時に手ぶれ補正が行われ、電子式ズームが行われる際、前記制御部は、ズーム前後の画像の中心がずれないように、前記動き検出部からの動き情報と電子式ズームの縮小率とに基づいて、前記センサからの画像データの読み出し開始位置及び読み出しライン数を決定して前記センサから画像データを取得することを特徴とする。

前記センサの垂直方向の読み出しライン数が同一な状態で、垂直方向の読み出し開始タイミングを複数の異なる読み出し開始タイミングから選択できるようにしてもよい。

本発明によれば、動画を撮影可能な撮影装置において、メモリ容量や消費電力を低減し、自然な感覚で電子式手ぶれ補正及び電子ズームを行うことができる。

以下、添付図面を参照して、本発明の撮影装置の実施の形態を詳細に説明する。
図１は、本発明の撮影装置の構成の一例を示すブロック図である。本撮影装置は、撮像素子であるセンサ１と、ＣＤＳ（相関２重サンプリング回路）／ＡＧＣ（アナログ・ゲイン制御回路）２と、Ａ（アナログ）／Ｄ（デジタル）コンバータ３と、信号処理部４と、ラインメモリ５と、マイコン６と、タイミング発生器７と、メモリ８と、動き検出部９とを備える。

センサ１からのアナログの画像データは、ＣＤＳ／ＡＧＣ２において増幅され、Ａ／Ｄコンバータ３によってデジタル化される。デジタル化された画像データは、信号処理部４によってγ補正、ホワイトバランス調整、輝度調整、輪郭強調等のカメラ処理を行われ、メモリ８に記憶される。マイコン６は、センサ１を駆動するためのタイミングパルスを発生するタイミング発生器７に、所望のタイミングを発生させるような制御値を入力する。動き検出部９では、信号処理部４から出力された現画像データと、メモリ８に記憶された前画像データから動きを検出し、現画像データの切出し位置を算出し、メモリ８から電子式手ぶれ補正された現画像データを読み出す。

本発明の第１の実施の形態において、動画像の電子式手ぶれ補正を行う場合を、図２及び図３を参照して説明する。電子ズームの広角端の場合には、マイコン６は、静止画の場合と読み出し領域を変更せず、読み出し方法を間引きや画像加算等にしてセンサ１から画像データを読み出すようなタイミングパルスを発生するような制御値をタイミング発生器７に入力し、同時に、信号処理部４に画像のサイズを指定する。センサ１からは、所定の読み出し領域が読み出される（図２の２０ａ）。信号処理部４は、ラインメモリ６に必要なライン数分の画像データを記憶し、水平・垂直の縮小処理を行い（図２の２０ｂ）、メモリ８に記憶する（図２０の２０ｃ）。信号処理部４は、動き検出部９で検出された動き量に基づいて、メモリ８に記憶された画像データから画像を切出す（図２の２０ｄ）。このようにして切出された画像が、電子式手ぶれ補正された画像となる（図２の２０ｅ）。図３において、センサの全領域を３０ａで示し、このときの画像のセンサ上の位置を３０ｂで示し、中心位置を３０ｃで示す。画像例を３０ｄで示し、このときユーザが期待するズームの範囲を３０ｅで示す。

望遠側への電子ズームが行われる場合、動き検出部９により検出された動き量はマイコン６にも入力される。マイコン６は、この動き量からセンサ１の垂直方向の必要ライン数と読み出し開始位置とを算出し、必要な読み出し領域に対応するタイミングパルスを発生させるような制御値をタイミング発生器７に入力すると共に、信号処理部４に、画像サイズ、垂直開始位置、及び、水平位置の縮小の指定をする。センサ１からは、読み出し方法を間引きや画像加算等にして垂直方向の必要ライン数分が読み出される（図２の２０ｆ）。信号処理部４は、ラインメモリ５に必要なライン数分の画像データを記憶し、指定された位置での水平・垂直の縮小処理を行い（図２の２０ｇ）、メモリ８に記憶する（図２の２０ｈ）。信号処理部４は、動き検出部９で検出された動き量に基づいて、メモリ８に記憶された画像データから画像を切出す（図２の２０ｉ）。このようにして切出された画像が、電子式手ぶれ補正された画像となる（図２の２０ｊ）。図３において、センサの読み出し領域を３０ｆで示し、このときの画像のセンサ上の位置を３０ｇで示し、画像中心を３０ｈで示す。画像例を３０ｋで示し、このとき実際にズームされた範囲を３０ｉで示す。このように、ユーザが期待するズームの範囲（３０ｅ）に対し、実際にズームされた範囲（３０ｉ）が一致する。

図４は、上記第１の実施形態における動画撮影中のマイコン６の動作を説明するフローチャートである。ステップＳ４０１において動画撮影中かどうかを判定し、動画撮影中ならステップＳ４０２に進み、そうでなければ動作を終了する。ステップＳ４０２において、手ぶれ補正中かどうかを確認し、そうであればステップＳ４０３に進む。ステップＳ４０３において、電子ズームに変化があるかどうかを判定し、そうであればステップＳ４０４に進む。ステップＳ４０２で手ぶれ補正中でなかったり、ステップＳ４０３で電子ズームに変化がなければ、ステップＳ４０５に進み、設定を変更せず、ステップＳ４０１に戻る。

手ぶれ補正中でかつ電子ズームに変化があった場合、ステップＳ４０４において、中心ずれがあるかどうかを判定し、中心ずれがある場合、ステップＳ４０６において、中心ずれを考慮したセンサの読み出し開始位置と、必要ライン数とを算出し、ステップＳ４０７において、水平方向の位置を算出し、ステップＳ４０８に進む。ステップＳ４０４で、中心ずれがない場合、ステップＳ４０９において、センサの読み出し開始位置と、必要ライン数とを算出し、ステップＳ４０８に進む。

ステップＳ４０８において、タイミング発生器に、読み出し開始位置と、読み出しライン数とを設定する。次に、ステップＳ４１０において、信号処理部に、垂直方向の開始位置と、ライン数と、縮小する値と、水平方向の位置とを設定し、ステップＳ４０１に戻る。

本発明の第２の実施の形態において、動画像の電子式手ぶれ補正を行う場合を、図５及び図６を参照して説明する。電子ズームの広角端の場合には、マイコン６は、静止画の場合と読み出し領域を変更せず、読み出し方法を間引きや画像加算等にしてセンサ１から画像データを読み出すようなタイミングパルスを発生するような制御値をタイミング発生器７に入力し、同時に、信号処理部４に画像のサイズを指定する。センサ１からは、所定の読み出し領域が読み出される（図５の５０ａ）。信号処理部４は、ラインメモリ５に必要なライン数分の画像データを記憶し、水平・垂直の縮小処理を行い（図５の５０ｂ）、メモリ８に記憶する（図５の５０ｃ）。信号処理部４は、動き検出部９で検出された動き量に基づいて、メモリ８に記憶された画像データから画像を切出す（図５の５０ｄ）。このようにして切出された画像が、電子式手ぶれ補正された画像となる（図５の５０ｅ）。図６において、センサの読み出し領域を６０ａで示し、このときの画像のセンサ上の位置を６０ｂで示し、中心位置を６０ｃで示す。画像例を６０ｄで示し、このときユーザが期待するズームの範囲を６０ｅで示す。

電子ズームの望遠端で設定可能なセンサ上の読み出し領域の設定が５０ａ、５０ｂ、５０ｃであるとする。望遠側への電子ズームが行われる場合、動き検出部９により検出された動き量はマイコン６にも入力される。センサ１の垂直方向の理想の読み出し位置と、ライン数とを算出し、その値が５０ａ、５０ｂ、５０ｃのどの読み出し領域に含有されるかを算出する。マイコン６は、必要な読み出し領域に対応するタイミングパルスを発生させるような制御値をタイミング発生器７に入力すると共に、信号処理部４に、画像サイズ、垂直開始位置、及び、水平位置の縮小の指定をする。センサ１からは、読み出し方法を間引きや画像加算等にして垂直方向の必要ライン数分が読み出される（図５の５０ｆ、５０ｇ、５０ｈ）。信号処理部４は、ラインメモリ５に必要なライン数分の画像データを記憶し、指定された位置での水平・垂直の縮小処理を行い（図５の５０ｉ）、メモリ８に記憶する（図５の５０ｊ）。信号処理部４は、動き検出部９で検出された動き量に基づいて、メモリ８に記憶された画像データから画像を切出す（図５の５０ｋ）。このようにして切出された画像が、電子式手ぶれ補正された画像となる（図５の５０ｌ）。図６において、このときの画像のセンサ上の位置を６０ｇで示し、画像中心を６０ｈで示す。画像例を６０ｋで示し、センサの読み出し領域を６０ｆで示し、このとき実際にズームされた範囲を６０ｉで示す。このように、ユーザが期待するズームの範囲（６０ｅ）に対し、実際にズームされた範囲（６０ｉ）が一致する。

図７は、上記第２の実施形態における動画撮影中のマイコン６の動作を説明するフローチャートである。ステップＳ７０１において動画撮影中かどうかを判定し、動画撮影中ならステップＳ７０２に進み、そうでなければ動作を終了する。ステップＳ７０２において、手ぶれ補正中かどうかを確認し、そうであればステップＳ７０３に進む。ステップＳ７０３において、電子ズームに変化があるかどうかを判定し、そうであればステップＳ７０４に進む。ステップＳ７０２で手ぶれ補正中でなかったり、ステップＳ７０３で電子ズームに変化がなければ、ステップＳ７０５に進み、設定を変更せず、ステップＳ７０１に戻る。

手ぶれ補正中でかつ電子ズームに変化があった場合、ステップＳ７０４において、中心ずれがあるかどうかを判定し、中心ずれがある場合、ステップＳ７０６において、理想のセンサの読み出し開始位置と、必要ライン数とを算出し、ステップＳ７０７において、算とを包含する設定値を算出し、ステップＳ７０８において、水平方向の位置を算出し、ステップＳ７０９に進む。ステップＳ７０４で、中心ずれがない場合、ステップＳ７１０において、センサの読み出し開始位置と、必要ライン数とを算出し、ステップＳ７０９に進む。

ステップＳ７０９において、タイミング発生器に、読み出し開始位置と、読み出しライン数とを設定する。次に、ステップＳ７１１において、信号処理部に、垂直方向の開始位置と、ライン数と、縮小する値と、水平方向の位置とを設定し、ステップＳ７０１に戻る。

このように、本発明の撮影装置では、マイコンが、動き検出部からの動き情報に基づいて、センサのタイミング及び信号処理を制御することにより、物理的・コスト的に光学式の手ぶれ補正機能やズームが載せられないような携帯端末等に搭載する場合であっても、メモリ削減、消費電力抑制を行った上で、中心位置のずれをなくし、光学式のような自然な電子式手ぶれ補正と電子式ズームを行うことができる。

本発明は、動画を撮影可能で、電子式動画手ぶれ機能と電子式ズーム機能とを有する撮影装置に利用可能である。

本発明の撮影装置の構成の一例を示すブロック図である。 第１の実施の形態におけるメモリ使用とセンサ上の読み出し領域を説明する模式図である。 第１の実施の形態における出力画像とセンサ上の読み出し領域を説明する模式図である。 第１の実施形態における動画撮影中のマイコンの動作を説明するフローチャートである。 第２の実施の形態におけるメモリ使用とセンサ上の読み出し領域を説明する模式図である。 第２の実施の形態における出力画像とセンサ上の読み出し領域を説明する模式図である。 第２の実施形態における動画撮影中のマイコンの動作を説明するフローチャートである。 従来技術におけるメモリ使用を説明する模式図である。 従来技術の撮影装置の構成を示すブロック図である。 従来技術におけるメモリ使用とセンサ上の読み出し領域を説明する模式図である。 従来技術における出力画像とセンサ上の読み出し領域を説明する模式図である。

符号の説明

１ センサ
２ ＣＤＳ／ＡＧＣ
３ ＡＤコンバータ
４ 信号処理部
５ ラインメモリ
６ マイコン
７ タイミング発生器
８ メモリ
９ 動き検出部

Claims (5)

1. 電子式ズーム機能と手ぶれ補正機能とを有し、動画を撮影可能な撮影装置であって、
   画像を認識するセンサと、
   制御部と、
   前記画像データの手ぶれ補正を行う信号処理部と、
   各画像における前画像からの動きを検出する動き検出部とを備え、
   動画撮影時に手ぶれ補正が行われ、電子式ズームが行われる際、
   前記制御部は、ズーム前後の画像の中心がずれないように、前記動き検出部からの動き情報と電子式ズームの縮小率とに基づいて、前記センサからの画像データの読み出し開始位置及び読み出しライン数を決定して前記センサから画像データを取得することを特徴とする撮影装置。
2. 動画撮影時に手ぶれ補正が行われ、電子式ズームが行われる際、
   前記制御部は、ズーム前後の画像の中心がずれないように、ズーム後の画像の垂直方向の開始位置、ライン数、縮小する値、及び、水平方向の位置を決定して前記信号処理部に供給し、
   前記信号処理部は、前記制御部から供給されたズーム後の画像の垂直方向の開始位置、ライン数、縮小する値、及び、水平方向の位置に従って前記画像データを手ぶれ補正することを特徴とする請求項１記載の撮影装置。
3. 電子式ズーム機能と手ぶれ補正機能とを有し、動画を撮影可能な撮影装置であって、
   画像を認識するセンサと、
   制御部と、
   前記画像データの手ぶれ補正を行う信号処理部と、
   各画像における前画像からの動きを検出する動き検出部とを備え、
   動画撮影時に手ぶれ補正が行われ、電子式ズームが行われる際、
   前記制御部は、ズーム前後の画像の中心がずれないように、前記動き検出部からの動き情報と電子式ズームの縮小率とに基づいて、前記センサからの画像データの読み出し領域を、読み出しライン数が同一で読み出し開始位置が異なる複数の読み出し領域から選択することを特徴とする撮影装置。
4. 動画撮影時に手ぶれ補正が行われ、電子式ズームが行われる際、
   前記制御部は、ズーム前後の画像の中心がずれないように、ズーム後の画像の垂直方向の開始位置、ライン数、縮小する値、及び、水平方向の位置を決定して前記信号処理部に供給し、
   前記信号処理部は、前記制御部から供給されたズーム後の画像の垂直方向の開始位置、ライン数、縮小する値、及び、水平方向の位置に従って前記画像データを手ぶれ補正することを特徴とする請求項３記載の撮影装置。
5. 請求項１乃至４のいずれか１項に記載の撮影装置を備えることを特徴とする携帯端末装置。

Images