JP2001078075A - 画像入力装置及び画像入力方法 - Google Patents
画像入力装置及び画像入力方法Info
- Publication number
- JP2001078075A JP2001078075A JP25388899A JP25388899A JP2001078075A JP 2001078075 A JP2001078075 A JP 2001078075A JP 25388899 A JP25388899 A JP 25388899A JP 25388899 A JP25388899 A JP 25388899A JP 2001078075 A JP2001078075 A JP 2001078075A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera shake
- image information
- motion
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 装置の動きによる手ぶれと、動画像圧縮時に
検出される手ぶれベクトルとによって様々な撮影状況下
でも効果的に手ぶれ補正を行う。 【解決手段】 被写体を撮像し得られた画像情報を圧縮
して記録する画像入力装置において、画像情報を得る撮
像手段103と、画像入力装置の動きを検出する動き検
出手段104と、動きを画像ぶれ量に変換する変換手段
105と、画像ぶれ量を基に画像情報を補正する補正手
段107と、信号処理手段108と、符号化手段109
と、データ記録手段112と、画像情報から手ぶれベク
トルを検出する手ぶれベクトル検出手段110と、手ぶ
れベクトルから補正効果評価値を算出する補正効果評価
値算出手段111とを具備し、変換手段105は補正効
果評価値を基に画像ぶれ量を修正する事を特徴とする画
像入力装置101。
検出される手ぶれベクトルとによって様々な撮影状況下
でも効果的に手ぶれ補正を行う。 【解決手段】 被写体を撮像し得られた画像情報を圧縮
して記録する画像入力装置において、画像情報を得る撮
像手段103と、画像入力装置の動きを検出する動き検
出手段104と、動きを画像ぶれ量に変換する変換手段
105と、画像ぶれ量を基に画像情報を補正する補正手
段107と、信号処理手段108と、符号化手段109
と、データ記録手段112と、画像情報から手ぶれベク
トルを検出する手ぶれベクトル検出手段110と、手ぶ
れベクトルから補正効果評価値を算出する補正効果評価
値算出手段111とを具備し、変換手段105は補正効
果評価値を基に画像ぶれ量を修正する事を特徴とする画
像入力装置101。
Description
【0001】
【発明の属する技術分野】本発明は、ビデオカメラなど
の画像入力装置及び画像入力方法に関する。
の画像入力装置及び画像入力方法に関する。
【0002】
【従来の技術】ビデオカメラなどの画像入力装置は、ビ
デオテープレコーダ(VTR)などの画像記録装置、あ
るいはパソコンなどとともに一般家庭にも広く普及して
いる。
デオテープレコーダ(VTR)などの画像記録装置、あ
るいはパソコンなどとともに一般家庭にも広く普及して
いる。
【0003】この様な画像入力装置には、ピントの自動
調節の為のオートフォーカス機能、また、ぶれの少ない
画像を撮影、記録する為の手ぶれ補正機能が搭載されて
いるものが多い。
調節の為のオートフォーカス機能、また、ぶれの少ない
画像を撮影、記録する為の手ぶれ補正機能が搭載されて
いるものが多い。
【0004】これらの機能のうちの、手ぶれ補正機能を
実現するための技術は、手ぶれの検出方法と補正方法か
ら成っている。
実現するための技術は、手ぶれの検出方法と補正方法か
ら成っている。
【0005】手ぶれの検出方法としては、ビデオカメラ
などの画像入力装置自体に加えられた動きを加速度セン
サなどの手ぶれセンサによって検出するもの、複数フレ
ームの画像信号から画像ぶれ量を計算するものなどに分
類できる。
などの画像入力装置自体に加えられた動きを加速度セン
サなどの手ぶれセンサによって検出するもの、複数フレ
ームの画像信号から画像ぶれ量を計算するものなどに分
類できる。
【0006】また、手ぶれの補正方法としては、検出さ
れた手ぶれに合わせて、レンズの向きや可変プリズムの
向きを機械的に制御するもの、撮影された画像信号をメ
モリに一旦記憶し、検出された手ぶれから撮像素子上の
移動量に相当する画像ぶれ量を計算し、メモリに記憶さ
れた画像信号の読み出し位置を変更するもの、画像ぶれ
量に合わせて撮像素子から信号を読み出すタイミングを
制御して、撮影された信号の一部分を読み出すものなど
に分類できる。
れた手ぶれに合わせて、レンズの向きや可変プリズムの
向きを機械的に制御するもの、撮影された画像信号をメ
モリに一旦記憶し、検出された手ぶれから撮像素子上の
移動量に相当する画像ぶれ量を計算し、メモリに記憶さ
れた画像信号の読み出し位置を変更するもの、画像ぶれ
量に合わせて撮像素子から信号を読み出すタイミングを
制御して、撮影された信号の一部分を読み出すものなど
に分類できる。
【0007】手ぶれ補正機能は、このように分類される
手ぶれの検出方法と補正方法を、例えば図20のように
組み合わす事によって実現されている。図20の場合、
動きセンサからの出力を光学機構制御部に送り、この出
力に合わせてレンズの向きや可変プリズムの向きを機械
的に制御し、手ぶれを補正している。
手ぶれの検出方法と補正方法を、例えば図20のように
組み合わす事によって実現されている。図20の場合、
動きセンサからの出力を光学機構制御部に送り、この出
力に合わせてレンズの向きや可変プリズムの向きを機械
的に制御し、手ぶれを補正している。
【0008】他方、近年の画像入力装置においては、こ
れまでの様にアナログ信号処理、記録を行ってきたアナ
ログタイプに加えて、撮影された画像信号をデジタルデ
ータに変換してデジタル信号処理、記録を行うデジタル
タイプが広く利用され始めている。このデジタルタイプ
が注目を集めている理由としては、解像度や色再現性な
どの画質や、音質の良さに加えて、各種デジタルインタ
フェースを利用した情報交換や伝送の速さ、動画像圧縮
技術を用いた記録効率の良さ、パソコンなどとの親和性
による画像信号の加工や編集作業の容易さ、あるいは小
型軽量化された装置サイズなどがある。
れまでの様にアナログ信号処理、記録を行ってきたアナ
ログタイプに加えて、撮影された画像信号をデジタルデ
ータに変換してデジタル信号処理、記録を行うデジタル
タイプが広く利用され始めている。このデジタルタイプ
が注目を集めている理由としては、解像度や色再現性な
どの画質や、音質の良さに加えて、各種デジタルインタ
フェースを利用した情報交換や伝送の速さ、動画像圧縮
技術を用いた記録効率の良さ、パソコンなどとの親和性
による画像信号の加工や編集作業の容易さ、あるいは小
型軽量化された装置サイズなどがある。
【0009】上記のようなデジタルタイプの画像入力装
置では、動画像圧縮において動きベクトルを利用してい
るものがある。この場合、撮影中に手ぶれが発生する
と、この手ぶれに伴い全体的な動きベクトルが発生し、
画質の低下の要因となる。つまり、手ぶれが、画像を構
成する全てのブロックに対する動きベクトルとして検知
されてしまう可能性が存在するのである。安価で小型軽
量の携帯型画像入力装置、特に低ビットレートの動画像
圧縮を行う画像入力装置の場合には、さらに手ぶれによ
る画質の劣化の影響が大きい。その為、ぶれの少ない画
像を撮影、記録するための手ぶれ補正機能を備えている
ことが重要となる。
置では、動画像圧縮において動きベクトルを利用してい
るものがある。この場合、撮影中に手ぶれが発生する
と、この手ぶれに伴い全体的な動きベクトルが発生し、
画質の低下の要因となる。つまり、手ぶれが、画像を構
成する全てのブロックに対する動きベクトルとして検知
されてしまう可能性が存在するのである。安価で小型軽
量の携帯型画像入力装置、特に低ビットレートの動画像
圧縮を行う画像入力装置の場合には、さらに手ぶれによ
る画質の劣化の影響が大きい。その為、ぶれの少ない画
像を撮影、記録するための手ぶれ補正機能を備えている
ことが重要となる。
【0010】
【発明が解決しようとする課題】しかし、現在の手ぶれ
補正機能には、いくつか問題が存在する。
補正機能には、いくつか問題が存在する。
【0011】例えば、画像入力装置の光学系の仕様、被
写体との距離、さらに撮像素子の画素数、サイズなどと
の兼ね合いによっては、画像入力装置の動きの大きさに
対する画像ぶれ量の大きさの割合が変化する事があり、
この場合は、適切な手ぶれ補正が行われない可能性があ
る。図21は、撮像素子部の出力を3フレーム取り出し
た場合であるが、図21(a)の遠景撮影と図21
(b)の近景撮影では、同じ手ぶれ量でも近景撮影の方
が画像ぶれ量への影響が大きくなる。このため、予め把
握していた関係に基づいてのみ画像の切り出しなどの補
正処理を行うと手ぶれ補正の効果が低減してしまう。
写体との距離、さらに撮像素子の画素数、サイズなどと
の兼ね合いによっては、画像入力装置の動きの大きさに
対する画像ぶれ量の大きさの割合が変化する事があり、
この場合は、適切な手ぶれ補正が行われない可能性があ
る。図21は、撮像素子部の出力を3フレーム取り出し
た場合であるが、図21(a)の遠景撮影と図21
(b)の近景撮影では、同じ手ぶれ量でも近景撮影の方
が画像ぶれ量への影響が大きくなる。このため、予め把
握していた関係に基づいてのみ画像の切り出しなどの補
正処理を行うと手ぶれ補正の効果が低減してしまう。
【0012】加えて、画像入力装置の仕様や処理能力、
画像情報の記録や伝送の規格、あるいは使用者の設定な
どによって、撮影した画像情報を記録、あるいは伝送す
る単位時間当たりのフレームレートを変更することがで
きる柔軟なシステムも多くなっている。このようなシス
テムに対応するためには、フレームレートに関係なく手
ぶれの周波数成分を有する手ぶれセンサの出力と、得よ
うとしているフレームレートとの整合をとる処理が必要
である。
画像情報の記録や伝送の規格、あるいは使用者の設定な
どによって、撮影した画像情報を記録、あるいは伝送す
る単位時間当たりのフレームレートを変更することがで
きる柔軟なシステムも多くなっている。このようなシス
テムに対応するためには、フレームレートに関係なく手
ぶれの周波数成分を有する手ぶれセンサの出力と、得よ
うとしているフレームレートとの整合をとる処理が必要
である。
【0013】本発明は、かかる点に鑑み、装置の動きを
検出する手段と、動画像圧縮の過程で検出される動きベ
クトルを利用して手ぶれベクトルを検出する手段とを有
し、様々な撮影状況下で効果的な手ぶれ補正を行う事を
目的とする。
検出する手段と、動画像圧縮の過程で検出される動きベ
クトルを利用して手ぶれベクトルを検出する手段とを有
し、様々な撮影状況下で効果的な手ぶれ補正を行う事を
目的とする。
【0014】
【課題を解決するための手段】そこで本発明は、被写体
を撮像し得られた画像情報を圧縮して記録する画像入力
装置において、被写体を撮像し画像情報とする撮像手段
と、画像入力装置の動きを検出する動き検出手段と、動
き検出手段で検出された動きを画像ぶれ量に変換する変
換手段と、変換手段で得られた画像ぶれ量を基に撮像手
段で得られた画像情報を補正する補正手段と、補正手段
で補正された画像情報を処理する信号処理手段と、信号
処理手段で処理された画像情報を符号化する符号化手段
と、符号化手段で符号化された画像情報を記録するデー
タ記録手段と、符号化手段で符号化された画像情報から
手ぶれベクトルを検出する手ぶれベクトル検出手段と、
手ぶれベクトル検出手段で検出された手ぶれベクトルか
ら補正効果評価値を算出する補正効果評価値算出手段と
を具備し、変換手段は補正効果評価値算出手段で算出さ
れた補正効果評価値を基に画像ぶれ量を修正する事を特
徴とする画像入力装置を提供する。
を撮像し得られた画像情報を圧縮して記録する画像入力
装置において、被写体を撮像し画像情報とする撮像手段
と、画像入力装置の動きを検出する動き検出手段と、動
き検出手段で検出された動きを画像ぶれ量に変換する変
換手段と、変換手段で得られた画像ぶれ量を基に撮像手
段で得られた画像情報を補正する補正手段と、補正手段
で補正された画像情報を処理する信号処理手段と、信号
処理手段で処理された画像情報を符号化する符号化手段
と、符号化手段で符号化された画像情報を記録するデー
タ記録手段と、符号化手段で符号化された画像情報から
手ぶれベクトルを検出する手ぶれベクトル検出手段と、
手ぶれベクトル検出手段で検出された手ぶれベクトルか
ら補正効果評価値を算出する補正効果評価値算出手段と
を具備し、変換手段は補正効果評価値算出手段で算出さ
れた補正効果評価値を基に画像ぶれ量を修正する事を特
徴とする画像入力装置を提供する。
【0015】本発明の画像入力装置の手ぶれベクトル検
出手段は、画像情報が符号化手段によって符号化される
際に求められる動きベクトルから手ぶれベクトルを検出
しても良い。
出手段は、画像情報が符号化手段によって符号化される
際に求められる動きベクトルから手ぶれベクトルを検出
しても良い。
【0016】また本発明の画像入力装置の変換手段は、
動きに対応する画像ぶれ量を記憶する複数の変換テーブ
ルを有し、これらの変換テーブルを切り換える事によ
り、動き検出手段で検出された動きを画像ぶれ量に変換
しても良いし、動きに対応する画像ぶれ量を記憶する変
換テーブルを有し、これらの変換テーブルの係数を修正
することにより、動き検出手段で検出された動きを画像
ぶれ量に変換しても良い。
動きに対応する画像ぶれ量を記憶する複数の変換テーブ
ルを有し、これらの変換テーブルを切り換える事によ
り、動き検出手段で検出された動きを画像ぶれ量に変換
しても良いし、動きに対応する画像ぶれ量を記憶する変
換テーブルを有し、これらの変換テーブルの係数を修正
することにより、動き検出手段で検出された動きを画像
ぶれ量に変換しても良い。
【0017】さらに本発明の画像入力装置の変換手段
は、動き検出手段で検出された動きと、手ぶれベクトル
検出手段で検出された手ぶれベクトルとを基に動きに対
応する画像ぶれ量を有する変換テーブルを作成する手段
を有しても良い。
は、動き検出手段で検出された動きと、手ぶれベクトル
検出手段で検出された手ぶれベクトルとを基に動きに対
応する画像ぶれ量を有する変換テーブルを作成する手段
を有しても良い。
【0018】また本発明の画像入力装置の補正効果評価
値算出手段は、画像情報の任意のフレームにおける補正
効果評価値を任意のフレームから所定フレーム数溯った
フレームから任意のフレームまでの補正効果評価値の和
として算出しても良い。
値算出手段は、画像情報の任意のフレームにおける補正
効果評価値を任意のフレームから所定フレーム数溯った
フレームから任意のフレームまでの補正効果評価値の和
として算出しても良い。
【0019】さらに本発明の画像入力装置の補正効果評
価値算出手段において、算出された補正効果評価値に応
じて手ぶれ補正を停止する手段をさらに有しても良い。
価値算出手段において、算出された補正効果評価値に応
じて手ぶれ補正を停止する手段をさらに有しても良い。
【0020】また本発明は、被写体を撮像し得られた複
数のフレームから成る画像情報を圧縮して記録する画像
入力装置において、被写体を撮像し画像情報とする撮像
手段と、画像入力装置の動きを検出する動き検出手段
と、動き検出手段で検出された動きを画像ぶれ量に変換
する変換手段と、変換手段で得られた画像ぶれ量を基に
撮像手段で得られた画像情報を補正する補正手段と、補
正手段で補正された画像情報を処理する信号処理手段
と、信号処理手段で処理された画像情報を符号化する符
号化手段と、符号化手段で符号化された画像情報を記録
するデータ記録手段と、データ記録手段に記録される単
位時間あたりのフレーム数を設定するフレームレート設
定手段とを具備し、単位時間あたりのフレーム数に応じ
て動き検出手段の出力の周波数制御を行う事を特徴とす
る画像入力装置を提供する。
数のフレームから成る画像情報を圧縮して記録する画像
入力装置において、被写体を撮像し画像情報とする撮像
手段と、画像入力装置の動きを検出する動き検出手段
と、動き検出手段で検出された動きを画像ぶれ量に変換
する変換手段と、変換手段で得られた画像ぶれ量を基に
撮像手段で得られた画像情報を補正する補正手段と、補
正手段で補正された画像情報を処理する信号処理手段
と、信号処理手段で処理された画像情報を符号化する符
号化手段と、符号化手段で符号化された画像情報を記録
するデータ記録手段と、データ記録手段に記録される単
位時間あたりのフレーム数を設定するフレームレート設
定手段とを具備し、単位時間あたりのフレーム数に応じ
て動き検出手段の出力の周波数制御を行う事を特徴とす
る画像入力装置を提供する。
【0021】さらに本発明は、被写体を撮像し得られた
画像情報を圧縮して記録する画像入力装置における画像
入力方法において、被写体を撮像し画像情報とする撮像
ステップと、画像入力装置の動きを検出する検出ステッ
プと、検出ステップで検出された動きを画像ぶれ量に変
換する変換ステップと、変換ステップで変換された画像
ぶれ量を基に撮像ステップで撮像した画像情報を補正す
る補正ステップと、補正ステップで補正された画像情報
を処理する信号処理ステップと、信号処理ステップで処
理された画像情報を符号化する符号化ステップと、符号
化ステップで符号化された画像情報を記録するデータ記
録ステップと、符号化ステップで符号化された画像情報
から手ぶれベクトルを検出する手ぶれベクトル検出ステ
ップと、手ぶれベクトル検出ステップで検出された手ぶ
れベクトルから補正効果評価値を算出する算出ステップ
と、算出ステップで算出された補正効果評価値を基に画
像ぶれ量を修正する修正ステップとを具備する事を特徴
とする画像入力方法を提供する。
画像情報を圧縮して記録する画像入力装置における画像
入力方法において、被写体を撮像し画像情報とする撮像
ステップと、画像入力装置の動きを検出する検出ステッ
プと、検出ステップで検出された動きを画像ぶれ量に変
換する変換ステップと、変換ステップで変換された画像
ぶれ量を基に撮像ステップで撮像した画像情報を補正す
る補正ステップと、補正ステップで補正された画像情報
を処理する信号処理ステップと、信号処理ステップで処
理された画像情報を符号化する符号化ステップと、符号
化ステップで符号化された画像情報を記録するデータ記
録ステップと、符号化ステップで符号化された画像情報
から手ぶれベクトルを検出する手ぶれベクトル検出ステ
ップと、手ぶれベクトル検出ステップで検出された手ぶ
れベクトルから補正効果評価値を算出する算出ステップ
と、算出ステップで算出された補正効果評価値を基に画
像ぶれ量を修正する修正ステップとを具備する事を特徴
とする画像入力方法を提供する。
【0022】
【発明の実施の形態】以下に、本発明の実施形態を図面
を参照しつつ詳細に説明するが、本発明はこれらの実施
形態に限定されるものではない。
を参照しつつ詳細に説明するが、本発明はこれらの実施
形態に限定されるものではない。
【0023】まず、本発明の第1の実施形態について説
明する。本実施形態の画像入力装置は、画像入力装置の
動きから手ぶれを検出する手段と、動画像圧縮の過程で
検出される動きベクトルを利用して手ぶれベクトルを検
出する手段とを有し、それぞれの手段で検出された情報
を元に手ぶれ補正を行う事により、それぞれの手ぶれ補
正方法の特長を活かしたものである。
明する。本実施形態の画像入力装置は、画像入力装置の
動きから手ぶれを検出する手段と、動画像圧縮の過程で
検出される動きベクトルを利用して手ぶれベクトルを検
出する手段とを有し、それぞれの手段で検出された情報
を元に手ぶれ補正を行う事により、それぞれの手ぶれ補
正方法の特長を活かしたものである。
【0024】本実施形態の画像入力装置を図1のブロッ
ク図に示す。
ク図に示す。
【0025】図1に示すように、本画像入力装置101
は光学系102と、撮像素子部103(撮像手段)と、
動きセンサ部104(動き検出手段)と、データ変換部
105(変換手段)と、変換テーブル部106と、手ぶ
れ補正部107(補正手段)と、信号処理部108(信
号処理手段)と、符号化部109(符号化手段)と、手
ぶれベクトル検出部110(手ぶれベクトル検出手段)
と、補正効果評価部111(補正効果評価値算出手段)
と、データ記録部112(データ記録手段)と、表示部
113とによって構成されている。
は光学系102と、撮像素子部103(撮像手段)と、
動きセンサ部104(動き検出手段)と、データ変換部
105(変換手段)と、変換テーブル部106と、手ぶ
れ補正部107(補正手段)と、信号処理部108(信
号処理手段)と、符号化部109(符号化手段)と、手
ぶれベクトル検出部110(手ぶれベクトル検出手段)
と、補正効果評価部111(補正効果評価値算出手段)
と、データ記録部112(データ記録手段)と、表示部
113とによって構成されている。
【0026】まず、光学系102において被写体の像を
レンズを使って結像させ、撮像素子部103で光学系1
02によって結像された被写体を撮像し、画像情報を得
る。この光学系102に使用するレンズは、被写体の光
学像の倍率を連続的に変えることのできるズームレン
ズ、あるいは固定焦点レンズなどを用いても良い。ま
た、撮像素子部103は、例えばCCD型イメージセン
サなどの撮像素子と、撮像素子駆動回路などから構成さ
れる。
レンズを使って結像させ、撮像素子部103で光学系1
02によって結像された被写体を撮像し、画像情報を得
る。この光学系102に使用するレンズは、被写体の光
学像の倍率を連続的に変えることのできるズームレン
ズ、あるいは固定焦点レンズなどを用いても良い。ま
た、撮像素子部103は、例えばCCD型イメージセン
サなどの撮像素子と、撮像素子駆動回路などから構成さ
れる。
【0027】動きセンサ部104は、例えば手ぶれを検
出するための加速度センサなどの手ぶれセンサと、セン
サ出力信号の帯域を制限するフィルタ回路、増幅回路な
どのセンサ出力信号処理回路と、手ぶれの大きさを算出
する基準となる信号を保持している基準値保持回路と、
この基準値を用いて移動距離、角度などを得るためのセ
ンサ出力積分回路と、この積分値をデジタルデータにす
るAD変換回路などから構成される。そして、手ぶれセ
ンサは撮像素子部103の水平、垂直方向の動きを検出
できるように、例えば撮像素子部103を固定している
基板上に設置し、画像入力装置101に加えられる動き
を検出する。
出するための加速度センサなどの手ぶれセンサと、セン
サ出力信号の帯域を制限するフィルタ回路、増幅回路な
どのセンサ出力信号処理回路と、手ぶれの大きさを算出
する基準となる信号を保持している基準値保持回路と、
この基準値を用いて移動距離、角度などを得るためのセ
ンサ出力積分回路と、この積分値をデジタルデータにす
るAD変換回路などから構成される。そして、手ぶれセ
ンサは撮像素子部103の水平、垂直方向の動きを検出
できるように、例えば撮像素子部103を固定している
基板上に設置し、画像入力装置101に加えられる動き
を検出する。
【0028】動きセンサ部104の手ぶれセンサとして
はその他にも、速度センサ、角速度センサなどのセンサ
を使用しても良い。
はその他にも、速度センサ、角速度センサなどのセンサ
を使用しても良い。
【0029】データ変換部105は、動きセンサ部10
4からの出力を画像ぶれ量に変換するデータ変換を行う
ためのものである。
4からの出力を画像ぶれ量に変換するデータ変換を行う
ためのものである。
【0030】変換テーブル部106は、データ変換部1
05でデータ変換を行うための変換テーブルから構成さ
れる。この変換テーブル部106は、動きセンサ部10
4の各々の出力に対する画像ぶれ量を予め記憶している
もので、半導体メモリなどで構成されている。
05でデータ変換を行うための変換テーブルから構成さ
れる。この変換テーブル部106は、動きセンサ部10
4の各々の出力に対する画像ぶれ量を予め記憶している
もので、半導体メモリなどで構成されている。
【0031】このような構成にすることによって、デー
タ変換部105は、動きセンサ部104からの出力を受
け、変換テーブル部106の所定のテーブルを参照し、
または複数用意しておいたテーブルを切り換え、または
テーブルの行と列のシフトを含むテーブルの係数調整な
どを行うことによって、画像ぶれ量を出力する。つま
り、動きセンサ部104からの出力と画像ぶれ量との間
に対応関係を付けるのが変換テーブルで、この変換テー
ブルを用いて動きセンサ部104からの出力を最適な画
像ぶれ量に変換するデータ変換を行うのがデータ変換部
105である。
タ変換部105は、動きセンサ部104からの出力を受
け、変換テーブル部106の所定のテーブルを参照し、
または複数用意しておいたテーブルを切り換え、または
テーブルの行と列のシフトを含むテーブルの係数調整な
どを行うことによって、画像ぶれ量を出力する。つま
り、動きセンサ部104からの出力と画像ぶれ量との間
に対応関係を付けるのが変換テーブルで、この変換テー
ブルを用いて動きセンサ部104からの出力を最適な画
像ぶれ量に変換するデータ変換を行うのがデータ変換部
105である。
【0032】手ぶれ補正部107では、データ変換部1
05で得られた画像ぶれ量を基に、撮像素子部103か
らの画像情報に手ぶれ補正を行う。例えば、図2に示す
ように撮像素子部103からの画像情報を全てメモリに
一旦記憶し、データ変換部105で得られた画像ぶれ量
に合わせて、メモリから記憶された画像情報の一部分を
切り出すことによって手ぶれ補正を行う。
05で得られた画像ぶれ量を基に、撮像素子部103か
らの画像情報に手ぶれ補正を行う。例えば、図2に示す
ように撮像素子部103からの画像情報を全てメモリに
一旦記憶し、データ変換部105で得られた画像ぶれ量
に合わせて、メモリから記憶された画像情報の一部分を
切り出すことによって手ぶれ補正を行う。
【0033】信号処理部108は、手ぶれ補正部107
において手ぶれ補正された画像情報を、画像信号に変換
するためのものである。この信号処理部108では、手
ぶれ補正された撮像素子部103からの画像情報が、ア
ナログ処理された後、デジタル信号処理される事によ
り、例えば、輝度信号、色差信号のような画像信号に変
換される。
において手ぶれ補正された画像情報を、画像信号に変換
するためのものである。この信号処理部108では、手
ぶれ補正された撮像素子部103からの画像情報が、ア
ナログ処理された後、デジタル信号処理される事によ
り、例えば、輝度信号、色差信号のような画像信号に変
換される。
【0034】符号化部109は、信号処理部108で処
理された膨大な画像信号を圧縮伸長するものである。圧
縮伸長の際には、テレビ電話、テレビ会議などの通信画
像を対象としたH.263、CD−ROMなどの蓄積メ
ディア画像を対象としたMPEG―1、放送用画像を対
象としたMPEG―2、アナログ電話回線や移動体通信
での通信画像を対象としたMPEG―4などの技術を用
いる。これらの圧縮伸長方法では、圧縮の際に、動きベ
クトルが用いられる。
理された膨大な画像信号を圧縮伸長するものである。圧
縮伸長の際には、テレビ電話、テレビ会議などの通信画
像を対象としたH.263、CD−ROMなどの蓄積メ
ディア画像を対象としたMPEG―1、放送用画像を対
象としたMPEG―2、アナログ電話回線や移動体通信
での通信画像を対象としたMPEG―4などの技術を用
いる。これらの圧縮伸長方法では、圧縮の際に、動きベ
クトルが用いられる。
【0035】手ぶれベクトル検出部110は、符号化部
109で画像信号から得られる動きベクトルを利用して
手ぶれベクトルを検出するものである。符号化部109
において画像信号から検出される動きベクトルは、画像
信号を8×8画素や16×16画素のブロックに分割
し、探索範囲を決めてブロックマッチングする事によっ
て求められる。このようにして求めた動きベクトルから
手ぶれベクトルを検出する方法は、例えば動きベクトル
全体の平均値、中央値などを用いる方法が考えられる。
109で画像信号から得られる動きベクトルを利用して
手ぶれベクトルを検出するものである。符号化部109
において画像信号から検出される動きベクトルは、画像
信号を8×8画素や16×16画素のブロックに分割
し、探索範囲を決めてブロックマッチングする事によっ
て求められる。このようにして求めた動きベクトルから
手ぶれベクトルを検出する方法は、例えば動きベクトル
全体の平均値、中央値などを用いる方法が考えられる。
【0036】補正効果評価部111は、手ぶれベクトル
検出部110で検出された手ぶれベクトルによって現在
の変換テーブルによる手ぶれ補正を評価し、この結果に
基づいて変換テーブル部106の複数の変換テーブルの
うちのいずれかを選択的に切り換えたり、変換テーブル
の係数調整を行う等の制御信号を出力するものである。
検出部110で検出された手ぶれベクトルによって現在
の変換テーブルによる手ぶれ補正を評価し、この結果に
基づいて変換テーブル部106の複数の変換テーブルの
うちのいずれかを選択的に切り換えたり、変換テーブル
の係数調整を行う等の制御信号を出力するものである。
【0037】データ記録部112は、符号化部109に
おいて符号化された画像信号を記録するためのものであ
る。このデータ記録部112は本画像入力装置101内
に固定されるか、あるいは脱着できる半導体メモリ、テ
ープ媒体、ディスク媒体などで構成されても良い。
おいて符号化された画像信号を記録するためのものであ
る。このデータ記録部112は本画像入力装置101内
に固定されるか、あるいは脱着できる半導体メモリ、テ
ープ媒体、ディスク媒体などで構成されても良い。
【0038】表示部113は、画像信号を表示するため
のものである。この表示部113はLCDモニタのよう
なディスプレイでも良く、信号処理部108からの画像
信号、あるいはデータ記録部112に記録されているデ
ータを符号化部109で伸長した画像信号を表示する。
なお、この表示部113は設けなくても良い。
のものである。この表示部113はLCDモニタのよう
なディスプレイでも良く、信号処理部108からの画像
信号、あるいはデータ記録部112に記録されているデ
ータを符号化部109で伸長した画像信号を表示する。
なお、この表示部113は設けなくても良い。
【0039】本実施形態の画像入力装置101は以上の
ように構成されているが、ここで、動きセンサ部104
の出力を、変換テーブルを用いて画像ぶれ量に変換する
方法を、図3を用いてさらに詳しく説明する。
ように構成されているが、ここで、動きセンサ部104
の出力を、変換テーブルを用いて画像ぶれ量に変換する
方法を、図3を用いてさらに詳しく説明する。
【0040】図3(a)では、動きセンサ部104にお
いて得られる手ぶれセンサの出力の水平方向Xの積分値
を基準値XRefを中心に5段階に量子化している。ま
た、図3(b)では、垂直方向Yの積分値を、基準値Y
Refを中心に5段階に量子化している。なお、ここでは
手ぶれセンサの出力の積分値に対して線形に量子化を行
っているが、動きセンサ部104の動きの大きさと実際
の画像ぶれ量の関係に合わせて非線形な量子化を行って
もよい。
いて得られる手ぶれセンサの出力の水平方向Xの積分値
を基準値XRefを中心に5段階に量子化している。ま
た、図3(b)では、垂直方向Yの積分値を、基準値Y
Refを中心に5段階に量子化している。なお、ここでは
手ぶれセンサの出力の積分値に対して線形に量子化を行
っているが、動きセンサ部104の動きの大きさと実際
の画像ぶれ量の関係に合わせて非線形な量子化を行って
もよい。
【0041】図3(c)は、量子化された動きセンサ部
104の出力(Xn、Yn)に対する画像ぶれ量(S
xn、Syn)を予め記憶している変換テーブルの例であ
る。例えば、この変換テーブルを用いると、動きセンサ
部104の出力が(X0、Y0)のときは、画像ぶれ量
(Sx0、Sy0)が得られる。なお、このときの画像ぶ
れ量(Sx0、Sy0)を(0、0)とすれば、動きセン
サ部104の出力が(X0、Y0)のときは手ぶれの影響
がないことを表現できる。また、図3(d)の例のよう
に、動きセンサ部104の出力(Xn、Yn)の絶対値に
対する画像ぶれ量(Sxn、Syn)を変換テーブルとし
て予め記憶しておき、動きセンサ部104の出力の符号
に画像ぶれ量の符号を合わせるようにすれば、記憶して
おくべきデータを半分近くとする事もできる。
104の出力(Xn、Yn)に対する画像ぶれ量(S
xn、Syn)を予め記憶している変換テーブルの例であ
る。例えば、この変換テーブルを用いると、動きセンサ
部104の出力が(X0、Y0)のときは、画像ぶれ量
(Sx0、Sy0)が得られる。なお、このときの画像ぶ
れ量(Sx0、Sy0)を(0、0)とすれば、動きセン
サ部104の出力が(X0、Y0)のときは手ぶれの影響
がないことを表現できる。また、図3(d)の例のよう
に、動きセンサ部104の出力(Xn、Yn)の絶対値に
対する画像ぶれ量(Sxn、Syn)を変換テーブルとし
て予め記憶しておき、動きセンサ部104の出力の符号
に画像ぶれ量の符号を合わせるようにすれば、記憶して
おくべきデータを半分近くとする事もできる。
【0042】以上により、動きセンサ部104の出力は
画像ぶれ量へと変換できる。しかし、この動きセンサ部
104の出力から求められた画像ぶれ量は、画像入力装
置101のレンズの倍率、被写体と本画像入力装置10
1の距離などの光学的な条件によって、撮像素子上に結
像する被写体の光学像の大きさが時間の経過により変化
する為、動きセンサ部104からの出力と画像ぶれ量と
の関係もこれにともなって変化し、手ぶれ補正が適切に
行われなくなる可能性が存在する。従って、使用してい
る変換テーブルを周期的に見直す必要がある。補正効果
評価部111でこれを見直す処理の例について図4のフ
ローチャートを用いて説明する。
画像ぶれ量へと変換できる。しかし、この動きセンサ部
104の出力から求められた画像ぶれ量は、画像入力装
置101のレンズの倍率、被写体と本画像入力装置10
1の距離などの光学的な条件によって、撮像素子上に結
像する被写体の光学像の大きさが時間の経過により変化
する為、動きセンサ部104からの出力と画像ぶれ量と
の関係もこれにともなって変化し、手ぶれ補正が適切に
行われなくなる可能性が存在する。従って、使用してい
る変換テーブルを周期的に見直す必要がある。補正効果
評価部111でこれを見直す処理の例について図4のフ
ローチャートを用いて説明する。
【0043】本画像入力装置101の電源投入後、変換
テーブル部106において初期変換テーブルを選択する
(S401)。この初期変換テーブルは、予め用意され
る変換テーブルのうちの一つで、例えば、全ての変換テ
ーブルの中で平均的な特性を有するものなどとする。
テーブル部106において初期変換テーブルを選択する
(S401)。この初期変換テーブルは、予め用意され
る変換テーブルのうちの一つで、例えば、全ての変換テ
ーブルの中で平均的な特性を有するものなどとする。
【0044】続いて、使用者の操作などによって補正停
止信号が発生していないかを確認し(S402)、補正
停止信号が発生していた場合は処理を終了する。
止信号が発生していないかを確認し(S402)、補正
停止信号が発生していた場合は処理を終了する。
【0045】補正停止信号が発生していなければ、手ぶ
れ補正が適切に行われているかの評価値算出を行い(S
403)、この評価値によって、現在の変換テーブルの
見直しが必要かを判断する(S404)。
れ補正が適切に行われているかの評価値算出を行い(S
403)、この評価値によって、現在の変換テーブルの
見直しが必要かを判断する(S404)。
【0046】変換テーブルの見直しが必要ないと判断さ
れた場合は、現在の変換テーブルを引き続き使用するこ
とを決定する現テーブル継続制御信号を出力し(S40
5)、変換テーブルの見直しが必要と判断された場合
は、テーブル切り換え試行処理(S406)、テーブル
選択処理(S407)を行う。
れた場合は、現在の変換テーブルを引き続き使用するこ
とを決定する現テーブル継続制御信号を出力し(S40
5)、変換テーブルの見直しが必要と判断された場合
は、テーブル切り換え試行処理(S406)、テーブル
選択処理(S407)を行う。
【0047】次に、これら一連の処理の中で、手ぶれ補
正が適切に行われているかの評価値を算出する、評価値
算出処理について図5のフローチャートを用いて説明す
る。
正が適切に行われているかの評価値を算出する、評価値
算出処理について図5のフローチャートを用いて説明す
る。
【0048】まず、手ぶれ補正の評価を行う、評価周期
Mを読み込む(S501)。これは、Mフレーム間隔
で、このとき使用している変換テーブルによる手ぶれ補
正の効果を評価することを意味する。この評価周期Mの
設定はフレームレートなどに応じて自動的に、あるいは
使用者によって手動で設定すれば良い。
Mを読み込む(S501)。これは、Mフレーム間隔
で、このとき使用している変換テーブルによる手ぶれ補
正の効果を評価することを意味する。この評価周期Mの
設定はフレームレートなどに応じて自動的に、あるいは
使用者によって手動で設定すれば良い。
【0049】次に、フレーム数NをN=0とし(S50
2)、評価値Vnを初期化する(S503)。
2)、評価値Vnを初期化する(S503)。
【0050】続いて、フレーム数Nと評価周期Mの比較
を行い(S504)、N=Mでなければ、手ぶれベクト
ル検出部110から手ぶれベクトルVを読み込み(S5
05)、評価値Vn=VN-1+|V|を演算し(S50
6)、フレーム数NをN+1に置き換える(S50
7)。ここで、評価値の演算式中のVN-1は、フレーム
数N−1のときの評価値である。
を行い(S504)、N=Mでなければ、手ぶれベクト
ル検出部110から手ぶれベクトルVを読み込み(S5
05)、評価値Vn=VN-1+|V|を演算し(S50
6)、フレーム数NをN+1に置き換える(S50
7)。ここで、評価値の演算式中のVN-1は、フレーム
数N−1のときの評価値である。
【0051】フレーム数Nと評価周期Mの比較の結果が
N=Mとなったら、評価値Vnを出力して(S508)
処理を終了する。なお、このような処理で得られた評価
値V nは、動きセンサ部の出力から算出した画像ぶれ量
を用いて手ぶれ補正した際に、残留ぶれ成分として残っ
てしまった手ぶれベクトルの、評価周期Mの間の積分値
に相当する。これは、このとき使用している変換テーブ
ルによる手ぶれ補正の効果が高いほど小さい値となる。
N=Mとなったら、評価値Vnを出力して(S508)
処理を終了する。なお、このような処理で得られた評価
値V nは、動きセンサ部の出力から算出した画像ぶれ量
を用いて手ぶれ補正した際に、残留ぶれ成分として残っ
てしまった手ぶれベクトルの、評価周期Mの間の積分値
に相当する。これは、このとき使用している変換テーブ
ルによる手ぶれ補正の効果が高いほど小さい値となる。
【0052】次に、図4の変換テーブルを周期的に見直
す処理の中で、手ぶれ補正の評価値によって変換テーブ
ルの見直しの必要性を判断する処理について図6のフロ
ーチャートを用いて説明する。
す処理の中で、手ぶれ補正の評価値によって変換テーブ
ルの見直しの必要性を判断する処理について図6のフロ
ーチャートを用いて説明する。
【0053】まず、手ぶれ補正の評価値Vnを読み込み
(S601)、予め設定しておくテーブル切り換え試行
処理を行うか否かのしきい値VRefと評価値Vnを比較し
(S602)、評価値Vnの方が大きい場合は、変換テ
ーブルの見直しが必要と判断し(S603)、評価値V
nの方が小さい場合は、変換テーブルの見直しは不要と
判断して(S604)処理を終了する。
(S601)、予め設定しておくテーブル切り換え試行
処理を行うか否かのしきい値VRefと評価値Vnを比較し
(S602)、評価値Vnの方が大きい場合は、変換テ
ーブルの見直しが必要と判断し(S603)、評価値V
nの方が小さい場合は、変換テーブルの見直しは不要と
判断して(S604)処理を終了する。
【0054】次に、図4の変換テーブルを周期的に見直
す処理の中で、変換テーブルの見直しが必要であると判
断された場合のテーブル切り換え試行処理について図7
のフローチャートを用いて説明する。
す処理の中で、変換テーブルの見直しが必要であると判
断された場合のテーブル切り換え試行処理について図7
のフローチャートを用いて説明する。
【0055】まず、評価周期M、評価値Vn、現在使用
している変換テーブルのテーブル番号Tを読み込む(S
701)。なお、この変換テーブルは、ある動きセンサ
部104からの出力に対して、テーブル番号が小さくな
ると小さい画像ぶれ量が得られ、テーブル番号が大きく
なると大きい画像ぶれ量が得られるような順番に並んで
いるものとする。
している変換テーブルのテーブル番号Tを読み込む(S
701)。なお、この変換テーブルは、ある動きセンサ
部104からの出力に対して、テーブル番号が小さくな
ると小さい画像ぶれ量が得られ、テーブル番号が大きく
なると大きい画像ぶれ量が得られるような順番に並んで
いるものとする。
【0056】次に、評価値Vm、Vpを初期化し(S70
2)、フレーム数NをN=0とする(S703)。この
評価値Vm、Vpは、Vmはテーブル番号を1つ小さくし
て試行した場合の評価値であり、Vpはテーブル番号を
1つ大きくして試行した場合の評価値である。
2)、フレーム数NをN=0とする(S703)。この
評価値Vm、Vpは、Vmはテーブル番号を1つ小さくし
て試行した場合の評価値であり、Vpはテーブル番号を
1つ大きくして試行した場合の評価値である。
【0057】続いて、テーブル番号をT−1にする(S
704)。つまり、ある動きセンサ部104からの出力
に対し、現在の変換テーブルより画像ぶれ量が小さくな
る変換テーブルへと切り換える。
704)。つまり、ある動きセンサ部104からの出力
に対し、現在の変換テーブルより画像ぶれ量が小さくな
る変換テーブルへと切り換える。
【0058】さらに、フレーム数Nと評価周期Mの比較
を行い(S705)、N=Mでなければ、手ぶれベクト
ル検出部110から手ぶれベクトルVを読み込み(S7
06)、評価値Vm=VN-1+|V|を演算し(S70
7)、フレーム数NをN+1に置き換える(S70
8)。また、フレーム数Nと評価周期Mの比較の結果が
N=Mであれば、評価値Vmを出力し(S709)、フ
レーム数NをN=0とする(S710)。
を行い(S705)、N=Mでなければ、手ぶれベクト
ル検出部110から手ぶれベクトルVを読み込み(S7
06)、評価値Vm=VN-1+|V|を演算し(S70
7)、フレーム数NをN+1に置き換える(S70
8)。また、フレーム数Nと評価周期Mの比較の結果が
N=Mであれば、評価値Vmを出力し(S709)、フ
レーム数NをN=0とする(S710)。
【0059】次に、テーブル番号をT+1にする(S7
11)。つまり、ある動きセンサ部104からの出力に
対し、現在の変換テーブルより画像ぶれ量が大きくなる
変換テーブルへと切り換える。
11)。つまり、ある動きセンサ部104からの出力に
対し、現在の変換テーブルより画像ぶれ量が大きくなる
変換テーブルへと切り換える。
【0060】さらに、フレーム数Nと評価周期Mの比較
を行い(S712)、N=Mでなければ、手ぶれベクト
ル検出部110から手ぶれベクトルVを読み込み(S7
13)、評価値Vp=VN-1+|V|を演算し(S71
4)、フレーム数NをN+1に置き換える(S71
5)。また、フレーム数Nと評価周期Mの比較の結果が
N=Mであれば、評価値Vpを出力して(S716)処
理を終了する。
を行い(S712)、N=Mでなければ、手ぶれベクト
ル検出部110から手ぶれベクトルVを読み込み(S7
13)、評価値Vp=VN-1+|V|を演算し(S71
4)、フレーム数NをN+1に置き換える(S71
5)。また、フレーム数Nと評価周期Mの比較の結果が
N=Mであれば、評価値Vpを出力して(S716)処
理を終了する。
【0061】次に、図4の変換テーブルを周期的に見直
す処理の中で、これらの評価値Vn、Vm 、Vpを用い
て、適した変換テーブルを選択するテーブル選択処理に
ついて図8のフローチャートを用いて説明する。
す処理の中で、これらの評価値Vn、Vm 、Vpを用い
て、適した変換テーブルを選択するテーブル選択処理に
ついて図8のフローチャートを用いて説明する。
【0062】まず、評価値Vn、Vm、Vpと、現在使用
している変換テーブルのテーブル番号Tを読み込む(S
801)。手ぶれベクトルから得られるこれらの評価値
は手ぶれ補正部107で手ぶれ補正された後の残留ぶれ
成分を表わすので、より小さい方がその変換テーブルに
よる手ぶれ補正効果が高いといえる。
している変換テーブルのテーブル番号Tを読み込む(S
801)。手ぶれベクトルから得られるこれらの評価値
は手ぶれ補正部107で手ぶれ補正された後の残留ぶれ
成分を表わすので、より小さい方がその変換テーブルに
よる手ぶれ補正効果が高いといえる。
【0063】次に、評価値Vn、Vm、Vpのうちで最も
小さいものを比較によって判断し(S802〜S80
4)、最小値が評価値Vnであれば現テーブルを継続す
る継続制御信号を出力し(S805)、評価値Vpであ
ればテーブル番号T+1に切り換える切り換え制御信号
を出力し(S806)、評価値Vmであればテーブル番
号T−1に切り換える切り換え制御信号を出力して(S
807)処理を終了する。
小さいものを比較によって判断し(S802〜S80
4)、最小値が評価値Vnであれば現テーブルを継続す
る継続制御信号を出力し(S805)、評価値Vpであ
ればテーブル番号T+1に切り換える切り換え制御信号
を出力し(S806)、評価値Vmであればテーブル番
号T−1に切り換える切り換え制御信号を出力して(S
807)処理を終了する。
【0064】以上から、動きセンサ部104からの出力
によって手ぶれ補正を行い、さらに符号化された画像情
報から手ぶれベクトルを検出し、手ぶれ補正の見直しを
行う事により、より精度の高い手ぶれ補正を行う事が出
来る。
によって手ぶれ補正を行い、さらに符号化された画像情
報から手ぶれベクトルを検出し、手ぶれ補正の見直しを
行う事により、より精度の高い手ぶれ補正を行う事が出
来る。
【0065】また、変換テーブルとしては、図9(a)
に示すような基本の変換テーブルの他に、図9(b)の
ように、動きセンサ部104の出力に対して図9(a)
の変換テーブルの2倍の画像ぶれ量を与える変換テーブ
ルを設ける事も出来る。さらに、その他の変換テーブル
として、図9(c)のように図9(a)の変換テーブル
の各成分に1を加え、変換テーブルの行と列の係数をシ
フトさせたものを設けたり、図9(d)のように画像ぶ
れ量(Sxn、Syn)が(0、0)である係数の組み合
わせを増やしたものを設ける事も出来る。動きセンサ部
104の出力(Xn、Yn)に対する画像ぶれ量(S
xn、Syn)を表わす係数を非線形に配置するようにし
ても良く、これらの変換テーブルを設ける事により、様
々な動きセンサ部104の出力と画像ぶれ量の関係に対
応できる。
に示すような基本の変換テーブルの他に、図9(b)の
ように、動きセンサ部104の出力に対して図9(a)
の変換テーブルの2倍の画像ぶれ量を与える変換テーブ
ルを設ける事も出来る。さらに、その他の変換テーブル
として、図9(c)のように図9(a)の変換テーブル
の各成分に1を加え、変換テーブルの行と列の係数をシ
フトさせたものを設けたり、図9(d)のように画像ぶ
れ量(Sxn、Syn)が(0、0)である係数の組み合
わせを増やしたものを設ける事も出来る。動きセンサ部
104の出力(Xn、Yn)に対する画像ぶれ量(S
xn、Syn)を表わす係数を非線形に配置するようにし
ても良く、これらの変換テーブルを設ける事により、様
々な動きセンサ部104の出力と画像ぶれ量の関係に対
応できる。
【0066】本実施形態においては、手ぶれ補正が適切
に行われているかの評価値を算出する評価値算出処理の
例について、図5のフローチャートを用いて説明した
が、他の方法を用いて評価値を算出しても良い。評価値
算出方法のその他の例として、図10、図11を用いて
説明する。
に行われているかの評価値を算出する評価値算出処理の
例について、図5のフローチャートを用いて説明した
が、他の方法を用いて評価値を算出しても良い。評価値
算出方法のその他の例として、図10、図11を用いて
説明する。
【0067】図10の評価値算出方法においては、評価
周期Mのときにのみ、手ぶれベクトルの絶対値を読み込
む事で評価値Vnを得ることができる。
周期Mのときにのみ、手ぶれベクトルの絶対値を読み込
む事で評価値Vnを得ることができる。
【0068】まず、評価を行う評価周期Mを読み込み
(S1001)、フレーム数NをN=0とし(S100
2)、評価値Vnを初期化する(S1003)。評価周
期Mは、予め設定しておけば良い。
(S1001)、フレーム数NをN=0とし(S100
2)、評価値Vnを初期化する(S1003)。評価周
期Mは、予め設定しておけば良い。
【0069】次に、フレーム数Nと評価周期Mの比較を
行い(S1004)、N=Mでなければ、フレーム数N
をN+1に置き換える(S1005)。また、N=Mで
あれば、手ぶれベクトル検出部110から手ぶれベクト
ルVを読み込み(S1006)、評価値Vn=|V|を
出力して(S1007)処理を終了する。
行い(S1004)、N=Mでなければ、フレーム数N
をN+1に置き換える(S1005)。また、N=Mで
あれば、手ぶれベクトル検出部110から手ぶれベクト
ルVを読み込み(S1006)、評価値Vn=|V|を
出力して(S1007)処理を終了する。
【0070】図11の評価値算出方法は、手ぶれ補正の
評価値を現在のフレームからMフレーム溯り、Mフレー
ム分の加算値として各フレーム毎に出力する評価値算出
処理の例である。
評価値を現在のフレームからMフレーム溯り、Mフレー
ム分の加算値として各フレーム毎に出力する評価値算出
処理の例である。
【0071】まず、溯って評価を行うフレーム数Mを読
み込み(S1101)、評価値Vnを初期化する(S1
102)。フレーム数Mは、予め設定しておけば良い。
み込み(S1101)、評価値Vnを初期化する(S1
102)。フレーム数Mは、予め設定しておけば良い。
【0072】次に、手ぶれベクトル検出部110から手
ぶれベクトルVを読み込み(S1103)、現在のフレ
ームの評価値とする。そして、現在のフレームから過去
Mフレーム分の評価値を呼び出して加算し(S110
4)、この加算値を評価値Vnとして出力して(S11
05)処理を終了する。なお、過去Mフレーム分の評価
値が確保されない場合は、評価値Vn=0を出力し、同
じ変換テーブルを使用し続けても良い。
ぶれベクトルVを読み込み(S1103)、現在のフレ
ームの評価値とする。そして、現在のフレームから過去
Mフレーム分の評価値を呼び出して加算し(S110
4)、この加算値を評価値Vnとして出力して(S11
05)処理を終了する。なお、過去Mフレーム分の評価
値が確保されない場合は、評価値Vn=0を出力し、同
じ変換テーブルを使用し続けても良い。
【0073】また、本実施形態においては、変換テーブ
ルの見直しが必要であると判断された場合のテーブル切
り換え試行処理の例について、図7のフローチャートを
用いて説明したが、他の方法を用いて切り換え試行処理
を行っても良い。切り換え試行処理のその他の例とし
て、図12を用いて説明する。
ルの見直しが必要であると判断された場合のテーブル切
り換え試行処理の例について、図7のフローチャートを
用いて説明したが、他の方法を用いて切り換え試行処理
を行っても良い。切り換え試行処理のその他の例とし
て、図12を用いて説明する。
【0074】図12では、まず現在の変換テーブルのテ
ーブル番号T、テーブル切り換え試行処理を行う試行評
価周期Lを読み込む(S1201)。試行評価周期Lは
予め設定しておけば良い。
ーブル番号T、テーブル切り換え試行処理を行う試行評
価周期Lを読み込む(S1201)。試行評価周期Lは
予め設定しておけば良い。
【0075】次に、評価値Vn、Vm、Vpを初期化し
(S1202)、フレーム数NをN=0とする(S12
03)。
(S1202)、フレーム数NをN=0とする(S12
03)。
【0076】次に、フレーム数Nと試行評価周期Lの比
較を行い(S1204)、N=Lでなければ、評価値V
nを演算し(S1205)、フレーム数NをN+1に置
き換える(S1206)。また、N=Lであれば、テー
ブル番号Tのときの評価値V nを出力し(S120
7)、フレーム数Nを0とする(S1208)。
較を行い(S1204)、N=Lでなければ、評価値V
nを演算し(S1205)、フレーム数NをN+1に置
き換える(S1206)。また、N=Lであれば、テー
ブル番号Tのときの評価値V nを出力し(S120
7)、フレーム数Nを0とする(S1208)。
【0077】次に、テーブル番号をT−1にする(S1
209)。フレーム数Nと試行評価周期Lの比較を行い
(S1210)、N=Lでなければ、評価値Vmを演算
し(S1211)、フレーム数NをN+1に置き換える
(S1212)。また、N=Lであれば、テーブル番号
T−1のときの評価値Vmを出力し(S1213)、フ
レーム数Nを0とする(S1214)。
209)。フレーム数Nと試行評価周期Lの比較を行い
(S1210)、N=Lでなければ、評価値Vmを演算
し(S1211)、フレーム数NをN+1に置き換える
(S1212)。また、N=Lであれば、テーブル番号
T−1のときの評価値Vmを出力し(S1213)、フ
レーム数Nを0とする(S1214)。
【0078】次に、テーブル番号をT+1にする(S1
215)。フレーム数Nと試行評価周期Lの比較を行い
(S1216)、N=Lでなければ、評価値Vpを演算
し(S1217)、フレーム数NをN+1に置き換える
(S1218)。また、N=Lであれば、テーブル番号
T+1のときの評価値Vpを出力して(S1219)処
理を終了する。なお、上記したVn、Vm、Vpの演算
は、図5に示したように行えば良い。
215)。フレーム数Nと試行評価周期Lの比較を行い
(S1216)、N=Lでなければ、評価値Vpを演算
し(S1217)、フレーム数NをN+1に置き換える
(S1218)。また、N=Lであれば、テーブル番号
T+1のときの評価値Vpを出力して(S1219)処
理を終了する。なお、上記したVn、Vm、Vpの演算
は、図5に示したように行えば良い。
【0079】図12のテーブル切り換え試行処理では、
3L<2Mとする事により、図7の周期Mと比べて、短
時間でテーブル切り換え処理を行う事が出来る為、時間
的な面で有効である。
3L<2Mとする事により、図7の周期Mと比べて、短
時間でテーブル切り換え処理を行う事が出来る為、時間
的な面で有効である。
【0080】次に、本発明の第2の実施形態について説
明する。本実施形態の画像入力装置は、第1の実施形態
の画像入力装置と同様の構成であり、変換テーブルを周
期的に見直す処理のみが異なる。第1の実施形態では、
評価周期ごとに評価値を算出し、変換テーブルの見直し
の判断を行い、見直しが必要と判断された場合にのみテ
ーブル切り換え試行を行う。しかし、本実施形態では、
周期的かつ自動的に評価値を算出しテーブル切り換え試
行を行う。本実施形態の画像入力装置の構成は、第1の
実施形態の画像入力装置の構成と同様である為に省略
し、変換テーブルを周期的に見直す処理のみ説明する。
明する。本実施形態の画像入力装置は、第1の実施形態
の画像入力装置と同様の構成であり、変換テーブルを周
期的に見直す処理のみが異なる。第1の実施形態では、
評価周期ごとに評価値を算出し、変換テーブルの見直し
の判断を行い、見直しが必要と判断された場合にのみテ
ーブル切り換え試行を行う。しかし、本実施形態では、
周期的かつ自動的に評価値を算出しテーブル切り換え試
行を行う。本実施形態の画像入力装置の構成は、第1の
実施形態の画像入力装置の構成と同様である為に省略
し、変換テーブルを周期的に見直す処理のみ説明する。
【0081】本実施形態において、補正効果評価部11
1において一定の周期で変換テーブルを見直す処理につ
いて、図13のフローチャートを用いて説明する。
1において一定の周期で変換テーブルを見直す処理につ
いて、図13のフローチャートを用いて説明する。
【0082】まず、本画像入力装置101の電源投入
後、変換テーブル部106において初期変換テーブルを
選択する(S1301)。
後、変換テーブル部106において初期変換テーブルを
選択する(S1301)。
【0083】次に、フレーム数Nを0とし(S130
2)、使用者の操作などによって補正停止信号が発生し
ていないかを確認し(S1303)、補正停止信号が発
生していた場合は処理を終了する。補正停止信号が発生
していなければ、テーブル切り換え試行処理(S130
4)、テーブル選択処理(S1305)を行う。
2)、使用者の操作などによって補正停止信号が発生し
ていないかを確認し(S1303)、補正停止信号が発
生していた場合は処理を終了する。補正停止信号が発生
していなければ、テーブル切り換え試行処理(S130
4)、テーブル選択処理(S1305)を行う。
【0084】これら一連の、図13に示す変換テーブル
を周期的に見直す処理の中で行われる、テーブル切り換
え試行処理の例について図14のフローチャートを用い
て説明する。
を周期的に見直す処理の中で行われる、テーブル切り換
え試行処理の例について図14のフローチャートを用い
て説明する。
【0085】まず、現在の変換テーブルのテーブル番号
T、テーブル切り換え試行処理を行う試行評価周期Qを
読み込む(S1401)。試行評価周期Qは予め設定し
ておけば良い。
T、テーブル切り換え試行処理を行う試行評価周期Qを
読み込む(S1401)。試行評価周期Qは予め設定し
ておけば良い。
【0086】次に、評価値Vn、Vm、Vpを初期化し
(S1402)、フレーム数Nを0とする(S140
3)。
(S1402)、フレーム数Nを0とする(S140
3)。
【0087】次に、フレーム数Nと試行評価周期Qの比
較を行い(S1404)、N=Qでなければ、評価値V
nを演算し(S1405)、フレーム数NをN+1に置
き換える(S1406)。また、N=Qであれば、テー
ブル番号Tのときの評価値V nを出力し(S140
7)、フレーム数Nを0とする(S1408)。
較を行い(S1404)、N=Qでなければ、評価値V
nを演算し(S1405)、フレーム数NをN+1に置
き換える(S1406)。また、N=Qであれば、テー
ブル番号Tのときの評価値V nを出力し(S140
7)、フレーム数Nを0とする(S1408)。
【0088】次に、テーブル番号をT−1にする(S1
409)。フレーム数Nと試行評価周期Qの比較を行い
(S1410)、N=Qでなければ、評価値Vmを演算
し(S1411)、フレーム数NをN+1に置き換える
(S1412)。また、N=Qであれば、テーブル番号
T−1のときの評価値Vmを出力し(S1413)、フ
レーム数Nを0とする(S1414)。
409)。フレーム数Nと試行評価周期Qの比較を行い
(S1410)、N=Qでなければ、評価値Vmを演算
し(S1411)、フレーム数NをN+1に置き換える
(S1412)。また、N=Qであれば、テーブル番号
T−1のときの評価値Vmを出力し(S1413)、フ
レーム数Nを0とする(S1414)。
【0089】次に、テーブル番号をT+1にする(S1
415)。フレーム数Nと試行評価周期Qの比較を行い
(S1416)、N=Qでなければ、評価値Vpを演算
し(S1417)、フレーム数NをN+1に置き換える
(S1418)。また、N=Qであれば、テーブル番号
T+1のときの評価値Vpを出力して(S1419)処
理を終了する。
415)。フレーム数Nと試行評価周期Qの比較を行い
(S1416)、N=Qでなければ、評価値Vpを演算
し(S1417)、フレーム数NをN+1に置き換える
(S1418)。また、N=Qであれば、テーブル番号
T+1のときの評価値Vpを出力して(S1419)処
理を終了する。
【0090】これらの評価値、Vn、Vm、Vpの演算は
第1の実施形態と同様に行えば良く、ここでは説明を省
略する。また、これらの評価値を用いて、適した変換テ
ーブルを選択するテーブル選択処理についても、第1の
実施形態と同様に行えば良く、ここでは説明を省略す
る。
第1の実施形態と同様に行えば良く、ここでは説明を省
略する。また、これらの評価値を用いて、適した変換テ
ーブルを選択するテーブル選択処理についても、第1の
実施形態と同様に行えば良く、ここでは説明を省略す
る。
【0091】以上の様にして、本実施形態においても、
補正効果評価部111において一定の周期Qで、変換テ
ーブルを見直す処理を行う事が出来る。
補正効果評価部111において一定の周期Qで、変換テ
ーブルを見直す処理を行う事が出来る。
【0092】次に本発明の第3の実施形態について説明
する。本実施形態の画像入力装置は、仕様や処理能力、
画像情報の記録や伝送の規格、あるいは使用者の設定な
どによって、撮影した画像情報を記録、あるいは伝送す
る単位時間当たりのフレームレートを変更することがで
きるシステムに対応可能な構成の例である。
する。本実施形態の画像入力装置は、仕様や処理能力、
画像情報の記録や伝送の規格、あるいは使用者の設定な
どによって、撮影した画像情報を記録、あるいは伝送す
る単位時間当たりのフレームレートを変更することがで
きるシステムに対応可能な構成の例である。
【0093】本実施形態の画像入力装置の構成を図15
に示す。図15では第1の実施形態の構成とは多少異な
り、フレームレート設定部1501を有する。また図示
しないが、第1の実施形態で示した変換テーブル部、手
ぶれベクトル検出部、補正効果評価部を設けることも可
能である。なお本実施形態では、第1の実施形態と同様
な部分については同じ番号を付し、説明を省略する。
に示す。図15では第1の実施形態の構成とは多少異な
り、フレームレート設定部1501を有する。また図示
しないが、第1の実施形態で示した変換テーブル部、手
ぶれベクトル検出部、補正効果評価部を設けることも可
能である。なお本実施形態では、第1の実施形態と同様
な部分については同じ番号を付し、説明を省略する。
【0094】本実施形態においては、第1の実施形態と
同様、動きセンサ部104からの出力をデータ変換部1
05で画像ぶれ量に変換し、手ぶれ補正部107で補正
を行う。
同様、動きセンサ部104からの出力をデータ変換部1
05で画像ぶれ量に変換し、手ぶれ補正部107で補正
を行う。
【0095】さらに本実施形態では、使用者がフレーム
レート設定部1501で設定したフレームレートの情報
を動きセンサ部104に伝える。図16に示す例のよう
に、フレームレートの変更があったときには、動きセン
サ部104において、各フレーム間に加えられた手ぶれ
を検出するための手ぶれセンサ出力の積分期間の変更が
必要となる。
レート設定部1501で設定したフレームレートの情報
を動きセンサ部104に伝える。図16に示す例のよう
に、フレームレートの変更があったときには、動きセン
サ部104において、各フレーム間に加えられた手ぶれ
を検出するための手ぶれセンサ出力の積分期間の変更が
必要となる。
【0096】また、手ぶれセンサ出力には元々、フレー
ムレートには関係なく不要な高い周波数が含まれてお
り、30[フレーム/秒]のときも低域通過フィルタ
で、このような不要な信号の通過を阻止する必要があ
る。よって、フレームレートの変更に合わせて、さらに
不要な周波数成分の通過を阻止せねばならない。
ムレートには関係なく不要な高い周波数が含まれてお
り、30[フレーム/秒]のときも低域通過フィルタ
で、このような不要な信号の通過を阻止する必要があ
る。よって、フレームレートの変更に合わせて、さらに
不要な周波数成分の通過を阻止せねばならない。
【0097】そこで、このような場合に対応出来る動き
センサ部104のセンサ出力信号処理回路の例について
図17を用いて説明する。
センサ部104のセンサ出力信号処理回路の例について
図17を用いて説明する。
【0098】図17は手ぶれセンサ出力を入力部170
1で受け、増幅器1702で増幅して出力部1703か
ら出力する回路である。手ぶれセンサ出力は、例えば、
0[V]、2.5[V]などの基準値部1704の電位
を基準に増幅される。さらに、フレームレート設定部1
501からのフレームレート制御信号を受け、出力部1
703から出力の周波数制御、つまり信号帯域の制限を
行う。
1で受け、増幅器1702で増幅して出力部1703か
ら出力する回路である。手ぶれセンサ出力は、例えば、
0[V]、2.5[V]などの基準値部1704の電位
を基準に増幅される。さらに、フレームレート設定部1
501からのフレームレート制御信号を受け、出力部1
703から出力の周波数制御、つまり信号帯域の制限を
行う。
【0099】この回路は、抵抗R1[Ω]、R2[Ω]に
より、増幅率(R1+R2)/R1を持つ増幅回路であ
り、選択スイッチ1705を開いている場合には、コン
デンサCにより遮断周波数fc=1/(2πR2C)の
低域通過フィルタとして動作する。
より、増幅率(R1+R2)/R1を持つ増幅回路であ
り、選択スイッチ1705を開いている場合には、コン
デンサCにより遮断周波数fc=1/(2πR2C)の
低域通過フィルタとして動作する。
【0100】フレームレート設定の変更に対応するため
には、フレームレート設定部1501からのフレームレ
ート制御信号を受けたコンデンサ選択デコーダ1706
が選択スイッチ1705を制御することによってフィル
タ定数であるコンデンサCn(この場合、nは1、また
は2)を選択する。
には、フレームレート設定部1501からのフレームレ
ート制御信号を受けたコンデンサ選択デコーダ1706
が選択スイッチ1705を制御することによってフィル
タ定数であるコンデンサCn(この場合、nは1、また
は2)を選択する。
【0101】この低域通過フィルタの遮断周波数fc
は、1/(2πR2(C+Cn))である為、フレームレ
ート設定がN[フレーム/秒]のとき、コンデンサCn
の容量は、1/(πNR2)−C[F]とすればよい。
C1とC2の2つのコンデンサを設け、選択スイッチ17
05を開く、またC1、C2のどちらかを選択して閉じる
ことにより3種類のフレームレート設定に対応できる。
は、1/(2πR2(C+Cn))である為、フレームレ
ート設定がN[フレーム/秒]のとき、コンデンサCn
の容量は、1/(πNR2)−C[F]とすればよい。
C1とC2の2つのコンデンサを設け、選択スイッチ17
05を開く、またC1、C2のどちらかを選択して閉じる
ことにより3種類のフレームレート設定に対応できる。
【0102】なお、ここでは、2つのコンデンサC1、
C2を用意し、このうち1つを選択することによって新
たな2種類のフレームレート設定に対応できる例を示し
たが、いくつかのコンデンサを追加する、あるいは複数
のコンデンサを組み合わせて合成容量を変えられる構成
とすることなどによって、これ以上のフレームレート設
定に対応することも可能である。
C2を用意し、このうち1つを選択することによって新
たな2種類のフレームレート設定に対応できる例を示し
たが、いくつかのコンデンサを追加する、あるいは複数
のコンデンサを組み合わせて合成容量を変えられる構成
とすることなどによって、これ以上のフレームレート設
定に対応することも可能である。
【0103】また、この回路の前後に高域通過フィルタ
を構成し、帯域通過フィルタとしてもよい。
を構成し、帯域通過フィルタとしてもよい。
【0104】なお、フィルタ定数を変えることにより、
入力信号に対し、出力信号発生の遅延が手ぶれ補正の効
果に影響する場合は、その遅延量に合わせて、手ぶれを
検出するためのサンプリングタイミングを遅らせる必要
がある。
入力信号に対し、出力信号発生の遅延が手ぶれ補正の効
果に影響する場合は、その遅延量に合わせて、手ぶれを
検出するためのサンプリングタイミングを遅らせる必要
がある。
【0105】このように、本発明について種々の実施形
態を説明してきたが、これらに限定されることはない。
態を説明してきたが、これらに限定されることはない。
【0106】例えば、図1に示した本発明の基本構成に
加えて、図18に示す例のようにズームレンズの焦点距
離情報を検出する光学情報部1801や、被写体との距
離を検出する測距部1802、使用者による手ぶれ補正
停止/開始などを含む操作情報を検出する操作部180
3と、これらからの情報と補正効果評価部111からの
制御信号によって変換テーブルを制御するテーブル制御
部1804とを備えれば、より効果的で、使い勝手のよ
い手ぶれ補正機能を実現できる。
加えて、図18に示す例のようにズームレンズの焦点距
離情報を検出する光学情報部1801や、被写体との距
離を検出する測距部1802、使用者による手ぶれ補正
停止/開始などを含む操作情報を検出する操作部180
3と、これらからの情報と補正効果評価部111からの
制御信号によって変換テーブルを制御するテーブル制御
部1804とを備えれば、より効果的で、使い勝手のよ
い手ぶれ補正機能を実現できる。
【0107】さらに、予め用意された変換テーブル以外
の変換テーブルを作成できるようにすれば、この変換テ
ーブルを作成した条件下において、より効果的な手ぶれ
補正を行うことができる。この新規変換テーブルを作成
する例を図19を用いて説明する。
の変換テーブルを作成できるようにすれば、この変換テ
ーブルを作成した条件下において、より効果的な手ぶれ
補正を行うことができる。この新規変換テーブルを作成
する例を図19を用いて説明する。
【0108】図19の画像入力装置101では、第1の
実施形態の画像入力装置101の構成に加え、動きセン
サ部104の内部に動きセンサ部104の出力を保持す
る動きセンサ出力保持部1901を、手ぶれベクトル検
出部110の内部に手ぶれベクトル検出部110の出力
を保持する手ぶれベクトル保持部1902を、変換テー
ブル部106の内部にこれらの保持データから変換テー
ブルを作成する変換テーブル作成部1903をそれぞれ
有する。
実施形態の画像入力装置101の構成に加え、動きセン
サ部104の内部に動きセンサ部104の出力を保持す
る動きセンサ出力保持部1901を、手ぶれベクトル検
出部110の内部に手ぶれベクトル検出部110の出力
を保持する手ぶれベクトル保持部1902を、変換テー
ブル部106の内部にこれらの保持データから変換テー
ブルを作成する変換テーブル作成部1903をそれぞれ
有する。
【0109】本実施形態においては、動きセンサ部10
4や手ぶれベクトル検出部110からのデータを保持
し、これらのデータから変換テーブルを作成する。つま
り、変換テーブル部106内部の変換テーブル作成部1
903では、これらのデータから動きセンサ部104の
出力と画像ぶれ量の関係を把握し、動きセンサ部104
からの入力に対する画像ぶれ量を示すテーブルを作成す
る。そして、この作成された変換テーブルを基に手ぶれ
補正を行う。
4や手ぶれベクトル検出部110からのデータを保持
し、これらのデータから変換テーブルを作成する。つま
り、変換テーブル部106内部の変換テーブル作成部1
903では、これらのデータから動きセンサ部104の
出力と画像ぶれ量の関係を把握し、動きセンサ部104
からの入力に対する画像ぶれ量を示すテーブルを作成す
る。そして、この作成された変換テーブルを基に手ぶれ
補正を行う。
【0110】他にも、パンニング、チルティングなどに
ともなう動きが検出された場合、変換テーブル部106
の変換テーブルを調整するために補正効果評価部111
の出力に応じて、生成する制御信号として補正停止信号
を出力しても良い。これにより、使用者の意図を優先さ
せる事が可能となる。なお、これらの動きが手ぶれでは
ないという判別する基準は、例えば、手ぶれセンサの出
力が一定時間以上ほぼ一定値であること、手ぶれセンサ
の出力の0レベルに対して一定時間以上正負の一方向の
値であることなどが考えられる。
ともなう動きが検出された場合、変換テーブル部106
の変換テーブルを調整するために補正効果評価部111
の出力に応じて、生成する制御信号として補正停止信号
を出力しても良い。これにより、使用者の意図を優先さ
せる事が可能となる。なお、これらの動きが手ぶれでは
ないという判別する基準は、例えば、手ぶれセンサの出
力が一定時間以上ほぼ一定値であること、手ぶれセンサ
の出力の0レベルに対して一定時間以上正負の一方向の
値であることなどが考えられる。
【0111】
【発明の効果】以上により、装置自体の動きによる手ぶ
れを検出する手段と、動画像圧縮の過程で検出される動
きベクトルを利用して手ぶれベクトルを検出する手段と
を有し、それぞれの手ぶれ検出手段の長所を活かし、欠
点を補い合うことによって、様々な撮影状況下でも効果
的な手ぶれ補正を行える画像入力装置を提供することが
可能となる。
れを検出する手段と、動画像圧縮の過程で検出される動
きベクトルを利用して手ぶれベクトルを検出する手段と
を有し、それぞれの手ぶれ検出手段の長所を活かし、欠
点を補い合うことによって、様々な撮影状況下でも効果
的な手ぶれ補正を行える画像入力装置を提供することが
可能となる。
【図1】 第1の実施形態のブロック図。
【図2】 手ぶれ補正の方法を説明する図。
【図3】 (a)、(b)、(c)、(d)とも変換テ
ーブルを説明する図。
ーブルを説明する図。
【図4】 第1の実施形態の変換テーブルを周期的に見
直す処理のフローチャート。
直す処理のフローチャート。
【図5】 第1の実施形態の手ぶれ補正の評価値算出方
法のフローチャート。
法のフローチャート。
【図6】 第1の実施形態の変換テーブルの見直しの必
要性を判断する処理のフローチャート。
要性を判断する処理のフローチャート。
【図7】 第1の実施形態の変換テーブル切り換え試行
処理のフローチャート。
処理のフローチャート。
【図8】 第1の実施形態のテーブル選択処理のフロー
チャート。
チャート。
【図9】 変換テーブルの例を説明する図。
【図10】 その他の手ぶれ補正の評価値算出方法のフ
ローチャート。
ローチャート。
【図11】 その他の手ぶれ補正の評価値算出方法のフ
ローチャート。
ローチャート。
【図12】 その他の変換テーブル切り換え試行処理の
フローチャート。
フローチャート。
【図13】 第2の実施形態の変換テーブル見直し処理
のフローチャート。
のフローチャート。
【図14】 第2の実施形態の変換テーブル切り換え試
行処理のフローチャート。
行処理のフローチャート。
【図15】 第3の実施形態のブロック図。
【図16】 手ぶれセンサ出力の積分期間の変更を説明
する図。
する図。
【図17】 動きセンサ部のセンサ出力信号処理回路を
説明する図。
説明する図。
【図18】 光学情報などを利用する実施形態に係るブ
ロック図。
ロック図。
【図19】 変換テーブルを作成する実施形態に係るブ
ロック図。
ロック図。
【図20】 従来の手ぶれ補正機能を有する装置のブロ
ック図。
ック図。
【図21】 遠景撮影と近景撮影における手ぶれの影響
を説明する図。
を説明する図。
101…画像入力装置、 102…光学系、 103…撮像素子部、 104…動きセンサ部、 105…データ変換部、 106…変換テーブル部、 107…手ぶれ補正部、 108…信号処理部、 109…符号化部、 110…手ぶれベクトル検出部、 111…補正効果評価部、 112…データ記録部、 113…表示部、 1501…フレームレート設定部、 1701…入力部、 1702…増幅器、 1703…出力部、 1704…基準値部、 1705…選択スイッチ、 1706…コンデンサ選択デコーダ、 1801…光学情報部、 1802…測距部、 1803…操作部、 1804…テーブル制御部、 1901…動きセンサ出力保持部、 1902…手ぶれベクトル保持部、 1903…変換テーブル作成部。
Claims (9)
- 【請求項1】 被写体を撮像し得られた画像情報を圧縮
して記録する画像入力装置において、被写体を撮像し画
像情報とする撮像手段と、前記画像入力装置の動きを検
出する動き検出手段と、前記動き検出手段で検出された
前記動きを画像ぶれ量に変換する変換手段と、前記変換
手段で得られた前記画像ぶれ量を基に前記撮像手段で得
られた前記画像情報を補正する補正手段と、前記補正手
段で補正された前記画像情報を処理する信号処理手段
と、前記信号処理手段で処理された前記画像情報を符号
化する符号化手段と、前記符号化手段で符号化された前
記画像情報を記録するデータ記録手段と、前記符号化手
段で符号化された前記画像情報から手ぶれベクトルを検
出する手ぶれベクトル検出手段と、前記手ぶれベクトル
検出手段で検出された前記手ぶれベクトルから補正効果
評価値を算出する補正効果評価値算出手段とを具備し、
前記変換手段は前記補正効果評価値算出手段で算出され
た前記補正効果評価値を基に前記画像ぶれ量を修正する
事を特徴とする画像入力装置。 - 【請求項2】 前記手ぶれベクトル検出手段は、前記画
像情報が前記符号化手段によって符号化される際に求め
られる動きベクトルから前記手ぶれベクトルを検出する
事を特徴とする請求項1記載の画像入力装置。 - 【請求項3】 前記変換手段は、前記動きに対応する前
記画像ぶれ量を記憶する複数の変換テーブルを有し、こ
れらの変換テーブルを切り換える事により、前記動き検
出手段で検出された前記動きを前記画像ぶれ量に変換す
るものである事を特徴とする請求項1記載の画像入力装
置。 - 【請求項4】 前記変換手段は、前記動きに対応する前
記画像ぶれ量を記憶する変換テーブルを有し、これらの
変換テーブルの係数を修正することにより、前記動き検
出手段で検出された前記動きを前記画像ぶれ量に変換す
るものであることを特徴とする請求項1記載の画像入力
装置。 - 【請求項5】 前記変換手段は、前記動き検出手段で検
出された前記動きと、前記手ぶれベクトル検出手段で検
出された前記手ぶれベクトルとを基に前記動きに対応す
る前記画像ぶれ量を有する変換テーブルを作成する手段
を有する事を特徴とする請求項1記載の画像入力装置。 - 【請求項6】 前記補正効果評価値算出手段は、前記画
像情報の任意のフレームにおける前記補正効果評価値を
前記フレームから所定フレーム数溯ったフレームから前
記フレームまでの前記補正効果評価値の和として算出す
る事を特徴とする請求項1記載の画像入力装置。 - 【請求項7】 前記補正効果評価値算出手段において算
出された前記補正効果評価値に応じて手ぶれ補正を停止
する手段をさらに有することを特徴とする請求項1の画
像入力装置。 - 【請求項8】 被写体を撮像し得られた複数のフレーム
から成る画像情報を圧縮して記録する画像入力装置にお
いて、被写体を撮像し画像情報とする撮像手段と、前記
画像入力装置の動きを検出する動き検出手段と、前記動
き検出手段で検出された前記動きを画像ぶれ量に変換す
る変換手段と、前記変換手段で得られた前記画像ぶれ量
を基に前記撮像手段で得られた前記画像情報を補正する
補正手段と、前記補正手段で補正された前記画像情報を
処理する信号処理手段と、前記信号処理手段で処理され
た前記画像情報を符号化する符号化手段と、前記符号化
手段で符号化された前記画像情報を記録するデータ記録
手段と、前記データ記録手段に記録される単位時間あた
りのフレーム数を設定するフレームレート設定手段とを
具備し、前記単位時間あたりのフレーム数に応じて前記
動き検出手段の出力の周波数制御を行う事を特徴とする
画像入力装置。 - 【請求項9】 被写体を撮像し得られた画像情報を圧縮
して記録する画像入力装置における画像入力方法におい
て、被写体を撮像し画像情報とする撮像ステップと、前
記画像入力装置の動きを検出する検出ステップと、前記
検出ステップで検出された前記動きを画像ぶれ量に変換
する変換ステップと、前記変換ステップで変換された前
記画像ぶれ量を基に前記撮像ステップで撮像した前記画
像情報を補正する補正ステップと、前記補正ステップで
補正された前記画像情報を処理する信号処理ステップ
と、前記信号処理ステップで処理された前記画像情報を
符号化する符号化ステップと、前記符号化ステップで符
号化された前記画像情報を記録するデータ記録ステップ
と、前記符号化ステップで符号化された前記画像情報か
ら手ぶれベクトルを検出する手ぶれベクトル検出ステッ
プと、前記手ぶれベクトル検出ステップで検出された前
記手ぶれベクトルから補正効果評価値を算出する算出ス
テップと、前記算出ステップで算出された前記補正効果
評価値を基に前記画像ぶれ量を修正する修正ステップと
を具備する事を特徴とする画像入力方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25388899A JP2001078075A (ja) | 1999-09-08 | 1999-09-08 | 画像入力装置及び画像入力方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25388899A JP2001078075A (ja) | 1999-09-08 | 1999-09-08 | 画像入力装置及び画像入力方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001078075A true JP2001078075A (ja) | 2001-03-23 |
Family
ID=17257521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25388899A Withdrawn JP2001078075A (ja) | 1999-09-08 | 1999-09-08 | 画像入力装置及び画像入力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001078075A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005351984A (ja) * | 2004-06-08 | 2005-12-22 | Nikon Corp | ブレ補正装置、およびカメラシステム |
JP2006505175A (ja) * | 2002-10-30 | 2006-02-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ソース・ビデオを編集する方法及び機器 |
WO2006016454A1 (ja) * | 2004-08-11 | 2006-02-16 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
JP2006287629A (ja) * | 2005-03-31 | 2006-10-19 | Sanyo Electric Co Ltd | 映像機器 |
US7602440B2 (en) | 2004-08-11 | 2009-10-13 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
JP2010117659A (ja) * | 2008-11-14 | 2010-05-27 | Canon Inc | 振れ補正機能を有する撮影装置及びその制御方法 |
-
1999
- 1999-09-08 JP JP25388899A patent/JP2001078075A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006505175A (ja) * | 2002-10-30 | 2006-02-09 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ソース・ビデオを編集する方法及び機器 |
JP2005351984A (ja) * | 2004-06-08 | 2005-12-22 | Nikon Corp | ブレ補正装置、およびカメラシステム |
JP4595394B2 (ja) * | 2004-06-08 | 2010-12-08 | 株式会社ニコン | ブレ補正装置、およびカメラシステム |
WO2006016454A1 (ja) * | 2004-08-11 | 2006-02-16 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
US7602440B2 (en) | 2004-08-11 | 2009-10-13 | Sony Corporation | Image processing apparatus and method, recording medium, and program |
JP2006287629A (ja) * | 2005-03-31 | 2006-10-19 | Sanyo Electric Co Ltd | 映像機器 |
JP2010117659A (ja) * | 2008-11-14 | 2010-05-27 | Canon Inc | 振れ補正機能を有する撮影装置及びその制御方法 |
US8279290B2 (en) | 2008-11-14 | 2012-10-02 | Canon Kabushiki Kaisha | Blur correcting image pickup apparatus and control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6750903B1 (en) | Super high resolution camera | |
KR100803492B1 (ko) | 디지털 카메라와, 그것에 이용 가능한 메모리 제어 장치,화상 처리 장치 및 화상 처리 방법 | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP4473363B2 (ja) | 手振れ補正装置およびその補正方法 | |
CA2514866A1 (en) | Image recording/reproducing apparatus, image pick-up apparatus, and color aberration correcting method | |
EP0520741B1 (en) | Image compression associated with camera shake correction | |
JP3783238B2 (ja) | 撮像システム、画像処理装置、符号化装置、符号化方法及びランダムノイズを除去する方法 | |
US20040095473A1 (en) | Image-capturing device capable of adjusting view angles and a control method therefor | |
JP4605217B2 (ja) | 撮影装置及びそのプログラム | |
US20090046160A1 (en) | Camera shake correcting device | |
CN101212573A (zh) | 用于拍摄的装置和方法 | |
JP3221785B2 (ja) | 撮像装置 | |
US20110176027A1 (en) | Method and device for compressing moving image | |
JPH04151982A (ja) | 動きベクトル検出装置 | |
JP2000224487A (ja) | 撮像装置および撮像方法 | |
JP2001078075A (ja) | 画像入力装置及び画像入力方法 | |
JP3279342B2 (ja) | ビデオカメラにおける手振れ補正装置 | |
JP2008205915A (ja) | 撮像装置、撮像方法、及びプログラム | |
JP4164928B2 (ja) | 画像信号処理装置 | |
JP2001024933A (ja) | 画像入力装置及び画像入力方法 | |
JPH11266462A (ja) | 動画像符号化装置のプレフィルタ | |
JP2001024932A (ja) | 画像入力装置及び画像入力方法 | |
JPH04219080A (ja) | ビデオカメラの露光制御装置 | |
JP3109855B2 (ja) | 電子カメラ、画像信号圧縮装置及びその方法 | |
JP3121044B2 (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050301 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050414 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20070629 |