JP2013046192A - 手ぶれ補正装置、手ぶれ補正方法及びプログラム - Google Patents
手ぶれ補正装置、手ぶれ補正方法及びプログラム Download PDFInfo
- Publication number
- JP2013046192A JP2013046192A JP2011182286A JP2011182286A JP2013046192A JP 2013046192 A JP2013046192 A JP 2013046192A JP 2011182286 A JP2011182286 A JP 2011182286A JP 2011182286 A JP2011182286 A JP 2011182286A JP 2013046192 A JP2013046192 A JP 2013046192A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- subject
- camera shake
- imaging
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】手ぶれ補正装置100であって、撮像部1により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正制御部5bと、撮像部により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定部4bと、この特定部により特定された規則性に基づいて、撮像部により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測部4cと、この予測部により予測された範囲変化方向の補正制御部による手ぶれ補正を抑制する抑制制御部5cと、を備えている。
【選択図】図1
Description
しかしながら、上記特許文献1の場合、ユーザは当該装置本体を移動させる方向に手ぶれ補正を行わないように設定することができるものの、当該装置本体を移動させる方向を変更する度に所定操作により手ぶれ補正を行わない方向を変更しなければならず、その作業が煩雑であった。
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段と、前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段と、この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段と、この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段と、を備えたことを特徴としている。
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段を備える手ぶれ補正装置を用いた手ぶれ補正方法であって、前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する処理と、特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する処理と、予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する処理と、を含むことを特徴としている。
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段を備える手ぶれ補正装置のコンピュータを、前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段、この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段、この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段、として機能させることを特徴としている。
実施形態1の撮像装置100は、被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する。そして、撮像装置100は、特定された規則性に基づいて、撮像部1により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。更に、撮像装置100は、予測された範囲変化方向の手ぶれ補正を抑制する。
図1に示すように、撮像装置100は、具体的には、撮像部1と、画像データ生成部2と、メモリ3と、画像処理部4と、手ぶれ補正部5と、記録媒体制御部6と、出力制御部7と、表示部8と、操作入力部9と、中央制御部10とを備えている。
レンズ部1aは、例えば、図示は省略するが、ズームレンズ群、フォーカスレンズ群を含み、図示しないレンズ駆動機構(例えば、モータ等)により光軸方向の位置が調整可能となっている。
なお、図示は省略するが、電子撮像部1bは、手ぶれ補正部5のステージ駆動部5a(後述)によりXY方向(例えば、左右方向や上下方向等)に駆動されるステージ部に搭載されている。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ3にDMA転送される。
なお、画像処理部4の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
即ち、画像データ取得部4aは、画像データ生成部2により生成された被写体の画像データを逐次取得する。具体的には、画像データ取得部4aは、電子撮像部1bにより所定の撮像フレームレートで逐次撮像された画像フレームの各々から画像データ生成部2により生成された複数の画像データ(YUVデータ)をメモリ3から所定間隔で逐次取得する。
即ち、特定部4bは、撮像部1により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する。
ここで、複数の被写体構成部の位置に関連する規則性とは、各被写体構成部の形態的な連続性を有するパターンの有無を基準とする規則性である。例えば、被写体が被写体構成部としての文字を有するテキストである場合、複数の文字(被写体構成部)の位置に関連する規則性としては、画角内に存在する複数の文字の集合G、行間の空白K1、区切り線K2等から相互に規定される位置関係等が挙げられる(図3参照)。
具体的には、特定部4bは、被写体が被写体構成部としての文字を有するテキストである場合、画像データ取得部4aにより取得されたテキストの画像データに基づいて、テキストを構成する複数の文字の集合G(例えば、複数の文字の一塊)、複数の文字の配列L、…(例えば、二次元空間の文字の並び方向)及び複数の文字の集合Gを他の被写体構成部と区切る区切り部K(例えば、行間の空白K1、区切り線K2等)のうちの少なくとも何れか一を基準として、複数の被写体構成部の位置に関連する規則性を特定する。例えば、特定部4bは、画像データ取得部4aにより取得されたテキストのYUVデータのうちの輝度信号(Y)を所定の閾値で二値化し、当該テキストを構成する文字や記号や線等に対応する第1の画素値「1」を有する画素と、当該テキストの背景部分に対応する第2の画素値「0」を有する画素を含む二値画像(図示略)を生成する。そして、特定部4bは、第1の画素値「1」と第2の画素値「0」を有する各画素の集合度合い、第1の画素値「1」や第2の画素値「0」の画素の配置の規則性等に基づいて、被写体構成部の位置に関連する規則性を特定する。
文字の集合Gは、二値画像において、例えば、第1の画素値「1」を有する画素が所定方向に連続的に配置された複数の文字の配列L、…が、所定方向に直交する直交方向(例えば、左右方向)に一定の間隔で並んで、即ち、第2の画素値「0」を有する画素からなる領域と交互に並んで構成されている。
行間の空白K1とは、例えば、直交方向に隣合う文字の配列L、Lの間に存在する空白の領域や、文字の集合Gを取り囲む空白の領域等を含んで構成されている。また、行間の空白K1は、二値画像において、例えば、第2の画素値「0」を有する画素から構成されている。
区切り線K2は、二値画像において、例えば、第1の画素値「1」を有する画素が一方向(例えば、左右方向)に連続して並んで構成されている。
このように、特定部4bは、撮像部1により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段を構成している。
即ち、予測部4cは、特定部4bにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性に基づいて、撮像部1により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する。つまり、被写体の撮像の際に、ユーザが被写体の位置に対して当該装置本体を所定方向(例えば、上下方向や左右方向)に変位させる(例えば、平行移動や回転移動)ことで、被写体の位置に対して撮像部1が変位する。これに伴って、撮像部1により撮像される被写体の撮像範囲も所定方向に連続的に変化することとなり、予測部4cは、当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測して特定する。
なお、被写体の撮像範囲が連続的に変化する範囲変化方向に係る連続性とは、被写体の撮像範囲が略一定の速度で一方向に連続して変化する場合だけでなく、被写体の撮像範囲が一方向に所定時間変化した後、所定の短時間(例えば、1秒未満の時間等)停止し、その後、同方向に再度変化する場合等も含む。
つまり、ユーザが意図しない手振れなどに起因する撮像範囲のランダムな変化に対して、ユーザの意図する撮像装置100の移動操作などに起因する撮像範囲の一定方向への変化を識別して予測できればよい。
また、予測部4cは、撮像部1により撮像された撮像範囲内の文字の集合Gの位置を基準として、より具体的には、中央制御部10のCPUにより設定されたユーザ所望の拡大率で拡大されたテキストの文字の集合Gの位置を基準として、当該テキストの撮像部1による撮像範囲の外側であって、テキストを文字の集合Gとともに構成し当該文字の集合Gと関連する文字の存する方向と、複数の文字の並び方向(文字の配列L)とに基づいて、範囲変化方向を予測する。
例えば、図4(a)に示すように、区切り部Kである行間の空白K1が文字の集合Gを「コ」字状に取り囲むように三方向(複数の文字の配列L、…の上側L1、下側L2及び右側L3)に位置していることから、予測部4cは、文字の集合Gの位置に対して区切り部Kが設けられていない方向、即ち、左方向(図中、白抜きの矢印で示す)に、テキストの撮像部1による撮像範囲の外側に当該文字の集合Gと関連する文字が存するであろうと判断する。これにより、予測部4cは、テキストの撮像の際に、文字の集合Gの位置に対して装置本体(撮像部1)が左方向に変位し、これに伴って、テキスト(被写体)の撮像範囲が左方向に連続的に変化する、即ち、左方向が範囲変化方向であると予測する。
また、図4(b)に示すように、各文字の配列Lが「縦書き」であり、行間の空白K1が複数の文字の集合Gの上側L1及び右側L3に位置していることから、予測部4cは、文字の集合Gの位置に対して区切り部Kが設けられていない下方向(図中、白抜きの矢印で示す)に、テキストの撮像部1による撮像範囲の外側に当該文字の集合Gと関連する文字が存するであろうと判断する。これにより、予測部4cは、テキストの撮像の際に、文字の集合Gの位置に対して装置本体(撮像部1)が下方向に変位し、これに伴って、テキスト(被写体)の撮像範囲が下方向に連続的に変化する、即ち、下方向が範囲変化方向であると予測する。この場合、左方向にも当該文字の集合Gと関連する文字が存在すると判断するが、各文字の配列Lが「縦書き」であることから、下方向を優先して範囲変化方向を予測する。
即ち、ステージ駆動部5aは、画像データ生成部2により生成された画像データに基づいて、駆動手段として手ぶれを補正するようにステージ部(補正用可動部)をXY方向に逐次駆動させる。具体的には、ステージ駆動部5aは、画像データ生成部2により生成された画像データに基づいて、補正制御部5bにより算出された手ぶれ量及び手ぶれ方向を補正するようにステージ部を上下方向(Y方向)や左右方向(X方向)に逐次駆動させる。
即ち、補正制御部5bは、撮像部1により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う。具体的には、補正制御部5bは、撮像部1により逐次撮像される被写体の画像データに基づいて手ぶれ量及び手ぶれ方向を算出する。例えば、補正制御部5bは、画像データ取得部4aにより逐次取得された画像フレームに基づいて特定部4bにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性を基準として、単位時間当たりに取得された所定数の画像フレームに係る規則性(例えば、文字の集合Gや区切り部Kの配置等)の変化に従って、被写体の撮像範囲の変化した量及び方向を特定し、変化した量及び方向に応じて手ぶれ量及び手ぶれの方向を算出する。
また、補正制御部5bは、算出された手ぶれ量及び手ぶれの方向に応じて手ぶれ補正量及び手ぶれ補正方向(例えば、ステージ駆動部5aの駆動に必要な電流値や通電時間等)を算出し、算出された手ぶれ補正量及び手ぶれ補正方向に基づいてステージ駆動部5aの駆動に係る制御信号を決定する。そして、補正制御部5bは、決定された制御信号に従ってステージ駆動部5aの駆動を制御してステージ部をXY方向に移動させる。これにより、補正制御部5bによってステージ部をXY方向に移動させた状態で撮像部1により撮像され画像データ生成部2により生成される被写体の画像データは、手ぶれが補正された画像となる。
このように、補正制御部5bは、撮像部1により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段を構成している。
即ち、抑制制御部5cは、予測部4cにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向の補正制御部5bによる手ぶれ補正を抑制する。具体的には、抑制制御部5cは、補正制御部5bにより算出された手ぶれ方向が予測部4cにより予測された被写体の撮像範囲が連続的に変化する範囲変化方向と等しいか否かを判定する。そして、抑制制御部5cは、当該手ぶれ方向が範囲変化方向と等しいと判定された場合、当該手ぶれ方向(範囲変化方向)の補正制御部5bによる手ぶれ補正を抑制する。ここで、範囲変化方向の手ぶれ補正を抑制するとは、当該範囲変化方向の手ぶれ補正を行わないように禁止したり、当該範囲変化方向の手ぶれ補正の強度を他の方向に対して相対的に弱くすることを言う。
この場合、算出された手ぶれ方向と予測された範囲変化方向との差が所定範囲内である場合に手ぶれ補正を抑制するようにしてもよいが、以下のようにしてもよい。
つまり、抑制制御部5cは、補正制御部5bが算出する手ぶれ量及び手ぶれの方向を、予測された範囲変化方向に対応する第1のベクトルと、この第1のベクトルと直交する方向の第2のベクトルとに分解し、第1のベクトルに対しては手ぶれ補正を抑制(例えば、禁止)し、その一方で、第2のベクトルに対しては手ぶれ補正を抑制しない(例えば、許可する)ようにしてもよい。
また、予測部4cは、被写体が文字である場合には、範囲変化方向として上下方向と左右方向のいずれかを選択的に予測するようにすれば、抑制制御部5cは、上下方向のベクトルと左右方向のベクトルのいずれか一方のベクトルに対して手ぶれ補正を抑制すればよく、これは、ステージ部の駆動方向であるX方向(左右方向)とY方向(上下方向)に対応するので、いずれかの方向へのステージ部の駆動を抑制することで簡単に実現することができる。
このように、抑制制御部5cは、予測部4cにより予測された範囲変化方向の補正制御部5bによる手ぶれ補正を抑制する抑制手段を構成している。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、出力制御部7は、ユーザによる操作入力部9のズームボタン等の所定操作に基づいて中央制御部10のCPUにより指定された拡大率(例えば、2倍)に従って、表示部8に表示される被写体の画像データに対する拡大処理を施す。具体的には、出力制御部7は、VRAMから読み出された被写体の画像データに基づいて、指定された拡大率に従って水平方向及び垂直方向ともに所定の比率で拡大した拡大画像の画像データを生成し、当該画像データに基づいてビデオ信号を発生して表示部8に出力する。
これにより、表示部8に表示される被写体の画像は、拡大前の被写体の画像領域のうちの一部分が拡大された画像となる。
即ち、出力制御部7は、抑制制御部5cにより範囲変化方向の手ぶれ補正が抑制された状態で撮像部1により撮像された被写体の画像データを、メモリ3から読み出して取得し、取得した画像データを表示部8に出力して当該表示部8に表示させる制御を行う。
ここで、出力制御部7は、抑制制御部5cにより範囲変化方向の手ぶれ補正が抑制された状態で撮像部1により撮像された被写体の画像データを表示部8に出力する出力制御手段を構成している。
中央制御部10のCPUは、入力された設定指示に基づいて、被写体(テキスト)の画像データを所定の拡大率で拡大して表示部8に表示する動作モードに設定する。
ここで、操作入力部9及び中央制御部10は、被写体の画像データを所定の拡大率で拡大して表示部8に表示する動作モードを設定する設定手段を構成している。
図2は、撮像処理に係る動作の一例を示すフローチャートである。
撮像処理は、ユーザによる操作入力部9の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から、例えば、テキストの画像データを所定の拡大率で拡大して表示部8に表示するテキスト表示モードが選択指示された場合に実行される処理である。
なお、ここでの範囲変化方向の手ぶれ補正を抑制する処理として、当該範囲変化方向の手ぶれ補正を行わないように禁止する処理を例示するが、当該範囲変化方向の手ぶれ補正の強度を他の方向に対して相対的に弱くする処理を行ってもよい。
次に、出力制御部7は、画像データ生成部2により逐次生成された複数の画像フレームの画像データに基づいて、表示内容を所定の表示フレームレートで逐次更新しながらライブビュー画像を表示部8に表示させる(ステップS2)。
続けて、補正制御部5bは、検出された手ぶれ方向が予測部4cにより予測された範囲変化方向であり、かつ、当該方向に連続的に変化する手ぶれであるか否かを判定する(ステップS7)。
ここで、撮像処理の終了指示が入力されていないと判定されると(ステップS12;No)、中央制御部10のCPUは、処理をステップS1に移行し、それ以降の処理を実行する。また、ステップS1以降の各処理は、ステップS12にて、撮像処理の終了指示が入力されたと判定されるまで逐次繰り返し実行される。
なお、ステップS3にて、テキストを構成する複数の文字の位置に関連する規則性を特定する処理は、表示部8に表示される画像の拡大をキャンセルする指示が入力された場合に行い、それ以外の場合には、当該処理をスキップしても良い。また、ステップS4は、表示部8に表示される画像の拡大倍率の再設定指示が入力された場合に行い、それ以外の場合には当該処理をスキップしても良い。また、ステップS5は、ステップS3にてテキストを構成する複数の文字の位置に関連する規則性の再特定や、ステップS4にて表示部8に表示される画像の拡大倍率の再設定が行われた場合に行い、それ以外の場合には、当該処理をスキップしても良い。
つまり、ステップS7の処理に代えて、補正制御部5bは、検出される手ぶれ(手ぶれ量及び手ぶれ方向)を、予測された範囲変化方向に対応する第1のベクトルと、この第1のベクトルと直交する方向の第2のベクトルとに分解することで、予測された範囲変化方向(第1のベクトル)に手ぶれがあるか否かを判定する。この場合、手ぶれが当該方向に連続的に変化しているか否かは問わない。
ステップS7の処理に代えて行われた上記の処理にて、予測された範囲変化方向(第1のベクトル)に手ぶれがあると判定されると、ステップS8の処理に代えて、抑制制御部5cは、補正制御部5bによる第1のベクトルに対する手ぶれ補正のみを禁止する。そして、第2のベクトルに対する手ぶれがある場合には、補正制御部5bは、当該ベクトルに対する手ぶれ補正を行う。そして、ステップS9の処理に代えて、出力制御部7は、補正制御部5bにより第1のベクトルに対する手ぶれ補正が行われず、第2のベクトルに対してのみ手ぶれ補正が行われた状態で、撮像部1により撮像されて画像データ生成部2により生成されたテキストの画像データを、表示部8に出力して当該テキストの画像を表示部8に表示させる。
一方、ステップS7の処理に代えて行われた上記の処理にて、予測された範囲変化方向(第1のベクトル)に手ぶれがないと判定されると、ステップS10の処理に代えて、抑制制御部5cは、補正制御部5bによる第1のベクトルに対する手ぶれ補正を禁止せずに、第2のベクトルに対する手ぶれがある場合には、補正制御部5bは、第2のベクトルに対する手ぶれ補正のみを行う。そして、ステップS11の処理に代えて、出力制御部7は、補正制御部5bにより第2のベクトルに対してのみ手ぶれ補正が行われた状態で撮像部1により撮像されて画像データ生成部2により生成されたテキストの画像データを、表示部8に出力して当該テキストの画像を表示部8に表示させる。
このように、被写体の撮像の際に、ユーザによる意図的な被写体の位置に対する撮像部1の変位を考慮して手ぶれ補正を行う方向やその強度を適正に決定することができ、効果的な手ぶれ補正を自動的に行うことができる。
従って、テキストの位置に対して変位する撮像部1により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
従って、ユーザによりテキスト表示モード等の動作モードの設定に基づいて、予め予測された被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。
次に、撮像装置101の変形例について、図6及び図7を参照して説明する。
図6は、本発明を適用した実施形態1の変形例の撮像装置101の概略構成を示すブロック図である。
なお、変形例は、下記に詳細に説明する以外の点で、上記実施形態1と略同様の構成をなし、その説明は省略する。
即ち、被写体の撮像の際に、被写体の位置に対して当該装置本体を所定方向(例えば、上下方向や左右方向)に変位することで、被写体の位置に対して撮像部1が変位する。そして、範囲変化量検出部4dは、予測部4cにより予め予測されている当該被写体の撮像範囲が連続的に変化する範囲変化方向と異なる方向に撮像部1による撮像範囲が変化した場合に、当該異なる方向の撮像部1による被写体の撮像範囲の変化量を検出する。
具体的には、範囲変化量検出部4dは、補正制御部5bによる手ぶれ量及び手ぶれの方向の算出処理と同様の処理を行う。即ち、範囲変化量検出部4dは、画像データ取得部4aにより逐次取得された画像フレームに基づいて特定部4bにより特定された被写体を構成する複数の被写体構成部の位置に関連する規則性を基準として、単位時間当たりに取得された所定数の画像フレームに係る規則性(例えば、文字の集合Gや区切り部Kの配置等)の変化に従って、予測部4cにより予め予測されている範囲変化方向以外の方向について被写体の撮像範囲の変化した量を特定する。
なお、範囲変化量検出部4dは、補正制御部5bによる手ぶれ量及び手ぶれの方向の算出結果を利用して、予測部4cにより予測された範囲変化方向と異なる方向に撮像部1による撮像範囲が変化した変化量を検出しても良い。
このように、範囲変化量検出部4dは、予測部4cにより予測された範囲変化方向と異なる方向に撮像部1による撮像範囲が変化した変化量を検出する検出手段を構成している。
即ち、判定部4eは、範囲変化量検出部4dにより予測済みの範囲変化方向と異なる方向について検出された撮像部1による撮像範囲の変化量が所定の値以上であるか否かを判定する。
そして、判定部4eによる当該判定の結果、判定部4eにより範囲変化量検出部4dにより検出された変化量が所定の値以上であると判定された場合に、補正制御部5bは、変化量が所定の値以上でない場合よりも範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くする。即ち、判定部4eにより変化量が所定の値以上であると判定される場合、補正制御部5bは、例えば、予め予測されている範囲変化方向とは異なる方向へのユーザによるページめくり等による移動と判断し、変化量が所定の値以上でない場合(例えば、範囲変化方向とは異なる方向への周期的な手ぶれ等の場合)よりも相対的に弱い(所定量未満の)手ぶれ補正を行う。
このように、判定部4eは、範囲変化量検出部4dにより検出された変化量が所定の値以上であるか否かを判定する判定手段を構成している。
なお、撮像処理は、以下に説明する点を除いて実施形態1の撮像処理と略同様であり、その詳細な説明は省略する。
そして、ステップS7にて、補正制御部5bによりステップS6にて検出された手ぶれ方向が予測部4cにより予測された範囲変化方向でないか、あるいは当該方向に連続的に変化する手ぶれでないと判定されると(ステップS7;No)、範囲変化量検出部4dは、補正制御部5bによる手ぶれ量及び手ぶれの方向の算出結果を利用して、予測部4cにより予測された範囲変化方向と異なる方向に撮像部1による撮像範囲が変化した変化量を検出した後、判定部4eは、範囲変化量検出部4dにより検出された変化量が所定値以上であるか否かを判定する(ステップS101)。
なお、範囲変化量検出部4dは、予め予測されている範囲変化方向と異なる方向に撮像部1による撮像範囲が変化した変化量を、補正制御部5bによる当該異なる方向への手ぶれ量として検出しても良い。
一方、ステップS101にて、範囲変化方向と異なる方向に撮像部1による撮像範囲が変化した変化量が所定値以上ではないと判定されると(ステップS101;No)、補正制御部5bは、撮像部1による撮像範囲の変化(手ぶれ)に対して、手ぶれ補正の強度を相対的に強くした所定量以上の(通常の)手ぶれ補正を行う(ステップS103)。
なお、この変形例1においても実施形態1で説明したのと同様に、ステップS7〜S11までの処理を、予測された範囲変化方向に対応する第1のベクトルと、この第1のベクトルと直交する方向の第2のベクトルとに分解して処理を行うようにしてもよい。
この場合、ステップS101〜S103では、第2のベクトルに対する変化量が所定値以上であるか否かを判定し、第2のベクトルに対する手ぶれ補正の強度を変化させ、第1のベクトルに対しては通常の手ぶれ補正を行う。
図8は、本発明を適用した実施形態2の撮像装置200の概略構成を示すブロック図である。
なお、実施形態2の撮像装置200は、以下に詳細に説明する以外の点で上記実施形態1の撮像装置100及び変形例の撮像装置101と略同様の構成をなし、詳細な説明は省略する。
図8に示すように、実施形態2の特定部4bは、第1認識部b1と第2認識部b2を備えている。
即ち、第1認識部b1は、撮像部1により撮像された被写体の画像データが文字を有するテキストである場合、撮像部1により撮像されたテキストの画像データに基づいて、当該テキストを構成する文字を認識する。具体的には、第1認識部b1は、画像データ取得部4aにより取得されたテキストの画像データに対してOCR(Optical Character Recognition)処理を行い、当該テキストに含まれる文字を認識する処理を行う。このとき、第1認識部b1は、テキストに複数の文字が含まれていると認識した場合、複数の文字を一文字単位で分割し、当該テキストを構成する複数の文字の配列L、…や文字の集合Gを認識しても良い。
また、第1認識部b1は、上記実施形態1の特定部4bによる被写体を構成する複数の被写体構成部の位置に関連する規則性の特定方法と同様の処理を行って、文字を認識しても良い。
このように、第1認識部b1は、撮像部1により撮像されたテキストの画像データに基づいて、当該テキストを構成する文字を認識する第1認識手段を構成している。
即ち、第2認識部b2は、テキストを構成する複数の文字の集合Gを他の被写体構成部と区切る区切り部K(例えば、行間の空白K1、区切り線K2等)を認識する。具体的には、第2認識部b2は、例えば、画像データ取得部4aにより取得されたテキストの画像データに対してHough変換等の直線検出処理を行い、二値画像における第1の画素値「1」を有する画素が連続して並ぶ直線として区切り線K2や、第2の画素値「0」を有する画素が連続して並ぶ領域として行間の空白K1を検出する。また、第2認識部b2は、第1認識部b1による文字、特に、文字の配列Lの認識結果に基づいて、例えば、所定方向に隣合うL、Lの間に存在する空白や、所定方向に並んで設けられた複数の文字の配列L、…からなる文字の集合Gに対して所定方向に直交する方向側に設けられた空白を行間の空白K1として認識する。
また、第2認識部b2は、上記実施形態1の特定部4bによる被写体を構成する複数の被写体構成部の位置に関連する規則性の特定方法と同様の処理を行って、区切り部Kを認識しても良い。
また、第2認識部b2は、例えば、単語の辞書を備え、並んでいる複数の文字が辞書登録されている単語と一致する場合、この単語の区切り部分を区切り部Kとして認識するようにしてもよい。
このように、第2認識部b2は、撮像部1により撮像されたテキストの画像データに基づいて、テキストを構成し、複数の文字の集合Gを他の被写体構成部と区切る区切り部Kを認識する第2認識手段を構成している。
具体的には、撮像部1により撮像された被写体が文字を有するテキストである場合、特定部4bは、第1認識部b1により認識された文字から成る、例えば、複数の文字の集合G及び複数の文字の配列L、…のうち少なくとも一方を基準として、複数の被写体構成部の位置に関連する規則性を特定しても良い。
例えば、特定部4bは、図3に示すように、第1認識部b1により認識された個々の文字の方向と、複数の文字の配列L、…の並び方向とにより、複数の被写体構成部の位置に関連する規則性を「縦書き」として特定する。図3の例で、個々の文字の方向が横向きである場合には、複数の文字の配列L、…の並び方向が縦方向であっても、「横書き」として特定される。
つまり、通常の人間が認識する「縦書き」と「横書き」の判断を、特定部4bは、個々の文字方向の自動認識処理と、複数の文字の並び方向の自動認識処理と、個々の文字方向と複数の文字の並び方向との組み合わせに応じた「縦書き」と「横書き」との自動判定処理とによって行う。
なお、上記した文字の並び方向は一例であってこれに限られるものではなく、適宜任意に変更可能である。
具体的には、撮像部1により撮像された被写体が文字を有するテキストである場合、特定部4bは、第2認識部b2により認識された複数の文字の集合Gを他の被写体構成部と区切る区切り部Kに基づいて、複数の被写体構成部の位置に関連する規則性を特定する。
例えば、特定部4bは、図3に示すように、第2認識部b2により認識された行間の空白K1及び区切り線K2を基準として、複数の被写体構成部の位置に関連する規則性を「縦書き」として特定する。
なお、上記した行間の空白K1や区切り線K2は一例であってこれらに限られるものではなく、適宜任意に変更可能である。
図9は、撮像処理に係る動作の一例を示すフローチャートである。なお、本実施形態2の撮像処理は、以下に説明する以外の点で上記実施形態1及び変形例の撮像処理と略同様であり、その詳細な説明は省略する。
なお、ここでの範囲変化方向の手ぶれ補正を抑制する処理として、当該範囲変化方向の手ぶれ補正を行わないように禁止する処理を例示するが、当該範囲変化方向の手ぶれ補正の強度を他の方向に対して相対的に弱くする処理を行ってもよい。
ここで、一区画とは、テキストの画像データに含まれる所定の塊であり、例えば、図3に示すように、複数の文字の集合G1の1行目から9行目からなる一段落(○○○計算機は、…発売いたします。)等である。
先ず、特定部4bは、テキストの画像データの文字配列が行末まで表示されているか否かを判定する(ステップS51)。具体的には、特定部4bは、複数の文字の配列L、…の下端側L2が表示されているか否かを判定する(図4(a)参照)。
ステップS51にて、テキストの画像データの文字配列が行末まで表示されていると判定されると(ステップS51;Yes)、特定部4bは、テキストの画像データの一区画が全て表示されているか否かを判定する(ステップS52)。
なお、ここでの手ぶれ補正に係る補正制御部5bによるステージ駆動部5aの制御は、実際に手ぶれが検出される前に行われても良い。つまり、手ぶれが検出された場合に、当該手ぶれの方向に応じて手ぶれ補正を禁止したり実行するのではなく、ユーザによる撮像範囲の意図的な変化がないものとして、表示部8により表示されている画面を固定するように手ぶれ補正の方向を特定していることから、手ぶれの検出の有無に拘わらず、補正制御部5bは、直ちに上下方向及び左右方向に手ぶれ補正の制御を行っても良い。
続いて、補正制御部5bは、予測部4cにより予測された範囲変化方向に直交する方向を所定量の手ぶれ補正を行う方向として特定する(ステップS55)。これにより、補正制御部5bによって、抑制制御部5cにより禁止された方向には手ぶれ補正が行われず、禁止されていない方向、即ち、予測された範囲変化方向に対する直交方向(範囲変化方向と異なる方向)にのみ所定量の手ぶれ補正が行われる。
なお、ここでの手ぶれ補正に係る補正制御部5bによるステージ駆動部5aの制御は、上記の画面を固定するような手ぶれ補正と同様に手ぶれの検出前に行われても良いし、実際に手ぶれが検出されてから行われても良い。
次に、範囲変化量検出部4dは、補正制御部5bによる手ぶれ量及び手ぶれの方向の算出結果を利用して、撮像部1による撮像範囲が変化した変化量を検出した後、判定部4eは、範囲変化量検出部4dにより検出された変化量が所定値以上であるか否かを判定する(ステップS201)。このとき、範囲変化量検出部4dは、予測部4cにより予測された範囲変化方向と異なる方向に撮像部1による撮像範囲が変化した変化量を検出するようにしてもよい。
一方、ステップS201にて、撮像部1による撮像範囲が変化した変化量が所定値以上であると判定されると(ステップS201;Yes)、補正制御部5bは、全ての方向に対する手ぶれ補正を解除する(ステップS203)。その後、装置本体の移動が停止すると(ステップS204)、中央制御部10のCPUは、処理をステップS1に移行し、それ以降の処理の実行を制御する。
なお、ステップS31にて、テキストを構成する複数の文字の位置に関連する規則性を特定する処理は、表示部8に表示される画像の拡大のキャンセル指示が入力された場合に行い、それ以外の場合には、当該処理をスキップしても良い。また、ステップS4は、表示部8に表示される画像の拡大倍率の再設定指示が入力された場合に行い、それ以外の場合には当該処理をスキップしても良い。ステップS5は、ステップS31にてテキストを構成する複数の文字の位置に関連する規則性の再特定や、ステップS4にて表示部8に表示される画像の拡大倍率の再設定が行われた場合に行い、それ以外の場合には、当該処理をスキップしても良い。
特に、例えば、予め予測されている範囲変化方向とは異なる方向にユーザによるページめくり等が行われ、被写体に対して撮像部1による撮像範囲の相対的な位置が大きく変化した場合に、全ての方向に対する手ぶれ補正を解除することで、ユーザによる意図的な当該装置本体の動作に対応させるように手ぶれ補正が解除された表示画像、即ち、表示内容の切り替えが迅速に表現された画像を表示部8に表示することができる。
例えば、上記実施形態1、2並びに変形例では、予測部4cは、撮像部1により撮像された撮像範囲内の文字の集合Gの位置を基準として、当該テキストの撮像部1による撮像範囲の外側であって、テキストを文字の集合Gとともに構成し当該文字の集合Gと関連する文字の存する方向と、複数の文字の並び方向(文字の配列L)とに基づいて、被写体の撮像範囲が連続的に変化する範囲変化方向を予測するようにしたが、予測部4cによる被写体の撮像範囲が連続的に変化する範囲変化方向の予測方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、予測部4cは、テキストを構成する複数の文字の集合Gの位置を基準として、当該テキストの撮像部1による撮像範囲の外側であって、テキストを文字の集合Gとともに構成し文字の集合Gと関連する文字の存する方向を、被写体の撮像範囲が連続的に変化する範囲変化方向として予測しても良い。例えば、予測部4cは、撮像部1による撮像範囲の内側に有する3段(上段G1、中段G2及び下段G3;図3参照)のテキストを構成する複数の文字の集合Gの位置に基づいて、図4(a)に示すように、撮像部1による撮像範囲の外側に複数の文字の集合Gと関連する文字の存する方向(図中、白抜きの矢印で示す)を範囲変化方向として予測しても良い。
このような構成としても、テキストを構成する文字が認識できない場合であっても、当該テキストを構成する区切り部Kの位置を考慮して、撮像部1により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向、即ち、ユーザが意図的に当該装置本体をテキストに対して変位させる方向の予測を適正に行うことができる。
即ち、抑制制御部5cは、拡大手段による拡大率が所定の値以上の拡大率で拡大された被写体の画像データに被写体構成部としての文字が含まれる場合に、予測部4cにより予測された範囲変化方向の補正制御部5bによる手ぶれ補正を抑制するようにしても良い。
この場合には、ユーザにより所定の動作モードの設定等の操作が不要となり、所定の値以上の拡大率で拡大された被写体の画像データに被写体構成部としての文字が含まれる場合に、自動的に範囲変化方向の補正制御部5bによる手ぶれ補正を抑制することができる。
このような構成としても、上記実施形態1、2並びに変形例と同様に、被写体の撮像範囲が連続的に変化する範囲変化方向を基準として、手ぶれ補正を行う方向を自動的に制御することができる。従って、被写体の撮像の際に、ユーザによる意図的な被写体の位置に対する撮像部1の変位を考慮して手ぶれ補正を行う方向やその強度を適正に決定することができ、効果的な手ぶれ補正を自動的に行うことができる。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、補正処理ルーチン、特定処理ルーチン、予測処理ルーチン、抑制処理ルーチンを含むプログラムを記憶しておく。そして、補正処理ルーチンにより中央制御部10のCPUを、撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部10のCPUを、撮像手段により撮像された被写体の画像データに基づいて、被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段として機能させるようにしても良い。また、予測処理ルーチンにより中央制御部10のCPUを、特定手段により特定された規則性に基づいて、撮像手段により撮像される被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段として機能させるようにしても良い。また、抑制処理ルーチンにより中央制御部10のCPUを、予測手段により予測された範囲変化方向の補正手段による手ぶれ補正を抑制する抑制手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段と、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段と、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段と、
を備えたことを特徴とする手ぶれ補正装置。
<請求項2>
前記撮像手段により逐次撮像される被写体の画像データを逐次表示する表示手段を更に備え、
前記特定手段は、前記表示手段により被写体の画像データを逐次表示している最中に、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を逐次特定し、
前記予測手段は、前記特定手段により逐次特定される前記規則性に基づいて、前記予測される範囲変化方向の変化を逐次検出し、
前記抑制手段は、前記予測手段により逐次検出される前記範囲変化方向の変化に応じて前記補正手段による手ぶれ補正を抑制する方向を逐次変化させることを特徴とする請求項1に記載の手ぶれ補正装置。
<請求項3>
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記特定手段は、更に、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する複数の文字の集合、当該複数の文字の配列及び前記複数の文字の集合を他の被写体構成部と区切る区切り部のうちの少なくとも何れか一を基準として前記規則性を特定することを特徴とする請求項1又は2に記載の手ぶれ補正装置。
<請求項4>
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する文字を認識する第1認識手段を更に備え、
前記特定手段は、
前記第1認識手段により認識された文字に係る当該複数の文字の集合及び当該複数の文字の配列のうちの少なくとも一方を基準として、前記規則性を特定することを特徴とする請求項1〜3の何れか一項に記載の手ぶれ補正装置。
<請求項5>
前記予測手段は、更に、
前記特定手段により特定された前記複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項3又は4に記載の手ぶれ補正装置。
<請求項6>
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向を、前記範囲変化方向として予測することを特徴とする請求項5に記載の手ぶれ補正装置。
<請求項7>
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向と、前記複数の文字の並び方向とに基づいて、前記範囲変化方向を予測することを特徴とする請求項5に記載の手ぶれ補正装置。
<請求項8>
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成し、前記複数の文字の集合を他の被写体構成部と区切る区切り部を認識する第2認識手段を更に備え、
前記特定手段は、
前記第2認識手段により認識された前記区切り部を基準として、前記規則性を特定することを特徴とする請求項1〜7の何れか一項に記載の手ぶれ補正装置。
<請求項9>
前記予測手段は、更に、
前記特定手段により特定された前記区切り部を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項8に記載の手ぶれ補正装置。
<請求項10>
前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成する前記区切り部の存する方向を、前記範囲変化方向として予測することを特徴とする請求項9に記載の手ぶれ補正装置。
<請求項11>
前記予測手段により予測された前記範囲変化方向と異なる方向に前記撮像手段による撮像範囲が変化した変化量を検出する検出手段と、
この検出手段により検出された変化量が所定の値以上であるか否かを判定する判定手段とを更に備え、
前記補正手段は、
前記判定手段により前記変化量が所定の値以上であると判定された場合に、前記変化量が所定の値以上でない場合よりも前記範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くすることを特徴とする請求項1〜10の何れか一項に記載の手ぶれ補正装置。
<請求項12>
前記抑制手段は、更に、
拡大手段による拡大率が所定の値以上の拡大率で拡大された被写体の画像データに前記被写体構成部としての文字が含まれる場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項1〜11の何れか一項に記載の手ぶれ補正装置。
<請求項13>
被写体の画像データを所定の拡大率で拡大して表示手段に表示する動作モードを設定する設定手段を更に備え、
前記抑制手段は、
前記設定手段により前記動作モードが設定された場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項1〜11の何れか一項に記載の手ぶれ補正装置。
<請求項14>
前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記動作モードは、前記テキストの画像データを所定の拡大率で拡大して前記表示手段に表示するテキスト表示モードを含み、
前記抑制手段は、
前記設定手段により前記テキスト表示モードが設定された場合に、前記特定手段により特定された前記テキストを構成する複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項13に記載の手ぶれ補正装置。
<請求項15>
前記抑制手段により前記範囲変化方向の手ぶれ補正が抑制された状態で前記撮像手段により撮像された被写体の画像データを表示手段に出力する出力制御手段を更に備えることを特徴とする請求項1〜14の何れか一項に記載の手ぶれ補正装置。
<請求項16>
手ぶれ補正装置を用いた手ぶれ補正方法であって、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う処理と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する処理と、
特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する処理と、
予測された前記範囲変化方向の手ぶれ補正を抑制する処理と、
を含むことを特徴とする手ぶれ補正方法。
<請求項17>
手ぶれ補正装置のコンピュータを、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段、
として機能させることを特徴とするプログラム。
1 撮像部
4 画像処理部
4b 特定部
b1 第1認識部
b2 第2認識部
4c 予測部
4d 範囲変化量検出部
4e 判定部
5 手ぶれ補正部
5b 補正制御部
5c 抑制制御部
7 出力制御部
8 表示部
9 操作入力部
10 中央制御部
Claims (17)
- 撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段と、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段と、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段と、
を備えたことを特徴とする手ぶれ補正装置。 - 前記撮像手段により逐次撮像される被写体の画像データを逐次表示する表示手段を更に備え、
前記特定手段は、前記表示手段により被写体の画像データを逐次表示している最中に、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を逐次特定し、
前記予測手段は、前記特定手段により逐次特定される前記規則性に基づいて、前記予測される範囲変化方向の変化を逐次検出し、
前記抑制手段は、前記予測手段により逐次検出される前記範囲変化方向の変化に応じて前記補正手段による手ぶれ補正を抑制する方向を逐次変化させることを特徴とする請求項1に記載の手ぶれ補正装置。 - 前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記特定手段は、更に、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する複数の文字の集合、当該複数の文字の配列及び前記複数の文字の集合を他の被写体構成部と区切る区切り部のうちの少なくとも何れか一を基準として前記規則性を特定することを特徴とする請求項1又は2に記載の手ぶれ補正装置。 - 前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成する文字を認識する第1認識手段を更に備え、
前記特定手段は、
前記第1認識手段により認識された文字に係る当該複数の文字の集合及び当該複数の文字の配列のうちの少なくとも一方を基準として、前記規則性を特定することを特徴とする請求項1〜3の何れか一項に記載の手ぶれ補正装置。 - 前記予測手段は、更に、
前記特定手段により特定された前記複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項3又は4に記載の手ぶれ補正装置。 - 前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向を、前記範囲変化方向として予測することを特徴とする請求項5に記載の手ぶれ補正装置。 - 前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成し当該文字の集合と関連する文字の存する方向と、前記複数の文字の並び方向とに基づいて、前記範囲変化方向を予測することを特徴とする請求項5に記載の手ぶれ補正装置。 - 前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記撮像手段により撮像された前記テキストの画像データに基づいて、当該テキストを構成し、前記複数の文字の集合を他の被写体構成部と区切る区切り部を認識する第2認識手段を更に備え、
前記特定手段は、
前記第2認識手段により認識された前記区切り部を基準として、前記規則性を特定することを特徴とする請求項1〜7の何れか一項に記載の手ぶれ補正装置。 - 前記予測手段は、更に、
前記特定手段により特定された前記区切り部を基準とする前記規則性に基づいて、前記範囲変化方向を予測することを特徴とする請求項8に記載の手ぶれ補正装置。 - 前記予測手段は、更に、
前記テキストを構成する複数の文字の集合の位置を基準として、前記テキストの前記撮像手段による撮像範囲の外側であって、前記テキストを前記文字の集合とともに構成する前記区切り部の存する方向を、前記範囲変化方向として予測することを特徴とする請求項9に記載の手ぶれ補正装置。 - 前記予測手段により予測された前記範囲変化方向と異なる方向に前記撮像手段による撮像範囲が変化した変化量を検出する検出手段と、
この検出手段により検出された変化量が所定の値以上であるか否かを判定する判定手段とを更に備え、
前記補正手段は、
前記判定手段により前記変化量が所定の値以上であると判定された場合に、前記変化量が所定の値以上でない場合よりも前記範囲変化方向と異なる方向の手ぶれ補正の強度を相対的に弱くすることを特徴とする請求項1〜10の何れか一項に記載の手ぶれ補正装置。 - 前記抑制手段は、更に、
拡大手段による拡大率が所定の値以上の拡大率で拡大された被写体の画像データに前記被写体構成部としての文字が含まれる場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項1〜11の何れか一項に記載の手ぶれ補正装置。 - 被写体の画像データを所定の拡大率で拡大して表示手段に表示する動作モードを設定する設定手段を更に備え、
前記抑制手段は、
前記設定手段により前記動作モードが設定された場合に、前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項1〜11の何れか一項に記載の手ぶれ補正装置。 - 前記被写体は、前記被写体構成部としての文字を有するテキストを含み、
前記動作モードは、前記テキストの画像データを所定の拡大率で拡大して前記表示手段に表示するテキスト表示モードを含み、
前記抑制手段は、
前記設定手段により前記テキスト表示モードが設定された場合に、前記特定手段により特定された前記テキストを構成する複数の文字の集合及び前記複数の文字の配列のうちの少なくとも一方を基準とする前記規則性に基づいて前記予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制することを特徴とする請求項13に記載の手ぶれ補正装置。 - 前記抑制手段により前記範囲変化方向の手ぶれ補正が抑制された状態で前記撮像手段により撮像された被写体の画像データを表示手段に出力する出力制御手段を更に備えることを特徴とする請求項1〜14の何れか一項に記載の手ぶれ補正装置。
- 手ぶれ補正装置を用いた手ぶれ補正方法であって、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う処理と、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する処理と、
特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する処理と、
予測された前記範囲変化方向の手ぶれ補正を抑制する処理と、
を含むことを特徴とする手ぶれ補正方法。 - 手ぶれ補正装置のコンピュータを、
撮像手段により逐次撮像される被写体の画像データに生じる手ぶれを補正する手ぶれ補正を逐次行う補正手段、
前記撮像手段により撮像された前記被写体の画像データに基づいて、前記被写体を構成する複数の被写体構成部の位置に関連する規則性を特定する特定手段、
この特定手段により特定された前記規則性に基づいて、前記撮像手段により撮像される当該被写体の撮像範囲が連続的に変化する範囲変化方向を予測する予測手段、
この予測手段により予測された前記範囲変化方向の前記補正手段による手ぶれ補正を抑制する抑制手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011182286A JP5845719B2 (ja) | 2011-08-24 | 2011-08-24 | 手ぶれ補正装置、手ぶれ補正方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011182286A JP5845719B2 (ja) | 2011-08-24 | 2011-08-24 | 手ぶれ補正装置、手ぶれ補正方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013046192A true JP2013046192A (ja) | 2013-03-04 |
JP2013046192A5 JP2013046192A5 (ja) | 2014-09-18 |
JP5845719B2 JP5845719B2 (ja) | 2016-01-20 |
Family
ID=48009774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011182286A Expired - Fee Related JP5845719B2 (ja) | 2011-08-24 | 2011-08-24 | 手ぶれ補正装置、手ぶれ補正方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5845719B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006067391A (ja) * | 2004-08-27 | 2006-03-09 | Olympus Corp | ブレ補正装置 |
JP2008124787A (ja) * | 2006-11-13 | 2008-05-29 | Sanyo Electric Co Ltd | 手ぶれ補正装置及び方法並びに撮像装置 |
JP2010267050A (ja) * | 2009-05-14 | 2010-11-25 | Sharp Corp | 画像処理装置、画像処理方法及びプログラム |
-
2011
- 2011-08-24 JP JP2011182286A patent/JP5845719B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006067391A (ja) * | 2004-08-27 | 2006-03-09 | Olympus Corp | ブレ補正装置 |
JP2008124787A (ja) * | 2006-11-13 | 2008-05-29 | Sanyo Electric Co Ltd | 手ぶれ補正装置及び方法並びに撮像装置 |
JP2010267050A (ja) * | 2009-05-14 | 2010-11-25 | Sharp Corp | 画像処理装置、画像処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5845719B2 (ja) | 2016-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8253812B2 (en) | Video camera which adopts a focal-plane electronic shutter system | |
JP2008078945A (ja) | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム | |
CN108156365B (zh) | 摄像装置、摄像方法以及记录介质 | |
KR101441786B1 (ko) | 피사체 판정 장치, 피사체 판정 방법, 및 기록 매체 | |
US9210326B2 (en) | Imaging apparatus which controls display regarding capturing, imaging method, and storage medium | |
JP2008160300A (ja) | 画像処理装置及び撮像装置 | |
US8970711B2 (en) | Imaging apparatus for correcting distortion in image captured using rolling shutter method and distortion correction method | |
US20110311159A1 (en) | Image processing apparatus, image processing method, and recording medium recording a program | |
JP5436116B2 (ja) | 画像処理装置、撮像装置、及び制御方法 | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
JP5845719B2 (ja) | 手ぶれ補正装置、手ぶれ補正方法及びプログラム | |
JP4807623B2 (ja) | 撮像装置、撮像方法及び撮像プログラム | |
JP5621265B2 (ja) | 手ぶれ補正装置、撮像処理方法及びプログラム | |
US9710897B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
CN113965704A (zh) | 控制设备、控制方法和程序 | |
JP6016546B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP5979040B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5404238B2 (ja) | 撮像装置 | |
CN106464783B (zh) | 图像拾取控制设备、图像拾取设备和图像拾取控制方法 | |
JP2010010881A (ja) | 撮影装置および画像中のモアレ有無の告知方法 | |
US20140078161A1 (en) | Image processing device for scrolling display of an image | |
US20160350924A1 (en) | Image capturing apparatus and image processing method | |
JP2009033498A (ja) | 光学歪み補正装置とその方法及びプログラム並びに撮像装置 | |
JP5338248B2 (ja) | 画像処理装置、電子カメラおよび画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140804 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150630 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5845719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |