JP2005039530A

JP2005039530A - 撮像装置

Info

Publication number: JP2005039530A
Application number: JP2003274613A
Authority: JP
Inventors: Hirobumi Nomura; 博文野村; Masamitsu Nakamura; 真備中村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-07-15
Filing date: 2003-07-15
Publication date: 2005-02-10
Anticipated expiration: 2023-07-15
Also published as: CN1578415A; US20050030385A1; JP3867691B2; EP1499115A2; CN1312911C; US7545408B2; KR20050008483A; EP1499115A3

Abstract

【課題】画像信号を累積加算してメモリに記憶する手段を備えた撮像装置において、手振れ補正が不十分な画像信号の累積加算を防止し、メモリに記憶される画像信号の画質を向上させる撮像装置を提供する。
【解決手段】撮像部の手振れによる振動量を検出し、検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、手振れ検出手段から出力された手振れ信号に応じて算出する手振れ補正量に基づいて撮像部で撮影した画像信号を補正する手振れ補正手段と、画像信号を記録するときの記録画像サイズを設定する記録画像サイズ設定手段と、画像信号の手振れを補正する手振れ補正量の最大値を算出する最大補正量算出手段と、メモリに累積加算する画像信号の判別処理を行う画像判別手段と、補正した画像信号の累積加算処理を制御する累積加算制御手段と、を具備する。
【選択図】図１

Description

本発明は、撮像装置に関するものである。詳しくは、手振れ補正が不十分な画像信号の累積加算を防止し、メモリに記憶される画像信号の画質を向上させる撮像装置に関するものである。

従来技術において、デジタルスチルカメラやビデオカメラなど、画像を撮影、記録することができる撮像装置では、撮影者の手振れによる振動によって撮影する画像がブレたり、記録した画像が劣化（滲んだり、ずれたり）することを防ぐための手振れ防止技術が種々考案されている。

例えば、所定期間もしくは所定回数の間に取り込んだ画像（静止画）から撮影時のぶれ量を検出し、ぶれ量が最も小さい画像（静止画）を記録する撮像装置などが考案されている（例えば、特許文献１）。
特開平１１−３１７９０４号公報（第１１−１２頁、図１、図２６）

しかしながら、撮影した画像信号を累積加算してメモリに記憶するような撮像装置では、本来、図７（ａ）に示すように、手振れを補正するための補正量の最大値（以下、最大補正量）を十分に確保し、手振れを完全に補正して累積加算できるようにすることが望ましいが、実際には、図７（ｂ）のように、最大補正量を超える画像信号は、最大補正量までの手振れ補正しか為されずに累積加算されてしまうため、滲んだり、重複（ずれたり）した状態の画像がメモリに記憶されてしまう。

また、画像信号の記録サイズ（以下、記録画像サイズ）を予め設定するため、撮像素子によって撮影可能な範囲（以下、有効画像サイズ）に対して、設定する記録画像サイズが大きいと、手振れ補正可能な範囲（以下、補正範囲）が小さくなり、比較的小さい手振れ振動でも、補正範囲の端部に当たってしまう。

この補正範囲の端部（以下、補正端）で補正される画像信号は、図７（ｂ）の直線部に相当する画像信号であり、手振れ補正の処理が不十分であるため、このような補正端で補正された画像信号が累積加算されると、滲んだり、重複（ずれたり）した状態の画像がメモリに記憶されてしまうという問題がある。

従って、画像信号を累積加算してメモリに記憶する手段を備えた撮像装置において、手振れ補正が不十分な画像信号の累積加算を防止し、メモリに記憶される画像信号の画質を向上させる（Ｓ／Ｎ比を向上させる）ことに解決しなければならない課題を有する。

前記課題を解決するため、本発明に係る撮像装置は次のような構成にすることである。

（１）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部の手振れによる振動量を検出し、該検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、前記手振れ検出手段から出力された手振れ信号に応じて算出する手振れ補正量に基づいて前記撮像部で撮影した画像信号を補正する手振れ補正手段と、前記画像信号を記録するときの記録画像サイズを設定する記録画像サイズ設定手段と、前記記録画像サイズ設定手段で設定する記録画像サイズと前記撮像部の撮像素子において撮像可能な範囲である有効画像サイズとに基づき、前記画像信号の手振れを補正する手振れ補正量の最大値を算出する最大補正量算出手段と、前記手振れ補正手段で算出される手振れ補正量と前記最大補正量算出手段で算出した手振れ補正量の最大値とを比較し、前記メモリに累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、を具備していることを特徴とする撮像装置。

（２）撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、前記撮像部の手振れによる振動量を検出し、該検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、前記手振れ検出手段から出力された手振れ信号に応じて算出する手振れ補正量に基づいて前記撮像部で撮影した画像信号を補正する手振れ補正手段と、前記画像信号を記録するときの記録画像サイズを設定する記録画像サイズ設定手段と、前記記録画像サイズ設定手段で設定する記録画像サイズと前記撮像部の撮像素子において撮像可能な範囲である有効画像サイズとに基づき、前記画像信号の手振れを補正する手振れ補正量の最大値を算出する最大補正量算出手段と、前記手振れ補正手段で算出される手振れ補正量と前記最大補正量算出手段で算出した手振れ補正量の最大値とを比較し、前記メモリに累積加算する画像信号の判別処理を行う画像判別手段と、前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、を具備していることを特徴とする撮像装置。

このような構成の撮像装置により、記録画像サイズ設定手段で設定した記録画像サイズ及び撮像部の撮像素子において撮像可能な範囲である有効画像サイズに基づいて算出する手振れ補正量の最大値と、手振れ補正手段で算出される手振れ補正量とを比較して、手振れ補正手段で補正した画像信号の累積加算処理を制御するので、手振れ補正可能な範囲内において適切に補正された画像信号のみを累積加算してメモリに記憶することができる。

設定した記録画像サイズと撮像部の撮像素子において撮像可能な範囲である有効画像サイズとに基づいて算出する手振れ補正量の最大値（以下、最大補正量）と、撮像部の手振れ振動量に基づいて算出される手振れ補正量とを比較し、最大補正量より小さい手振れ補正量で補正した画像信号のみを累積加算してメモリに記憶することにより、補正処理が不十分な画像信号（補正端に当たり、最大補正量で補正処理されたような画像信号）は累積加算されず、適正に補正処理された画像信号のみを累積加算するので、メモリに記憶する画像信号の画質（Ｓ／Ｎ比）が向上するという優れた効果を得ることができる。

また、設定した記録画像サイズに基づいて最大補正量が算出するので、有効画像サイズに対して記録画像サイズが大きい場合、即ち、手振れ補正する範囲が小さい場合であっても、適正に補正処理された画像信号のみを累積加算し、メモリに記憶する画像信号の画質（Ｓ／Ｎ比）が向上するという優れた効果を得ることができる。

更に、上述したメモリに記憶してある画像信号を累積加算の回数に応じた係数値で乗算処理して出力するので、画質（Ｓ／Ｎ比）のよい画像信号（静止画像）を記録媒体や記録装置に記録することができる。

次に、本発明の撮像装置による実施の形態について図面を参照して説明する。但し、図面は専ら解説のためのものであって、本発明の技術的範囲を限定するものではない。

図１は、本発明の撮像装置において主要となる構成を簡略化して示したブロック図であり、撮像部１１０、補正回路１２０、累積加算回路１３０、乗算器１４０、記録部１５０、マイコン１６０、手振れ検出部１７０、ＵＩ（ユーザインターフェイス）部１８０などから構成される。

撮像部１１０は、レンズ及びＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などの撮像素子、信号処理回路などを備えており、レンズを介して入力される被写体からの光を撮像素子で画像信号に変換し、信号処理回路でこの画像信号に所定の信号処理を施して補正回路１２０に送出する。

補正回路１２０は、マイコン１６０から指定された補正ベクトル・データに基づいて、撮像部１１０から送られてくる画像信号を補正し、累積加算回路１５０に送出する。

累積加算回路１３０は、図２に示すような、加算器１３１、メモリ１３２、スイッチ１３３を具備しており、マイコン１６０の制御に従い、キャプチャを行うたびに、補正回路１２０から送られてくる画像信号を時間軸方向に累積加算してメモリ１３２に記憶する。

累積加算回路１３０の加算器１３１は、補正回路１２０から出力された画像信号とメモリ１３２に記憶している画像信号とを加算処理して出力し、メモリ１３２は、スイッチ２０５がオンのとき、加算器１３１から出力された画像信号を記憶し、補正回路１２０からの画像信号が入力されると記憶した画像信号を加算器１３１に送出する。また、スイッチ１３３は、マイコン１６０の制御に従い、手振れ検出部１７０の手振れ信号に応じてオン／オフされ、オンのときに加算器１３１の出力（画像信号）をメモリ１３２に送る。

乗算器１４０は、マイコン１６０の制御に従い、累積加算回路１３０から出力される画像信号をマイコン１６０で指定された係数値に基づいて乗算処理して記録部１５０に出力する。

記録部１５０は、マイコン１６０の制御に従い、乗算器１４０から出力された画像信号を記録する。例えば、ハードディスク装置やメモリカード、磁気テープ、光ディスクなどの記録媒体に画像信号を記録する。

マイコン１６０は、予め記憶してあるプログラムやデータなどに基づいて撮像装置内の各部、各回路の制御を行う。

例えば、手振れ検出部１７０で検出された手振れ信号に基づいて手振れを補正するための手振れ補正量や補正ベクトル・データを算出して補正回路１２０に送出する。

また、撮像部１１０の撮像素子で撮像可能な範囲の大きさとＵＩ部１８０により設定される記録画像サイズに基づいて手振れ補正量の最大値（以下、最大補正量）を算出し、算出した最大補正量と手振れ補正量に基づいて累積加算回路１３０を制御する。

更に、乗算器１４０に対する係数値を算出して送出したり、画像信号を記録部１５０に記録するときのタイミングの制御なども行う。

手振れ検出部１７０は、撮像部１１０の手振れによる振動量を検出し、検出した振動量を手振れ信号としてマイコン１６０に送る。なお、手振れ信号の検出は、ジャイロセンサや画像認識技術などを利用して行われ、画像信号をキャプチャする（取り込む）毎に手振れによる振動量を積分した値を手振れ信号として検出し、マイコン１８０に送出する。

例えば、図３に示すような完全積分を表す積分器において、入力信号Ｘ（ｚ）、出力信号Ｙ（ｚ）とした場合、手振れ信号は、次式で表すことができる。

Ｙ（ｚ）＝１／｛（１−Ｚ^−１）・Ｘ（ｚ）｝

ＵＩ（ユーザインターフェイス）部１８０は、ユーザの操作に応じてマイコン１６０に所定の設定・動作を実行するように制御信号を送る。

ここで、最大補正量の算出方法について、図４を参照しながら説明する。

図４は、撮像部１１０の撮像素子により撮像可能な範囲を示す有効画像領域（有効画像サイズ）と、記録部１５０に記録するときの画像サイズを示す実効画像領域（記録画像サイズ）の関係を示すものである。

ここで、有効画像領域の縦方向の長さをｂｈ、横方向の長さをｂｗとし、実効画像領域の縦方向の長さａｈ、横方向の長さをａｗとした場合、例えば、手振れの補正を行わない状態では、実効画像領域は有効画像領域の中央に配置される。このような状態における最大補正量は、次式によって算出することができる。

縦方向の補正量：ｓｈ＝（ｂｈ − ａｈ）／２
横方向の補正量：ｓｗ＝（ｂｗ − ａｗ）／２
但し、ｂｈ≧ａｈ、ｂｗ≧ａｗ

このような構成の撮像装置における動作フローを図５のフローチャートを参照しながら説明する。

撮影を開始すると、まず、マイコン１６０は、キャプチャした画像信号の数（以下、キャプチャ数）をカウントするキャプチャカウンタ（以下、ＣＣという）の値が「０」であるか否かを判定する（ＳＴ１１０）。

ＣＣが「０」のとき、マイコン１６０は、補正回路１２０に対する補正量を「０」にクリアする（ＳＴ１１１）。

続いて、累積加算回路１３０のスイッチ１３３をオンにして、撮像部１１０で撮影した画像信号をキャプチャしてメモリ１２３に累積加算して記憶する（ＳＴ１１２、ＳＴ１１３）。

これにより、まず、基準となる最初の画像信号が累積加算回路１３０のメモリ１３２に記憶される。これは、最初の画像信号の補正量は「０」にクリアされており、最大補正量を超えることがなく、これ以降にキャプチャされる画像信号において、手振れの補正量が常に最大補正量を超えているような場合に、画像信号が全くキャプチャされないことを防止する。

そして、マイコン１６０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ１１４、ＳＴ１１５→エンド）。

一方、ＣＣが「０」でないとき、累積加算回路１３０にはキャプチャされた画像信号が累積加算されている状態にあり、マイコン１６０は、次に、ＣＣの値が予め設定されたキャプチャ数の最大値（以下、ＣＣmax）以上であるか否かを判別する（ＳＴ１１０→ＳＴ１２０）。

ここで、ＣＣの値が最大値ＣＣmax以上（ＣＣ≧ＣＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ１２０→ＳＴ１３０→・・・）。

一方、ＣＣの値が最大値ＣＣmaxより小さい（ＣＣ＜ＣＣmax）とき、マイコン１６０は、ＴＣの値が所定の設定時間（以下、ＴＣmax）以上であるか否かを判別する（ＳＴ１２０→ＳＴ１２１）。

ここで、ＴＣの値が設定時間ＴＣmax以上（ＴＣ≧ＴＣmax）のときは、画像信号を記録部１５０へ記録するための処理へ移行する（ＳＴ１２１→ＳＴ１３０→・・・）。

一方、ＴＣの値が設定時間ＴＣmaxより小さい（ＴＣ＜ＴＣmax）とき、マイコン１６０は、手振れ検出部１７０からの手振れ信号に基づいて手振れ補正量を算出し、この手振れ補正量に基づいて補正ベクトル・データを算出して補正回路１２０に送り、補正回路１２０では、この補正ベクトル・データに基づいて撮像部１１０から送られてくる画像信号を補正する（ＳＴ１２１→ＳＴ１２２）。

続いて、マイコン１６０は、算出した手振れ補正量の絶対値と撮像素子のサイズとＵＩ部１８０により設定した記録画像サイズに基づいて算出した最大補正量とを比較する（ＳＴ１２２→ＳＴ１２３）。

手振れ補正量の絶対値が最大補正量以下の場合、累積加算回路１３０のスイッチ１３３をオンにして、メモリ１３２に補正回路１２０からの画像信号を累積加算して記憶する（ＳＴ１２３→ＳＴ１１２、ＳＴ１１３）。

次に、マイコン１６０は、ＣＣの値を１つ増加させ、更に、タイムカウンタ（以下、ＴＣという）の値を１つ増加させて処理を終了する（ＳＴ１１４、ＳＴ１１５→エンド）。

一方、手振れ補正量の絶対値が最大補正量を超えている場合、ＴＣの値を１つ増加させて処理を終了する（ＳＴ１２３→ＳＴ１１５→エンド）。

また、上述のステップ１２０において、ＣＣの値がＣＣmax以上（ＣＣ≧ＣＣmax）のとき、又は、上述のステップ１２１で、ＴＣの値がＴＣmax以上（ＴＣ≧ＴＣmax）のとき、累積加算回路１３０に記憶してある画像信号を記録部１５０へ記録するための処理を開始する。

まず、マイコン１６０は、ＣＣの値の逆数を所定の係数値として乗算器１４０に与える（ＳＴ１２０→ＳＴ１３０、又は、ＳＴ１２１→ＳＴ１３０）。

次に、乗算器１４０は、マイコン１６０から与えられた所定の係数値と累積加算回路１３０に累積加算されている画像信号とを乗算処理して記録部１５０に出力し、記録部１５０は乗算器１４０から出力された画像信号を所定の記録媒体（記録装置）に記録する（ＳＴ１３１）。

マイコン１６０は、記録部１５０に画像信号が記録されると、ＣＣの値をクリアし、続いて、ＴＣの値をクリアし、処理を終了する（ＳＴ１３２→ＳＴ１３３→エンド）。

図６は、上述した図５の動作フローに従って動作する撮像装置において、手振れ信号に基づいて算出した手振れ補正量と累積加算する画像信号との関係を略示的に示したグラフである。

図６のグラフにおいて、最大補正量未満の手振れ補正量によって補正した画像信号が実線、最大補正量以上の補正量によって補正した画像信号が点線に対応しており、補正端で補正された画像信号、即ち、最大補正量以上の補正量で補正された画像信号（図７の直線部に相当する画像信号）は累積加算されず、最大補正量未満で補正した画像信号のみが累積加算されてメモリに記憶されることになる。

本発明に係る撮像装置において主要となる構成を簡略化して示したブロック図示した図である。図１に示す累積加算回路の内部構成を簡略化して示したブロック図である。手振れ補正量の最大値（最大補正量）を算出する方法を説明するための説明図である。図１に示す手振れ検出部の動作を説明するための説明図である。図１に示す撮像装置の動作フローチャートである。図１に示す撮像装置において、画像信号に対する補正量と累積加算する画像信号との関係を説明するための説明図である。従来の撮像装置における画像信号に対する補正量と累積加算する画像信号との関係を説明するための説明図である。

符号の説明

１１０；撮像部
１２０；補正回路
１３０；累積加算回路
１３１；加算器
１３２；メモリ
１３３；スイッチ
１４０；乗算器
１５０；記録部
１６０；マイコン
１７０；手振れ検出部
１８０；ＵＩ部

Claims

撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
前記撮像部の手振れによる振動量を検出し、該検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、
前記手振れ検出手段から出力された手振れ信号に応じて算出する手振れ補正量に基づいて前記撮像部で撮影した画像信号を補正する手振れ補正手段と、
前記画像信号を記録するときの記録画像サイズを設定する記録画像サイズ設定手段と、
前記記録画像サイズ設定手段で設定する記録画像サイズと前記撮像部の撮像素子において撮像可能な範囲である有効画像サイズとに基づき、前記画像信号の手振れを補正する手振れ補正量の最大値を算出する最大補正量算出手段と、
前記手振れ補正手段で算出される手振れ補正量と前記最大補正量算出手段で算出した手振れ補正量の最大値とを比較し、前記メモリに累積加算する画像信号の判別処理を行う画像判別手段と、
前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
を具備していることを特徴とする撮像装置。
撮像部で撮影した画像信号を累積加算してメモリに記憶する手段を備えた撮像装置であって、
前記撮像部の手振れによる振動量を検出し、該検出した手振れ振動量に応じた手振れ信号を出力する手振れ検出手段と、
前記手振れ検出手段から出力された手振れ信号に応じて算出する手振れ補正量に基づいて前記撮像部で撮影した画像信号を補正する手振れ補正手段と、
前記画像信号を記録するときの記録画像サイズを設定する記録画像サイズ設定手段と、
前記記録画像サイズ設定手段で設定する記録画像サイズと前記撮像部の撮像素子において撮像可能な範囲である有効画像サイズとに基づき、前記画像信号の手振れを補正する手振れ補正量の最大値を算出する最大補正量算出手段と、
前記手振れ補正手段で算出される手振れ補正量と前記最大補正量算出手段で算出した手振れ補正量の最大値とを比較し、前記メモリに累積加算する画像信号の判別処理を行う画像判別手段と、
前記画像判別手段に従って前記手振れ補正手段で補正した画像信号の累積加算処理を制御する累積加算制御手段と、
前記累積加算制御手段による累積加算処理の回数に応じて算出した係数値と前記メモリに累積加算して記憶してある画像信号とを乗算処理して出力する画像出力手段と、
を具備していることを特徴とする撮像装置。