JP2007251574A - 撮影画像処理装置及び回転角算出方法記録媒体 - Google Patents

Abstract

【課題】複数個の加速度センサを用いることなく振れの補正を正確に行って撮影画像の処理を行う低コストの撮影画像処理装置、およびその撮影画像処理装置に備えるぶれ量算出方法記録媒体を提供する。
【解決手段】撮影画像を電気信号に変換する画像撮影手段１と、前記画像撮影手段１で電気信号に変換する画像信号を処理する信号処理手段２と、前記信号処理手段２で処理する画像データの振れの補正を行うぶれ量を置かれている姿勢により算出方法を使い分けて検出する３軸加速度検出手段３を備える。
【選択図】図１

Description

本発明は、撮影画像処理装置、およびその撮影画像処理装置に備える回転角算出方法記録媒体に関する。詳しくは、振れの補正を行って撮影画像の処理を行うビデオカメラ、通常のカメラやデジタルカメラ等の撮影画像処理装置、およびその撮影画像処理装置のぶれ量算出方法を記録した回転角算出方法記録媒体に関する。

従来の撮影画像処理装置のビデオカメラでは、時間的に連続した映像を撮影するので、ビデオカメラに手振れがあると再生画像が揺れて見づらいものになり撮影不良となる。また、通常のカメラやデジタルカメラでも、変倍比の大きい望遠レンズで撮影を行うような場合に手振れが撮影の妨げになり撮影不良となる。このような手振れによる撮影不良を防止するため、手振れによるカメラ態位の変化を検出し、検出された変化量に基づき手振れ補正が行われている。

そこで、手振れによるカメラ態位の変化を検出し、検出された変化量に基づき手振れ補正を行うのに、手振れによるカメラ態位の変化を検出する手振れ検出手段と、手振れ検出手段により検出された手振れ量に応じて手振れ補正を行う手振れ補正手段とを有するカメラにおいて、手振れ検出手段が、独立した３軸の内の少なくとも２軸に設けられた少なくとも２対の加速度センサ対と、これら加速度センサ対の出力に応じて、互いに直行する少なくとも２軸の周りの角加速度、角速度および角を演算する演算手段とを有し、各加速度センサ対の２つの加速度センサは、設けられた軸に直行する互いに同じ向きの加速度を検出するように配備して、加速度センサを用いて、手振れによるカメラ態位の変化の良好な検出を行うことも提案されている（特許文献１を参照）。

しかし、従来の撮影画像処理装置のビデオカメラ、通常のカメラやデジタルカメラ等において、手振れによる態位の変化を検出し、検出された変化量に基づき手振れ補正が行われているが、加速度センサを用いて回転角を検出するために複数個の加速度センサを用いる必要があり、コスト高になっていた。
特開２０００−８１６４６公報

従来の撮影画像処理装置のビデオカメラ、通常のカメラやデジタルカメラ等において、手振れによる態位の変化を検出し、検出された変化量に基づき手振れ補正が行われているが、加速度センサを用いて回転角を検出するために複数個の加速度センサを用いる必要があり、コスト高になるといった問題が発生していた。
そこで本発明の課題は、このような問題点を解決するものである。即ち、複数個の加速度センサを用いることなく振れの補正を正確に行って撮影画像の処理を行う低コストの撮影画像処理装置、およびその撮影画像処理装置に備える回転角算出方法記録媒体を提供することを目的とする。

上記目的を達成するために、請求項１に記載の本発明は、振れの補正を行って撮影画像の処理を行う撮影画像処理装置において、撮影画像を電気信号に変換する画像撮影手段と、前記画像撮影手段により電気信号に変換された画像信号を処理する信号処理手段と、前記信号処理手段で処理する画像データの振れの補正を行うぶれ量を置かれている姿勢により算出方法を使い分けて検出する３軸加速度検出手段と、を備えることを特徴とする。
又は、請求項２に記載の本発明は、請求項１に記載の撮影画像処理装置において、前記３軸加速度検出手段は、置かれている姿勢の各分類に対して予め定めた算出方法でぶれ量を検出する撮影画像処理装置であることを特徴とする。

又は、請求項３に記載の本発明は、請求項２に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、横位置撮影時の第１の姿勢である撮影画像処理装置であることを特徴とする。
又は、請求項４に記載の本発明は、請求項２又は３に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、縦位置撮影時の第２の姿勢である撮影画像処理装置であることを特徴とする。
又は、請求項５に記載の本発明は、請求項２、３又は４に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、うつ伏せ又は仰向け撮影時の第３の姿勢である撮影画像処理装置であることを特徴とする。

又は、請求項６に記載の本発明は、請求項１乃至５の何れか一項に記載の撮影画像処理装置において、前記３軸加速度検出手段は、置かれている姿勢の各分類に対して予め定めた算出方法で回転角を算出する撮影画像処理装置であることを特徴とする。
又は、請求項７に記載の本発明は、請求項６に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、横位置撮影時の第１の姿勢である撮影画像処理装置であることを特徴とする。
又は、請求項８に記載の本発明は、請求項６又は７に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、縦位置撮影時の第２の姿勢である撮影画像処理装置であることを特徴とする。

又は、請求項９に記載の本発明は、請求項６、７又は８に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、うつ伏せ又は仰向け撮影時の第３の姿勢である撮影画像処理装置であることを特徴とする。
又は、請求項１０に記載の本発明は、請求項１乃至９の何れか一項に記載の撮影画像処理装置において、前記３軸加速度検出手段でぶれ量を検出して振れの補正を行った画像データを表示する表示手段を備えている撮影画像処理装置であることを特徴とする。
又は、請求項１１に記載の本発明は、請求項１乃至１０の何れか一項に記載の撮影画像処理装置において、前記３軸加速度検出手段でぶれ量を検出して振れの補正を行った画像データを記録する記録手段を備えている撮影画像処理装置であることを特徴とする。

又は、請求項１２に記載の本発明は、撮影画像処理装置のぶれ量算出方法を記録した回転角算出方法記録媒体において、請求項１乃至１１の何れか一項に記載の前記３軸加速度検出手段によるぶれ量の算出方法を記録した回転角算出方法記録媒体であることを特徴とする。
又は、請求項１３に記載の本発明は、請求項１２に記載の回転角算出方法記録媒体において、前記３軸加速度検出手段による回転角の算出方法を記録した回転角算出方法記録媒体であることを特徴とする。

本発明によれば、複数個の加速度センサを用いることなく振れの補正を正確に行って撮影画像の処理を行う低コストの撮影画像処理装置、およびその撮影画像処理装置に備える回転角算出方法記録媒体を提供することが出来る。

以下に、本発明の実施形態を、図面を参照して詳細に説明する。
図１は、本発明の実施の形態例にかかる撮影画像処理装置１０の基本構成図である。
図２は、本発明の実施の形態例にかかる撮影画像処理装置１０の制御系の構成を示すブロック図である。
図１と図２において、振れの補正を行って撮影画像の処理を行う撮影画像処理装置１０は、撮影画像を電気信号に変換する画像撮影手段１と、画像撮影手段１で電気信号に変換する画像信号を処理する信号処理手段２と、信号処理手段２で処理する画像データの振れの補正を行うぶれ量を置かれている姿勢により算出方法を使い分けて検出する３軸加速度検出手段３を備えている。

画像撮影手段１においては、信号処理手段２のマイコン２０からの指示に従って撮影レンズ系機構部１１でフォーカスレンズ、補正レンズ、固定レンズ等で構成される撮影光学系６を動作させ、ＣＣＤ等のイメージャ（光電変換部）１２から得られた画像信号をＡ／Ｄ変換部１３にてデジタルデータに変換し、信号処理手段２に渡す。
信号処理手段２においては、イメージャ１２から得られた画像データから、必要に応じてＲＧＢ若しくはＹＵＶ形式の画像データの生成、画像データのリサイズ、画像の圧縮等の処理を行い、表示用および記録用の画像データを生成する。ここで、画像の圧縮方法については、可逆あるいは非可逆のいずれの方法を用いても良いが、圧縮の必要がなければ圧縮していない画像データを記録してもよい。表示用および記録用の画像データは、表示手段４の表示画面４０に表示して、記録手段５でメモリカードなどの記録媒体５０に記録する。
そして、一個の加速度センサである３軸加速度検出手段３から入力される加速度情報から、撮影画像処理装置１０全体の移動量、および移動方向を回転角算出方法記録媒体１００に記録されている算出方法で算出し、その結果を補償するように撮影光学系６の一部を動作させて振れの補正を行う。

次に、本発明の撮影画像処理装置１０において、３軸加速度検出手段３の加速度センサから入力される加速度情報から、撮影画像処理装置１０全体の移動量、および移動方向を算出し、その結果を補償するように撮影光学系６の一部を動作させて振れの補正を行う方法のうち、移動量、および移動方向の算出方法について説明する。
図３は、本発明の実施の形態例にかかる撮影画像処理装置１０の３軸加速度検出手段３の加速度センサの加速度検出方向と撮影画像処理装置１０の置かれている姿勢を示す図である。
図３において、図示の左側の図３（ａ）に３軸加速度検出手段３の加速度センサが検出可能な加速度の方向の光軸方向（Ｚ）、鉛直方向（重力方向Ｙ）、水平方向（Ｘ）を示す。

図示の右側の図３（ｂ）に撮影画像処理装置１０の置かれている３姿勢の横位置撮影時の第１の姿勢、縦位置撮影時の第２の姿勢、うつ伏せ又は仰向け撮影時の第３の姿勢を示している。
このうち、横位置撮影時の第１の姿勢に着目すると、これに対して光軸方向（Ｚ）、鉛直方向（重力方向Ｙ）、およびこれらと直交する水平方向（Ｘ）の、互いに直交する３軸の方向の加速度が検出可能となるよう配置するものとする。
縦位置撮影時の第２の姿勢は、光軸方向（Ｚ）は横位置撮影時の第１の姿勢と同じであるが、撮影画像処理装置１０の置かれている姿勢を光軸方向（Ｚ）に沿って９０度回転させた方向である。
うつ伏せ又は仰向け撮影時の第３の姿勢は、光軸方向（Ｚ）を鉛直方向（Ｙ）と一致することを特徴とする。なお、鉛直方向（Ｙ）は重力加速度の方向と一致するものとする。

図４は、本発明の実施の形態例にかかる撮影画像処理装置１０の回転による振れの発生する様子を示す図である。
図４において、振れが発生する主要因として知られている、撮影画像処理装置１０がわずかでも回転すると、イメージャ１２の撮像面上の同じ位置に結像される回転していない光軸６０から図示の回転した光軸６０にずれる。被写体が撮影画像処理装置１０の大きさに比べて十分遠距離にあるとし、回転角を（θ）、図示しない被写体までの距離を（Ｌ）とすると、結像される対象は凡そ（Ｌsinθ）だけ変化することになる。
このことは、回転角（θ）が微小であっても、被写体までの距離（Ｌ）が長くなるほど結果としてぶれ量が大きくなることを意味し、手振れに対して撮影画像処理装置１０の回転が支配的な影響を及ぼすことを示している。
これらを踏まえ、以下に３軸加速度検出手段３を用いて撮影画像処理装置１０の回転量を得る方法について説明する。
一様な重力加速度が存在する場において、３軸加速度検出手段３から得られる加速度情報から、撮影画像処理装置１０の傾きを算出する。

図５は、本発明の実施の形態例にかかる撮影画像処理装置１０の３軸加速度検出手段３で回転角を検出するための軸を示す図である。
図５において、撮影画像処理装置１０を水平に構えて置かれた、いわゆる横位置撮影時の第１の姿勢の場合に、イメージャ１２の水平方向（Ｘ）をｘ軸、垂直方向（Ｙ）をｙ軸、撮影光学系６の光軸方向（Ｚ）をｚ軸と定義することにする。
それぞれの軸から撮影画像処理装置１０が微小に傾いた場合の、撮影画像処理装置１０が各座標軸となす角度をそれぞれθx、θy、θzとし、各座標軸方向の３軸加速度検出手段３の出力をＧx，Ｇy，Ｇzとすると、加速度の並進成分を無視すれば、これらの間には下記の関係が成り立つ。

Ｇx＝g sinθx、
Ｇy＝g cosθy、
Ｇz＝g sinθz、
g²＝Ｇx²＋Ｇy²＋Ｇz²、
ここで、（ｇ）は重力加速度である。ｘ軸、ｚ軸からのずれ角については、検出される加速度の変化から角度を一意に求めることができるが、ｙ軸からのずれ角については、傾斜角が一定である限り、検出される加速度成分は傾ける方向によらず一定であるため、Ｇyの変化量のみから傾けた方向を検出することはできない。
しかしながら、これらは撮影画像処理装置１０が回転のみの運動を行っており、加速度の並進成分については無視されている。

図６は、本発明の実施の形態例にかかる撮影画像処理装置１０の３軸加速度検出手段３で回転角を検出するための軸（並進成分を考慮）を示す図である。
図６において、並進成分を定義し、以下に並進成分を考慮した結果を示す。原理的に、３軸加速度検出手段３は検出方向に沿った加速度成分のみ検出するため、各座標軸に平行する加速度の並進成分が存在する場合、これも含めて検出される。各座標軸に平行する加速度の並進成分をそれぞれ、Px、Py、Pzとする。
３軸加速度検出手段３で検出されるＧx、Ｇy、Ｇzにはこれらが加算されていると考え、下記のように表すことができる。

Ｇx＝g sinθx＋Px cosθx＋Py sinθx、
Ｇy＝g cosθy＋Py cosθy＋Px sinθx+ Pz sinθz、
Ｇz＝g sinθz＋Pz cosθz＋Py sinθz 。
一方、Ｇx、Ｇy、Ｇzから並進成分を除去したものは、純粋に重力による成分であると考えると、g²＝(Ｇx−Px )²＋(Ｇy−Py ) ²＋(Ｇz−Pz )²
、が成り立つ。
これら４式に含まれる未知の値はθx、θy、θz、Px、Py、Pzの６個であり、このままでは解くことができない。

そこで撮影画像処理装置１０では、先に述べた撮影画像処理装置１０の置かれている姿勢によって、並進成分の特殊性が異なることを考慮にいれてこれらの値を導出する。
まず、第１の姿勢の場合について述べる。第１の姿勢は横位置撮影時の姿勢とも言うが、通常の横位置撮影時には、レリーズ釦７を押すことによる縦揺れが手振れの支配的要因になっていると仮定し、加速度の並進成分のうち、PxとPzはそれぞれ無視できるとすると、３軸加速度検出手段３の出力の一般式は下記のようになる。

Ｇx＝(g＋Py) sinθx 、
Ｇy＝(g＋Py) cosθy 、
Ｇz＝(g＋Py) sinθz 、
g²＝(Ｇx) ²＋(Ｇy−Py ) ²＋(Ｇz)²、
縦ゆれの回転成分については、θzが求まればよいため、Ｇzの式から直ちに、θz＝sin-¹(Ｇz /(g＋Py))、が得られる。
同じく縦ゆれの並進成分については、g²の式をPyについて解けば、
Py＝Ｇy−( g²−(Ｇx)²−(Ｇz)²)^(1/2)、となる。

次に、第２の姿勢の場合について述べる。第２の姿勢は縦位置撮影時の姿勢とも言うが、この場合にも、レリーズ釦７を押すことによる揺れが手振れの支配的要因になっていると仮定すると、加速度の並進成分のうち、PyとPzはそれぞれ無視でき、３軸加速度検出手段３の出力の一般式は下記のようになる。

Ｇx＝g sinθx＋Px cosθx、
Ｇy＝g cosθy＋Px sinθx、
Ｇz＝g sinθz、
g²＝(Ｇx−Px ) ²＋(Ｇy) 2＋(Ｇz)²、
この場合にも、縦ゆれの回転成分については、θzが求まればよいため、Ｇzの式から直ちに、θz＝sin-1(Ｇz /g)、が得られる。
横方向については、回転成分は得られないが、並進成分については、g²の式からPxについて解けば、
Px＝Ｇx−(g²−(Ｇy)²−(Ｇz)²)^(1/2)、となる。

最後に、第３の姿勢の場合について述べる。第３の姿勢はうつ伏せ又は仰向け撮影時の姿勢とも言うが、この場合にも、レリーズ釦７を押すことによる揺れが手振れの支配的要因になっていると仮定すると、加速度の並進成分のうち、PyとPxをそれぞれ無視すると、３軸加速度検出手段３の出力の一般式は下記のようになる。

Ｇx＝g sinθx、
Ｇy＝g cosθy＋Pz sinθz、
Ｇz＝g sinθz＋Pz cosθz、
g²＝(Ｇx)²＋(Ｇy)²＋(Ｇz−Pz)²、
縦ゆれの回転成分については、θz＝sin-¹((Ｇz−Pz) /g)、となる。
ここでPzについては、g²の式から求められ、
Pz＝Ｇz−(g²−(Ｇx)²−(Ｇy)²)^(1/2)、
これが縦ゆれの並進成分となる。
横ゆれの回転成分については、Ｇxの式から、θx＝sin-¹(Ｇx /g)、が得られる。

以上の方法による、撮影画像処理装置１０の置かれている姿勢による振れの補正に必要な回転情報のぶれ量および回転角の算出方法は、回転角算出方法記録媒体１００に記録されている。
従って、一個の３軸加速度検出手段３の加速度の検出で、回転角算出方法記録媒体１００に記録された算出方法を選択することで、効率的に撮影画像処理装置１０の回転角を正確に低コストで得ることが出来る。

図７は、本発明の実施の形態例にかかる撮影画像処理装置１０の制御系の処理手順を示すフローチャートである。
図７において、撮影画像処理装置１０は、次のような処理手順で、複数個の加速度センサを用いることなく振れの補正を低コストで正確に行って撮影画像の処理を行うことが出来る。

スタートで、３軸加速度検出手段３で加速度を検出して（ステップ１）、撮影画像処理装置１０の置かれている姿勢が横位置撮影時の第１の姿勢であるかを判断して（ステップ２）、撮影画像処理装置１０の置かれている姿勢が第１の姿勢であれば、回転角算出方法記録媒体１００に記録されている第１の姿勢の算出方法を選択して（ステップ３）、撮影画像処理装置１０全体の移動方向および移動量のぶれ量と回転角を算出する（ステップ４）。

（ステップ２）で撮影画像処理装置１０の置かれている姿勢が第１の姿勢でなければ撮影画像処理装置１０の置かれている姿勢が縦位置撮影時の第２の姿勢であるかを判断して（ステップ５）、撮影画像処理装置１０の置かれている姿勢が第２の姿勢であれば、回転角算出方法記録媒体１００に記録されている第２の姿勢の算出方法を選択して（ステップ６）、（ステップ４）で撮影画像処理装置１０全体の移動方向および移動量のぶれ量と回転角を算出する。

（ステップ５）で撮影画像処理装置１０の置かれている姿勢が第２の姿勢でなければ、撮影画像処理装置１０の置かれている姿勢がうつ伏せ又は仰向け撮影時の第３の姿勢であるかを判断して（ステップ７）、撮影画像処理装置１０の置かれている姿勢が第３の姿勢であれば、回転角算出方法記録媒体１００に記録されている第３の姿勢の算出方法を選択して（ステップ８）、（ステップ４）で撮影画像処理装置１０全体の移動方向および移動量のぶれ量と回転角を算出する。

（ステップ７）で撮影画像処理装置１０の置かれている姿勢が第３の姿勢でなければ、例外処理と判断してエンドで終了する
（ステップ４）で撮影画像処理装置１０全体の移動方向および移動量のぶれ量と回転角を算出してから、その結果を補償するように撮影光学系６の一部等を動作させて振れの補正を行って（ステップ９）、エンドで終了する。

本発明の実施の形態例にかかる撮影画像処理装置の基本構成図である。 本発明の実施の形態例にかかる撮影画像処理装置の制御系の構成を示すブロック図である。 本発明の実施の形態例にかかる撮影画像処理装置の３軸加速度検出手段の加速度検出方向と撮影画像処理装置の置かれている姿勢を示す図である。 本発明の実施の形態例にかかる撮影画像処理装置の回転による振れの発生する様子を示す図である。 本発明の実施の形態例にかかる撮影画像処理装置の３軸加速度検出手段で回転角を検出するための軸を示す図である。 本発明の実施の形態例にかかる撮影画像処理装置の３軸加速度検出手段で回転角を検出するための軸（並進成分を考慮）を示す図である。 本発明の実施の形態例にかかる撮影画像処理装置の制御系の処理手順を示すフローチャートである。

符号の説明

１ 画像撮影手段
２ 信号処理手段
３ ３軸加速度検出手段
４ 表示手段
５ 記録手段
６ 撮影光学系
７ レリーズ釦
１０ 撮影画像処理装置
１１ 撮影レンズ系機構部
１２ イメージャ（光電変換部）
１３ Ａ／Ｄ変換部
２０ マイコン
４０ 表示画面
５０ 記録媒体
６０ 光軸
１００ 回転角算出方法記録媒体

Claims (13)

1. 振れの補正を行って撮影画像の処理を行う撮影画像処理装置において、撮影画像を電気信号に変換する画像撮影手段と、前記画像撮影手段により電気信号に変換された画像信号を処理する信号処理手段と、前記信号処理手段で処理する画像データの振れの補正を行うぶれ量を置かれている姿勢により算出方法を使い分けて検出する３軸加速度検出手段と、を備えることを特徴とする撮影画像処理装置。
2. 請求項１に記載の撮影画像処理装置において、前記３軸加速度検出手段は、置かれている姿勢の各分類に対して予め定めた算出方法でぶれ量を検出することを特徴とする撮影画像処理装置。
3. 請求項２に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、横位置撮影時の第１の姿勢であることを特徴とする撮影画像処理装置。
4. 請求項２又は３に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、縦位置撮影時の第２の姿勢であることを特徴とする撮影画像処理装置。
5. 請求項２、３又は４に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、うつ伏せまたは仰向け撮影時の第３の姿勢であることを特徴とする撮影画像処理装置。
6. 請求項１乃至５の何れか一項に記載の撮影画像処理装置において、前記３軸加速度検出手段は、置かれている姿勢の各分類に対して予め定めた算出方法で回転角を算出することを特徴とする撮影画像処理装置。
7. 請求項６に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、横位置撮影時の第１の姿勢であることを特徴とする撮影画像処理装置。
8. 請求項６又は７に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、縦位置撮影時の第２の姿勢であることを特徴とする撮影画像処理装置。
9. 請求項６、７又は８に記載の撮影画像処理装置において、置かれている複数の姿勢に分類するひとつは、うつ伏せまたは仰向け撮影時の第３の姿勢であることを特徴とする撮影画像処理装置。
10. 請求項１乃至９の何れか一項に記載の撮影画像処理装置において、前記３軸加速度検出手段でぶれ量を検出して振れの補正を行った画像データを表示する表示手段を備えていることを特徴とする撮影画像処理装置。
11. 請求項１乃至１０の何れか一項に記載の撮影画像処理装置において、前記３軸加速度検出手段でぶれ量を検出して振れの補正を行った画像データを記録する記録手段を備えていることを特徴とする撮影画像処理装置。
12. 撮影画像処理装置のぶれ量算出方法を記録した回転角算出方法記録媒体において、請求項１乃至１１の何れか一項に記載の前記３軸加速度検出手段によるぶれ量の算出方法を記録したことを特徴とする回転角算出方法記録媒体。
13. 請求項１２に記載の回転角算出方法記録媒体において、前記３軸加速度検出手段による回転角の算出方法を記録したことを特徴とする回転角算出方法記録媒体。

Images