JP2007201570A - 画像処理装置、撮影装置、画像処理方法、および、制御プログラム - Google Patents
画像処理装置、撮影装置、画像処理方法、および、制御プログラム Download PDFInfo
- Publication number
- JP2007201570A JP2007201570A JP2006014626A JP2006014626A JP2007201570A JP 2007201570 A JP2007201570 A JP 2007201570A JP 2006014626 A JP2006014626 A JP 2006014626A JP 2006014626 A JP2006014626 A JP 2006014626A JP 2007201570 A JP2007201570 A JP 2007201570A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- amount
- image
- trimmed
- target area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【課題】動画撮影時のぶれの影響を、画像に不自然な変化を与えることなく、容易に、かつ確実に解消できるようにする。
【解決手段】制御部10は、撮影部20によって撮影されたフレーム中の所定位置に配置された領域をトリミングして出力画像を生成する際に、トリミングされるフレームにおける領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、このフレームがパーン撮影またはティルト撮影されたフレームである場合には、トリミングされる領域の位置を所定量だけ初期位置側に移動させる。
【選択図】図1
【解決手段】制御部10は、撮影部20によって撮影されたフレーム中の所定位置に配置された領域をトリミングして出力画像を生成する際に、トリミングされるフレームにおける領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、このフレームがパーン撮影またはティルト撮影されたフレームである場合には、トリミングされる領域の位置を所定量だけ初期位置側に移動させる。
【選択図】図1
Description
本発明は、撮影された画像を処理して出力画像を生成する画像処理装置、この画像処理装置の機能を具備した撮影装置、上記画像処理装置における画像処理方法、および、制御プログラムに関する。
従来、動画撮影時に生じたぶれの影響を画像処理によって軽減する方法が知られている。例えば、予め出力用の画像よりも大きなフレームを撮影し、この撮影したフレームの一部を切り出して出力用の画像とする仕様として、撮影時のカメラの動きに応じて切出領域の位置を変化させる方法があった。この方法を採用すれば、切出領域の動きによってカメラの動きを相殺することで、ぶれの影響を容易に軽減できるという利点がある。しかしながら、カメラが大きく動いた場合に、切出領域が大きく移動されて撮影したフレームの端まで達してしまい、それ以上の移動ができなくなることがあった。この問題を解消するため、カメラの動きが大きい場合に、ぶれに係る情報をリセットして切出領域の位置を初期位置に戻す方法が提案された(例えば、特許文献1参照)。
特開平3−190381号公報
しかしながら、上記従来の方法では、撮影されたフレーム中で、切出領域がフレームの端から初期位置まで急激に移動され、この移動に伴って出力用の画像中で被写体が大きく動き、見難く不自然な画像になってしまうという問題があった。また、切出領域をぶれとは関係なく移動させることで、不自然な動きを伴う画像になってしまうという問題があった。
本発明は、上述した事情に鑑みてなされたものであり、動画撮影時のぶれの影響を、画像に不自然な変化を与えることなく、容易に、かつ確実に解消できるようにすることを目的とする。
上記目的を達成するため、本発明は、撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更する補正手段とを備え、前記補正手段は、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させることを特徴とする画像処理装置を提供する。
この構成によれば、撮影されたフレーム中でトリミングする対象領域の位置を変更することでぶれの影響を解消することが可能であり、容易に、かつ確実にぶれを補正できる。そして、このぶれ補正のために移動された対象領域が、パーン撮影またはティルト撮影されたフレームをトリミングする際に初期位置側へ移動されるので、対象領域がフレームの特定の端に偏りにくくなり、いつでも十分なぶれ補正を行えるようになる。そして、パーン撮影またはティルト撮影されたフレームにおいて対象領域を初期位置側へ移動させるので、対象領域の移動が出力画像に与える影響が目立ちにくく、極めて軽微なものとなるので、不自然な画像にならない。加えて、対象領域の移動量が所定量に抑えられるので、対象領域の移動によって画像に不自然な変化を与えることがないという利点がある。
この構成によれば、撮影されたフレーム中でトリミングする対象領域の位置を変更することでぶれの影響を解消することが可能であり、容易に、かつ確実にぶれを補正できる。そして、このぶれ補正のために移動された対象領域が、パーン撮影またはティルト撮影されたフレームをトリミングする際に初期位置側へ移動されるので、対象領域がフレームの特定の端に偏りにくくなり、いつでも十分なぶれ補正を行えるようになる。そして、パーン撮影またはティルト撮影されたフレームにおいて対象領域を初期位置側へ移動させるので、対象領域の移動が出力画像に与える影響が目立ちにくく、極めて軽微なものとなるので、不自然な画像にならない。加えて、対象領域の移動量が所定量に抑えられるので、対象領域の移動によって画像に不自然な変化を与えることがないという利点がある。
本発明の画像処理装置において、前記補正手段は、トリミングされるフレームがパーン撮影されたものである場合に、前記対象領域をフレームの横方向に移動させ、トリミングされるフレームがティルト撮影されたものである場合に、前記対象領域をフレームの縦方向に移動させるものとしてもよい。この場合、対象領域の移動が極めて目立ちにくくなるので、画像に不自然な変化を生じることなく対象領域を移動できる。
また、本発明の画像処置装置において、前記補正手段は、トリミングされるフレームの撮影時におけるぶれ量に基づいて前記対象領域の移動量を求め、その前のフレームにおける前記対象領域の位置から、求めた移動量だけ前記対象領域を移動させるものとしてもよい。この場合、前のフレームにおける位置を基準として対象領域を移動するので、画像を不自然に変化させることなく対象領域を移動できる。
また、上記課題を解決するため、本発明は、連続してフレームを撮影する撮影手段と、前記撮影手段によってフレームを撮影する毎にぶれを検出するぶれ検出手段と、前記撮影手段により撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更する補正手段とを備え、前記補正手段は、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させることを特徴とする撮影装置を提供する。
また、上記課題を解決するため、本発明は、撮影されたフレーム中の所定位置に配置された対象領域をトリミングして出力画像を生成する際に、トリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、トリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させることを特徴とする画像処理方法を提供する。
また、上記課題を解決するため、本発明は、画像処理装置を制御するためのコンピュータにより実行される制御プログラムであって、前記コンピュータを、撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させる補正手段として機能させる制御プログラムを提供する。
また、本発明は、上述した画像処理装置、撮影装置、画像処理方法、および制御プログラムに適用する他、上記制御プログラムを、電気通信回線を介してダウンロード可能にし、あるいは、磁気記録媒体、光記録媒体、半導体記録媒体といった、コンピュータに読み取り可能な記録媒体に記憶して配布する、といった態様でも実施され得る。
上記構成によれば、撮影されたフレーム中の所定位置に配置された対象領域をトリミングすることで容易にぶれを補正することができ、かつ、この対象領域がフレームの特定の端に偏りにくくなるので、いつでも十分なぶれ補正を行えるようになる。さらに、対象領域を初期位置側へ移動させることによる影響が目立ちにくく、不自然な印象を与えない。
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態では、電子機器の一態様としての携帯型デジタルビデオカメラ(以下、単に「携帯型ビデオカメラ」と言う)に本発明を適用した場合について説明する。
図1は本実施の形態に係る携帯型ビデオカメラ1の構成を示すブロック図である。この携帯型ビデオカメラ1は、本発明の画像処理装置、および撮影装置を適用したものであり、図1に示すように、制御部10、撮影部20、角速度検出部30、操作部40、リムーバブルメディア50、I/F部51および映像出力端子52を備えている。
図1は本実施の形態に係る携帯型ビデオカメラ1の構成を示すブロック図である。この携帯型ビデオカメラ1は、本発明の画像処理装置、および撮影装置を適用したものであり、図1に示すように、制御部10、撮影部20、角速度検出部30、操作部40、リムーバブルメディア50、I/F部51および映像出力端子52を備えている。
制御部10は、携帯型ビデオカメラ1の各部を制御する制御手段、画像生成手段、および補正手段として機能するものであり、各種プログラムの実行や演算処理をするCPU11と、このCPU11が実行する制御プログラム100や各種データを格納する書き換え可能なフラッシュROM12と、上記CPU11の演算結果や各種データを一時的に格納するためのワークエリアとして機能するRAM13と、時間をカウントするタイマ回路14とを備えている。また、上記ROM12に格納された制御プログラム100にはぶれ補正プログラム100Aが含まれており、制御部10が撮影時に当該ぶれ補正プログラム100Aを実行することで、撮影時の手ぶれの影響を排して、ぶれのない動画表示を実現する。
この制御プログラム100は、例えばCD−ROM、DVD−ROM、フレキシブルディスク、半導体記憶素子を用いた可搬型メモリ等のコンピュータ読み取り可能な記録媒体60に記録して配布することが可能である。さらに、パーソナルコンピュータと携帯型ビデオカメラ1とを通信可能にケーブル等で接続し、パーソナルコンピュータで読み取られた記録媒体60の制御プログラム100を携帯型ビデオカメラ1に出力することで、フラッシュROM12に制御プログラム100を格納することも可能である。
撮影部20は、被写体を動画として撮影する撮影手段として機能するものであり、カメラコントロール回路21、撮影カメラ22、撮影部RAM23および表示パネル24を備えている。カメラコントロール回路21は、制御部10の制御の下、撮影部20の各部を制御する。また、撮影カメラ22は、被写体が撮像されたフレームのデータ(以下、単に「フレーム」と言う)をカメラコントロール回路21に所定のサンプリングレートで順次出力するものであり、CCDやCMOS等の光電変換素子がマトリクス状あるいはハニカム状に配置されてなるイメージセンサ、複数の光学レンズを有してなる光学レンズ系、この光学レンズ系を駆動してズーム・フォーカスや絞り等を実現するためのレンズ駆動装置、イメージセンサによって取得されたアナログ信号の画像をデジタル信号に変換して画像データを出力するA/D変換回路等を備えて構成される。撮影部20により撮影される動画は、例えば1秒あたり30フレーム(30fps)の連続する複数の静止画像の集合として記録され、フレーム毎に画像処理を施すことが可能である。
撮影部RAM23はフレームを一時的に格納するバッファとして機能する。また、表示パネル24は撮影された動画や設定画面等の各種情報を表示する機能を有し、例えば液晶ディスプレイパネルや有機ELパネル等のフラットディスプレイパネルにより構成される。リムーバブルメディア50は、撮影時の動画データを格納する記録メディアであり、例えばビデオテープ、記録可能な光学ディスク、リムーバブルハードディスクにより構成されている。
このような構成の下、撮影カメラ22から出力されたフレームはカメラコントロール回路21によって所定の画像処理がなされた後、撮影部RAM23に一時的に格納され、また、制御部10を介してリムーバブルメディア50に動画データとして順次格納される。撮像部RAM23に格納されたフレームは表示パネル24に表示する際に用いられ、また、リムーバブルメディア50に格納された動画データは撮影後に撮影動画を表示(再生)する際に用いられる。
このような構成の下、撮影カメラ22から出力されたフレームはカメラコントロール回路21によって所定の画像処理がなされた後、撮影部RAM23に一時的に格納され、また、制御部10を介してリムーバブルメディア50に動画データとして順次格納される。撮像部RAM23に格納されたフレームは表示パネル24に表示する際に用いられ、また、リムーバブルメディア50に格納された動画データは撮影後に撮影動画を表示(再生)する際に用いられる。
角速度検出部30は、上記手ぶれ量を検出するぶれ検出手段として機能し、具体的には、図2に示すように、フレーム70の横方向(以下、Y軸と定義する)の移動と高さ方向(以下、X軸と定義する)の移動とのそれぞれの角速度を個別に検出すべく、前掲図1に示すように、X軸ジャイロセンサ31およびY軸ジャイロセンサ32の2つのジャイロセンサ31、32を有し、それぞれのジャイロセンサ31、32が角速度に応じた電圧値の角速度検出信号を制御部10に出力する。制御部10は、フレーム70のサンプリング周期と同期して各ジャイロセンサ31、32の角速度検出信号を取り込み、X軸およびY軸のそれぞれについて手ぶれ量を算出しフレームと対応付けて、あるいは、フレームに付加してリムーバブルメディア50に格納する。
上記手ぶれ量の算出について簡単に説明すると、制御部10は上記角速度検出信号に基づいて角速度(rad/秒)を算出し、この角速度(rad/秒)をフレームのサンプリング間隔(秒)で積分することで移動角度量θ(rad)を算出する。
そして、制御部10は、移動角度量θ(rad)に基づいて手ぶれ量を画素数(dot)として算出する。すなわち、図3に示すように、焦点距離をL、画角をαとし、画角α>>移動角度量θである場合、手ぶれ量K(dot)と移動角度量θとの間には、
手ぶれ量K(dot)=移動角度量θ×補正係数r
上記式において、
補正係数r=焦点距離L×(1+tan2(α/2))
画角αは焦点距離Lとイメージセンサのサイズ(画素数)とによって決まる値
の関係式が成り立ち、この関係式に基づいて制御部10はX軸およびY軸について手ぶれ量をフレームごとに算出することとなる。
そして、制御部10は、移動角度量θ(rad)に基づいて手ぶれ量を画素数(dot)として算出する。すなわち、図3に示すように、焦点距離をL、画角をαとし、画角α>>移動角度量θである場合、手ぶれ量K(dot)と移動角度量θとの間には、
手ぶれ量K(dot)=移動角度量θ×補正係数r
上記式において、
補正係数r=焦点距離L×(1+tan2(α/2))
画角αは焦点距離Lとイメージセンサのサイズ(画素数)とによって決まる値
の関係式が成り立ち、この関係式に基づいて制御部10はX軸およびY軸について手ぶれ量をフレームごとに算出することとなる。
なお、ジャイロセンサ31、32の個体差等によって、角速度(rad/秒)がゼロの場合における角速度検出信号の電圧値が異なるため、本実施の形態では、本体の電源が投入された後、撮影を開始する前までに、ぶれがない停止状態で各ジャイロセンサ31、32の角速度検出信号をサンプリングして、その平均値をゼロ点電圧値として設定している。このとき、一定時間に亘り複数のゼロ点電圧値を求め、これらのゼロ点電圧値の平均値との差が所定値以下のゼロ点電圧値が一定割合(例えば99%)以上得られた場合に、そのゼロ点電圧値の平均値を実際のゼロ点電圧値として設定する構成としており、これにより本体が停止状態であるときのゼロ点電圧値が設定可能となる。
操作部40は、ユーザによって操作される複数の操作子を有し、例えば電源ボタンや撮影開始/終了等の各種指示を入力するための操作キーを有している。I/F部51は携帯型ビデオカメラ1をパーソナルコンピュータとケーブル等で通信可能に接続するためのインターフェースであり、リムーバブルメディア50に格納された動画データをパーソナルコンピュータに出力する際には当該動画データがI/F部51を介してパーソナルコンピュータに出力される。映像出力端子52は、テレビやプロジェクタなどの外部ディスプレイ装置に動画の映像信号を出力するための端子である。なお、携帯型ビデオカメラ1は、上述の構成要素の他にも、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アンプ等に出力するための音声出力端子などを備えて構成されている。
そして、携帯型ビデオカメラ1は、フラッシュROM12に格納されたぶれ補正プログラム100Aを実行することにより、撮影部20により撮影されたフレームからぶれのない出力用画像を作成するぶれ補正処理を実行する。
図4(A)に示すように、携帯型ビデオカメラ1の撮影時に手ぶれが発生すると、被写体に対する撮影対象範囲の相対位置が移動する。従って、撮影された画像中で被写体が不自然に動くことになり、画像が見難く煩雑なものとなる。
ここで、撮影部20により撮影されたフレーム70は、携帯型ビデオカメラ1から映像出力端子52等を介して出力される画像よりも多くの画素からなる画像となっており、制御部10は、撮影されたフレームの一部をトリミングした画像を生成して、この画像を出力する。その際、トリミングする領域を移動させることによって、手ぶれの影響を軽減することが可能となる。
図4(A)に示すように、携帯型ビデオカメラ1の撮影時に手ぶれが発生すると、被写体に対する撮影対象範囲の相対位置が移動する。従って、撮影された画像中で被写体が不自然に動くことになり、画像が見難く煩雑なものとなる。
ここで、撮影部20により撮影されたフレーム70は、携帯型ビデオカメラ1から映像出力端子52等を介して出力される画像よりも多くの画素からなる画像となっており、制御部10は、撮影されたフレームの一部をトリミングした画像を生成して、この画像を出力する。その際、トリミングする領域を移動させることによって、手ぶれの影響を軽減することが可能となる。
すなわち、携帯型ビデオカメラ1は、図4(B)に示すように、撮影部20により撮影されたフレーム70から、出力部71(対象領域)をトリミングして出力画像とする。フレーム70における出力部71の位置は、初期状態ではフレーム70の中央位置にあるが、この初期状態から任意に変更できる。このため、撮影時に手ぶれが発生してフレーム70に写る被写体が移動した場合には、これを補償するように、ぶれ方向と反対の方向に出力部71を移動させ、移動後の出力部71をトリミングすると、図4(D)に示すように、被写体の位置がぶれ発生の前と変わらない補正画像72が得られる。この場合の出力部71の移動量(図中符号M)は、上述したように求められる手ぶれ量K(画素数)と同じ値としてもよいし、フレーム70と出力部71との面積または画素数の比に従って、手ぶれ量Kの値から求めた値としてもよい。
このように、手ぶれ補正処理によれば、手ぶれによるフレーム70の移動(フレーム70中における被写体の見かけ上の移動)が、出力部71の移動によって相殺され、手ぶれの影響を解消できる。
このように、手ぶれ補正処理によれば、手ぶれによるフレーム70の移動(フレーム70中における被写体の見かけ上の移動)が、出力部71の移動によって相殺され、手ぶれの影響を解消できる。
ところで、上記のぶれ補正処理において移動された出力部71は、フレームの撮影毎に累積的に移動され、出力部71をもとの位置に戻す処理は撮影終了まで行われない。これは、携帯型ビデオカメラ1の動きに関係なく撮影中に出力部71を移動させてしまうと、出力画像における被写体の位置が不自然に変化し、違和感を生むためである。
従って、撮影中には、出力部71が繰り返し移動されてフレーム70の一端側に寄ってしまい、それ以降、出力部71を移動できなくなってしまうことがある。
例えば、図5(A)に示すように、撮影開始時において出力部71はフレーム70のほぼ中央にある。上記のぶれ補正処理を実行すると、手ぶれ量に応じて、図5(B)に例示するように出力部71がフレーム70の一方側に移動され、さらに同じ方向に手ぶれが生じた場合は、手ぶれ量に応じて出力部71が同方向に移動される。これを繰り返すと、図5(C)に例示するようにフレーム70のほぼ端部まで出力部71が移動されてしまう。
画像処理の都合上、携帯型ビデオカメラ1においては、フレーム70において出力部71が移動できる範囲、すなわち出力部71の移動量の限界値が予め決定されている。この限界値はフレーム70の中央位置(初期位置)からの移動量として表し、以下、補正オフセット量(図中符号PA)と呼ぶ。
図5(C)は、出力部71の移動量が補正オフセット量PAに達してしまった状態を例示している。この状態では、フレーム70のさらに右側に出力部71を移動させることができないので、この方向への手ぶれを補正できない。
従って、撮影中には、出力部71が繰り返し移動されてフレーム70の一端側に寄ってしまい、それ以降、出力部71を移動できなくなってしまうことがある。
例えば、図5(A)に示すように、撮影開始時において出力部71はフレーム70のほぼ中央にある。上記のぶれ補正処理を実行すると、手ぶれ量に応じて、図5(B)に例示するように出力部71がフレーム70の一方側に移動され、さらに同じ方向に手ぶれが生じた場合は、手ぶれ量に応じて出力部71が同方向に移動される。これを繰り返すと、図5(C)に例示するようにフレーム70のほぼ端部まで出力部71が移動されてしまう。
画像処理の都合上、携帯型ビデオカメラ1においては、フレーム70において出力部71が移動できる範囲、すなわち出力部71の移動量の限界値が予め決定されている。この限界値はフレーム70の中央位置(初期位置)からの移動量として表し、以下、補正オフセット量(図中符号PA)と呼ぶ。
図5(C)は、出力部71の移動量が補正オフセット量PAに達してしまった状態を例示している。この状態では、フレーム70のさらに右側に出力部71を移動させることができないので、この方向への手ぶれを補正できない。
そこで、携帯型ビデオカメラ1は、手ぶれ補正処理の実行中に、出力画像に不自然な動きを与えないように、パーン動作中およびティルト動作中に、出力部71をフレーム70の中央側へ移動させる処理を行う。ここで、パーン動作とは、図2に示したY軸に平行な軸を中心として携帯型ビデオカメラ1を回動させる動作であり、パーン撮影とは、撮影部20による撮影中にパーン動作がなされること、およびこの撮影方法を指す。また、ティルト動作とは、図2に示したX軸に平行な軸を中心として携帯型ビデオカメラ1を回動させる動作であって、ティルト撮影とは、撮影部20による撮影中にティルト動作が行われること、およびこの撮影方法を指す。
詳細に説明すると、携帯型ビデオカメラ1のパーン動作中およびティルト動作中、図5(D)に例示するように、出力部71の位置は1フレーム毎に所定量ずつ中央側へ移動される。この所定量を、以下、復元量(図中符号PB)と呼ぶ。具体的な例としては、補正オフセット量PAが30dot(画素数)のとき、撮影される画像のフレームレートが30fpsの場合は復元量PBを1dotとし、フレームレートが15fpsの場合は復元量PBを2dotとすればよい。パーン動作中に出力部71が初期位置まで移動されることが最も望ましいことから、一般的に、高フレームレートの場合は復元量PBを小さくでき、低フレームレートの場合は復元量PBを大きくするとよい。
詳細に説明すると、携帯型ビデオカメラ1のパーン動作中およびティルト動作中、図5(D)に例示するように、出力部71の位置は1フレーム毎に所定量ずつ中央側へ移動される。この所定量を、以下、復元量(図中符号PB)と呼ぶ。具体的な例としては、補正オフセット量PAが30dot(画素数)のとき、撮影される画像のフレームレートが30fpsの場合は復元量PBを1dotとし、フレームレートが15fpsの場合は復元量PBを2dotとすればよい。パーン動作中に出力部71が初期位置まで移動されることが最も望ましいことから、一般的に、高フレームレートの場合は復元量PBを小さくでき、低フレームレートの場合は復元量PBを大きくするとよい。
パーン動作やティルト動作の間は携帯型ビデオカメラ1の向きが大きく変化するため、フレーム70に対する出力部71の相対位置が変化しても、出力する画像の視認性に影響を与えにくく、極めて自然に出力部71を移動させることが可能である。とりわけ、パーン動作中における出力部71の画面横方向への移動、および、ティルト動作中における出力部71の画面縦方向への移動は、携帯型ビデオカメラ1の出力画像に対する影響が極めて軽微であり、画像を見る人にほとんど意識されない。
従って、パーン動作中およびティルト動作中に出力部71をフレーム70の中央側へ移動させれば、撮影中に、出力部71を違和感なく移動させて、常に全方向の手ぶれを補正可能な状態を保つことができる。
従って、パーン動作中およびティルト動作中に出力部71をフレーム70の中央側へ移動させれば、撮影中に、出力部71を違和感なく移動させて、常に全方向の手ぶれを補正可能な状態を保つことができる。
図6は、上述した手ぶれ補正処理を示すフローチャートである。この図6に示す手ぶれ補正処理は、CPU11により、フラッシュROM12に格納されたぶれ補正プログラム100Aを実行することにより、実現される。
手ぶれ補正が開始されると(ステップS11)、CPU11は、予めフラッシュROM12に格納された補正オフセット量PAを取得し(ステップS12)、さらに1フレーム当たりの復元量PBを取得して(ステップS13)、X軸方向およびY軸方向の出力部71の移動量をクリアする(ステップS14)。これによって出力部71の移動量はゼロになり、出力部71の位置は、図5(A)に示す初期位置となる。
手ぶれ補正が開始されると(ステップS11)、CPU11は、予めフラッシュROM12に格納された補正オフセット量PAを取得し(ステップS12)、さらに1フレーム当たりの復元量PBを取得して(ステップS13)、X軸方向およびY軸方向の出力部71の移動量をクリアする(ステップS14)。これによって出力部71の移動量はゼロになり、出力部71の位置は、図5(A)に示す初期位置となる。
続いてCPU11は、処理対象のフレームの撮影時に角速度検出部30から出力された角速度検出信号に基づく演算処理によって、携帯型ビデオカメラ1の移動量を取得し(ステップS15)、携帯型ビデオカメラ1のパーン動作またはティルト動作が行われているか否かを判別する(ステップS16)。この判別は、角速度検出部30から出力された角速度検出信号に従って、携帯型ビデオカメラ1の動きの大小、速度、動いた向き等をもとに行われる。
そして、携帯型ビデオカメラ1のパーン動作およびティルト動作のいずれでもない場合(ステップS16;No)、ステップS15で取得した移動量は手ぶれ量を示すものとして考えられる。従って、CPU11は、手ぶれを補償するように出力部71をフレーム70中で移動させるため、X軸方向およびY軸方向の出力部71の移動量を、手ぶれ量に基づいて算出する(ステップS17)。ここで、CPU11は、ステップS15で取得したX軸方向の手ぶれ量に基づいて出力部71のX軸方向の移動量を求め、Y軸方向の手ぶれ量に基づいて出力部71のY軸方向の移動量を求める。求めたY軸方向の移動量は正と負の値をとり得るので、この移動量のみに基づき、出力部71の移動方向(画面右側/左側)の区別をすることも可能である。X軸方向の移動量についても同様である。
なお、ステップS15で手ぶれ量と手ぶれの方向とが含まれる情報を取得した場合には、ステップS17において、手ぶれ量と手ぶれの方向とに基づいて、出力部71の移動量を求めるようにしてもよい。ステップS17において、出力部71のX軸方向およびY軸方向の移動量と、移動方向とを個々の情報として求めるようにしてもよい。
また、すでに出力部71が初期位置から移動されている場合、CPU11は、ステップS17で現在の出力部71の移動量に求めた移動量を加算して新たな移動量とする。
なお、ステップS15で手ぶれ量と手ぶれの方向とが含まれる情報を取得した場合には、ステップS17において、手ぶれ量と手ぶれの方向とに基づいて、出力部71の移動量を求めるようにしてもよい。ステップS17において、出力部71のX軸方向およびY軸方向の移動量と、移動方向とを個々の情報として求めるようにしてもよい。
また、すでに出力部71が初期位置から移動されている場合、CPU11は、ステップS17で現在の出力部71の移動量に求めた移動量を加算して新たな移動量とする。
そして、CPU11は、算出した出力部71のX軸方向の移動量が補正オフセット量PAを超えるか否かを判別し(ステップS18)、移動量が補正オフセット量PAを超える場合は、X軸方向の移動量を補正オフセット量PAと同値に設定する(ステップS19)。算出した移動量が補正オフセット量PAを超えない場合は、算出したX軸方向の移動量が、そのまま出力部71のX軸方向の移動量となる。
その後、CPU11は、算出した出力部71のY軸方向の移動量が補正オフセット量PAを超えるか否かを判別し(ステップS20)、移動量が補正オフセット量PAを超える場合は、Y軸方向の移動量を補正オフセット量PAと同値に設定する(ステップS21)。算出した移動量が補正オフセット量PAを超えない場合は、算出したY軸方向の移動量が、そのまま出力部71のY軸方向の移動量となる。
その後、CPU11は、算出した出力部71のY軸方向の移動量が補正オフセット量PAを超えるか否かを判別し(ステップS20)、移動量が補正オフセット量PAを超える場合は、Y軸方向の移動量を補正オフセット量PAと同値に設定する(ステップS21)。算出した移動量が補正オフセット量PAを超えない場合は、算出したY軸方向の移動量が、そのまま出力部71のY軸方向の移動量となる。
そして、CPU11は、設定または算出したX軸方向およびY軸方向の移動量に従って出力部71をフレーム70中で移動させ、その位置における出力部71をトリミングして補正画像72を作成し(ステップS22)、作成した補正画像72を出力する(ステップS23)。その後、撮影が継続されていれば(ステップS24;No)、CPU11はステップS15の処理に戻る。
一方、携帯型ビデオカメラ1のパーンまたはティルト動作中であれば(ステップS16;Yes)、CPU11は、出力部71のX軸方向の移動量がゼロであるか否かを判別し(ステップS25)、出力部71の移動量がゼロでなければ、移動量を復元量PBだけ減ずる処理を行う(ステップS26)。出力部71の移動量がゼロであれば、この処理を行わない。
その後、CPU11は、出力部71のY軸方向の移動量がゼロであるか否かを判別し(ステップS27)、移動量がゼロでなければ、移動量を復元量PBだけ減ずる処理を行う(ステップS28)。出力部71の移動量がゼロであれば、この処理を行わない。
そして、CPU11はステップS22に移行して、復元量PBだけ減じた移動量に対応する位置へ出力部71を移動させ、あるいは出力部71の位置を移動量ゼロの位置に止まらせたまま、ステップS23で補正画像72を作成する。
その後、CPU11は、出力部71のY軸方向の移動量がゼロであるか否かを判別し(ステップS27)、移動量がゼロでなければ、移動量を復元量PBだけ減ずる処理を行う(ステップS28)。出力部71の移動量がゼロであれば、この処理を行わない。
そして、CPU11はステップS22に移行して、復元量PBだけ減じた移動量に対応する位置へ出力部71を移動させ、あるいは出力部71の位置を移動量ゼロの位置に止まらせたまま、ステップS23で補正画像72を作成する。
このように、通常の撮影時においては、手ぶれ量に応じて出力部71を移動させることによって、手ぶれによる画像中の被写体の移動を補償し、パーンまたはティルト動作中に出力部71を初期位置へ近づくよう移動させる。これによって、携帯型ビデオカメラ1による撮影時のぶれの影響を容易に解消する手ぶれ補正を行える。また、パーンまたはティルト動作中に出力部71を初期位置側へ移動させるので、出力部71がフレーム70の特定の側に偏ってしまうことがなく、いつでも十分なぶれ補正を行うことができる。また、出力部71を初期位置側へ移動させる操作が目立ちにくく、出力画像に与える影響が極めて軽微なものとなるので、不自然な画像にならない。
また、パーンまたはティルト動作中において出力部71の位置を初期位置側へ移動させる際には、1フレームを撮影する毎に復元量PBずつ出力部71を移動させる。従って、出力部71の移動が極めて目立ちにくく、不自然な印象を殆ど与えることなく出力部71を初期位置側へ移動させることができる。
また、パーンまたはティルト動作中において出力部71の位置を初期位置側へ移動させる際には、1フレームを撮影する毎に復元量PBずつ出力部71を移動させる。従って、出力部71の移動が極めて目立ちにくく、不自然な印象を殆ど与えることなく出力部71を初期位置側へ移動させることができる。
なお、上記実施の形態においては、パーン動作時またはティルト動作時に、出力部71をX軸方向およびY軸方向に移動させる例について説明したが、本発明はこれに限定されるものではなく、例えば、パーン動作時にはフレーム70の横方向すなわちY軸方向にのみ出力部71を移動させ、ティルト動作時にはフレーム70の縦方向すなわちX軸方向にのみ出力部71を移動させるようにしてもよい。この場合について、変形例として以下に説明する。
[変形例]
図7は、手ぶれ補正処理の変形例を示すフローチャートである。
この図7に示すフローチャートにおいて、ステップS31〜S44における動作は、上記実施の形態におけるステップS11〜S24(図6)と同様である。
すなわち、手ぶれ補正が開始され(ステップS31)、補正オフセット量PA(ステップS32)および1フレーム当たりの復元量PB(ステップS33)がCPU11により取得され、X軸方向およびY軸方向の出力部71の移動量がクリアされる(ステップS34)。続いて、フレーム撮影中の移動量が、角速度検出部30から出力される角速度検出信号に基づく演算処理を経て取得され(ステップS35)。パーン動作またはティルト動作が行われているか否かが判別される(ステップS36)。
図7は、手ぶれ補正処理の変形例を示すフローチャートである。
この図7に示すフローチャートにおいて、ステップS31〜S44における動作は、上記実施の形態におけるステップS11〜S24(図6)と同様である。
すなわち、手ぶれ補正が開始され(ステップS31)、補正オフセット量PA(ステップS32)および1フレーム当たりの復元量PB(ステップS33)がCPU11により取得され、X軸方向およびY軸方向の出力部71の移動量がクリアされる(ステップS34)。続いて、フレーム撮影中の移動量が、角速度検出部30から出力される角速度検出信号に基づく演算処理を経て取得され(ステップS35)。パーン動作またはティルト動作が行われているか否かが判別される(ステップS36)。
そして、パーンまたはティルト動作中でない場合には(ステップS36;No)、ステップS35で取得した移動量すなわち手ぶれ量に基づいて、X軸方向およびY軸方向の出力部71の移動量が算出され(ステップS37)、この移動量が補正オフセット量PAを超える場合には移動量が補正オフセット量PAと同値に設定される(ステップS39、S41)。補正オフセット量PAを超えない移動量は、そのまま出力部71のX軸方向の移動量として設定される(ステップS38、S40;Yes)。
そして、設定された移動量に従って出力部71がフレーム70中で移動され、その位置における出力部71をトリミングした補正画像72が作成され(ステップS42)、この補正画像72が出力される(ステップS43)。その後、撮影が終了されるまで(ステップS44;Yes)、ステップS35に戻って繰り返し処理が行われる。
そして、設定された移動量に従って出力部71がフレーム70中で移動され、その位置における出力部71をトリミングした補正画像72が作成され(ステップS42)、この補正画像72が出力される(ステップS43)。その後、撮影が終了されるまで(ステップS44;Yes)、ステップS35に戻って繰り返し処理が行われる。
一方、携帯型ビデオカメラ1のパーンまたはティルト動作中であった場合(ステップS36;Yes)、CPU11は、角速度検出部30から出力される角速度信号に基づいて携帯型ビデオカメラ1の移動方向を判別し(ステップS45)、ティルト動作中の場合はステップS46へ、パーン動作中の場合はステップS48へ移行する。
ステップS46で、CPU11は、出力部71のX軸方向の移動量がゼロであるか否かを判別し、出力部71の移動量がゼロでなければ、ステップS47で移動量を復元量PBだけ減ずる処理を行う。移動量がゼロであれば、この処理を行わない。
ステップS48では、CPU11は出力部71のY軸方向の移動量がゼロであるか否かを判別し、移動量がゼロでなければ、ステップS49で移動量を復元量PBだけ減ずる処理を行う。移動量がゼロであれば、この処理を行わない。
そして、CPU11はステップS42に移行して、復元量PBだけ減じた移動量に対応する位置へ出力部71を移動させ、あるいは出力部71の位置を移動量ゼロの位置に止まらせたまま、ステップS43で補正画像72を作成する。
ステップS46で、CPU11は、出力部71のX軸方向の移動量がゼロであるか否かを判別し、出力部71の移動量がゼロでなければ、ステップS47で移動量を復元量PBだけ減ずる処理を行う。移動量がゼロであれば、この処理を行わない。
ステップS48では、CPU11は出力部71のY軸方向の移動量がゼロであるか否かを判別し、移動量がゼロでなければ、ステップS49で移動量を復元量PBだけ減ずる処理を行う。移動量がゼロであれば、この処理を行わない。
そして、CPU11はステップS42に移行して、復元量PBだけ減じた移動量に対応する位置へ出力部71を移動させ、あるいは出力部71の位置を移動量ゼロの位置に止まらせたまま、ステップS43で補正画像72を作成する。
この変形例によれば、パーン動作中にはフレーム70の横方向に出力部71を移動させ、ティルト動作中にはフレーム70の縦方向に出力部71を移動させるので、出力部71を初期位置側へ移動させる操作が極めて目立たず、出力画像に対する影響が殆どないという利点がある。
なお、上述した実施の形態および変形例は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、図6および図7に示したぶれ補正処理において、パーンまたはティルト動作中に、CPU11は1フレーム毎に出力部71を移動させるものとしたが、本発明はこれに限定されるものではなく、複数フレーム毎に1回、出力部71をフレーム70の中央側へ移動させるようにしてもよい。
また、上記実施の形態では、撮影部20により撮影されたフレーム70に対して、図6および図7に示すぶれ補正処理を行う例について説明したが、例えば、リムーバブルメディア50等に格納された複数フレームからなる動画像について、その表示(再生)時にぶれ補正処理を行うようにしてもよい。すなわち、撮影されたフレームのデータと、各フレーム撮影時のぶれ量を示すデータとがリムーバブルメディア50等に格納されていれば、撮影機能を有しない他の機器においてぶれ補正処理を実行することが可能である。
例えば、図6および図7に示したぶれ補正処理において、パーンまたはティルト動作中に、CPU11は1フレーム毎に出力部71を移動させるものとしたが、本発明はこれに限定されるものではなく、複数フレーム毎に1回、出力部71をフレーム70の中央側へ移動させるようにしてもよい。
また、上記実施の形態では、撮影部20により撮影されたフレーム70に対して、図6および図7に示すぶれ補正処理を行う例について説明したが、例えば、リムーバブルメディア50等に格納された複数フレームからなる動画像について、その表示(再生)時にぶれ補正処理を行うようにしてもよい。すなわち、撮影されたフレームのデータと、各フレーム撮影時のぶれ量を示すデータとがリムーバブルメディア50等に格納されていれば、撮影機能を有しない他の機器においてぶれ補正処理を実行することが可能である。
また、上記実施の形態および変形例では、デジタルカメラ1の動きを検出するため、ジャイロセンサ31、32を備えたジャイロセンサ部30により角速度を検出する構成としたが、本発明はこれに限定されるものではなく、デジタルカメラ1の単位時間あたりの移動量を検出可能なものであれば、例えば加速度センサを用いることも可能である。
また、本発明は、上記実施の形態および変形例で説明した携帯型ビデオカメラ1以外の動画撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、動画撮影機能付きデジタルスチルカメラ、および、このようなデジタルスチルカメラを具備した携帯電話機、PDA、ノート型パソコン等の各種電子機器においても適用可能である。
また、本発明は、上記実施の形態および変形例で説明した携帯型ビデオカメラ1以外の動画撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、動画撮影機能付きデジタルスチルカメラ、および、このようなデジタルスチルカメラを具備した携帯電話機、PDA、ノート型パソコン等の各種電子機器においても適用可能である。
1…携帯型デジタルビデオカメラ(撮影装置、画像処理装置)、10…制御部(画像生成手段、補正手段)、20…撮影部(撮影手段)、24…表示パネル、30…角速度検出部(ぶれ検出手段)、50…リムーバブルメディア、60…記録媒体、70…フレーム、71…出力部、72…補正画像、100…制御プログラム、100A…ぶれ補正プログラム。
Claims (6)
- 撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、
前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更する補正手段とを備え、
前記補正手段は、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させること、
を特徴とする画像処理装置。 - 前記補正手段は、トリミングされるフレームがパーン撮影されたものである場合に、前記対象領域をフレームの横方向に移動させ、トリミングされるフレームがティルト撮影されたものである場合に、前記対象領域をフレームの縦方向に移動させること、
を特徴とする請求項1記載の画像処理装置。 - 前記補正手段は、トリミングされるフレームの撮影時におけるぶれ量に基づいて前記対象領域の移動量を求め、その前のフレームにおける前記対象領域の位置から、求めた移動量だけ前記対象領域を移動させること、
を特徴とする請求項1または2記載の画像処理装置。 - 連続してフレームを撮影する撮影手段と、
前記撮影手段によってフレームを撮影する毎にぶれを検出するぶれ検出手段と、
前記撮影手段により撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、
前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更する補正手段とを備え、
前記補正手段は、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させること、
を特徴とする撮影装置。 - 撮影されたフレーム中の所定位置に配置された対象領域をトリミングして出力画像を生成する際に、トリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、トリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させること、
を特徴とする画像処理方法。 - 画像処理装置を制御するためのコンピュータにより実行される制御プログラムであって、
前記コンピュータを、
撮影されたフレーム中の所定位置に配置された対象領域をトリミングして、出力画像を生成する画像生成手段と、
前記画像生成手段によりトリミングされるフレームにおける前記対象領域の位置を、このフレームの撮影時におけるぶれ量に基づいて変更するとともに、前記画像生成手段によりトリミングされるフレームがパーン撮影またはティルト撮影されたフレームである場合には、前記対象領域の位置を所定量だけ初期位置側に移動させる補正手段と、
して機能させる制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006014626A JP2007201570A (ja) | 2006-01-24 | 2006-01-24 | 画像処理装置、撮影装置、画像処理方法、および、制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006014626A JP2007201570A (ja) | 2006-01-24 | 2006-01-24 | 画像処理装置、撮影装置、画像処理方法、および、制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007201570A true JP2007201570A (ja) | 2007-08-09 |
Family
ID=38455739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006014626A Pending JP2007201570A (ja) | 2006-01-24 | 2006-01-24 | 画像処理装置、撮影装置、画像処理方法、および、制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007201570A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011517252A (ja) * | 2008-04-15 | 2011-05-26 | ザ ヴィテック グループ ピーエルシー | 光学装置を安定化させる方法における、またはこれに関する改良 |
JP2011155492A (ja) * | 2010-01-27 | 2011-08-11 | Nikon Corp | 画像処理装置 |
KR101578600B1 (ko) | 2013-03-22 | 2015-12-17 | 가시오게산키 가부시키가이샤 | 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체 |
WO2021200139A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | 医療用画像処理システム、画像処理方法、および医療用画像処理装置 |
-
2006
- 2006-01-24 JP JP2006014626A patent/JP2007201570A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011517252A (ja) * | 2008-04-15 | 2011-05-26 | ザ ヴィテック グループ ピーエルシー | 光学装置を安定化させる方法における、またはこれに関する改良 |
JP2011155492A (ja) * | 2010-01-27 | 2011-08-11 | Nikon Corp | 画像処理装置 |
KR101578600B1 (ko) | 2013-03-22 | 2015-12-17 | 가시오게산키 가부시키가이샤 | 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체 |
WO2021200139A1 (ja) * | 2020-03-31 | 2021-10-07 | ソニーグループ株式会社 | 医療用画像処理システム、画像処理方法、および医療用画像処理装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7783180B2 (en) | Imaging apparatus with a function of compensating for hand shake, method of compensating for hand shake, and computer program product | |
JP5259172B2 (ja) | 手振れ補正制御回路およびそれを搭載した撮像装置 | |
JP6135848B2 (ja) | 撮像装置、画像処理装置および画像処理方法 | |
JP6071545B2 (ja) | 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体 | |
KR20100067406A (ko) | 디지털 촬영 장치의 흔들림 보정 방법 및 장치 | |
JP4759524B2 (ja) | 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置 | |
JP2007116309A (ja) | 画像情報再生装置 | |
JP2009284394A (ja) | 撮像装置および撮像方法 | |
JP6985898B2 (ja) | 撮像装置及び表示方法 | |
JP6128458B2 (ja) | 撮像装置および画像処理方法 | |
JP2007173966A (ja) | 撮像装置及びその画像データ処理方法 | |
JP2007243335A (ja) | 手振れ補正方法、手振れ補正装置および撮像装置 | |
JP2006295238A (ja) | 撮像装置 | |
JP2007201570A (ja) | 画像処理装置、撮影装置、画像処理方法、および、制御プログラム | |
WO2017104102A1 (ja) | 撮像装置 | |
JP2007221711A (ja) | センサユニット、及び、電子機器 | |
JP4609309B2 (ja) | 撮影装置、その制御方法及び制御プログラム | |
JPH066666A (ja) | 撮像装置 | |
JPWO2011129036A1 (ja) | 撮像装置および集積回路 | |
JPH09139881A (ja) | 手振れ補正装置 | |
JP2000069353A (ja) | 手ぶれ検出装置および手ぶれ補正装置 | |
JP2007235806A (ja) | 画像処理装置、撮影装置、画像処理方法、および、制御プログラム | |
JP2007221710A (ja) | 画像処理装置、撮影装置、画像処理方法、および、制御プログラム | |
JP2006203493A (ja) | 画像動き補正装置 | |
JP6663217B2 (ja) | 撮像装置およびその制御方法 |