JP2008153741A - 奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体 - Google Patents

奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2008153741A
JP2008153741A JP2006336904A JP2006336904A JP2008153741A JP 2008153741 A JP2008153741 A JP 2008153741A JP 2006336904 A JP2006336904 A JP 2006336904A JP 2006336904 A JP2006336904 A JP 2006336904A JP 2008153741 A JP2008153741 A JP 2008153741A
Authority
JP
Japan
Prior art keywords
depth direction
motion vector
image information
movement determination
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006336904A
Other languages
English (en)
Inventor
Yoshio Hagino
良雄 萩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2006336904A priority Critical patent/JP2008153741A/ja
Publication of JP2008153741A publication Critical patent/JP2008153741A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】奥行方向移動判定装置及び方法を提供する。
【解決手段】画像情報を取得する画像情報取得部と、前記画像情報取得部にて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部での検出結果に基づいて、変換行列を算出する変換行列算出部と、変換行列算出部での算出結果に基づいて、被写体の奥行方向の前後移動を判定する移動判定部とを備える。
【選択図】図3

Description

本発明は、撮影装置のぶれなどによる、被写体の撮影装置に対する相対的な奥行方向への移動があるか否かを判定する奥行方向移動判定装置および方法と、およびその奥行方向移動判定装置を備える手ぶれ補正装置とに関する。本発明は、奥行方向移動判定方法をコンピュータに実行させるためのプログラムと、そのプログラムを記録したコンピュータ読み取り可能な記録媒体にも関する。
通常、カメラなどの撮影装置で被写体を撮影する際は、その撮影装置を人が手で支えて撮影を行っている。そのため、被写体を撮影する際には、所謂「手ぶれ」などによる撮影画像の品質低下という問題が常に存在している。これを解決するために、従来では、三脚などで撮影装置を固定支持して撮影する方法のほかに、振動ジャイロや角速度センサなどを利用し光学系や撮像素子を駆動制御することによって、ぶれの撮影への影響を低減させる技術が開示されている。また、特許文献1や特許文献2などには、同一の被写体に対して時間的に前後に撮影された撮影画像のデータをソフトウェア上で電子的に比較処理することで、生じたぶれの方向を検出し補正する、電子式とよばれるぶれの方向の検出方法および手ぶれ補正技術も開示されている。
特開平7−177419号公報 特開平5−110931号公報
ところが、例えば上記従来の電子式手ぶれ検出、補正技術では、ぶれの方向の検出において上下あるいは左右という被写体の二次元方向へのぶれのみの検出しかしていない。しかし、実際には、上記二次元方向へのぶれに加え、撮影装置に対する奥行方向へのぶれもある。すなわち、従来の電子式手ぶれ検出、補正技術では、その奥行方向へのぶれも考慮に入れたぶれの検出や画像の補正を行っていない、と言う課題がある。
特に、技術の進歩により撮影装置の小型、軽量化が図られたため撮影装置を片手で簡単に保持して撮影することが可能になり、従来の両手で支えて撮影するカメラと比べて手ぶれも発生しやすくなっている。とりわけカメラ付携帯電話や、液晶表示モニターなどを一体化して備えたカメラでの撮影においては、従来のファインダーを覗くタイプのカメラと比べて奥行方向の手ぶれの発生が顕著であるとも言える。なぜならば、従来型のカメラとカメラ付携帯電話などでは、その撮影装置の保持方法など、その撮影体勢が大きく異なるためである。
すなわち、従来のカメラではファインダーを覗いて撮影する必要があるため比較的身体の近くで撮影装置を保持した体勢で撮影するので撮影装置も安定しやすく、奥行方向への手ぶれは比較的発生しにくい。しかし、一般的に腕を伸ばし身体から撮影装置を離し保持するというカメラ付携帯電話などの撮影体勢では、その伸ばした腕が前後にぶれることは容易に起こりうるので、奥行方向への手ぶれも比較的発生しやすいと言える。
上述したことを鑑み、本発明は、奥行方向移動判定装置及び方法を提供することを目的とする。本発明は、奥行方向移動判定装置を備える手ぶれ補正装置と、奥行方向移動判定方法をコンピュータに実行させるためのプログラムと、そのプログラムを記録したコンピュータ読み取り可能な記録媒体も提供する。
上記課題を解決するために、本発明の奥行方向移動判定装置は、画像情報を取得する画像情報取得部と、前記画像情報取得部にて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出部と、前記動きベクトル検出部での検出結果に基づいて、変換行列を算出する変換行列算出部と、変換行列算出部での算出結果に基づいて、被写体の奥行方向の前後移動を判定する移動判定部とを備えることを特徴とする。
前記動きベクトル検出部が動きベクトルを算出するために用いた基準位置座標を(x,y)とし、動きベクトルを算出するために用いた基準位置座標(x,y)と動きベクトルを足し合わせた座標を(x’,y’)とし、前記変換行列算出部は、変換行列
Figure 2008153741
から大きさを表す変数sを算出し、移動判定部は、sがある所定の閾値以上であるか、他の所定の閾値以下である場合、被写体の奥行方向の前後移動があると判定してもよい。
本発明の手ぶれ補正装置は、前記奥行方向移動判定装置と、前記奥行方向移動判定装置によって判定された被写体の奥行方向の前後移動を補正する手段とを備えることを特徴とする。
本発明の電子機器は、前記手ぶれ補正装置を備えることを特徴とする。
前記電子機器は、カメラ付き無線通信端末またはカメラ付き携帯情報端末であってもよい。
本発明の奥行方向移動判定方法は、画像情報を取得する画像情報取得ステップと、前記画像情報取得ステップにて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出ステップと、前記動きベクトル検出ステップでの検出結果に基づいて、変換行列を算出する変換行列算出ステップと、変換行列算出ステップでの算出結果に基づいて、被写体の奥行方向の前後移動を判定する移動判定ステップとを含むことを特徴とする。
前記動きベクトル検出ステップにおいて動きベクトルを算出するために用いた基準位置座標を(x,y)とし、動きベクトルを算出するために用いた基準位置座標(x,y)と動きベクトルを足し合わせた座標を(x’,y’)とし、前記変換行列算出ステップにおいて、変換行列
Figure 2008153741
から大きさを表す変数sを算出し、移動判定ステップにおいて、sがある所定の閾値以上であるか、他の所定の閾値以下である場合、被写体の奥行方向の前後移動があると判定してもよい。
本発明のコンピュータプログラムは、前記奥行方向移動判定方法をコンピュータに実行させるためのものである。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したものである。
上記構成を備えた本発明の奥行方向移動判定装置により、従来行っていた上下左右という二次元方向への被写体のぶれのみならず、撮影時に発生する奥行方向への前後移動のぶれを判定することが可能になる。また、その判定を利用した本発明の手ぶれ補正システムにより撮影装置の奥行方向へのぶれにより発生した撮影画像のぶれを、上下左右方向のぶれではなく、奥行方向へのぶれとしてその方向を正しく検出することができる。また、その正確なぶれ方向の検出に基づいて、撮影画像に対する正確な補正をすることが可能になる。
以下に、各発明の実施の形態を図を参照しつつ説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施しうる。
なお、以下に記載する本発明の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。具体的には、コンピュータを利用するものであれば、CPU(中央演算処理装置)やメモリ、バス、ハードディスクや不揮発性メモリなどの記憶装置、CD−ROMやDVD−ROMなどの記憶メディア、それらメディアの読取ドライブ、各種通信や印刷機器用の送受信ポート、その他の周辺装置などのハードウェア構成部や、それらハードウェアを制御するためのドライバプログラムやその他アプリケーションプログラム、情報入力に利用されるインターフェースなどが挙げられる。具体的には、メモリ上に展開されたプログラムを順次実行することで、メモリ上のデータや、インターフェースを介して入力されるデータの加工、蓄積、出力などにより各部の機能が実現される。
また本発明は、装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、このような発明の一部をソフトウェアとして構成することができることもできる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる(本明細書の全体を通じて同様である)。
図1は、カメラ等の撮影装置による撮影に際して生じる撮影装置の「ぶれ」の方向について説明するための図である。なお、図1(a)は、被写体Aと撮影装置Bとを上方から見た図である。また図1(b)は、被写体Aと撮影装置Bとを側面から見た図である。一方において、図1(a)の矢印αで示すように、撮影装置Bは被写体Aに対して左右方向へぶれる可能性がある。他方において、図1(b)の矢印βで示すように、撮影装置Bは、被写体Aに対して上下方向へもぶれる可能性がある。しかしながら、撮影装置Bは、これら左右方向のぶれおよび上下方向のぶれのみならず、図1(a)および図1(b)の矢印γで示すように、被写体Aに対して奥行方向の前後方向にぶれる可能性も存在する。
図2は、上記説明した撮影装置のぶれにより生じる撮影画像でのぶれの一例を表す図である。なお、この図は、例えば動画像撮影において時間軸上で近傍にある個々のフレーム(コマ)画像を重ね合わせたものである。例えば図1の矢印αで示すように撮影装置が左右方向へぶれている場合、図2(a)に示すように、その撮影画像内で本来実線で示す位置に撮影されるべき被写体が前後のフレームにおいてそれぞれ破線で示すように左右の位置にぶれていることがわかる。同様に図1の矢印βで示す上下方向のぶれがある場合、図2(b)に示すような被写体の上下のぶれが発生することがわかる。また、図1の矢印γで示す三次元方向の前後移動のぶれがある場合、図2(c)に示すように、二次元の撮影画像内では被写体像の拡大縮小という形でぶれが撮影される。したがってこれを動画像として再生した際には、被写体がぶれて動くという見づらい再生動画像になってしまう。
従来の手ぶれ補正システムにおける手ぶれの方向判定装置では、図1の矢印αや矢印βに示すような上下左右でのぶれの方向を検出していた。そしてその検出結果から、図2(a)、図2(b)で示すような手ぶれ撮影画像に対する補正のみを行っていた。しかし、本実施例の奥行方向移動判定装置ではそれのみならず、図1の矢印γで示すような三次元の奥行方向の前後のぶれについても、その手ぶれの方向を正確に判定できることを特徴としている。そして、それにより従来では手ぶれの方向を正確に検出できず補正が困難であった図2のγで示すような撮影画像に関しても正確な手ぶれ補正を行うことが可能になる。
図3は、本発明の奥行方向移動判定装置の構成の一例を示すブロック図である。本実施例の奥行方向移動判定装置300は、画像情報取得部301と、動きベクトル検出部302と、変換行列算出部303と、移動判定部304とを備える。
図8は、本発明の奥行方向移動判定装置を備えた撮像装置のハードウェア構成の一例を示すブロック図である。本撮影装置は、レンズ801と、CCDイメージセンサ802と、A/D変換器803と、CPU804と、一時記憶メモリ805と、記憶装置806と、画像出力ユニット807と、奥行方向移動判定装置808とを備える。
以下、図3および図8を参照し、本発明の奥行方向移動判定器の機能及びそれを実現するための構成の一例について説明する。
図3の画像情報取得部301は、画像情報を取得する機能を有する。画像情報としては、例えば図8のCCDイメージセンサ802やCMOSイメージセンサなどの光電変換素子やカラーフィルターなどを利用し取得された、画素単位のRGB値やYUV値などの数値で表される画像情報などが挙げられる。なお、この画像情報取得部で取得される画像情報は、同一の被写体に対して時間遷移にともなって複数枚取得される必要がある。なぜならば、後述する動きベクトルを検出する際に、時間的にずれた複数枚の画像情報が必要であるためである。「同一の被写体に対して時間遷移にともなって取得された複数の画像情報」とは、図4に示すように、例えば、動画像の撮影の場合、その動画像を構成する連続した(あるいは非連続の)フレーム(コマ)である複数の画像情報が挙げられる。
あるいは、静止画像であれば、静止画撮影した被写体について、その直後にも同時に撮影し複数の画像情報を取得する方法が挙げられる。このように時間遷移に応じて同一被写体に対する連続(または所定の間隔で非連続)の画像情報を比較することで、後述するように動きベクトルを検出することが可能になる。
また、これら画像情報は符号化された情報であり、復号化されることで画像を表示可能な情報であっても構わない。また、その場合、動画像であればフラクタル符号化などを利用して単独で符号化された画像情報であっても構わないし、時間的に前又は/及び後ろの画像情報を参照するフレーム間予測を利用して符号化された画像情報であっても良い。
図3の画像情報取得部301による画像の取得は、例えば図8のレンズ801を通った被写体の光が、画素単位のCCD素子の集合体であるCCDイメージセンサ802によって光電変換され、変換された電荷の量に応じA/D変換器803によって画像情報を示すデジタルデータが生成され取得する方法が挙げられる。そしてこのように取得された画像情報が、一時記憶メモリ805や記憶装置806内の所定のアドレスの記憶領域にフレーム番号と対応して記憶される。フレーム番号とは、画像情報取得の時間経過に即して割り振られる番号であり、画像情報が動画像情報であれば再生順番を示す情報となる。また画像情報が静止画像であれば例えば連続撮影の撮影順を示す情報となる。このように画像情報がフレーム番号と対応して所定のアドレスに記憶されることで、後述するようにCPUの演算処理によって動きベクトルの検出を行う際に、時間的に前後の画像情報を比較してその検出処理を行うことが可能になる。
動きベクトル検出部302は、画像情報取得部301にて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する機能を有する。図5および図6は、この動きベクトルの検出の一例について説明するための図である。図5(a)や(b)に示すように、画像情報取得部で取得される画像情報は、例えば分割領域を指定するためのサイズ情報や位置情報などによって、その内部が所定の格子状領域などに分割されている。ここでは、この格子状領域のうち図6で示す所定の5箇所を検出箇所として、それぞれの検出箇所における局所的な動きベクトルを検出する例を説明する。もちろん、上記格子状領域(あるいは格子状以外の形状の領域)のすべてを検出箇所としてそれぞれにおける局所的な動きベクトルを検出しても良い。
図5(a)の画像情報1の画像において、斜線で示す格子状領域501は、上記所定の5箇所の検出箇所のうちの一つである。そして、この検出箇所501における局所的な動きベクトルの検出は、例えば以下のような処理により行われる。すなわち、この検出箇所501内の被写体画像が、時間的にその次以降のフレームである図5(b)の画像情報2の画像においてどの位置に移動しているか、を判断する。
その判断のためには、例えばブロックマッチングなどの画像マッチング処理技術を利用すると良い。ブロックマッチングでは、まず図5(b)の画像情報2の画像内から、前記検出箇所501と同じ位置のブロックを中心として周囲所定個のブロック群で構成される探索範囲502を決定する。そして探索範囲の中から画素値やその分布情報などを利用して、図5(a)の検索箇所501内の被写体画像と最も近似しているブロック503を検出する。そしてその移動量を水平、垂直成分として、検出箇所501における局所的な動きベクトル501nが検出される、という具合である。
そして、動きベクトルを算出するために用いた基準位置座標を(x,y)とし、動きベクトルを算出するために用いた基準位置座標(x,y)と動きベクトルを足し合わせた座標(x’,y’)(以降では、変換座標と呼ぶ)を求める。
そして、その他の検出箇所についても、基準位置座標と変換座標を関連づけて、後述する変換行列算出部303において、左右上下の移動方向情報と奥行き方向情報を算出することで、奥行方向移動判定装置300は、被写体の奥行方向への移動を判定する。
5箇所のサンプル検出箇所がある場合には、基準位置座標と変換座標の関連ペアが5つ存在することになる。変換行列算出部では、最低3つの関連ペアが必要となるが、一般的にはサンプル箇所が多いほど、変換行列算出部303から算出される上下左右方向の推定移動位置情報と奥行き方向の移動推定情報の精度がよくなる。
変換行列算出部303は、動きベクトル検出部302での検出結果に基づいて、上下左右方向の移動位置情報と奥行き方向の推定情報の算出機能を有する。
以下に変換行列算出部303により上下左右方向の移動位置情報と奥行き方向の推定情報を算出する方法の一例を示す。
動きベクトル検出部で検出した基準位置座標(x,y)と変換座標(x’,y’)は、2次元の座標上では下記式(1)のように表すことができる。
Figure 2008153741
上下左右方向の移動は、(dx,xy)が(0,0)以外の値を示し、奥行き方向の移動は、大きさを表す変数sがs>1ならば被写体へ近づく方向で、s<1ならば被写体から遠ざかる方向へ移動していることになる。
sと(dx,dy)の値は、動きベクトル検出部302で検出した基準位置座標(x,y)と変換座標(x’,y’)で関連づけされたデータを使用して、最小二乗法やM推定法を用いることで、式1のsと(dx,dy)を算出することができる。
移動判定部304は、変換行列算出部303での算出結果に基づいて被写体の奥行方向の前後移動を判定する機能を有する。なお、「被写体の奥行方向への前後移動」とは、撮影装置に対して被写体が奥行方向に前後移動することを言う。したがって、被写体だけではなく撮影装置が前後に移動する場合も含むものである。
移動判定部304では、変換行列算出部303で算出したsの値が所定の閾値A以上あるいはB以下であれば奥行き方向の前後移動をしていると判定する。
このようにしてなされた動きの方向の判定結果を利用して、例えば撮影装置の表示部に「カメラが前後方向にぶれています」などの警告メッセージを表示してもよい。具体的には、例えば1/30秒ごとに上記判定を行い、1秒間30回の判定のうち最も多く判定されたぶれの方向に関する警告を表示する、という具合である。
図7は、本発明の奥行方向移動判定装置における処理の流れの一例を表すフローチャートである。この図にあるように、まず、n枚目の画像情報を取得し(ステップS701)、続けてn+1枚目の画像情報を取得する(ステップS702)。次に、ステップS0701で取得したn枚目の画像情報で示される画像内の複数の検出箇所に関して、n枚目の画像情報とn+1枚目の画像情報とを比較する(ステップS703)。さらに、ステップS703での比較結果に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出し、基準位置座標と変換座標を求める(ステップS704)。そして、ステップS704での基準位置座標と変換座標から変換行列を算出する(ステップ0705)。
最後に、ステップS705での算出結果に基づいて被写体の奥行方向の前後移動を判定し(ステップS706)、その判定結果に基づいて例えば撮影装置のぶれの方向を警告したり、画像の補正を行ったり、あるいは画像分類用のインデックスを付与したりすることができる。
以上のように、本発明の奥行方向移動判定装置によって奥行方向への前後移動のぶれを判定することが可能になる。また、その判定結果から、例えば撮影装置のぶれの方向についての警告メッセージを表示することができるようになる。また、後述する本発明の手ぶれ補正システムに組み込まれることで、撮影装置の奥行方向へのぶれにより発生した撮影画像のぶれを、上下左右方向のぶれではなく奥行方向へのぶれとしてその方向を正しく認識し、その正確なずれの方向に応じた補正することが可能になる。あるいは、動画の動きの方向による分類用インデックスを付与することもできるようになる。
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。なお、本発明の実施の形態は、上記の実施例に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。また、応用に関しても同様である。また、手ぶれ補正装置を有すればどんな機器にも適用できる。例えば、デジタルカメラ、デジタルビデオカメラ、携帯電話装置、PDA等の携帯情報端末、映像編集装置、パソコン等の情報処理装置にも適用可能である。
本発明は、奥行方向移動判定装置および手ぶれ補正装置に利用可能である。
撮影装置による撮影に際して生じる撮影装置の「ぶれ」の方向について説明するための図であり、(a)は、被写体Aと撮影装置Bとを上方から見た図であり、(b)は、被写体Aと撮影装置Bとを側面から見た図である。 (a)乃至(c)は、撮影装置のぶれにより生じる撮影画像でのぶれの一例を表す図である。 本発明の奥行方向移動判定装置の構成の一例を示すブロック図である。 (a)乃至(c)は、奥行方向移動判定装置の画像情報取得部において同一の被写体に対して時間遷移にともなって取得された複数の画像情報の一例を説明するための図である。 (a)および(b)は、動きベクトルの検出の一例について説明するための図である 奥行方向移動判定装置の移動判定部でのサンプリングによる判定の一例を説明するための図である。 本発明の奥行方向移動判定装置における処理の流れの一例を表すフローチャートである。 本発明の奥行方向移動判定装置を備えた撮像装置のハードウェア構成の一例を示すブロック図である。
符号の説明
300、808 奥行方向移動判定装置
301 画像情報取得部
302 動きベクトル検出部
303 変換行列算出部
304 移動判定部
801 レンズ
802 CCDイメージセンサ
803 A/D変換器
804 CPU
805 一時記憶メモリ
806 記憶装置
807 画像出力ユニット

Claims (9)

  1. 画像情報を取得する画像情報取得部と、
    前記画像情報取得部にて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出部と、
    前記動きベクトル検出部での検出結果に基づいて、変換行列を算出する変換行列算出部と、
    変換行列算出部での算出結果に基づいて、被写体の奥行方向の前後移動を判定する移動判定部とを備えることを特徴とする奥行方向移動判定装置。
  2. 前記動きベクトル検出部が動きベクトルを算出するために用いた基準位置座標を(x,y)とし、
    動きベクトルを算出するために用いた基準位置座標(x,y)と動きベクトルを足し合わせた座標を(x’,y’)とし、
    前記変換行列算出部は、
    変換行列
    Figure 2008153741
    から大きさを表す変数sを算出し、
    移動判定部は、sがある所定の閾値以上であるか、他の所定の閾値以下である場合、被写体の奥行方向の前後移動があると判定することを特徴とする請求項1記載の奥行方向移動判定装置。
  3. 請求項1又は2に記載の奥行方向移動判定装置と、
    前記奥行方向移動判定装置によって判定された被写体の奥行方向の前後移動を補正する手段とを備えることを特徴とする手ぶれ補正装置。
  4. 請求項3に記載の手ぶれ補正装置を備えることを特徴とする電子機器。
  5. カメラ付き無線通信端末またはカメラ付き携帯情報端末であることを特徴とする請求項4記載の電子機器。
  6. 画像情報を取得する画像情報取得ステップと、
    前記画像情報取得ステップにて取得される複数枚の画像情報に基づいて、画像内の複数の検出箇所における局所的な動きベクトルを検出する動きベクトル検出ステップと、
    前記動きベクトル検出ステップでの検出結果に基づいて、変換行列を算出する変換行列算出ステップと、
    変換行列算出ステップでの算出結果に基づいて、被写体の奥行方向の前後移動を判定する移動判定ステップとを含むことを特徴とする奥行方向移動判定方法。
  7. 前記動きベクトル検出ステップにおいて動きベクトルを算出するために用いた基準位置座標を(x,y)とし、
    動きベクトルを算出するために用いた基準位置座標(x,y)と動きベクトルを足し合わせた座標を(x’,y’)とし、
    前記変換行列算出ステップにおいて、
    変換行列
    Figure 2008153741
    から大きさを表す変数sを算出し、
    移動判定ステップにおいて、sがある所定の閾値以上であるか、他の所定の閾値以下である場合、被写体の奥行方向の前後移動があると判定することを特徴とする請求項6記載の奥行方向移動判定方法。
  8. 請求項6又は7に記載の方法をコンピュータに実行させるためのプログラム。
  9. 請求項8に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2006336904A 2006-12-14 2006-12-14 奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体 Pending JP2008153741A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006336904A JP2008153741A (ja) 2006-12-14 2006-12-14 奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006336904A JP2008153741A (ja) 2006-12-14 2006-12-14 奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体

Publications (1)

Publication Number Publication Date
JP2008153741A true JP2008153741A (ja) 2008-07-03

Family

ID=39655501

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006336904A Pending JP2008153741A (ja) 2006-12-14 2006-12-14 奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP2008153741A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304194B2 (en) 2011-01-20 2016-04-05 Samsung Electronics Co., Ltd. Apparatus and method for estimating camera motion using depth information, and augmented reality system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102082A (ja) * 2003-09-26 2005-04-14 Mitsubishi Electric Corp 画像空間安定化方法
JP2006319578A (ja) * 2005-05-11 2006-11-24 Sharp Corp 奥行方向移動判定装置、その奥行方向移動判定装置を有する手ぶれ補正システム、およびその方法、プログラム、そのプログラムが記録された計算機に読み取り可能な記録媒体、および手ぶれ補正システムを備える電子機器。
JP2008118555A (ja) * 2006-11-07 2008-05-22 Canon Inc 画像処理装置、撮像装置、及び画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102082A (ja) * 2003-09-26 2005-04-14 Mitsubishi Electric Corp 画像空間安定化方法
JP2006319578A (ja) * 2005-05-11 2006-11-24 Sharp Corp 奥行方向移動判定装置、その奥行方向移動判定装置を有する手ぶれ補正システム、およびその方法、プログラム、そのプログラムが記録された計算機に読み取り可能な記録媒体、および手ぶれ補正システムを備える電子機器。
JP2008118555A (ja) * 2006-11-07 2008-05-22 Canon Inc 画像処理装置、撮像装置、及び画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304194B2 (en) 2011-01-20 2016-04-05 Samsung Electronics Co., Ltd. Apparatus and method for estimating camera motion using depth information, and augmented reality system

Similar Documents

Publication Publication Date Title
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
JP4926920B2 (ja) 防振画像処理装置及び防振画像処理方法
US8004570B2 (en) Image processing apparatus, image-pickup apparatus, and image processing method
JP5206095B2 (ja) 構図判定装置、構図判定方法、プログラム
US9516223B2 (en) Motion-based image stitching
EP1578116A1 (en) Image processor
JP4759524B2 (ja) 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP2006319578A (ja) 奥行方向移動判定装置、その奥行方向移動判定装置を有する手ぶれ補正システム、およびその方法、プログラム、そのプログラムが記録された計算機に読み取り可能な記録媒体、および手ぶれ補正システムを備える電子機器。
CN113556464B (zh) 拍摄方法、装置及电子设备
JP6656035B2 (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
JP2009017223A (ja) 撮影装置、画像処理装置、これらにおける画像処理方法およびプログラム
JP2008160300A (ja) 画像処理装置及び撮像装置
JP2007243335A (ja) 手振れ補正方法、手振れ補正装置および撮像装置
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
JP4661514B2 (ja) 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
US9686470B2 (en) Scene stability detection
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2008236015A (ja) 画像処理装置、撮像装置及びそのプログラム
JP2004112550A (ja) 撮像装置、カメラ、プログラム及び記録媒体
JP2008153741A (ja) 奥行方向移動判定装置および方法、手ぶれ補正装置、プログラムおよび記録媒体
US20130236055A1 (en) Image analysis device for calculating vector for adjusting a composite position between images
JP2009027437A (ja) 画像処理装置,画像処理方法及び撮像装置
JP2009033479A (ja) 手ぶれ補正装置
JP5279453B2 (ja) 画像振れ補正装置、撮像装置及び画像振れ補正方法
JP2018174461A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110426