JP2007122275A - 動きベクトル検出装置及びそのプログラム - Google Patents
動きベクトル検出装置及びそのプログラム Download PDFInfo
- Publication number
- JP2007122275A JP2007122275A JP2005311757A JP2005311757A JP2007122275A JP 2007122275 A JP2007122275 A JP 2007122275A JP 2005311757 A JP2005311757 A JP 2005311757A JP 2005311757 A JP2005311757 A JP 2005311757A JP 2007122275 A JP2007122275 A JP 2007122275A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- correlation
- block
- correlation detection
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】 フレームデータを取得すると、ブロック分割部21は、フレームデータを複数の相関検出ブロックに分割し、平均値算出部22は、各相関検出ブロックの画素平均値を算出し、活性度算出部23は、該算出された各相関検出ブロックの画素平均値から各相関検出ブロックのブロック活性度を算出する。そして、グループ振分部24は、該算出されたブロック活性度に基づいて、各相関検出ブロックを2つのグループに振り分け、代表点マッチング法(相関値算出部26、累積加算部27、動きベクトル算出部28)により各グループの動きベクトルを算出する。そして、動きベクトル算出部28は、各グループの相関検出ブロックの数の比率に応じて、グループごとの動きベクトルから全体の動きベクトルを算出する。
【選択図】 図2
Description
例えば、画像内に複数の動きベクトル検出領域を設け、代表点マッチング法により各領域の動きベクトルを検出する。そして、検出した各領域における動きベクトルを、動きベクトルの時間変化や他の要素によって評価して信頼度を得、その信頼度に応じて各ベクトルを選択、合成して画像全体を代表する動きベクトルを得るというものである(特許文献1)。
フレームデータを取得する取得手段と、
前記取得手段により取得されたフレームデータから相関検出ブロック単位で、ブロック活性度を算出する活性度算出手段と、
前記活性度算出手段により算出された各相関検出ブロックのブロック活性度に基づいて、複数の相関検出ブロックを複数の群に振り分ける振分手段と、
前記振分手段により振り分けられた郡ごとの動きベクトルを算出する動きベクトル算出手段と、
前記振分手段により複数の郡に振り分けられた相関検出ブロックの比率に応じて、前記動きベクトル算出手段により算出された郡ごとの動きベクトルから、1つの動きベクトルを算出することにより、フレームデータの動きベクトルを検出する検出手段と、
を備えたことを特徴とする。
現フレームデータの相関検出ブロックの画素値に基づく値と、前フレームデータの同相関検出ブロックの画素値に基づく値との差をとることにより、相関検出ブロックのブロック活性度を算出するようにしてもよい。
現フレームデータの相関検出ブロックの画素値の平均値と、前フレームデータの同相関検出ブロックの画素値の平均値との差をとることにより、相関検出ブロックのブロック活性度を算出するようにしてもよい。
現フレームデータの相関検出ブロック内の1部の画素の画素値に基づく値と、前フレームデータの同相関検出ブロック内の1部の画素の画素値に基づく値との差をとることにより、相関検出ブロックのブロック活性度を算出するようにしてもよい。
ベイヤーデータの現フレームデータの相関検出ブロックの画素値に基づく値と、ベイヤーデータの前フレームデータの相関検出ブロックの画素値に基づく値との差をとることにより、相関検出ブロックのブロック活性度を算出するようにしてもよい。
相関検出ブロックのG画素値を用いて相関検出ブロックのブロック活性度を算出するようにしてもよい。
前記活性度算出手段により算出された相関検出ブロックのブロック活性度が閾値より低いか否かを判断する判断手段を含み、
前記判断手段により相関検出ブロックのブロック活性度が閾値より低いと判断された相関検出ブロックを第1の郡に振り分け、前記判断手段により相関検出ブロックのブロック活性度が閾値より高いと判断された相関検出ブロックを第2の郡に振り分けるようにしてもよい。
現フレームデータの相関検出ブロック内の画素値と、前フレームデータの同相関検出ブロックの代表画素値との差をとることにより、相関検出ブロック内の画素の相関値を算出する相関値算出手段を含み、前記相関値算出手段により算出された各相関検出ブロック内の画素の相関値に基づいて、群ごとの動きベクトルを算出するようにしてもよい。
現フレームデータの相関検出ブロック内の1部の画素値と、前フレームデータの同相関検出ブロックの代表画素値との差をとることにより、各相関検出ブロック内の画素の相関値を算出するようにしてもよい。
ベイヤーデータの現フレームデータの相関検出ブロック内の画素値と、ベイヤーデータの前フレームデータの同相関検出ブロックの代表画素値との差をとることにより、各相関検出ブロック内の画素の相関値を算出するようにしてもよい。
相関検出ブロック内のG画素値と、前フレームデータの代表画素値との差をとることにより、各相関検出ブロック内の画素の相関値を算出するようにしてもよい。
前記振分手段により振り分けられた郡ごとに、前記相関値算出手段により算出された各相関検出ブロックの画素の相関値を、画素位置が同じ画素の相関値毎に加算する累積加算手段を含み、前記累積加算手段に加算された郡ごとの値に基づいて、群ごとの動きベクトルを算出するようにしてもよい。
前記累積加算手段により加算された値の中で最も小さい値を用いて動きベクトルを算出するようにしてもよい。
前記振分手段により複数の郡に振り分けられた相関検出ブロックの数の比率に応じて、前記動きベクトル算出手段により算出された郡ごとの動きベクトルを合成することにより、フレームデータの動きベクトルを検出するようにしてもよい。
フレームデータを取得する取得処理と、
前記取得処理により取得されたフレームデータから相関検出ブロック単位で、ブロック活性度を算出する活性度算出処理と、
前記活性度算出処理により算出された各相関検出ブロックのブロック活性度に基づいて、複数の相関検出ブロックを複数の群に振り分ける振分処理と、
前記振分処理により振り分けられた郡ごとの動きベクトルを算出する動きベクトル算出処理と、
前記振分処理により複数の郡に振り分けられた相関検出ブロックの比率に応じて、前記動きベクトル算出処理により算出された郡ごとの動きベクトルから、1つの動きベクトルを算出することにより、フレームデータの動きベクトルを検出する検出処理と、
を含むことを特徴とする。
フレームデータを取得する取得ステップと、
前記取得処理により取得されたフレームデータから相関検出ブロック単位で、ブロック活性度を算出する活性度算出ステップと、
前記活性度算出ステップにより算出された各相関検出ブロックのブロック活性度に基づいて、複数の相関検出ブロックを複数の群に振り分ける振分ステップと、
前記振分ステップにより振り分けられた郡ごとの動きベクトルを算出する動きベクトル算出ステップと、
前記振分ステップにより複数の郡に振り分けられた相関検出ブロックの比率に応じて、前記動きベクトル算出ステップにより算出された郡ごとの動きベクトルから、1つの動きベクトルを算出することにより、フレームデータの動きベクトルを検出する検出ステップと、
を含むことを特徴とする。
[実施の形態]
A.デジタルカメラの構成
図1は、本発明の動きベクトル検出装置を実現するデジタルカメラ1の電気的な概略構成を示すブロック図である。
デジタルカメラ1は、撮影レンズ2、CCD3、垂直ドライバ4、TG(timing
generator)5、ユニット回路6、DMAコントローラ(以下、DMAという)7、メモリ8、DMA9、画像生成部10、DAM11、DMA12、表示部13、DMA14、圧縮部15、DMA16、フラッシュメモリ17、CPU18、バス19を備えている。
画像生成部10は、DMA9から送られてきたベイヤーデータの画像データに対して、画素補間処理、γ補正、ホワイトバランス処理等を施すとともに、輝度色差信号(YUVデータ)を生成する処理を行う。
DMA11は、画像生成部10で生成された輝度色差信号の画像データを、メモリ8に記憶させる。このとき、上記ベイヤーデータとは別の領域に輝度色差信号の画像データを記憶させる。
表示部13は、カラーLCDとその駆動回路を含み、DMA12から出力された画像データを表示させる。
圧縮部15は、画像データの圧縮・伸張(例えば、MPEG形式の圧縮・伸張)を行なう部分である。
DMA16は、メモリ8に記憶された圧縮画像データを読み出して、フラッシュメモリ17に記録したり、フラッシュメモリ17に記録された圧縮画像データをメモリ8に記憶させる。
メモリ8は、さらに、CPU18の制御に必要なプログラム、及び必要なデータが記録されているとともに、動きベクトルを算出するために必要な記憶領域を有している。
CPU18は、CCD3を駆動させることにより、一定周期毎にCCD3から出力されるフレームデータ(画像データ)からそれぞれ動きベクトルMVの算出を行う。
CPU18は、ブロック分割部21、平均値算出部22、活性度算出部23、グループ振分部24、カウント部25、相関値算出部26、累積加算部27、動きベクトル算出部28などの機能を有している。
メモリ8は、累積相関値記憶エリアA31、累積相関値記憶エリアB32、フレーム情報記憶領域33を有する。
CPU18は、新しいフレームデータを取得すると、メモリ8の累積相関値記憶エリアA31、累積相関値記憶エリアB32に記憶されている情報を消去するとともに、カウント部25のカウント数を0に設定する。
各相関検出ブロックのブロック活性度が算出されると、グループ振分部24は、該算出されたブロック活性度が閾値より低いか否かを判断し、ブロック活性度が閾値より低い相関検出ブロックをグループAに振り分け、ブロック活性度が閾値より低くない相関検出ブロックをグループBに振り分ける。
相関値算出部26、累積加算部27、動きベクトル算出部28は、主に、代表点マッチング法を用いてグループAに振り分けられた相関検出ブロックとグループBに振り分けられた相関検出ブロックに基づいて、グループAの動きベクトルとグループBの動きベクトルを算出し、動きベクトル算出部28は、さらに、算出されたグループAの動きベクトルとグループBの動きベクトルに基づいてフレーム全体の動きベクトルを算出するというものである。
そして、該検出されたグループAとグループBとの動きベクトル(MVa、MVb)に基づいて、現フレームの動きベクトルを検出する。この現フレームの動きベクトルの検出は、グループAに振り分けられた相関検出ブロックとグループBに振り分けられた相関検出ブロックの数の比率に応じて、グループAとグループBとの動きベクトル(MVa、MVb)から現フレームの動きベクトルMVを検出する。
実施の形態におけるデジタルカメラ1の動作を説明する前に発明の概略を説明する。
本発明は、手振れのみがある部分(例えば、背景)のような画像の変化が小さい部分の動きベクトルと、被写体の動きが大きい部分のような画像の変化が大きい部分の動きベクトルをそれぞれ算出し、画像の変化が小さい部分と画像の変化が大きい部分とのフレームの画像内に占める範囲に応じて、フレームの動きベクトルを算出するというものである。
そこで、相関検出ブロックのブロック活性度と閾値とを用いて、相関検出ブロックをグループAとBに振り分けることにより、手振れのみがある部分と被写体の動きがある部分とに振り分けている。つまり、被写体の動きがある相関検出ブロックは、前フレームの相関検出ブロックとの相関性(フレーム間の相関性)が低くなり、即ち、ブロック活性度の値が高くなり(フレーム間の画素平均値の差が高くなり)、このブロック活性度の高さを閾値を用いて判断している。
そして、グループA、グループB毎に動きベクトルを算出し、グループAの相関検出ブロックの数とグループBの相関検出ブロックの数との比率に応じて、全体の動きベクトルを算出する。これにより、画像内において、手振れの範囲と、動きのある被写体の範囲との割合に応じて、画像全体の動きベクトルを算出することができる。
また、反対に、被写体の動きのある部分(人)の方が、手振れのある部分(背景)より、画像内に占める範囲が多い場合には、算出されるフレームの動きベクトルは、算出された背景の動きベクトル(グループAの動きベクトル)と被写体の動きベクトル(グループBの動きベクトル)とのうち、被写体の動きベクトルにウエートを置いた動きベクトルということになる。
つまり、フレームの画像内に占める範囲が多い方の動きベクトルにウエートを置いて、フレームの動きベクトルを算出するというものである
まず、CPU18は、新たなフレームデータを取得すると、J=1(J:相関検出ブロックの番号)、Na=0、Nb=0に設定し、累積相関値記憶エリアA31と累積相関値記憶エリアB32とに記憶されている情報をクリアに(消去)する(ステップS1)。
ここで、Naとは、ブロック活性度が閾値より低いと判断された相関検出ブロック(グループAに振り分けられた相関検出ブロック)のカウント値を示し、Nbとは、ブロック活性度が閾値より高いと判断された相関検出ブロック(グループBに振り分けられた相関検出ブロック)のカウント値を示すものである。
次いで、CPU18は、J番目(J=1なので、ここでは1番目)の相関検出ブロックの相関値Hの算出を開始する(ステップS3)。
そして、平均値算出部22は、該算出したJ番目の相関検出ブロックの画素平均値をメモリ8のフレーム情報記憶領域33に記憶させるとともに、J番目の相関検出ブロックの代表画素値もフレーム情報記憶領域33に記憶させる(ステップS5)。この代表画素値とは、J番目の相関検出ブロックの中心画素の画素値をいい、図3でいうとアドレス(x,y)が(0,0)となる画素の画素値ということになる。なお、相関検出ブロックの画素平均値を代表画素値とするようにしてもよい。
この記憶されたJ番目の相関検出ブロックの代表画素値と、J番目の相関検出ブロックのブロック平均値とは、次のフレーム(i+1番目のフレーム)の動きベクトルを算出するとき、つまり、ステップS6、ステップS9で用いられる。
ステップS7で、該算出したブロック活性度が閾値より低いと判断されると、グループ振分部24は該相関検出ブロックをグループAに振り分け、カウント部25は、Naのカウントを+1にする(ステップS8)。
まず累積相関値記憶エリアA31に記憶されている累積相関値Sとは、各相関検出ブロックで算出されたそれぞれの画素の相関値Hを同じ位置の画素同士で加算した値のことをいう。
つまり、図7に示すように各相関検出ブロックで算出されたそれぞれの画素の相関値Hの中で、アドレスが同じ画素の相関値Hをそれぞれ加算したものが累積相関値Sということになり、累積相関値Sの数は、相関値Hの数、相関検出ブロック内のG画素の数と同じ数だけ存在するということになる。
例えば、アドレス(x,y)が(6,2)の画素の相関値Hをそれぞれ加算した累積相関値Sのアドレス(x,y)は(6,2)ということになり、アドレス(x,y)が(7,−3)の画素の相関値Hがそれぞれ加算された累積相関値Sのアドレスは(7,−3)ということになる。
図6(c)は、累積相関値Sの様子を示すものであり、図6(b)に示すように新たに算出された画素の相関値Hは、この累積相関値Sに加算される。このとき、累積相関値Sに、該累積相関値Sのアドレスと同じアドレスの画素の相関値Hが加算される。
次いで、ステップS9と同様に、相関値算出部26は、J番目の相関検出ブロック内の各G画素値と、1つ前のフレームのJ番目の相関検出ブロックの代表画素値とから画素の相関値H(差分の二乗)をそれぞれ算出し、累積加算部27は、該算出したそれぞれの画素の相関値Hを累積相関値記憶エリアB32に記憶されているそれぞれの累積相関値Sに加算して記憶し(ステップS11)、ステップS12に進む。なお、累積相関値記憶エリアB32に累積相関値Sが記憶されていない場合はそのまま、算出したそれぞれの画素の相関値Hを記憶させ、この記憶された画素の相関値Hが累積相関値Sということになる。
ステップS12で、まだ、画素の相関値Hを算出していない相関検出ブロックがあると判断すると、ステップS13でJ=J+1に設定してステップS3に戻る。これにより、次の番号の相関検出ブロックの画素の相関値Hを求めることができる。
次いで、累積相関値記憶エリアB32に記憶されている累積相関値Sの中で最小値となる累積相関値Sの位置、つまり、アドレスを検出する(ステップS15)。この検出されたアドレスが動きベクトルMVbとなる。
そして、CPU18は、この算出されたフレームの動きベクトルと、i−1番目のフレームでの切り出し範囲とから、i番目のフレームの切り出し範囲を求め、DMA9は、該求められた切り出し範囲にしたがって、メモリ8に記憶されているi番目のフレームの画像データ(ベイヤーデータ)を切り出して読出し、画像生成部10に出力させ、CPU18は、i+1番目のフレームの動きベクトルを算出する処理を開始する。
MV=(Na×MVa+Nb×MVb)/(Na+Nb)
Na;グループAに振り分けられた相関検出ブロックの数
Nb;グループBに振り分けられた相関検出ブロックの数
また、ベイヤーデータ(CCDデータ、生データ)を用いて代表点マッチング法により各グループの動きベクトルを算出するので、補間処理が不要となり処理時間を短くすることができ、更に、G画素値のみを用いて代表点マッチング法により各グループの動きベクトルを算出するので、画素数が半分になるので演算回数も半分ですみ、更に処理時間を短くすることができる。
また、上記実施の形態においては、フレームデータの各相関検出ブロックから画素平均値を算出するようにしたが、AE用の測光回路の結果データを流用してもよい。つまり、その位置の時間軸の変化の度合いが反映される値であればなんでもよい。なお、この場合には、AE検出ブロックと相関検出ブロックとが対応している必要がある。
また、ベイヤーデータに基づいて、フレームの動きベクトルを検出するようにしたが、画像生成部10によって生成された輝度色差信号の画像データに基づいてフレームの動きベクトルを算出するようにしてもよい。
2 撮影レンズ
3 CCD
4 垂直ドライバ
5 TG
6 ユニット回路
7 DMA
8 メモリ
9 DMA
10 画像生成部
11 DMA
12 DMA
13 表示部
14 DMA
15 圧縮部
16 DMA
17 フラッシュメモリ
18 CPU
19 バス
21 ブロック分割部(分割手段)
22 平均値算出部
23 活性度算出部(活性度算出手段)
24 グループ振分部(振分手段)
25 カウント部
26 相関値算出部(算出手段)
27 累積加算部(算出手段)
28 動きベクトル算出部(算出手段、検出手段)
31 累積相関値記憶エリアA
32 累積相関値記憶エリアB
33 フレーム情報記憶領域
Claims (16)
- フレームデータ毎にフレームデータの動きベクトルを検出する動きベクトル検出装置であって、
フレームデータを取得する取得手段と、
前記取得手段により取得されたフレームデータから相関検出ブロック単位で、ブロック活性度を算出する活性度算出手段と、
前記活性度算出手段により算出された各相関検出ブロックのブロック活性度に基づいて、複数の相関検出ブロックを複数の群に振り分ける振分手段と、
前記振分手段により振り分けられた郡ごとの動きベクトルを算出する動きベクトル算出手段と、
前記振分手段により複数の郡に振り分けられた相関検出ブロックの比率に応じて、前記動きベクトル算出手段により算出された郡ごとの動きベクトルから、1つの動きベクトルを算出することにより、フレームデータの動きベクトルを検出する検出手段と、
を備えたことを特徴とする動きベクトル検出装置。 - 前記活性度算出手段は、
現フレームデータの相関検出ブロックの画素値に基づく値と、前フレームデータの同相関検出ブロックの画素値に基づく値との差をとることにより、相関検出ブロックのブロック活性度を算出することを特徴とする請求項1記載の動きベクトル検出装置。 - 前記活性度算出手段は、
現フレームデータの相関検出ブロックの画素値の平均値と、前フレームデータの同相関検出ブロックの画素値の平均値との差をとることにより、相関検出ブロックのブロック活性度を算出することを特徴とする請求項1又は2記載の動きベクトル検出装置。 - 前記活性度算出手段は、
現フレームデータの相関検出ブロック内の1部の画素の画素値に基づく値と、前フレームデータの同相関検出ブロック内の1部の画素の画素値に基づく値との差をとることにより、相関検出ブロックのブロック活性度を算出することを特徴とする請求項1乃至3の何れかに記載の動きベクトル検出装置。 - 前記活性度算出手段は、
ベイヤーデータの現フレームデータの相関検出ブロックの画素値に基づく値と、ベイヤーデータの前フレームデータの相関検出ブロックの画素値に基づく値との差をとることにより、相関検出ブロックのブロック活性度を算出することを特徴とする請求項1乃至3の何れかに記載の動きベクトル検出装置。 - 前記活性度算出手段は、
相関検出ブロックのG画素値を用いて相関検出ブロックのブロック活性度を算出することを特徴とする請求項5記載の動きベクトル検出装置。 - 前記振分手段は、
前記活性度算出手段により算出された相関検出ブロックのブロック活性度が閾値より低いか否かを判断する判断手段を含み、
前記判断手段により相関検出ブロックのブロック活性度が閾値より低いと判断された相関検出ブロックを第1の郡に振り分け、前記判断手段により相関検出ブロックのブロック活性度が閾値より高いと判断された相関検出ブロックを第2の郡に振り分けることを特徴とする請求項1乃至6の何れかに記載の動きベクトル検出装置。 - 前記動きベクトル算出手段は、
現フレームデータの相関検出ブロック内の画素値と、前フレームデータの同相関検出ブロックの代表画素値との差をとることにより、相関検出ブロック内の画素の相関値を算出する相関値算出手段を含み、前記相関値算出手段により算出された各相関検出ブロック内の画素の相関値に基づいて、群ごとの動きベクトルを算出することを特徴とする請求項1乃至7の何れかに記載の動きベクトル検出装置。 - 前記相関値算出手段は、
現フレームデータの相関検出ブロック内の1部の画素値と、前フレームデータの同相関検出ブロックの代表画素値との差をとることにより、各相関検出ブロック内の画素の相関値を算出することを特徴とする請求項8記載の動きベクトル検出装置。 - 前記相関値算出手段は、
ベイヤーデータの現フレームデータの相関検出ブロック内の画素値と、ベイヤーデータの前フレームデータの同相関検出ブロックの代表画素値との差をとることにより、各相関検出ブロック内の画素の相関値を算出することを特徴とする請求項8記載の動きベクトル検出装置。 - 前記相関値算出手段は、
相関検出ブロック内のG画素値と、前フレームデータの代表画素値との差をとることにより、各相関検出ブロック内の画素の相関値を算出することを特徴とする請求項10記載の動きベクトル検出装置。 - 前記動きベクトル算出手段は、
前記振分手段により振り分けられた郡ごとに、前記相関値算出手段により算出された各相関検出ブロックの画素の相関値を、画素位置が同じ画素の相関値毎に加算する累積加算手段を含み、前記累積加算手段により加算された群ごとの値に基づいて、群ごとの動きベクトルを算出することを特徴とする請求項8乃至11の何れかに記載の動きベクトル検出装置。 - 前記動きベクトル算出手段は、
前記累積加算手段により加算された値の中で最も小さい値の画素位置に基づいて、動きベクトルを算出することを特徴とする請求項12記載の動きベクトル検出装置。 - 前記検出手段は、
前記振分手段により複数の郡に振り分けられた相関検出ブロックの数の比率に応じて、前記動きベクトル算出手段により算出された郡ごとの動きベクトルを合成することにより、フレームデータの動きベクトルを検出することを特徴とする請求項1乃至13の何れかに記載の動きベクトル算出装置。 - フレームデータ毎にフレームデータの動きベクトルを検出する動きベクトル検出装置を実行させるためのプログラムであって、
フレームデータを取得する取得処理と、
前記取得処理により取得されたフレームデータから相関検出ブロック単位で、ブロック活性度を算出する活性度算出処理と、
前記活性度算出処理により算出された各相関検出ブロックのブロック活性度に基づいて、複数の相関検出ブロックを複数の群に振り分ける振分処理と、
前記振分処理により振り分けられた郡ごとの動きベクトルを算出する動きベクトル算出処理と、
前記振分処理により複数の郡に振り分けられた相関検出ブロックの比率に応じて、前記動きベクトル算出処理により算出された郡ごとの動きベクトルから、1つの動きベクトルを算出することにより、フレームデータの動きベクトルを検出する検出処理と、
を含むことを特徴とするプログラム。 - フレームデータ毎にフレームデータの動きベクトルを検出する動きベクトル検出方法であって、
フレームデータを取得する取得ステップと、
前記取得処理により取得されたフレームデータから相関検出ブロック単位で、ブロック活性度を算出する活性度算出ステップと、
前記活性度算出ステップにより算出された各相関検出ブロックのブロック活性度に基づいて、複数の相関検出ブロックを複数の群に振り分ける振分ステップと、
前記振分ステップにより振り分けられた郡ごとの動きベクトルを算出する動きベクトル算出ステップと、
前記振分ステップにより複数の郡に振り分けられた相関検出ブロックの比率に応じて、前記動きベクトル算出ステップにより算出された郡ごとの動きベクトルから、1つの動きベクトルを算出することにより、フレームデータの動きベクトルを検出する検出ステップと、
を含むことを特徴とする動きベクトル検出方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005311757A JP5003991B2 (ja) | 2005-10-26 | 2005-10-26 | 動きベクトル検出装置及びそのプログラム |
PCT/JP2006/319817 WO2007049432A1 (en) | 2005-10-26 | 2006-09-27 | Imaging apparatus with motion vector detecting function |
US11/585,018 US8320452B2 (en) | 2005-10-26 | 2006-10-23 | Imaging apparatus with motion vector detecting function |
TW95139314A TWI380681B (en) | 2005-10-26 | 2006-10-25 | Imaging apparatus with motion vector detecting function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005311757A JP5003991B2 (ja) | 2005-10-26 | 2005-10-26 | 動きベクトル検出装置及びそのプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007122275A true JP2007122275A (ja) | 2007-05-17 |
JP2007122275A5 JP2007122275A5 (ja) | 2008-12-04 |
JP5003991B2 JP5003991B2 (ja) | 2012-08-22 |
Family
ID=37546882
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005311757A Expired - Fee Related JP5003991B2 (ja) | 2005-10-26 | 2005-10-26 | 動きベクトル検出装置及びそのプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US8320452B2 (ja) |
JP (1) | JP5003991B2 (ja) |
TW (1) | TWI380681B (ja) |
WO (1) | WO2007049432A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008294737A (ja) * | 2007-05-24 | 2008-12-04 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
JP2009027394A (ja) * | 2007-07-19 | 2009-02-05 | Panasonic Corp | 表示制御装置、撮像装置および印刷装置 |
JP2009213114A (ja) * | 2008-02-08 | 2009-09-17 | Casio Comput Co Ltd | 撮像装置及びプログラム |
JP2015035737A (ja) * | 2013-08-09 | 2015-02-19 | 三菱電機株式会社 | 撮像装置 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080095084A (ko) * | 2007-04-23 | 2008-10-28 | 삼성전자주식회사 | 영상 잡음 제거 장치 및 방법 |
US8896712B2 (en) * | 2007-07-20 | 2014-11-25 | Omnivision Technologies, Inc. | Determining and correcting for imaging device motion during an exposure |
JP5286805B2 (ja) * | 2008-01-31 | 2013-09-11 | 沖電気工業株式会社 | 動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法 |
JP5213493B2 (ja) * | 2008-03-26 | 2013-06-19 | 三洋電機株式会社 | 動き検出装置 |
JP5374220B2 (ja) * | 2009-04-23 | 2013-12-25 | キヤノン株式会社 | 動きベクトル検出装置およびその制御方法、ならびに撮像装置 |
US20110001882A1 (en) * | 2009-07-06 | 2011-01-06 | Sony Corporation | Method and system for determining motion vectors for flat regions |
KR101459714B1 (ko) | 2009-10-28 | 2014-11-13 | 에스케이텔레콤 주식회사 | 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
JP2011244031A (ja) * | 2010-05-14 | 2011-12-01 | Fujifilm Corp | 画像データ伸張装置および画像データ圧縮装置,ならびにそれらの動作制御方法 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08130675A (ja) * | 1994-11-02 | 1996-05-21 | Sanyo Electric Co Ltd | 動きベクトル検出回路およびそれを用いた被写体追尾カメラ装置 |
JPH08154200A (ja) * | 1994-11-28 | 1996-06-11 | Sanyo Electric Co Ltd | 手振れ補正装置およびそれを用いたビデオカメラ |
JPH08251474A (ja) * | 1995-03-15 | 1996-09-27 | Canon Inc | 動きベクトル検出装置,動きベクトル検出方法,画像ぶれ補正装置,画像追尾装置及び撮像装置 |
JPH10173992A (ja) * | 1996-12-10 | 1998-06-26 | Nec Corp | 画像修正装置 |
JPH11187303A (ja) * | 1997-12-22 | 1999-07-09 | Canon Inc | 画像処理装置および方法並びに記憶媒体 |
JPH11231832A (ja) * | 1998-02-17 | 1999-08-27 | Matsushita Electric Ind Co Ltd | 動ベクトル検出方法、動画像表示方法及び動画像表示装置 |
JP2000023024A (ja) * | 1998-06-30 | 2000-01-21 | Toshiba Corp | 画像入力装置 |
JP2002305683A (ja) * | 2001-04-04 | 2002-10-18 | Olympus Optical Co Ltd | 撮像装置および撮像プログラムを記録した記録媒体 |
JP2003046778A (ja) * | 2001-08-01 | 2003-02-14 | Olympus Optical Co Ltd | 画像処理システム |
JP2003079620A (ja) * | 2001-09-14 | 2003-03-18 | Aloka Co Ltd | 超音波パノラマ画像形成装置 |
JP2003319387A (ja) * | 2002-04-25 | 2003-11-07 | Mitsubishi Electric Corp | 監視装置及び方法並びにプログラム |
JP2005117343A (ja) * | 2003-10-07 | 2005-04-28 | Victor Co Of Japan Ltd | 監視システム |
WO2005066897A1 (ja) * | 2004-01-06 | 2005-07-21 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5237405A (en) * | 1990-05-21 | 1993-08-17 | Matsushita Electric Industrial Co., Ltd. | Image motion vector detecting device and swing correcting device |
JP2584383B2 (ja) | 1992-03-02 | 1997-02-26 | 三洋電機株式会社 | ビデオカメラの手ブレ制御装置 |
US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
US6249613B1 (en) * | 1997-03-31 | 2001-06-19 | Sharp Laboratories Of America, Inc. | Mosaic generation and sprite-based coding with automatic foreground and background separation |
EP1659802B1 (en) * | 2001-10-05 | 2008-07-23 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for compensating for motion vector errors in image data |
EP1377040A1 (en) | 2002-06-19 | 2004-01-02 | STMicroelectronics S.r.l. | Method of stabilizing an image sequence |
JP4022595B2 (ja) * | 2004-10-26 | 2007-12-19 | コニカミノルタオプト株式会社 | 撮影装置 |
-
2005
- 2005-10-26 JP JP2005311757A patent/JP5003991B2/ja not_active Expired - Fee Related
-
2006
- 2006-09-27 WO PCT/JP2006/319817 patent/WO2007049432A1/en active Application Filing
- 2006-10-23 US US11/585,018 patent/US8320452B2/en active Active
- 2006-10-25 TW TW95139314A patent/TWI380681B/zh not_active IP Right Cessation
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08130675A (ja) * | 1994-11-02 | 1996-05-21 | Sanyo Electric Co Ltd | 動きベクトル検出回路およびそれを用いた被写体追尾カメラ装置 |
JPH08154200A (ja) * | 1994-11-28 | 1996-06-11 | Sanyo Electric Co Ltd | 手振れ補正装置およびそれを用いたビデオカメラ |
JPH08251474A (ja) * | 1995-03-15 | 1996-09-27 | Canon Inc | 動きベクトル検出装置,動きベクトル検出方法,画像ぶれ補正装置,画像追尾装置及び撮像装置 |
JPH10173992A (ja) * | 1996-12-10 | 1998-06-26 | Nec Corp | 画像修正装置 |
JPH11187303A (ja) * | 1997-12-22 | 1999-07-09 | Canon Inc | 画像処理装置および方法並びに記憶媒体 |
JPH11231832A (ja) * | 1998-02-17 | 1999-08-27 | Matsushita Electric Ind Co Ltd | 動ベクトル検出方法、動画像表示方法及び動画像表示装置 |
JP2000023024A (ja) * | 1998-06-30 | 2000-01-21 | Toshiba Corp | 画像入力装置 |
JP2002305683A (ja) * | 2001-04-04 | 2002-10-18 | Olympus Optical Co Ltd | 撮像装置および撮像プログラムを記録した記録媒体 |
JP2003046778A (ja) * | 2001-08-01 | 2003-02-14 | Olympus Optical Co Ltd | 画像処理システム |
JP2003079620A (ja) * | 2001-09-14 | 2003-03-18 | Aloka Co Ltd | 超音波パノラマ画像形成装置 |
JP2003319387A (ja) * | 2002-04-25 | 2003-11-07 | Mitsubishi Electric Corp | 監視装置及び方法並びにプログラム |
JP2005117343A (ja) * | 2003-10-07 | 2005-04-28 | Victor Co Of Japan Ltd | 監視システム |
WO2005066897A1 (ja) * | 2004-01-06 | 2005-07-21 | Sony Corporation | 画像処理装置および方法、記録媒体、並びにプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008294737A (ja) * | 2007-05-24 | 2008-12-04 | Casio Comput Co Ltd | 画像処理装置及びプログラム |
US8411154B2 (en) | 2007-05-24 | 2013-04-02 | Casio Computer Co., Ltd. | Image processing apparatus for calculating global motion vector of plurality of image frames |
JP2009027394A (ja) * | 2007-07-19 | 2009-02-05 | Panasonic Corp | 表示制御装置、撮像装置および印刷装置 |
US8345107B2 (en) | 2007-07-19 | 2013-01-01 | Panasonic Corporation | Display control device, imaging device, and printing device |
US8854480B2 (en) | 2007-07-19 | 2014-10-07 | Panasonic Intellectual Property Corporation Of America | Display control device, imaging device, and printing device |
JP2009213114A (ja) * | 2008-02-08 | 2009-09-17 | Casio Comput Co Ltd | 撮像装置及びプログラム |
JP2015035737A (ja) * | 2013-08-09 | 2015-02-19 | 三菱電機株式会社 | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
TWI380681B (en) | 2012-12-21 |
US8320452B2 (en) | 2012-11-27 |
WO2007049432A1 (en) | 2007-05-03 |
US20070092009A1 (en) | 2007-04-26 |
TW200733719A (en) | 2007-09-01 |
JP5003991B2 (ja) | 2012-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5003991B2 (ja) | 動きベクトル検出装置及びそのプログラム | |
CN109068067B (zh) | 曝光控制方法、装置和电子设备 | |
CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
EP2387229B1 (en) | Image capturing apparatus and camera shake correction method, and computer-readable medium | |
US9264651B2 (en) | Moving image reproducing apparatus capable of adjusting display position of indicator for motion analysis based on displacement information of frames, and moving image reproducing method and recording medium for same | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
KR20070080223A (ko) | 촬상장치 및 상블러링 경감방법 및 그 기록매체 | |
CN108337450B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP2009177472A (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
US9589339B2 (en) | Image processing apparatus and control method therefor | |
US8941763B2 (en) | Image capture device, method for generating composite image, and storage medium | |
JP6118118B2 (ja) | 撮像装置およびその制御方法 | |
JP2008301355A (ja) | 撮像装置及びそのプログラム | |
JP2007318292A (ja) | 動きベクトル検出装置及びそのプログラム | |
US11722788B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
JP2000023024A (ja) | 画像入力装置 | |
JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
JP5179859B2 (ja) | 撮像装置及び撮像方法 | |
JP5159647B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2011135537A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2008270983A (ja) | 手ぶれ補正装置及び手ぶれ補正方法 | |
JP5610818B2 (ja) | 撮像装置及びその制御方法 | |
JP5051091B2 (ja) | 撮像装置、画像信号処理装置、撮像方法、および画像信号処理方法 | |
JP2008160274A (ja) | 移動ベクトル検出方法及びその装置並びにそのプログラム、電子的手振れ補正方法及びその装置並びにそのプログラム、撮像装置 | |
JP5602825B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081022 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20081022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120427 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120510 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150601 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5003991 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |