JP2014146918A - 撮像制振装置 - Google Patents

Abstract

【課題】映像の圧縮符号化効率を改善するとともに、過剰な被写体像の動揺の相殺を防止する。
【解決手段】撮像素子１０の光学的な位置の変位を発生させる変位部４０ａ〜４０ｄと、変位を発生させなかった場合に生じる結像の動きベクトルの推定値を推定動きベクトルＶｃとし、２つのフレーム間の撮像素子上の結像の移動量をマッチングして、撮像素子を構成する画素の単位格子領域のサイズより細かい精度で推定動きベクトルを算出する変位量推定部７０と、変位を発生させた結果得られる結像の動きベクトルを変位結果ベクトルとし、変位量推定部によって算出された推定動きベクトルから、変位結果ベクトルの値が隣接する２つの画素の中心点同士を結ぶことによって得られるベクトル値集合の中のいずれかのベクトル値もしくはゼロベクトル値と一致する値となる変位制御量（ΔＸ，ΔＹ）を算出し、変位制御量を変位部に出力する変位制御部８０とを備える。
【選択図】図１

Description

本発明は、撮影時の被写体像のぶれを抑制する撮像制振装置に関する。

従来、撮影時の手ぶれ等の振動の影響を補正する技術として、画像処理によって撮像（撮影された映像）内に写る被写体像のぶれを補正する技術や、撮影時に機械的に振動を抑制する技術等があった。特に、機械的に振動を抑制する技術は、光が撮像素子上で蓄積されてから撮像が読み出されるまでの処理の前に、振動の抑制を行うため、ビデオカメラのみならず、スチルカメラにも有効であり、なおかつ、ディジタルカメラのみならず、銀塩カメラにも有効である。

この機械的に振動を抑制する技術の一例として、例えば、以下の（ａ）〜（ｄ）の技術がある。
（ａ）付加装置を用いる技術。
この技術は、回転モーメントを有する物体を回転させることによって、ジャイロ剛性を利用してカメラ全体の振動を制御する技術である。
（ｂ）架台を用いる技術（例えば、特許文献１及び特許文献２参照）。
この技術は、支持体（撮影者等）とカメラとの間を非剛性的に連結することによって、支持体（撮影者等）の細かな振動がカメラに伝わらないようにする技術である。
（ｃ）光学系の一部（レンズやプリズム等）を移動又は回転させる技術。
この技術は、振動に応じて光学系の一部（レンズやプリズム等）を移動又は回転させることによって、振動を相殺する技術である。
（ｄ）撮像素子を移動させる技術（例えば、特許文献３参照）。
この技術は、振動に応じて撮像素子を移動させることによって、振動を相殺する技術である。この技術は、例えば、動画像における撮像時刻の異なる２つのフレーム間での被写体像の動きベクトルの水平成分値及び垂直成分値をそれぞれ「ｕｃ」及び「ｖｃ」とする場合に、撮像素子の変位制御量を（ｕｃ，ｖｃ）に設定し、その変位制御量（ｕｃ，ｖｃ）分だけ、撮像素子を当該撮像素子の撮像面に沿って水平方向及び垂直方向に移動させるものである。これによって、この技術は、被写界に対する撮像素子の光学的な位置を変化させている。以下、被写界に対する撮像素子の光学的な位置を変化させる動作を「変位」と称する。また、ここでは、この撮像素子を移動させる技術に係る装置を「従来の撮像制振装置」として説明する。

特許第５００９１７７号公報 特開２０１１−１７１９３３号公報 特開２０１２−２３４１９６号公報（図２）

従来の撮像制振装置は、単一フレーム内の露光時間内における被写体像のぶれを最小化することや、複数フレーム間での被写体像の動揺を抑制することを目的としている。なお、「単一フレーム内の露光時間内における被写体像のぶれを最小化すること」とは、例えば、６０Ｈｚで作動する電子シャッタを用いる場合に、１／６０秒以内の被写体像の動きをキャンセルして、被写体像のぶれを最小化することを意味している。また、「複数フレーム間での被写体像の動揺を抑制すること」とは、被写体像が所定のフレーム間（例えば、５フレーム間）で連続して動かないようにすることを意味している。

このような従来の撮像制振装置は、振動の影響の補正を行わない場合（振動を抑制しない場合）よりも、動画像における各フレーム間での被写体像の移動量を小さくすることができる。

しかしながら、従来の撮像制振装置は、電子シャッタの開口時間（例えば、１／６０秒）以内の被写体像の動きをキャンセルして、被写体像のぶれを最小化した場合に、特に被写体の動きが大きなときには、上下方向又は左右方向に０．５画素を超える動き補正が行われることがある。

この点について説明を補足すると、従来の撮像制振装置は、撮像素子の位置変位を画素の単位格子領域の範囲からはみ出させないようにすることを意図した構成になっておらず、単純に結像を撮像素子上で静止させるだけの構成になっている。そのため、従来の撮像制振装置は、単位格子領域を逸脱した補正を行い得る。その結果、従来の撮像制振装置は、この補正を動画像に適用した場合に、不自然な映像（例えば、本来動いているはずの被写体が静止し続けている映像や、被写体が補正許容量を超えた瞬間に本来の動きとは異なる方向に大きく移動する映像等）が、取得されてしまうことがある。ここで、「画素の単位格子領域」とは、撮像素子を形成する各単位セル（画素）の中心点が移動し得る領域を意味している。

カメラは、被写体像の小数画素単位の移動があると（つまり、結像がフレーム間で画素単位ではない移動を行うと）、映像の圧縮符号化を行う際の動き補償予測処理において、非整数画素の動き補償を行うための補間フィルタの影響が生じ、その影響分だけ、動き補償残差が余分に生ずるため、符号化効率（レート歪み特性）が低下する。

その結果、従来の撮像制振装置は、例えば、画質が劣化したり、ビットレートが増加したりする等の不具合が発生する場合がある、という問題点があった。
また、従来の撮像制振装置は、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまう恐れがある、という問題点もあった。

本発明は、前記した問題点を解決するためになされたものであり、映像の圧縮符号化効率を改善して、画質の向上やビットレートの増加の抑制等を実現するとともに、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止する撮像制振装置を提供することを主な課題とする。

前記課題を解決するため、本発明は、撮像制振装置であって、映像を撮影する撮像素子と、被写界に対する前記撮像素子の光学的な位置の変位を発生（実行）させるための変位部と、前記変位部を制御する制御部とを有し、前記制御部は、変位量推定部と、変位制御部とを備える構成とする。なお、前記変位部は、前記変位を発生させるための構成として、例えば、撮像素子の位置を光学系に対して物理的に移動させる構成や、撮像素子に対して光軸を曲げる構成等を備える構成にするとよい。

係る構成により、撮像制振装置は、被写界に対する撮像素子の位置変位が画素の単位格子領域の範囲からはみ出さないように、変位を発生させる。

そのために、この撮像制振装置の変位量推定部は、変位を発生させなかった場合に生じる結像の動きベクトルの推定値を推定動きベクトルとし、撮像時刻の異なる２つのフレーム間の撮像素子上の結像の移動量をマッチングして画素の単位格子領域のサイズより細かい精度で当該推定動きベクトルを算出する構成になっている。また、この撮像制振装置の変位制御部は、変位を発生させた結果得られる結像の動きベクトルを変位結果ベクトルとし、変位量推定部によって算出された推定動きベクトルから、変位結果ベクトルの値が隣接する２つの画素の中心点同士を結ぶことによって得られるベクトル値集合の中のいずれかのベクトル値もしくはゼロベクトル値と一致する値となる変位制御量を算出し、変位制御量を変位部に出力する構成になっている。

ここで、「変位結果ベクトルの値が隣接する２つの画素の中心点同士を結ぶことによって得られるベクトル値集合の中のいずれかのベクトル値もしくはゼロベクトル値と一致する値となる変位制御量」とは、変位結果ベクトルの値が直近の整数値となる変位制御量を意味している。

そして、この撮像制振装置は、変位部が変位制御量に基づいて変位を発生させる。このとき、変位結果ベクトルが前記した値に設定されているため、変位結果ベクトルの値が直近の整数値となり、その結果、変位を発生させた後の結像（以下、「変位後の結像」と称する）の位置が画素の単位格子領域の範囲内の位置に設定される。

したがって、変位後の結像は、必ず、画素の単位格子領域の範囲内の位置に存在するようになり、画素の単位格子領域の範囲からはみ出さないようになる。つまり、撮影時の各フレーム間の被写体像の全体的な移動量（例えば、撮像素子における所定領域の平均的な動き等）は、画素の単位格子領域のサイズにおいて整数化される。

そのため、この撮像制振装置は、映像の圧縮符号化を行う際の動き補償予測処理において、補間フィルタの影響分だけ、動き補償残差が余分に生ずることを回避することができる。すなわち、この撮像制振装置は、映像の圧縮符号化を行う際の動き補償予測処理後の予測処理残差を抑制することができる。これにより、この撮像制振装置は、映像の圧縮符号化効率を改善して、画質の向上やビットレートの増加の抑制等を実現するとともに、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止することができる。

この撮像制振装置の前記変位制御部は、好ましくは、前記推定動きベクトルの水平成分値及び垂直成分値から、当該推定動きベクトルの水平成分値及び垂直成分値のそれぞれに対して前記画素の単位格子領域のサイズにおける小数部分を直近の整数値に向けて桁の繰り上げ演算又は繰り下げ演算を行った水平成分演算値及び垂直成分演算値を減算することによって、前記変位制御量を算出する構成にしてもよい。

係る構成によれば、撮像制振装置は、変位結果ベクトルの値が直近の整数値となる変位制御量（すなわち、変位結果ベクトルが変位後の結像の位置を画素の単位格子領域の範囲内の位置に設定する値となる、適正な変位制御量）を算出することができる。

また、この撮像制振装置は、好ましくは、さらに、別の撮像素子と、光路を前記撮像素子の方向と前記別の撮像素子の方向とに分岐する分岐部材とを備え、前記変位量推定部は、前記撮像素子上の前記結像の前記推定動きベクトルを「Ｖｃ」とし、前記別の撮像素子上の前記結像の動きベクトルを「Ｖｓ」とする場合に、前記別の撮像素子によって撮像された２つのフレーム間の映像に基づいて、前記動きベクトルＶｓを算出し、算出された当該動きベクトルＶｓに基づいて、前記推定動きベクトルＶｃを算出する構成にしてもよい。

係る構成によれば、撮像制振装置は、別の撮像素子によって撮像された２つのフレーム間の映像に基づいて、動きベクトルＶｓを算出し、さらに、算出された動きベクトルＶｓに基づいて、推定動きベクトルＶｃを算出することができる。

また、この撮像制振装置の前記変位量推定部は、好ましくは、前記撮像素子の撮像フレーム時間間隔、水平画素ピッチ、垂直画素ピッチを、それぞれ、「Ｔｃ」、「Ｐｃ」、「Ｑｃ」とし、前記別の撮像素子の撮像フレーム時間間隔、水平画素ピッチ、垂直画素ピッチを、それぞれ、「Ｔｓ」、「Ｐｓ」、「Ｑｓ」とする場合に、式（１）に基づいて、前記推定動きベクトルＶｃを算出する構成にしてもよい。

係る構成によれば、撮像制振装置は、式（１）をメモリ等に予め準備しておき、動きベクトルＶｓに基づいて、推定動きベクトルＶｃを算出することができる。

さらに、この撮像制振装置の前記変位量推定部は、好ましくは、前記撮像素子によって観賞用の映像として用いる現フレームとその直前に撮像されたフレームとの間の前記撮像素子上の前記結像の前記推定動きベクトルを「Ｖｃ」とし、前記撮像素子によって現フレームよりも過去の時刻ｔａ，ｔｂ（ただし、ｔａ＜ｔｂ）に撮像された２つのフレーム間の前記撮像素子上の前記結像の動きベクトルを「Ｖｄ」とし、時刻ｔａにおける前記変位制御量を「Ｄａ」とし、時刻ｔｂにおける前記変位制御量を「Ｄｂ」とする場合に、式（２）に基づいて、前記推定動きベクトルＶｃを算出する構成にしてもよい。

係る構成によれば、撮像制振装置は、撮像素子によって観賞用の映像として用いる現フレームとその直前に撮像されたフレームとの間の撮像素子上の結像の推定動きベクトルＶｃを算出することができる。

また、この撮像制振装置の前記変位部は、好ましくは、前記撮像素子及び光学系のいずれか一方を物理的に移動させる手段にすることや、或いは、光路上に配置され、かつ、前記撮像素子上の前記結像の位置を光学的に変化させる光路変更素子にしてもよい。

本発明に係る撮像制振装置は、映像の圧縮符号化を行う際の動き補償予測処理後の予測処理残差を抑制することができる。これによって、この撮像制振装置は、映像の圧縮符号化効率を改善して、例えば、画質の向上やビットレートの増加の抑制等を実現することができる。

また、この撮像制振装置は、変位部が前記した変位制御量分だけしか振動の抑制を行わないため、画素の単位格子領域のサイズの倍数の被写体像の動揺を過剰に相殺することがなくなる。その結果、この撮像制振装置は、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止することができる。

実施形態１に係る撮像制振装置の構成及び動作例を示す図である。 （ａ），（ｂ）は、実施形態１に係る撮像制振装置の動作タイミングの一例を示す図であり、（ａ）は、第１撮像素子における映像の「蓄積」タイミング及び「読出」タイミングを示しており、（ｂ）は、第２撮像素子における映像の「蓄積」タイミング及び「読出」タイミングを示している。 （ａ），（ｂ）は、第１撮像素子と第２撮像素子とでフレーム時間間隔が異なる場合の実施形態１に係る撮像制振装置の動作タイミングの一例を示す図であり、（ａ）は、第１撮像素子の動作タイミングを示しており、（ｂ）は、第２撮像素子の動作タイミングを示している。 画素の単位格子領域の一例を示す図であり、撮像素子がモノクロ単板の正方格子として構成されており、かつ、その開口率が１００％となっている場合の画素の単位格子領域の一例を示している。 （ａ），（ｂ），（ｃ）は、画素の単位格子領域の一例を示す図であり、（ａ）は、カラー用の正方格子として構成された撮像素子の構成例を示しており、（ｂ）は、緑（Ｇ）の画素の単位格子領域の一例を示しており、（ｃ）は、赤（Ｒ）の画素の単位格子領域の一例を示している。 画素の単位格子領域の一例を示す図であり、撮像素子がハニカム格子として構成されている場合の画素の単位格子領域の一例を示している。 本発明を適用しない場合と本発明を適用した場合との変位後の結像の位置の違いを示す図である。 実施形態２に係る撮像制振装置の構成及び動作例を示す図である。 実施形態２に係る撮像制振装置の動作タイミングの一例を示す図である。 実施形態３に係る撮像制振装置の構成及び動作例を示す図である。 実施形態３で用いる変位部（光路変更素子）の動作例を示す図である。 実施形態４に係る撮像制振装置の構成及び動作例を示す図である。

以下、図面を参照して、本発明の実施の形態（以下、「本実施形態」と称する）につき詳細に説明する。なお、各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

ここでは、被写界に対する撮像素子の光学的な位置を変化させる動作を「変位」と称する。また、変位を発生（実行）させた結果得られる結像を「変位後の結像」と称する。また、撮像素子を形成する各単位セル（画素）の中心点が移動し得る領域を「画素の単位格子領域」と称する。

本発明に係る撮像制振装置は、「変位後の結像」が「画素の単位格子領域の範囲」からはみ出さないように（図４（ｂ）参照）、「変位」を発生（実行）させることによって、映像の圧縮符号化効率を改善して、画質の向上やビットレートの増加の抑制等を実現するとともに、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止する。

［実施形態１］
＜撮像制振装置の構成＞
以下、図１を参照して、本実施形態１に係る撮像制振装置１の構成につき説明する。
図１に示すように、本実施形態１に係る撮像制振装置１は、制御部２、レンズ２０、２つの撮像素子１０，６０、変位部４０ａ〜４０ｄ、及び、ハーフミラー５０を有している。以下、２つの撮像素子１０，６０を区別する場合に、撮像素子１０を「第１撮像素子１０」と称し、撮像素子６０を「第２撮像素子６０」と称する。

制御部２は、撮像制振装置１の全体の動作を制御する機能手段である。制御部２は、ＣＰＵによって構成されており、後記する「変位量推定部７０」、及び、後記する「変位制御部８０」を備えている。

レンズ２０は、第１撮像素子１０上に光を集めて、観賞用の映像を第１撮像素子１０上に結像させる光学系である。このレンズ２０は、ここでは、凸レンズとしての機能を有しており、レンズ単体でも又は複数のレンズを組み合わせた構成であっても構わない。レンズ２０は、図示を省略した筐体に接続されるように構成されている。

第１撮像素子１０は、レンズ２０から取り込んだ被写体等の映像を撮影する素子である。
第２撮像素子６０は、結像の全体又はその一部分の動きベクトルの測定値の算出に用いる映像を撮影する素子である。第２撮像素子６０は、ここでは、「結像の全体又はその一部分の動きベクトルの測定値」を算出するためのセンサとして用いられる。

以下、「結像の全体又はその一部分の動きベクトルの測定値」を「測定動きベクトルＶｓ」と称する。また、「結像の全体又はその一部分の動きベクトルの測定値（測定動きベクトルＶｓ）」の算出に用いる映像を「測定用の映像」と称する。

なお、第１撮像素子１０と第２撮像素子６０とは、同じ種類の素子であってもよいし、異なる種類の素子であってもよい。第２撮像素子６０の空間分解能（画素間隔あたりの画角）は、第１撮像素子１０よりも細かいことがより好ましい（ただし、この条件は、必須ではない）。

変位部４０ａ〜４０ｄは、前記した「変位（すなわち、被写界に対する第１撮像素子１０の光学的な位置を変化させる動作）」を発生（実行）させる手段である。変位部４０ａ〜４０ｄは、第１撮像素子１０及び光学系（レンズ２０等）のいずれか一方を小数画素単位で物理的に移動させる手段として構成することができる。

本実施形態１では、変位部４０ａ〜４０ｄがレンズ２０の光軸３０に対する第１撮像素子１０の位置を小数画素単位で物理的に変化させるアクチュエータによって構成されている場合を想定して説明する。

具体的には、変位部４０ａ〜４０ｄが第１撮像素子１０を第１撮像素子１０の撮像面に沿って水平方向及び垂直方向に移動させる構成（すなわち、レンズ２０の光軸３０に対して垂直に交差する平面内で第１撮像素子１０を２次元的に並進させる構成）となっているものとして説明する。
このような変位部４０ａ〜４０ｄとしては、例えば、圧電素子や、サーボモータ、リニアモータ等によって構成することができる。

なお、図１に示す例では、撮像制振装置１は、４つの変位部４０ａ〜４０ｄが設けられている。しかしながら、変位部の数は、レンズ２０の光軸３０に対して垂直に交差する平面内で第１撮像素子１０を２次元的に並進させることができれば、４つでなくてもよい。
また、本実施形態１では、撮像制振装置１は、変位部４０ａ〜４０ｄによって第１撮像素子１０を移動させる構成になっているが、レンズ２０等の光学系を移動させる構成にすることも可能である。

ハーフミラー５０は、光路を第１撮像素子１０の方向と第２撮像素子６０の方向とに分岐する分岐部材である。撮像制振装置１は、ハーフミラー５０をレンズ２０からの光軸３０上でレンズ２０と第１撮像素子１０との間に設けられており、ハーフミラー５０によって光路が分岐されることにより、同じ映像が第１撮像素子１０上と第２撮像素子６０上とに結像されるように構成されている。つまり、ハーフミラー５０は、光路を第１撮像素子１０の方向と第２撮像素子６０の方向とに分岐して、観賞用の被写体の映像を第１撮像素子１０に導いて第１撮像素子１０上に結像させるとともに、前記した「測定用の映像（すなわち、「測定動きベクトルＶｓ」の算出に用いる映像）」を第２撮像素子６０に導いて第２撮像素子６０上に結像させるように構成されている。
なお、撮像制振装置１は、ハーフミラー５０の代わりに、分岐部材として図示せぬハーフプリズムを用いる構成にしてもよい。

第２撮像素子６０で結像された測定用の映像は、図示せぬ記憶部に格納された後、制御部２によって読み出されて、変位部４０ａ〜４０ｄを作動させるための制御量（以下、「変位制御量」と称する）の算出に用いられる。

制御部２は、ここでは、以下に説明する「変位量推定部７０」及び「変位制御部８０」を備える構成となっている。
「変位量推定部７０」及び「変位制御部８０」は、例えば、撮像素子１０，６０がモノクロ単板の正方格子として構成されており、かつ、開口率が１００％の場合に、後記する「変位制御量の算出法」の章で詳細に説明するように、前記した「変位制御量（すなわち、変位部４０ａ〜４０ｄを作動させるための制御量）」を後記する「（ｕｃ−ｒｏｕｎｄ（ｕｃ）），（ｖｃ−ｒｏｕｎｄ（ｖｃ））」に設定することによって、後記する「変位結果ベクトル」を「（ｒｏｕｎｄ（ｕｃ）），（ｒｏｕｎｄ（ｖｃ））」に設定して、映像の圧縮符号化を行う際の動き補償予測処理を整数画素単位で行えるようにする。

変位量推定部７０は、前記した「変位（すなわち、被写界に対する第１撮像素子１０の光学的な位置を変化させる動作）」を発生させなかった場合に生じる結像の動きベクトルの推定値（以下、「推定動きベクトルＶｃ」と称する）を小数画素精度で算出する機能手段である。

本実施形態１では、変位量推定部７０は、まず、第２撮像素子６０で撮影された前記した「測定用の映像」に基づいて、前記した「測定動きベクトルＶｓ」を算出し、次に、その測定動きベクトルＶｓに基づいて、前記した「推定動きベクトルＶｃ」を小数画素精度で算出する。なお、「測定動きベクトルＶｓ」の算出法及び「推定動きベクトルＶｃ」の算出法については、後記する。

ここで、「小数画素精度」とは、前記した「画素の単位格子領域」のサイズより細かい精度を意味している。なお、「画素の単位格子領域」の具体例については、図３Ａ〜図３Ｃを用いて後記する。

変位制御部８０は、変位部４０ａ〜４０ｄを作動させて、前記した「変位（すなわち、被写界に対する第１撮像素子１０の光学的な位置を変化させる動作）」を発生させる機能手段である。

変位制御部８０は、変位量推定部７０によって算出された推定動きベクトルＶｃに基づいて、前記した「変位制御量（すなわち、変位部４０ａ〜４０ｄを作動させるための制御量）」を算出する。

このとき、変位制御部８０は、その「変位制御量」分だけ前記した「変位」を発生させることによって、撮影時の各フレーム間の被写体像の全体的な移動量（例えば、第１撮像素子１０における所定領域の平均的な動き等）が画素の単位格子領域のサイズにおいて整数値となるようにする。

すなわち、このとき、変位制御部８０は、変位部４０ａ〜４０ｄが前記した「変位」を発生させた結果得られる、「第１撮像素子１０上の結像の全体又はその一部分（例えば、中央付近の領域）」の複数個所又は撮像時刻の異なる複数フレームを画素の単位格子領域のサイズ精度（以下、「画素精度」と称する）で測った場合の「好適な所定の代表値」の小数部分の絶対値が最小となるように、「変位制御量」を算出して、「変位制御量」分だけ前記した「変位」を発生させる。

そのための構成として、本実施形態１では、変位制御部８０は、後記する「変位結果ベクトル」の値が隣接する２つの画素の中心点同士を結ぶことによって得られるベクトル値集合の中のいずれかのベクトル値もしくはゼロベクトル値と一致する値となる変位制御量を算出する構成になっている。

ここで、「変位結果ベクトルの値が隣接する２つの画素の中心点同士を結ぶことによって得られるベクトル値集合の中のいずれかのベクトル値もしくはゼロベクトル値と一致する値となる変位制御量」とは、変位結果ベクトルの値が直近の整数値となる変位制御量を意味している。

本実施形態１では、「変位結果ベクトルの値が隣接する２つの画素の中心点同士を結ぶことによって得られるベクトル値集合の中のいずれかのベクトル値もしくはゼロベクトル値と一致する値となる変位制御量」は、後記する「変位制御量の算出法」の章で説明する手法が変位制御部８０によって実行されることによって、算出される。

なお、「好適な所定の代表値」とは、例えば、最頻値や、平均値、中央値、統計値等の中から、運用に応じて、予め任意に定められた好適な値を意味している。「好適な所定の代表値」としては、特に、最頻値が好ましい。なお、「変位制御量」の具体的な算出法については、後記する。

変位制御部８０は、「変位制御量」を算出すると、「変位制御量」（厳密には、「変位制御量」分だけ変位部４０ａ〜４０ｄを作動させるための制御信号）を変位部４０ａ〜４０ｄに出力する。これに応答して、変位部４０ａ〜４０ｄは、「変位制御量」分だけ、第１撮像素子１０を第１撮像素子１０の撮像面に沿って水平方向及び垂直方向に移動させて、前記した「変位」を発生させる。

以下、「変位」を発生させた結果、第１撮像素子１０で得られる、変位後の結像の変位前の位置からの動きベクトルを「変位結果ベクトル」と称する。つまり、「変位結果ベクトル」は、前記した「変位」の発生の前と後とにおける、第１撮像素子１０によって撮像された映像の一部又は全体の画素単位で測った移動量を意味している。

＜撮像制振装置の動作＞
以下、図１、並びに、図２Ａを参照して、撮像制振装置１の動作につき説明する。なお、撮像制振装置１は、図示せぬタイマによって計測された時間に基づいて動作する。また、撮像制振装置１の動作は、図示せぬ記憶部に読み出し自在に予め格納された制御プログラムによって規定されており、制御部２によって実行される。また、各データは、図示せぬ記憶部に読み出し自在に一旦格納されてから、その後の処理を行う所要の構成要素に出力される。以下、これらの点については、情報処理では常套手段であるので、その詳細な説明を省略する。

図１に示すように、撮像制振装置１は、前記した通り、レンズ２０によって第１撮像素子１０上に光を集めて、観賞用の映像を第１撮像素子１０上に結像させる。その際に、撮像制振装置１は、ハーフミラー５０によって光路を第１撮像素子１０の方向と第２撮像素子６０の方向とに分岐して、観賞用の映像を第１撮像素子１０に導くとともに、前記した「測定用の映像（すなわち、「測定動きベクトルＶｓ」の算出に用いる映像）」を第２撮像素子６０に導いて第２撮像素子６０上に結像させる。

第１撮像素子１０及び第２撮像素子６０は、それぞれ、図２Ａに示す「蓄積」タイミングで、撮像素子１０，６０上に結像された映像を構成する光に対応する電荷を蓄積する。そして、制御部２が、図２Ａに示す「読出」タイミングで、撮像素子１０，６０に蓄積された電荷を電圧信号に変換して映像信号として図示せぬ記憶部に格納し、その後に、図示せぬ記憶部から映像信号を読み出して、映像信号を所定の演算に用いる。

「所定の演算」としては、例えば、制御部２の変位量推定部７０による前記した「測定動きベクトルＶｓ」の算出及び前記した「推定動きベクトルＶｃ」の算出、並びに、制御部２の変位制御部８０による前記した「変位制御量」の算出等がある。また、「所定の演算」としては、例えば、制御部２の図示せぬ機能手段による映像の圧縮符号化処理やその映像の圧縮符号化処理を行う際の動き補償予測処理等がある。ここでは、変位量推定部７０による前記した「測定動きベクトルＶｓ」の算出及び前記した「推定動きベクトルＶｃ」の算出、並びに、変位制御部８０による前記した「変位制御量」の算出を重点的に説明する。

図２Ａに示す例では、第１撮像素子１０のフレーム時間間隔が「Ｔｃ」となっており、また、第２撮像素子６０のフレーム時間間隔がＴｓとなっている。ここで、「フレーム時間間隔」とは、映像の「蓄積」と「読出」とを周期的に行う間隔を意味している。

なお、図２Ａに示す例では、第１撮像素子１０のフレーム時間間隔Ｔｃ及び第２撮像素子６０のフレーム時間間隔Ｔｓが、ほぼ同じ値に設定されている。しかしながら、図２Ｂに示すように、第１撮像素子１０のフレーム時間間隔Ｔｃ及び第２撮像素子６０のフレーム時間間隔Ｔｓは、異なる値に設定することができる。

図２Ａに示す例では、フレーム時間間隔Ｔｓ，Ｔｃは、それぞれ、各周期の「蓄積」期間の開始時から次の周期の「蓄積」期間の開始時までの間隔となっている。しかしながら、フレーム時間間隔Ｔｓ，Ｔｃは、それぞれ、各周期の「蓄積」期間の終了時から次の周期の「蓄積」期間の終了時までの間隔であってもよい。又は、フレーム時間間隔Ｔｓ，Ｔｃは、それぞれ、各周期の「読出」期間の開始時から次の周期の「読出」期間の開始時までの間隔、或いは、各周期の「読出」期間の終了時から次の周期の「読出」期間の終了時までの間隔であってもよい。

なお、第２撮像素子６０の「蓄積」期間は、第１撮像素子１０の「蓄積」期間よりも、短くなっている。これは、第２撮像素子６０によって撮影される映像が、前記した「測定用の映像（すなわち、「測定動きベクトルＶｓ」の算出に用いる映像）」であり、観賞用の映像でないため、第１撮像素子１０によって撮影される映像よりも低品位で構わないからである。

図２Ａに示す例では、撮像制振装置１は、撮像時刻の異なるフレームＦ１，Ｆ２，Ｆ３，…の「蓄積」タイミングで、第１撮像素子１０によって観賞用の映像としての「変位後の結像」を撮影している。

撮像制振装置１は、このような動作を実現するために、第１撮像素子１０での「蓄積」タイミングに先行するタイミングで、第２撮像素子６０によって撮像時刻の異なる複数フレームの測定用の映像を撮影する。例えば、撮像制振装置１は、フレームＦ１の「蓄積」タイミングに先行して、フレームｆａ，ｆｂの「蓄積」タイミングで、第２撮像素子６０によって測定用の映像を撮影している。

第２撮像素子６０によって撮影されたフレームｆａ，ｆｂの測定用の映像は、第１撮像素子１０がフレームＦ１の観賞用の映像を撮影する際に事前に行われる、前記した「変位」を発生させる変位制御に用いられる。すなわち、フレームｆａ，ｆｂは、フレームＦ１用の動きベクトルの推定に用いるフレーム対となる。以下に、その詳細を説明する。

撮像制振装置１は、第２撮像素子６０でのフレームｆｂの測定用の映像の「蓄積」期間が終了してから、第１撮像素子６０でのフレームＦ１の観賞用の映像の「蓄積」期間が開始するまでの間に、以下の処理を行う。

例えば、撮像制振装置１は、フレームｆａ，ｆｂの測定用の映像が第２撮像素子６０に蓄積されて図示せぬ記憶部に格納されると、制御部２が、読出時間ｔ１のタイミングで、フレームｆａ，ｆｂの各測定用の映像を読み出す。

次に、算出時間ｔ２のタイミングで、制御部２の変位量推定部７０が、まず、フレームｆａ，ｆｂの各測定用の映像に基づいて、前記した「測定動きベクトルＶｓ」を算出し、次に、その測定動きベクトルＶｓに基づいて、前記した「推定動きベクトルＶｃ」を算出し、さらに、制御部２の変位制御部８０が、「変位制御量」を算出する。なお、「測定動きベクトルＶｓ」の算出法、「推定動きベクトルＶｃ」の算出法、及び、「変位制御量」の算出法については、それぞれ、後記する。

次に、変位制御時間ｔ３のタイミングで、変位制御部８０が、算出時間ｔ２で算出された「変位制御量」（厳密には、「変位制御量」分だけ変位部４０ａ〜４０ｄを作動させるための制御信号）を変位部４０ａ〜４０ｄに出力する。

これにより、変位制御部８０が、変位部４０ａ〜４０ｄに、その「変位制御量」分だけ、第１撮像素子１０を第１撮像素子１０の撮像面に沿って水平方向及び垂直方向に移動させて、前記した「変位」を発生させる変位制御を行う。

その結果、第１撮像素子１０は、フレームＦ１の「蓄積」タイミングで、観賞用の映像としての「変位後の結像」を撮影する。

この後、撮像制振装置１は、フレームＦ２，Ｆ３，…の「蓄積」タイミングに合わせて、同様の動作を繰り返し行う。これにより、第１撮像素子１０は、各フレームＦ２，Ｆ３，…の「蓄積」タイミングで、観賞用の映像としての「変位後の結像」を撮影する。

＜測定動きベクトルＶｓの算出法＞
以下、図１を参照して、前記した「測定動きベクトルＶｓ」の算出法につき説明する。
図１に示すように、変位量推定部７０は、第２撮像素子６０によって撮影された測定用の映像の複数個所又は撮像時刻の異なる複数フレーム間の測定用の映像から、前記した「測定動きベクトルＶｓ」を算出する。

ここでは、変位量推定部７０は、第２撮像素子６０によって撮影された撮像時刻の異なる複数フレーム間の測定用の映像において、映像の全体又は一部分でブロックマッチングを行うことによって、「測定動きベクトルＶｓ」を算出するものとして説明する。

ここで、「第２撮像素子６０によって撮影された撮像時刻の異なる複数フレーム」とは、例えば、第１撮像素子１０によってこれから撮影しようとする現フレームに先行して、第２撮像素子６０によって撮影されたフレーム−１とフレーム−２との２つのフレーム等を意味している。

なお、「測定動きベクトルＶｓ」の算出精度は、第２撮像素子６０によって撮影された２つのフレーム間の測定用の映像のブロックマッチングによって取得されるため、第２撮像素子６０の画素ピッチが第１撮像素子１０の画素ピッチよりも十分に細かい場合（例えば、０．５倍以下の場合）に、整数画素精度であっても、又は、小数画素精度であっても構わない。

ただし、「測定動きベクトルＶｓ」の算出精度は、第２撮像素子６０の画素ピッチが第１撮像素子１０の画素ピッチよりも十分に細かくない場合（例えば、０．５倍よりも大きい場合）に、小数画素精度である必要がある。

小数画素精度のブロックマッチングを行う手法としては、例えば、２つのフレームの映像のそれぞれに補間画素を内挿して拡大した映像を生成し、生成した映像同士を比較することによって動きベクトルを求め、これを拡大倍率で除することによって取得する手法がある。

又は、小数画素精度のブロックマッチングを行う手法としては、例えば、いわゆる「パラボラフィッティング」と称される手法がある。この「パラボラフィッティング」と称される手法は、２つのフレーム間の映像で相関をとり、相関値が最大値（誤差の最小値）をとる動きベクトルを求め、その動きベクトルを中心とする、例えば水平方向に±１画素以内でかつ垂直方向に±１画素以内の計９点の画素における相関値列（又は誤差値列）の２次曲面を求め、その２次曲面上で最大値（又は最小値）を与える点を求めて、この点を小数画素精度の動きベクトルとみなす手法である。

変位量推定部７０は、このようなブロックマッチングを行うことによって、「測定動きベクトルＶｓ」を算出する。なお、「測定動きベクトルＶｓ」は、２つのフレーム間の測定用の映像のブロックマッチングによって取得されるため、ブロックマッチングに用いられる映像の画素の単位格子領域のサイズに影響される。

＜推定動きベクトルＶｃの算出法＞
以下、図１を参照して、前記した「推定動きベクトルＶｃ」の算出法につき説明する。
図１に示すように、変位量推定部７０は、「測定動きベクトルＶｓ」を算出すると、以下のようにして、「測定動きベクトルＶｓ」に基づいて、前記した「推定動きベクトルＶｃ」を小数画素精度で算出する。

変位量推定部７０は、第１撮像素子１０の撮像フレーム時間間隔を「Ｔｃ」とし、第１撮像素子１０の水平画素ピッチを「Ｐｃ」とし、第１撮像素子１０の垂直画素ピッチを「Ｑｃ」とし、さらに、第２撮像素子６０の撮像フレーム時間間隔を「Ｔｓ」とし、第２撮像素子６０の水平画素ピッチを「Ｐｓ」とし、第２撮像素子６０の垂直画素ピッチを「Ｑｓ」としたとき、以下の式（１）に基づいて、小数画素精度の「推定動きベクトルＶｃ」を算出することができる。

なお、式（１）は、以下の（ａ）〜（ｃ）の条件を満たしていると仮定した場合のものである。
（ａ）第１撮像素子１０の水平軸及び垂直軸と第２撮像素子６０の水平軸及び垂直軸とがそれぞれ平行となるように、第１撮像素子１０と第２撮像素子６０とが配置されているという条件。
（ｂ）第２撮像素子６０上の結像がハーフミラー５０によって鏡像となることが補償済みであるという条件。
（ｃ）第１撮像素子１０と第２撮像素子６０とがレンズ２０の第二光学主点から同一の距離に配置されているという条件。

＜変位制御量の算出法＞
以下、図１を参照して、前記した「変位制御量」の算出法につき説明する。
図１に示すように、変位制御部８０は、変位量推定部７０が「推定動きベクトルＶｃ」を算出すると、以下のようにして、「推定動きベクトルＶｃ」に基づいて、変位制御量（ΔＸ，ΔＹ）を算出する。

本実施形態１では、変位制御部８０は、「推定動きベクトルＶｃ（推定結果）」の水平成分値及び垂直成分値から、「推定動きベクトルＶｃ」の水平成分値及び垂直成分値のそれぞれに対して画素の単位格子領域のサイズにおける小数部分を直近の整数値に向けて桁の繰り上げ演算又は繰り下げ演算を行った水平成分演算値及び垂直成分演算値を減算することによって、変位制御量（ΔＸ，ΔＹ）を算出する。

具体的には、変位制御部８０は、変位量推定部７０によって算出された「推定動きベクトルＶｃ」の水平成分値を「ｕｃ」とし、垂直成分値を「ｖｃ」としたとき、推定動きベクトルＶｃに基づいて、以下の式（２）に基づいて、変位制御量（ΔＸ，ΔＹ）を算出する。

ここで、ｒｏｕｎｄ関数は、丸め演算を表している。「丸め演算」は、小数第１位の四捨五入や、ＩＥＥＥ７５７−２００８に定める２種類の最近接丸めのいずれか、０．５を加算するものに対する切り下げ、或いは、０．５を減算したものに対する切り上げを行う演算である。

このような丸め演算による水平成分演算値ｒｏｕｎｄ（ｕｃ）及び垂直成分演算値ｒｏｕｎｄ（ｖｃ）は、それぞれ、水平成分値ｕｃ及び垂直成分値ｖｃよりも大きくなる場合もあれば、水平成分値ｕｃ及び垂直成分値ｖｃよりも小さくなる場合もある。

そして、変位制御量（ΔＸ，ΔＹ）は、動きベクトルＶｃ（推定結果）の水平成分値ｕｃ及び垂直成分値ｖｃから丸め演算による水平成分演算値ｒｏｕｎｄ（ｕｃ）及び垂直成分演算値ｒｏｕｎｄ（ｖｃ）を減算した値であるため、水平方向及び垂直方向にそれぞれ第１撮像素子１０の画素ピッチの０．５倍以内（具体的には、仮に、第１撮像素子１０がモノクロ単板の正方格子として構成されており、かつ、開口率が１００％の場合に、チェビシェフ距離における半径０．５画素以内）の値となる。

変位部４０ａ〜４０ｄは、変位制御量（ΔＸ，ΔＹ）に応じて、水平方向に（ｕｃ−ｒｏｕｎｄ（ｕｃ））分だけ、また、垂直方向に（ｖｃ−ｒｏｕｎｄ（ｖｃ））分だけ、第１撮像素子１０を変位させる。

これにより、前記した「変位結果ベクトル（すなわち、変位後の結像の変位前の位置からの動きベクトル）」は、水平成分値が（ｕｃ−ΔＸ）＝（ｕｃ−（ｕｃ−ｒｏｕｎｄ（ｕｃ）））＝ｒｏｕｎｄ（ｕｃ）となり、また、垂直成分値が（ｖｃ−ΔＹ）＝（ｖｃ−（ｖｃ−ｒｏｕｎｄ（ｖｃ）））＝ｒｏｕｎｄ（ｖｃ）となる。

つまり、「変位結果ベクトル」は、「推定動きベクトルＶｃ」の水平成分値及び垂直成分値のそれぞれに対して水平成分値及び垂直成分値がそれぞれ画素の単位格子領域のサイズにおける小数部分を直近の整数値に向けて桁の繰り上げ演算又は繰り下げ演算を行った値になる。このように、制御部２の変位制御の結果、映像の圧縮符号化を行う際の動き補償予測処理を整数画素単位で行うことができる。

なお、「変位結果ベクトル」は、前記した通り、前記した「変位」の発生の前と後とにおける、第１撮像素子１０によって撮像された映像の一部又は全体の画素単位で測った移動量を意味している。「変位結果ベクトル」は、各フレーム間においてほぼ整数値化されるため、小数部分の値が最小の値となる。

撮像制振装置１は、変位後の結像が、必ず、画素の単位格子領域の範囲内の位置に存在して、画素の単位格子領域の範囲からはみ出さないように、「変位」を発生させる。これによって、撮像制振装置１は、撮影時の各フレーム間の被写体像の全体的な移動量（例えば、撮像素子における所定領域の平均的な動き等）を、画素の単位格子領域のサイズにおいて整数化する。

その結果、撮像制振装置１は、映像の圧縮符号化を行う際の動き補償予測処理後の予測処理残差を抑制することができる。そのため、撮像制振装置１は、映像の圧縮符号化効率を改善して、例えば、画質の向上やビットレートの増加の抑制等を実現することができる。

また、撮像制振装置１は、変位部４０ａ〜４０ｄが変位制御量（ΔＸ，ΔＹ）分だけしか振動の抑制を行わないため、画素の単位格子領域のサイズの倍数の被写体像の動揺を過剰に相殺することがなくなる。その結果、撮像制振装置１は、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止することができる。

＜画素の単位格子領域の具体例＞
以下、図３Ａ〜図３Ｃを参照して、画素の単位格子領域の具体例につき説明する。「画素の単位格子領域」とは、前記した通り、撮像素子を形成する各単位セル（画素）の中心点が移動し得る領域を意味している。画素の単位格子領域は、撮像素子１０，６０の構造や仕様によって異なっている。

図３Ａは、モノクロ単板の正方格子として構成されており、かつ、その開口率が１００％となっている撮像素子１００を形成する単位セル１０１における画素の単位格子領域の一例を示している。

図３Ａ中、点線で示す領域の内部が単位セル１０１における画素の単位格子領域（すなわち、単位セル１０１の中心点が移動し得る領域）である。なお、図３Ａ中、点線で示す領域は、単位セル１０１の中心と隣接左上セルの中心との中点、単位セル１０１の中心と隣接右上セルの中心との中点、単位セル１０１の中心と隣接右下セルの中心との中点、及び、単位セル１０１の中心と隣接左下セルの中心との中点を頂点とする正方形状の領域になっている。カメラは、単位セル１０１を被写界に対して光学的に移動させるが、そのとき、その移動の範囲は、単位セル１０１の中心点が単位格子領域を逸脱しないように制限される（以下、同様）。

図３Ｂは、カラー用の正方格子として構成されている撮像素子２００を形成する単位セルにおける画素の単位格子領域の一例を示している。

図３Ｂ（ａ）は、撮像素子２００の構造を示している。図３Ｂ（ａ）に示す例では、撮像素子２００は、一点鎖線で示すように、２つの緑（Ｇ）用の単位セルと１つの赤（Ｒ）用の単位セルと１つの青（Ｂ）用の単位セルとからなる４つのセルをカラー用の一ブロックのセルとして用いる構造になっている。

図３Ｂ（ｂ）は、このような撮像素子２００を形成する緑（Ｇ）用の単位セル２０１Ｇにおける画素の単位格子領域の一例を示している。図３Ｂ（ｂ）中、点線で示す格子の内部の領域が単位セル２０１Ｇにおける画素の単位格子領域である。なお、図３Ｂ（ｂ）中、点線で示す領域は、単位セル２０１Ｇの上、右、下、及び、左の各セルの中心を結んだ正方形状の領域になっている。

図３Ｂ（ｃ）は、赤（Ｒ）用の単位セル２０１Ｒにおける画素の単位格子領域の一例を示している。図３Ｂ（ｃ）中、点線で示す格子の内部の領域が単位セル２０１Ｒにおける画素の単位格子領域である。なお、図３Ｂ（ｃ）中、点線で示す領域は、単位セル２０１Ｒの左上、右上、右下、及び、左下の各セルの中心を結んだ正方形状の領域になっている。

緑（Ｇ）用の単位セル２０１Ｇは、カラー用の一ブロックのセルの中にセルが２つ存在するため、画素の単位格子領域が図３Ｂ（ｂ）に示すようになる。一方、赤（Ｒ）用の単位セル２０１Ｒは、カラー用の一ブロックのセルの中にセルが１つしか存在しないため、画素の単位格子領域が図３Ｂ（ｃ）に示すようになる。なお、ここでは、図示せぬ青（Ｂ）用の単位セルの画素の単位格子領域は、赤（Ｒ）用の単位セル２０１Ｒと同様になるものとする。ただし、これらの画素の単位格子領域は、撮像素子２００の構造や仕様によっては、異なる構成になる場合がある。

図３Ｃは、ハニカム格子として構成された撮像素子３００を形成する単位セル３０１における画素の単位格子領域の一例を示している。図３Ｃ中、点線で示す格子の内部の領域が単位セル３０１における画素の単位格子領域である。なお、図３Ｃ中、点線で示す領域は、単位セル３０１の中心と単位セル３０１に隣接する６つの単位セルの各中心との６つの中点を求め、これら６つの中点を結んだ六角形状の領域になっている。

＜本発明を適用した場合の変位後の結像の位置＞
本発明は、前記した通り、変位後の結像が画素の単位格子領域の範囲からはみ出さないように、「変位」を発生させること（図４（ｂ）参照）によって、映像の圧縮符号化効率を改善して、画質の向上やビットレートの増加の抑制等を実現するとともに、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止するものである。

以下、図４を参照して、本発明を適用しない場合と本発明を適用した場合との変位後の結像の位置の違いにつき説明する。なお、「本発明を適用する場合」とは、変位後の結像を必ず画素の単位格子領域Ｒの範囲内に存在させる値（すなわち、変位後の結像を必ず画素の単位格子領域Ｒの範囲からはみ出させない値）に、「変位制御量」の値を設定することを意味している。また、「本発明を適用しない場合」とは、「変位制御量」の値を、そのような値に設定しないことを意味している。

図４（ａ）は、比較例として、本発明を適用しない場合の変位後の結像の位置の一例を示している。一方、図４（ｂ）は、本実施形態１として、本発明を適用した場合の変位後の結像の位置の一例を示している。なお、図４は、第１撮像素子１０がモノクロ単板の正方格子として構成されており、かつ、その開口率が１００％となっている場合の例を示している。

図４（ａ）に示すように、本発明を適用しない比較例は、変位後の結像が４つの画素上に跨ってのる。つまり、比較例は、変位後の結像が、画素の単位格子領域Ｒの範囲から小数画素単位ではみ出す状態になる。

このような比較例は、映像の圧縮符号化を行う際の動き補償予測処理時に、画素の単位格子領域Ｒの範囲からはみ出す領域が存在し、動き補償予測処理において非整数画素の動き補償を行うための補間フィルタの影響が生じ、その影響分だけ動き補償残差が余分に生ずるため、符号化効率（レート歪み特性）が低下する。その結果、比較例は、例えば、画質が劣化したり、ビットレートが増加したりする等の不具合が発生する場合がある。また、比較例は、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまう場合がある。

これに対し、図４（ｂ）に示すように、本発明を適用する本実施形態１は、変位後の結像が単一の画素上にのる。つまり、本実施形態１は、変位後の結像が、画素の単位格子領域Ｒの範囲から小数画素単位ではみ出さない状態になる。

このような本実施形態１は、映像の圧縮符号化を行う際の動き補償予測処理時に、画素の単位格子領域Ｒの範囲からはみ出す領域が存在しないため、映像の圧縮符号化を行う際の動き補償予測処理において、補間フィルタの影響分だけ動き補償残差が余分に生ずることを回避することができる。すなわち、本実施形態１は、映像の圧縮符号化を行う際の動き補償予測処理後の予測処理残差を抑制することができる。その結果、本実施形態１は、符号化効率（レート歪み特性）の低下を抑制することができる。これにより、本実施形態１は、映像の圧縮符号化効率を改善して、画質の向上やビットレートの増加の抑制等を実現するとともに、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止することができる。

以上の通り、本実施形態１に係る撮像制振装置１によれば、第１撮像素子１０によって撮影される映像の変位後の結像の変位結果ベクトル（すなわち、変位制御を行った結果、第１撮像素子１０で撮影される出力映像の被写体像の動きベクトル）が各フレーム間においてほぼ整数値化される。

そのため、撮像制振装置１によれば、カメラが出力映像の圧縮符号化を行う場合に（特に、カメラが、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ等の、時間相関を利用して映像を圧縮符号化する方式によって出力映像の圧縮符号化を行う場合に）、映像の圧縮符号化効率を改善して、画質の向上やビットレートの増加の抑制等を実現するとともに、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止することができる。

また、撮像制振装置１によれば、第１撮像素子１０を水平方向及び垂直方向に±０．５画素以内の範囲だけしか変位させないため、被写体の真の位置と撮影された被写体像の位置との誤差が水平方向及び垂直方向に±０．５画素以内の範囲となり、撮像制振装置１をカメラに付加することに起因する動的な画質劣化を最小限にとどめることができる。

［実施形態２］
次に、本実施形態２に係る撮像制振装置１Ｂについて説明する。撮像制振装置１Ｂは、実施形態１に係る撮像制振装置１と比較すると、撮像素子１０によって撮影された観賞用の映像を測定用の映像として併用することによって（すなわち、観賞用の映像を測定用の映像としても用いることによって）変位制御量を算出する点で相違している。以下、図５を参照して、本実施形態２に係る撮像制振装置１Ｂの構成につき説明する。ここでは、本実施形態２に係る「測定動きベクトル（すなわち、結像の全体又はその一部分の動きベクトルの測定値）」を「測定動きベクトルＶｄ」と称する。

図５に示すように、本実施形態２に係る撮像制振装置１Ｂは、実施形態１に係る撮像制振装置１と比較すると、実施形態１に係る撮像制振装置１（図１参照）からハーフミラー５０及び第２撮像素子６０を除いた構成となっている。

また、撮像制振装置１Ｂは、変位量推定部７０Ｂが、撮像素子１０で撮影された観賞用の映像と変位制御部８０から出力される変位制御量の値を表す制御信号とを用いて、推定動きベクトルＶｃを算出する構成になっている。

変位量推定部７０Ｂは、撮像素子１０によって撮影された撮像時刻の異なる複数フレーム間の鑑賞用の映像において、映像の全体又は一部分でブロックマッチングを行うことによって、「測定動きベクトルＶｄ」を算出する。

具体的には、例えば、図６に示すように、変位量推定部７０Ｂは、撮像素子１０によってこれから撮影しようとする現フレームに先行して、撮像素子１０によって撮影されたフレーム−１Ｆとフレーム−２Ｆとの２つのフレーム間の鑑賞用の映像において、映像の全体又は一部分でブロックマッチングを行うことによって、「測定動きベクトルＶｄ」を算出する。

なお、図６に示す例では、撮像制振装置１Ｂは、フレーム−２Ｆ，−１Ｆ，Ｆ１，Ｆ２，…の「蓄積」タイミングで、撮像素子１０によって、測定用の映像及び観賞用の映像として併用される「変位後の結像」を撮影している。撮像制振装置１Ｂは、フレーム−１Ｆの映像の「蓄積」期間が終了してから、フレームＦ１の映像の「蓄積」期間が開始するまでの間に、以下の処理を行う。

撮像制振装置１Ｂは、制御部２が、読出時間ｔ１のタイミングで、フレーム−２Ｆ，−１Ｆの各映像を読み出す。

次に、算出時間ｔ２のタイミングで、制御部２の変位量推定部７０Ｂが、まず、フレーム−２Ｆ，−１Ｆの各映像に基づいて、前記した「測定動きベクトルＶｄ」を算出し、次に、その測定動きベクトルＶｄに基づいて、前記した「推定動きベクトルＶｃ」を算出し、さらに、制御部２の変位制御部８０が、「変位制御量（ΔＸ，ΔＹ）」を算出する。

なお、変位量推定部７０Ｂは、「測定動きベクトルＶｄ」を算出する際に、小数画素精度のブロックマッチングを行う。小数画素精度のブロックマッチングを行う手法は、実施形態１で説明した手法と同様である。

ここでは、これら２つのフレームの撮像時刻を時刻ｔａと時刻ｔｂ（ただし、ｔａ＜ｔｂ）として説明する。なお、ここでは、「撮像時刻」は、例えば、蓄積開始時刻若しくは蓄積終了時刻、又は、これらの平均値として定義する。

また、ここでは、時刻ｔａにおいて変位制御部８０が変位部４０ａ〜４０ｄに指示した変位制御量をベクトル「Ｄａ」とし、また、時刻ｔｂにおいて変位制御部８０が変位部４０ａ〜４０ｄに指示した変位制御量をベクトル「Ｄｂ」として説明する。

このような条件下において、変位量推定部７０Ｂは、例えば、以下の式（３）に基づいて、「推定動きベクトルＶｃ」を小数画素精度で算出する。

変位量推定部７０Ｂは、推定動きベクトルＶｃを算出すると、算出された推定動きベクトルＶｃを変位制御部８０に出力する。すると、変位制御部８０は、算出された推定動きベクトルＶｃを用いて、前記した式（２）に基づいて、変位制御量（ΔＸ，ΔＹ）を算出する。

すなわち、撮像制振装置１Ｂは、変位制御部８０が、「推定動きベクトルＶｃ」の水平成分値ｕｃ及び垂直成分値ｖｃから、「推定動きベクトルＶｃ」の水平成分値ｕｃ及び垂直成分値ｖｃのそれぞれに対して画素の単位格子領域のサイズにおける小数部分を直近の整数値に向けて桁の繰り上げ演算又は繰り下げ演算を行った水平成分演算値ｒｏｕｎｄ（ｕｃ）及び垂直成分演算値ｒｏｕｎｄ（ｖｃ）を減算することによって、変位制御量（ΔＸ，ΔＹ）を算出する。

変位制御部８０は、変位制御量（ΔＸ，ΔＹ）を算出すると、変位制御量（ΔＸ，ΔＹ）を変位部４０ａ〜４０ｄに出力する。これに応答して、変位部４０ａ〜４０ｄは、変位制御量（ΔＸ，ΔＹ）分だけ、撮像素子１０を移動させる。

なお、変位量推定部７０Ｂは、推定動きベクトルＶｃの代わりに、前記した式（３）に基づいて算出された「推定動きベクトルＶｃ」の時系列に対してフィルタ処理（例えば、直近３時点分の推定動きベクトルＶｃ１，Ｖｃ２，Ｖｃ３の平均値をとる演算（すなわち、Ｖｃｎ＝（Ｖｃ１＋Ｖｃ２＋Ｖｃ３）／３）等）を行って、フィルタ処理の結果である推定動きベクトルＶｃｎを算出し、その推定動きベクトルＶｃｎを変位制御部８０に出力するようにしても構わない。

以上の通り、本実施形態２に係る撮像制振装置１Ｂによれば、実施形態１に係る撮像制振装置１（図１参照）と同様に、映像の圧縮符号化効率を改善して、画質の向上やビットレートの増加の抑制等を実現するとともに、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止することができる。

また、撮像制振装置１Ｂによれば、実施形態１に係る撮像制振装置１と同様に、撮像素子１０を水平方向及び垂直方向に±０．５画素以内の範囲だけしか変位させないため、被写体の真の位置と撮影された被写体像の位置との誤差が水平方向及び垂直方向に±０．５画素以内の範囲となり、撮像制振装置１Ｂをカメラに付加することに起因する動的な画質劣化を最小限にとどめることができる。

しかも、撮像制振装置１Ｂによれば、実施形態１に係る撮像制振装置１（図１参照）からハーフミラー５０及び第２撮像素子６０を除いた構成になっているため、実施形態１に係る撮像制振装置１よりも装置の小型化を図ることができる。

［実施形態３］
次に、本実施形態３に係る撮像制振装置１Ｃについて説明する。撮像制振装置１Ｃは、実施形態１に係る撮像制振装置１と比較すると、変位部４０ａ〜４０ｄを除く代わりに、光学的に光路を変位することができる素子（以下、「光路変更素子」と称する）を用いる点、及び、本実施形態３に係る変位制御部８０Ｃが変位制御量に対応する制御信号を光路変更素子に出力して光路変更素子を作動させる点で相違している。以下、図７を参照して、本実施形態３に係る撮像制振装置１Ｃの構成につき説明する。

図７に示すように、撮像制振装置１Ｃは、ハーフミラー５０と第１撮像素子１０との間に、変位部９０が配置されている。変位部９０は、光学的に光路３０を変位することができる光路変更素子によって構成されている。以下、変位部９０を「光路変更素子９０」と称する。

光路変更素子９０は、図８に示すように、本実施形態３に係る変位制御部８０Ｃから出力される変位制御量に対応する制御信号に応じて、光路３０を、水平方向、垂直方向、及び、斜め方向のいずれか任意の方向に、小数画素精度で多段階に変位させる素子である。光学的変位部９０は、入射光の光軸方向と出射光の光軸方向とが平行になるように、出射光を出射する。

係る構成において、本実施形態３に係る撮像制振装置１Ｃは、実施形態１に係る撮像制振装置１と同様に、変位量推定部７０が、「測定動きベクトルＶｓ」及び「推定動きベクトルＶｃ」を算出する。

すなわち、撮像制振装置１Ｃは、実施形態１に係る撮像制振装置１と同様に、まず、変位量推定部７０が、第２撮像素子６０によって撮影された撮像時刻の異なる複数フレーム（例えば、第１撮像素子１０によってこれから撮影しようとする現フレームに先行して、第２撮像素子６０によって撮影されたフレーム−１とフレーム−２との２つのフレーム）間の測定用の映像において、映像の全体又は一部分でブロックマッチングを行うことによって、「測定動きベクトルＶｓ」を算出する。次に、撮像制振装置１Ｃは、実施形態１に係る撮像制振装置１と同様に、変位量推定部７０が、算出された測定動きベクトルＶｓを用いて、前記した式（１）に基づいて、「推定動きベクトルＶｃ」を小数画素精度で算出する。

この後、撮像制振装置１Ｃは、実施形態１に係る撮像制振装置１の変位制御部８０と同様に、変位制御部８０Ｃが、変位量推定部７０によって算出された推定動きベクトルＶｃを用いて、前記した式（２）に基づいて、「変位制御量（ΔＸ，ΔＹ）」を算出する。

すなわち、撮像制振装置１Ｃは、変位制御部８０Ｃが、「推定動きベクトルＶｃ」の水平成分値ｕｃ及び垂直成分値ｖｃから、「推定動きベクトルＶｃ」の水平成分値ｕｃ及び垂直成分値ｖｃのそれぞれに対して画素の単位格子領域のサイズにおける小数部分を直近の整数値に向けて桁の繰り上げ演算又は繰り下げ演算を行った水平成分演算値ｒｏｕｎｄ（ｕｃ）及び垂直成分演算値ｒｏｕｎｄ（ｖｃ）を減算することによって、変位制御量（ΔＸ，ΔＹ）を算出する。

変位制御部８０Ｃは、変位制御量（ΔＸ，ΔＹ）を算出すると、変位制御量（ΔＸ，ΔＹ）に対応する制御信号を生成して、生成した制御信号を光路変更素子９０に出力する。このとき、生成される制御信号は、光路変更素子９０に対して、実施形態１に係る撮像制振装置１（図１参照）の変位部４０ａ〜４０ｄが第１撮像素子１０を変位させた方向とは逆方向で、かつ、同じ大きさ（絶対値）分だけ、光路３０を変位させることを指示する内容になっている。

その結果、光路変更素子９０は、実施形態１に係る撮像制振装置１（図１参照）の変位部４０ａ〜４０ｄが第１撮像素子１０を変位させた方向と逆方向で、かつ、同じ大きさ（絶対値）分だけ、光路３０を変位させる。

本実施形態３に係る撮像制振装置１Ｃによれば、実施形態１に係る撮像制振装置１（図１参照）と同様に、映像の圧縮符号化効率を改善して、画質の向上やビットレートの増加の抑制等を実現するとともに、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止することができる。

また、撮像制振装置１Ｃによれば、実施形態１に係る撮像制振装置１が第１撮像素子１０を水平方向及び垂直方向に±０．５画素以内の範囲だけしか変位させない代わりに、光路３０を水平方向及び垂直方向に±０．５画素以内の範囲だけしか変位させないため、被写体の真の位置と撮影された被写体像の位置との誤差が水平方向及び垂直方向に±０．５画素以内の範囲となり、撮像制振装置１Ｃをカメラに付加することに起因する動的な画質劣化を最小限にとどめることができる。

［実施形態４］
次に、本実施形態４に係る撮像制振装置１Ｄについて説明する。撮像制振装置１Ｄは、実施形態２に係る撮像制振装置１Ｂ（図５参照）と比較すると、変位部４０ａ〜４０ｄを除く代わりに、光路変更素子９０を用いる点、及び、本実施形態４に係る変位制御部８０Ｃが実施形態３と同様に変位制御量に対応する制御信号を光路変更素子９０に出力して光路変更素子９０を作動させる点で相違している。以下、図９を参照して、本実施形態４に係る撮像制振装置１Ｄの構成につき説明する。ここでは、本実施形態４に係る「測定動きベクトル（すなわち、結像の全体又はその一部分の動きベクトルの測定値）」を「測定動きベクトルＶｄ」と称する。

図９に示すように、撮像制振装置１Ｄは、実施形態３に係る撮像制振装置１Ｃと同様に、ハーフミラー５０と第１撮像素子１０との間に、光路変更素子９０が配置されている。

係る構成において、本実施形態４に係る撮像制振装置１Ｄは、実施形態２に係る撮像制振装置１Ｂと同様に、変位量推定部７０Ｂが、「測定動きベクトルＶｄ」及び「推定動きベクトルＶｃ」を算出する。

すなわち、撮像制振装置１Ｄは、実施形態２に係る撮像制振装置１Ｂと同様に、まず、変位量推定部７０Ｂが、撮像素子１０によって撮影された撮像時刻の異なる複数フレーム（例えば、撮像素子１０によってこれから撮影しようとする現フレームに先行して、撮像素子１０によって撮影されたフレーム−１Ｆ（図６参照）とフレーム−２Ｆ（図６参照）との２つのフレーム）間の鑑賞用の映像において、映像の全体又は一部分でブロックマッチングを行うことによって、「測定動きベクトルＶｄ」を算出する。次に、撮像制振装置１Ｄは、実施形態２に係る撮像制振装置１Ｂと同様に、変位量推定部７０Ｂが、算出された測定動きベクトルＶｄ、時刻ｔａにおける変位制御量を表すベクトルＤａ、及び、時刻ｔｂにおける変位制御量を表すベクトルＤｂを用いて、前記した式（３）に基づいて、「推定動きベクトルＶｃ」を小数画素精度で算出する。

この後、撮像制振装置１Ｄは、実施形態２に係る撮像制振装置１Ｂと同様に、変位制御部８０Ｃが、変位量推定部７０Ｂによって算出された推定動きベクトルＶｃを用いて、前記した式（２）に基づいて、「変位制御量（ΔＸ，ΔＹ）」を算出する。

すなわち、撮像制振装置１Ｄは、変位制御部８０Ｃが、「推定動きベクトルＶｃ」の水平成分値ｕｃ及び垂直成分値ｖｃから、「推定動きベクトルＶｃ」の水平成分値ｕｃ及び垂直成分値ｖｃのそれぞれに対して画素の単位格子領域のサイズにおける小数部分を直近の整数値に向けて桁の繰り上げ演算又は繰り下げ演算を行った水平成分演算値ｒｏｕｎｄ（ｕｃ）及び垂直成分演算値ｒｏｕｎｄ（ｖｃ）を減算することによって、変位制御量（ΔＸ，ΔＹ）を算出する。

変位制御部８０Ｃは、変位制御量（ΔＸ，ΔＹ）を算出すると、実施形態３と同様に、変位制御量（ΔＸ，ΔＹ）に対応する制御信号を生成して、生成した制御信号を光路変更素子９０に出力する。このとき、生成される制御信号は、光路変更素子９０に対して、実施形態１に係る撮像制振装置１（図１参照）の変位部４０ａ〜４０ｄが第１撮像素子１０を変位させた方向とは逆方向で、かつ、同じ大きさ（絶対値）分だけ、光路３０を変位させることを指示する内容になっている。

その結果、光路変更素子９０は、実施形態３と同様に、実施形態１に係る撮像制振装置１（図１参照）の変位部４０ａ〜４０ｄが第１撮像素子１０を変位させた方向と逆方向で、かつ、同じ大きさ（絶対値）分だけ、光路３０を変位させる。

本実施形態４に係る撮像制振装置１Ｄによれば、実施形態３に係る撮像制振装置１Ｃ（図７参照）と同様に、映像の圧縮符号化効率を改善して、画質の向上やビットレートの増加の抑制等を実現するとともに、演出上の理由等で意図された被写体像の動揺までをも過剰に相殺してしまうことを防止することができる。

また、撮像制振装置１Ｄによれば、実施形態３に係る撮像制振装置１Ｃと同様に、光路３０を水平方向及び垂直方向に±０．５画素以内の範囲だけしか変位させないため、被写体の真の位置と撮影された被写体像の位置との誤差が水平方向及び垂直方向に±０．５画素以内の範囲となり、撮像制振装置１Ｄをカメラに付加することに起因する動的な画質劣化を最小限にとどめることができる。

しかも、撮像制振装置１Ｄによれば、実施形態３に係る撮像制振装置１Ｃ（図７参照）からハーフミラー５０及び第２撮像素子６０を除いた構成になっているため、実施形態３に係る撮像制振装置１Ｃよりも装置の小型化を図ることができる。

なお、前記した実施形態１〜４では、制御部２，２Ｂ，２Ｃ，２Ｄは、それぞれ、図示せぬ記憶部に読み出し自在に予め格納された制御プログラムを実行することによって、前記した「変位量推定部７０（又は７０Ｂ）」及び「変位制御部８０（又は８０Ｂ）」を備える構成になっているものとする。

本発明は、前記した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲で種々の変更や変形を行うことができる。
例えば、実施形態１に係る撮像制振装置１（図１参照）及び実施形態３に係る撮像制振装置１Ｃ（図７参照）は、光路を分岐する分岐部材としてハーフミラー５０を用いる構成になっている。しかしながら、撮像制振装置１，１Ｃは、ハーフミラー５０の代わりに、分岐部材としてハーフプリズムを用いる構成にしてもよい。
また、撮像素子１０を、時分割的に動き推定用（第２撮像素子６０の代用）と映像出力用とに併用してもよい。

なお、前記した「変位結果ベクトルの値が隣接する２つの画素の中心点同士を結ぶことによって得られるベクトル値集合の中のいずれかのベクトル値もしくはゼロベクトル値と一致する値となる変位制御量」は、正方格子（図３Ａ及び図３Ｂ参照）やハニカム格子（図３Ｃ参照）だけでなく、例えば、長方格子や斜方格子、クインカンクス格子等の図示せぬ格子にも適用可能な変位制御量になっている。

１，１Ｂ，１Ｃ，１Ｄ 撮像制振装置
２，２Ｂ，２Ｃ，２Ｄ 制御部
１０，６０ 撮像素子
２０ レンズ
３０ 光軸
４０ａ，４０ｂ，４０ｃ，４０ｄ 変位部（アクチュエータ）
５０ ハーフミラー
７０，７０Ｂ 変位量推定部
８０，８０Ｂ 変位制御部
９０ 変位部（光路変更素子）

Claims (7)

1. 映像を撮影する撮像素子と、
   被写界に対する前記撮像素子の光学的な位置の変位を発生させるための変位部と、
   前記変位部を制御する制御部とを有し、
   前記制御部は、
   前記変位を発生させなかった場合に生じる結像の動きベクトルの推定値を推定動きベクトルとし、撮像時刻の異なる２つのフレーム間の前記撮像素子上の前記結像の移動量をマッチングして、前記撮像素子を構成する画素の単位格子領域のサイズより細かい精度で当該推定動きベクトルを算出する変位量推定部と、
   前記変位を発生させた結果得られる結像の動きベクトルを変位結果ベクトルとし、前記変位量推定部によって算出された前記推定動きベクトルから、当該変位結果ベクトルの値が隣接する２つの前記画素の中心点同士を結ぶことによって得られるベクトル値集合の中のいずれかのベクトル値もしくはゼロベクトル値と一致する値となる変位制御量を算出し、当該変位制御量を前記変位部に出力する変位制御部とを備える
   ことを特徴とする撮像制振装置。
2. 前記変位制御部は、前記推定動きベクトルの水平成分値及び垂直成分値から、当該推定動きベクトルの水平成分値及び垂直成分値のそれぞれに対して前記画素の単位格子領域のサイズにおける小数部分を直近の整数値に向けて桁の繰り上げ演算又は繰り下げ演算を行った水平成分演算値及び垂直成分演算値を減算することによって、前記変位制御量を算出する
   ことを特徴とする請求項１に記載の撮像制振装置。
3. さらに、別の撮像素子と、
   光路を前記撮像素子の方向と前記別の撮像素子の方向とに分岐する分岐部材とを備え、
   前記変位量推定部は、前記撮像素子上の前記結像の前記推定動きベクトルを「Ｖｃ」とし、前記別の撮像素子上の前記結像の動きベクトルを「Ｖｓ」とする場合に、前記別の撮像素子によって撮像された２つのフレーム間の映像に基づいて、前記動きベクトルＶｓを算出し、算出された当該動きベクトルＶｓに基づいて、前記推定動きベクトルＶｃを算出する
   ことを特徴とする請求項２に記載の撮像制振装置。
4. 前記変位量推定部は、前記撮像素子の撮像フレーム時間間隔、水平画素ピッチ、垂直画素ピッチを、それぞれ、「Ｔｃ」、「Ｐｃ」、「Ｑｃ」とし、前記別の撮像素子の撮像フレーム時間間隔、水平画素ピッチ、垂直画素ピッチを、それぞれ、「Ｔｓ」、「Ｐｓ」、「Ｑｓ」とする場合に、式（１）に基づいて、前記推定動きベクトルＶｃを算出する
   ことを特徴とする請求項３に記載の撮像制振装置。
   

   
5. 前記変位量推定部は、前記撮像素子によって観賞用の映像として用いる現フレームとその直前に撮像されたフレームとの間の前記撮像素子上の前記結像の前記推定動きベクトルを「Ｖｃ」とし、前記撮像素子によって現フレームよりも過去の時刻ｔａ，ｔｂ（ただし、ｔａ＜ｔｂ）に撮像された２つのフレーム間の前記撮像素子上の前記結像の動きベクトルを「Ｖｄ」とし、時刻ｔａにおける前記変位制御量を「Ｄａ」とし、時刻ｔｂにおける前記変位制御量を「Ｄｂ」とする場合に、式（２）に基づいて、前記推定動きベクトルＶｃを算出する
   ことを特徴とする請求項２に記載の撮像制振装置。
   

   
6. 前記変位部は、前記撮像素子及び光学系のいずれか一方を物理的に移動させる手段である
   ことを特徴とする請求項１乃至請求項５のいずれか一項に記載の撮像制振装置。
7. 前記変位部は、光路上に配置され、かつ、前記撮像素子上の前記結像の位置を光学的に変化させる光路変更素子である
   ことを特徴とする請求項１乃至請求項５のいずれか一項に記載の撮像制振装置。

Images