JP2010010798A - 動画像処理装置、カメラ一体型画像記録装置、動画像再生装置、遠隔操作システム、動画像処理方法、動画像処理プログラム、記憶媒体及び、動画像処理システム - Google Patents

Abstract

【課題】大きな設備を必要とせずに、画像処理によって、移動撮影時の画像揺れを補正する動画像処理装置及び動画像処理方法を提供する。
【解決手段】動画像の各時刻でのパラメータ値を求める抽出手段１２０と、求めた各時刻でのパラメータ値を統計処理し各時刻での理想パラメータを計算する理想パラメータ計算手段１３０と、新旧の画像を保持する画像メモリ１００と、パラメータ抽出手段１２０で求められたパラメータと理想パラメータ計算手段１３０で計算された理想パラメータ値に基づき補正量を計算して、画像メモリ１００に保持された画像を変換し、抽出パラメータが理想パラメータ計算手段１３０に入力される毎に新規理想パラメータを求め構成を有する。
【選択図】図１

Description

本発明は、動画像の画像揺れを補正する動画像処理装置、カメラ一体型画像記録装置、動画像再生装置、遠隔操作システム、動画像処理方法、動画像処理プログラム、記憶媒体及び、動画像処理システムに関わり、特にカメラ一体型VTRを用いて撮影者が歩行等移動しながら撮影した画像や、またロボットの遠隔操作のために、操作者のディスプレイに表示する、ロボットに取りつけられた撮影装置からの画像や、自律的に動くロボットに取りつけられた撮影装置で撮影された画像等、移動撮影された動画像の画像揺れによる不快感をなくすための動画像処理装置及び動画像処理方法に関する。

従来、カメラ一体型ビデオ等を用いた動画像撮影における、手振れによる画像の振動を防ぐ防振技術として、特許文献１の従来例に示されているように、出力画像よりも大きな画像で入力した画像をメモリに一時保持し、手振れによって生じた動きベクトルの大きさに基づいてそのメモリから出力画像を切り出す処理を各フレーム毎に行う、手振れ補正技術がある。

また、映画や各種スポーツ競技における移動撮影においては、平行に架設した2本のレールの上を移動する台車に撮影装置を搭載して撮影を行っている。また、特許文献２のように移動撮影において撮影者の挙動が撮影装置に伝わらないようにするための撮影用クレーンや、特許文献３のように撮影装置を搭載した移動台をワイヤを使用して移動させるものがある。

さらに、移動撮影された動画像の不快感を、画像処理を用いて、軽減する方法として、“Recovery of Ego-Motion Using Image Stabilization"(M.Irani etc,CVPR-94,June)に述べられているように、時間的に連続する画像を処理して、撮影装置の並進・回転の移動パラメータを求め、その中の回転パラメータのみを使用して、最初に撮影された画像と同じ向きになるように各画像を変換させて、画像の振動を補正する方法がある。
特開平３−２８０４０６号公報 特開平５−１６１０３７号公報 特開平７−３２５３３５号公報

撮影者が移動しながら撮影した画像は、撮影装置の位置または撮影方向が変化することにより、画像揺れがあり、そのまま観察すると不快感が生じる。この不快感を無くすために、上記示したような、移動撮影時の画像揺れを防止するための方法には、以下のようにそれぞれ問題がある。

特許文献１で示される方法は、時間的に連続する画像のうち時間的に前の画像を基準とし、後の画像の移動量を動きベクトルとして求め、その動きベクトル分メモリの読み出し位置を変更して、前の画像と後の画像を見た目上同じ画像にする。そして続いて、その切り出した画像と次の時刻の画像の移動ベクトルを求め、それに基づいて画像を切り出す、ということを繰り返すものであり、撮影者が静止し撮影装置がある位置を基準に上下左右に微小に揺れている状況での撮影には有効である。しかしながら、移動撮影はそのような状況ではなく、画像中の物体は撮影者の進行方向を中心として上下左右に徐々に移動していく。つまり、最初画像中心にある被写体は、撮影者がその被写体に向かって移動すれば、徐々に画像中で大きくなるし、また移動方向が被写体の方向と異なれば、徐々に画像中心から外れていくことになる。このような画像列では最初の画像と同じ領域が徐々に減少するので、同じ領域を切り出すことは不可能になる。

また、レールやワイヤを架設したり、クレーンを使用するというのは、設備として大掛かりになるという問題がある。

また、“Recovery of Ego-Motion Using Image Stabilization"の論文による方法では、動画像を補正する際に、最初に撮影された画像の向きに各画像を変換するので、進行方向が直進でなく、曲がりながら撮影している時等徐々に移動方向が変化している時、またパンやチルトなど撮影装置を回転させて撮影しているときなどは変換後の画像が所望のものと異なるという問題があった。

さらに、この方法では並進成分を完全に分離した回転成分のみの変換のため、並進による画像揺れを補正出来ないという問題があった。そのため、この論文には、処理の最後にローバスフィルタをかけているという説明がある。

このように、従来においては、移動撮影において、大きな設備を必要としないで、画像振れを補正する方法が示されていない。そこで本発明の目的は、大きな設備を必要とせずに、画像処理によって、移動撮影時の画像揺れを補正する動画像処理装置及び方法を提供することである。

前記目的を実現するために、
本出願に係る第1の発明の動画像処理装置は、
入力される動画像の各時刻でのパラメータ値を求めるパラメータ抽出手段と、前記パラメータ抽出手段で求めた各時刻でのパラメータ値を統計処理し各時刻での理想パラメータ値を計算する理想パラメータ計算手段と、新旧の画像を保持する画像メモリと、前記パラメータ抽出手段で求められた実際のパラメータ値と前記理想パラメータ計算手段で計算された理想パラメータ値に基づき補正量を計算し、その補正量と実際のパラメータ値に基づいて前記画像メモリに保持された画像を変換する画像変換手段とから構成される動画像処理装置において、前記パラメータ抽出手段で抽出されたパラメータが、前記理想パラメータ計算手段に入力される毎に、前記理想パラメータ計算手段において、新規理想パラメータを求める計算を行うことを特徴とする動画像処理装置である。

本出願に係る第２の発明の動画像処理装置は、
第１の発明において、パラメータ抽出手段で求めるパラメータが、画像の面内回転量と特定の点の座標であり、理想パラメータ計算手段では、前記特定の点の座標が理想的に変化する理想座標を求め、実際の座標とその理想座標とから補正量を計算し、その補正量および前記面内回転量とから画像メモリに保持された画像を変換することを特徴とする動画像処理装置である。

本出願に係る第３の発明の動画像処理装置は、
第１または第２の発明において、画像メモリは複数の画像を保持可能であり、前記画像メモリに保持された複数の画像中の１枚の画像を変換する補正量を求めるために、理想パラメータ計算手段では、その変換する画像より以降に入力された画像からパラメータ抽出手段で抽出されたパラメータも使用することを特徴とする動画像処理装置である。

本出願に係る第４の発明の動画像処理装置は、
第２の発明において、パラメータである座標を求める特定の点が変更された時には、理想パラメータ計算手段では理想座標の計算に必要な数のデータが集まるまでは、変更前の特定点から理想座標を求め、必要な数のデータが集まった後は変更後の特定点から理想座標を求めることを特徴とする動画像処理装置である。

本出願に係る第５の発明は、
上記第1から第4の発明の内のいずれか１つに記述の動画像処理装置により、撮影した動画像を動画像処理して、動画像処理した動画像を記録するカメラ一体型記録装置である。

本出願に係る第6の発明は、
上記第1から第4の発明の内のいずれか1つに記述の動画像処理装置により、撮影または記録された動画像を動画像処理して、動画像処理した動画像を再生する再生装置である。

本出願に係る第7の発明は、
移動手段に取り付けられた撮像装置で撮影された動画像を、上記第1から第4の発明の内いずれか１つに記述の動画像処理装置で動画像処理を行い、処理を行なった動画像をネットワークに送信し、その処理された動画像を、遠隔操作を行なうオペレータに、ネットワークを介して表示する、遠隔操作システムである。

本出願に係る第8の発明は、
手段に取り付けられた撮像装置で撮影された動画像をネットワークに送信し、ネットワークを介して得られる移動手段で撮影された動画像を、上記第1から第4の発明の内いずれか１つに記述の動画像処理装置で動画像処理を行い、処理を行なった動画像を、遠隔操作を行なうオペレータに表示する、遠隔操作システムである。

本出願に係る第9の発明は、
動画像の各時刻でのパラメータ値を求めるパラメータ抽出ステップと、及び前記パラメータ抽出ステップで求めた各時刻でのパラメータ値を統計処理し各時刻での理想パラメータ値を計算する理想パラメータ計算ステップと、及び前記パラメータ抽出ステップで求められた実際のパラメータ値と前記理想パラメータ計算ステップで計算された理想パラメータ値に基づき補正量を計算し、その補正量に基づいて画像メモリに保持された画像を変換する画像変換ステップとからなる動画像処理方法において、前記パラメータ抽出ステップで抽出されたパラメータが、前記理想パラメータ計算ステップに入力される毎に、前記理想パラメータ計算ステップにおいて、新規理想パラメータを求める計算を行うことを特徴とする動画像処理方法である。

本出願に係る第10の発明は、
第９の発明において、パラメータ抽出ステップで求めるパラメータとは、画像の面内回転量と特定の点の座標であり、理想パラメータ計算ステップでは、前記特定の点の座標が理想的に変化する理想座標を求め、実際の座標とその理想座標とから補正量を計算し、その補正量および前記面内回転量とから画像メモリに保持された画像を変換することを特徴とする動画像処理方法である。

本出願に係る第1１の発明は、
第９または第１０の発明において、画像メモリに保持された複数の画像中の１枚の画像を変換する補正量を求めるために、理想パラメータ計算ステップでは、その変換する画像より以降に入力された画像からパラメータ抽出ステップで抽出されたパラメータも使用することを特徴とする、動画像処理方法である。

本出願に係る第1２の発明は、
第１０の発明において、パラメータである座標を求める特定の点が変更された時には、理想パラメータ計算ステップでは理想座標の計算に必要な数のデータが集まるまでは、変更前の特定点から理想座標を求め、必要な数のデータが集まった後は変更後の特定点から理想座標を求めることを特徴とする。

本出願に係る第1３の発明は、
第９の発明〜第１２の発明のいずれかに記載の動画像処理方法をコンピュータにより読み取り可能な形で実行することを特徴とする動画像処理プログラムである。

本出願に係る第1４の発明は、
第１３の発明に記載の動画像処理プログラムをコンピュータにより読み取り可能な形で記憶した記憶媒体である。

本出願に係る第1５の発明は、
画像入力手段と、新旧の画像を保持する画像メモリと、第１３の発明に記載の動画像処理プログラムと、前記動画像処理プログラムを実行するプロセッサと、第1４の発明に記載の記憶媒体と、前記動画像処理プログラムで処理された動画像を記録する記録手段、または前記動画像処理プログラムで処理された動画像を表示する表示手段、または前記動画像処理プログラムで処理された動画像をネットワークに送信する送信手段とから構成される動画像処理システムである。

（作用）
移動撮影において、レール上を移動する台車に撮影装置を搭載して撮影する時は、画像中の各点は、動画像中をなめらかに移動していく。つまり、画像揺れがある動画像の補正方法としては、画像中の点を、それらが画像中をなめらかに移動するように画像処理で補正すれば良いと考えられる。これが、本発明における画像揺れ補正処理の基本的な考え方である。そこで上記補正を行うため、本発明の各手段は以下のように作用する。

撮影者の移動により、撮影装置の位置または撮影方向が変化して撮影された画像の画像揺れを補正するために、まずパラメータ抽出手段は、各時刻で撮影された画像から各時刻でのパラメータ値を求める。このパラメータは、画像中の特定の点の座標と画像の面内回転量である。理想パラメータ計算手段では、各時刻の画像中で特定の点の座標（水平・垂直方向）がなめらかに変化するように、過去のパラメータも用いて、各時刻の画像中での特定の点の理想的な座標を求める。そして、画像メモリに保持されている画像を、実際の座標と理想座標とに基づいて計算された補正量と、面内回転量に基づいて変換する。このとき、パラメータ抽出手段で抽出されたパラメータが、理想パラメータ計算手段に入力される毎に、理想パラメータ計算手段では、新規理想パラメータを求める計算を行う。このように、画像を観察する際に、この特定の点が滑らかに変化していくことで、画像揺れによる不快感をなくすことが出来る。

また、パラメータ抽出手段で求めるパラメータは撮像系の回転量としてもよい。

また、画像メモリは複数の旧画像を保持可能であり、画像メモリに保持された複数の旧画像中の１枚の画像を変換する補正量を求めるために、理想パラメータ計算手段では、その変換する画像より以降に入力された画像からパラメータ抽出手段で抽出されたパラメータ、つまり、その変換する画像からみると、過去のパラメータと未来のパラメータの両方を使用して、理想パラメータを求める。

また、撮影者の移動により、画像中の特定の点が画像中で徐々に移動していき、その点の座標が画像中のある範囲から外れた場合は、特定の点を新たな点に変更する。その際は、理想パラメータ計算手段では理想座標の計算に必要な数のデータが集まるまでは、変更前の特定点から理想座標を求め、必要な数のデータが集まった後は変更後の特定点から理想座標を求める。

上記実施例で説明したように、本発明の動画像処理装置及び方法によれば、大量のメモリを必要とせずに、特定の点がなめらかに移動するようにメモリから画像を切り出したり、また、撮影装置の回転角が滑らかになるように画像変換処理を行うといった画像処理によって、進行方向が変化するような移動であっても、移動撮影時の画像揺れを補正することが出来るという効果がある。

また、画像の入力間隔時間の間に、移動パラメータの計算、理想パラメータの計算および変換・補間画像の作成が出来れば、この処理装置へ画像を入力しながら、補正画像の出力も可能であり、画像の撮影時にも使用することが可能であり、カメラ一体型記録装置で用いて、撮影した画像の画像揺れが無いように処理した画像を記録する事が出来る。

もちろん、この処理を撮影した画像や記録された画像を再生する装置や、ロボット等の移動手段をネットワークを介して遠隔操作するシステムに用いて、移動手段で撮影された動画像を画像揺れが無いように処理した画像をオペレータに表示して、観察者の不快感をなくすことが出来るという効果がある。また、画像入力手段で入力された画像を、そのプログラムをプロセッサで実行し、画像揺れが無いように処理した画像を、記録または表示またはネットワークに送信することで、PCなどで容易にこの動画像処理を行なうこともできるという効果もある。

次に、本発明の詳細を実施例の記述に従って説明する。

以下、本発明の実施例について、図を用いて説明する。

図１が本実施例の構成を示す図である。

図１において、１００は画像メモリを、１０１は画像メモリ制御手段を、１１０は動きベクトル抽出手段を、１２０はパラメータ抽出手段を、１３０は理想パラメータ計算手段を、１４０は画像変換手段を、１５０は補間手段を、１６０は記録手段を、１７０は表示手段を、１８０は送信手段を示す。

以下図１中に示す構成要素の機能を説明する。

画像メモリ１００は、デジタル化された画像を保持するメモリであり、画像メモリ制御手段１０１は、その画像メモリ１００への画像の書きこみや画像メモリ１００からの画像の読み出しの制御、及びそのアドレスの設定を行う。動きベクトル抽出手段１１０は、画像メモリ１００に保持された画像の代表領域と、次の画像とのマッチングを行い、代表領域の中心点の移動を示す動きベクトルを求める。パラメータ抽出手段１２０は、動きベクトル抽出手段１１０で求められた動きベクトルから時間的に連続する画像間の回転等のパラメータを計算する。理想パラメータ計算手段１３０は、パラメータ抽出手段１２０で求められたパラメータを複数保持し、それらから理想的なパラメータを計算する。画像変換手段１４０は、パラメータ抽出手段１２０で求められたパラメータと理想パラメータ抽出手段１３０で計算された理想パラメータとに基づいて、画像メモリ１００に保持された画像から、記録手段１６０に記録する画像または表示手段１７０に表示する画像または送信手段１８０から送信する変換画像を作成するための、画像メモリ１００の座標を計算し、画像メモリ制御手段１０１へ出力する。補間手段１５０は画像メモリ１００から読み出された変換後の画像を補間して出力する。記録手段１６０は補間手段１５０から出力される画像を記録する。表示手段１７０は補間手段１５０から出力される画像を表示する。送信手段１８０は補間手段１５０から出力される画像をインターネットなどに送信する。

続いて、図１から図８を用いて、この動画像処理装置及び方法の全体の動作を説明する。

デジタルの入力画像は分岐され、画像メモリ１００と、動きベクトル抽出手段１１０とに入力される。画像メモリ１００に入力する経路では、入力された画像を、画像メモリ制御手段１０１の制御で画像メモリ１００に保持する。また、動きベクトル抽出手段１１０にも入力され、動きベクトルの抽出の計算に用いられる。

画像メモリ１００は、デジタル入力画像を保持するとともに、その前の時刻に保持された画像中の２つの領域を代表領域として動きベクトル抽出手段１１０に出力する。つまり、画像メモリ１００は旧画像と新画像の２枚の画像を保持している。この出力される代表領域の中心点の座標は、動きベクトル抽出手段１１０でその前の時刻に計算された移動ベクトルの終点の座標である。この座標を画像メモリ制御手段１０１が記憶しているので、画像メモリ１００に保持された画像から代表領域を出力することが出来る。代表領域の中心点を最初に設定する際は、ユーザが指定したりもしくは画像中心付近にある強エッジの点のうちで、ある程度離れた２点を自動的に選択するようにすることで実現する。

続いて、動きベクトル抽出手段１１０において、入力されたデジタルの入力画像と、画像メモリ１００より入力される、前の時刻の画像の代表領域とでマッチングをとり、その代表領域の動きベクトルを求める。求められた動きベクトルは、画像メモリ制御手段１０１に出力され、現在保持されている画像から代表領域を出力するのに用いられる、また同時にパラメータ抽出手段１２０にも出力される。

パラメータ抽出手段１２０では、入力された動きベクトルから時間的に連続する画像間の移動パラメータを計算する。本実施例では、移動パラメータの一例として、面内回転と面内平行移動とを考える。例えば、図２に示されるように、A点とB点の移動ベクトルが得られたとする。A点の座標を（H1,V1）、移動後のA'点の座標を（H1',V1'）、B点の座標を（H2,V2）、移動後のB'点の座標を（H2',V2'）とすると、面内回転量ｄθは、
ｄθ＝arctan((V1'-V2')/(H1'-H2')) ― arctan((V1-V2)/(H1-H2))
となる。また、面内平行移動量の計算には、A点の移動後の座標（H1',V1'）が用いられる。このように計算された面内回転と面内平行移動の移動パラメータは、画像変換手段１４０に出力され、またこれらの移動パラメータのうちA点の移動後の座標（H1',V1'）が理想パラメータ計算手段１３０に出力される。

理想パラメータ計算手段１３０では、パラメータ抽出手段１２０からの面内平行移動パラメータ、つまりA点の座標（H1,V1）の変化の過去データを既定数分保持している。これら保持している座標の変化を図３（ａ）、図３（ｂ）に黒点で示す。この図３において、図３（ａ）はA点の水平方向の座標Ｈ１の変化を、図３（ｂ）はA点の垂直方向の座標Ｖ１の変化を示し、それぞれ横軸は画像番号（時間）、縦軸はA点の水平方向の座標Ｈ１，垂直方向の座標Ｖ１を示している。作用の項に書いたように、画像補正の基本的な考え方は、画像中の点が画像中を滑らかに移動するようにすることであるので、理想的には、これらＨ１，Ｖ１の変化が滑らかであるように補正を行えば良いと考えられる。図３（ａ）、図３（ｂ）の黒点に示す実際の座標に対して、それらの点を滑らかに補間する理想曲線を点線で示す。この曲線を求めるには例えば2次の最小2乗法を使用する事が出来る。

ここで、この理想パラメータ計算手段１３０の動作を図３、図４及び図５のフローチャートを用いて説明する。図５のフローチャートにおいて、ステップＳ５０１では、保持している過去のデータのうち最も古いデータを消去する。つまり、図３に示すように、この実施例の理想パラメータ計算手段１３０では７つの過去の座標を保持しており、次の入力に備えて、一番左にある最古のデータを消去する。そして、ステップＳ５０２では、パラメータ抽出手段１２０より新たな座標（Ｈ1',V1'）が入力される。この様子を図４に示す。図４において、一番右の白丸で示した座標が新たに入力された座標である。そして、ステップＳ５０３では過去の座標とステップＳ５０２で入力された新たな座標から２次の最小2乗法等を用いて新たに理想曲線を求める。この新たに求めた理想曲線が図４に点線で示した曲線である。ステップＳ５０４ではステップＳ５０３で求めた理想曲線から理想座標（Ｈｃ，Ｖｃ）を求める。ステップＳ５０５ではステップＳ５０４で求めた理想座標（Hc,Vc）を画像変換手段１４０に出力する。ステップＳ５０６では画像の補正の終了を判断し、終了していなければ、ステップＳ５０１に戻って、これらの処理を繰り返す。このように、この理想パラメータ計算手段１３０では、過去のデータも用いて、動画像中の点の座標が滑らかに変化するときの理想パラメータを各時間毎に更新して求める。

画像変換手段１４０では、パラメータ抽出手段１２０で求めた面内回転補正量ｄθと面内平行移動量（H1',V1'）、及び動画像が滑らかになるように理想パラメータ計算手段１３０から入力された理想座標（Hc,Vc）とに基づいて、補正画像を作成するための座標を計算する。まず、パラメータ抽出手段１２０で求めた面内平行移動量（H1',V1'）と、理想パラメータ計算手段１３０で求めた理想座標（Hc,Vc）とから、平行移動補正量（ｄH,ｄV）を求める。その様子を図６に示す。図６では垂直方向の補正量ｄVのみを示しているが、水平方向の補正量ｄHも同様にして求められる。図６において、黒点がパラメータ抽出手段１２０で求めた面内平行移動量のV1'で、白点が理想パラメータ計算手段１３０で求めた理想座標Vcである。その差が補正量ｄVとなる。そして、その補正量（ｄH,dV）と面内回転補正量ｄθを用いて、以下の計算を行う。

計算は、出力画像である補正画像の座標（Ｈｉ，Ｖｉ）を基準として、その画素が入力画像である画像メモリ１００に保持された画像のどの画素（Ho,Vo）に対応するかを求めることである。その式を以下に示す。

Ho = (Hi-H1')*cos(dθ) + (Vi-V1')*sin(dθ) + H1'-dH (1)
Vo = -(Hi-H1')*sin(dθ) + (Vi-V1')*sin(dθ) + V1'-dV (2)
ここで、（Hi,Vi）は補正画像の画素の座標、（Ho,Vo）は画像メモリ１００に保持された画像の画素の座標、(H1',V1')は面内平行移動量、（ｄH,dV）は補正量、ｄθは面内回転補正量である。しかしながら、一般的に、この計算で求められる座標(Ho,Vo)は小数になるので、その座標(Ho,Vo)の周囲４点もしくは１６点の座標を画像メモリ制御手段１０１に出力する。この点の数は、補間手段１５０の補間方法に依存し、例えば最近傍法や線形補間法で補間するのであれば４点でよいし、３次畳み込み内挿法を用いるのであれば１６点必要になる。

画像メモリ制御手段１０１では、画像変換手段１４０から入力された座標に基づいて、画像メモリ１００に保持された画像を読み出す。

補間手段１５０では、画像変換手段１４０で計算された（Ｈｏ，Ｖｏ）の画素値をその周囲の点の画素値に基づいて補間して計算する。この補間方法は、以前に述べたように、最近傍法や線形補間法、もしくは３次畳み込み内挿法でも良い。そして、補間して画素値を求めた結果を出力する。出力された補間画像は、記録手段１６０で記録されたり、表示手段１７０で表示されたり、送信手段１８０でインターネットなどに送信されたりする。

例えば撮影者が撮影中ずっとある一定の場所へ向かって移動していれば、ある特定の点の対応点の軌跡は直線になる（Focus of Expansionと最初の画像中の特定の点を結んだ直線上を動く）。しかし、実際の撮影においては、ゆっくり曲がりながら歩いて撮影するなど徐々に移動方向が変化することもある。そのようなときは、対応点の軌跡は直線ではなくなる。そのため本実施例では、上記示したように、面内回転を補正すると共に、２つの代表点の実際の対応点の軌跡からなめらかな軌跡を求め、対応点がその理想的な軌跡に沿うように画像変換を行うという簡単な処理を行うことで、撮影者がまっすぐに移動しなくても、動画像の画像揺れを防ぐことができるという効果がある。

なお、本実施例では、２つの代表領域の片方領域の中心点を選択して画像が滑らかに変化するように補間したが、別の方法として、２つの代表領域の中心点の中点の座標を用いたり、また代表領域を３つにして、２つ移動ベクトルから面内回転を、残りの移動ベクトルから面内平行移動を計算しても良い。

また、選択した代表領域が、撮影者の移動によって、画像から消えてしまう場合は、図７に示したように、ある領域（グレーの領域）を決めておき、対応点がその領域からはずれたら、画像の中央付近から新たに代表点を選択して、対処することが出来る。ただしその場合、理想パラメータ計算手段１３０で理想パラメータを計算するために理想曲線を求める際には、新しい代表点の座標と古い代表点の座標を混合して曲線を求めてはいけない。つまり、新しい代表点の座標が既定の数だけ入力されるまでは、代表領域は、古い代表領域と新しい代表領域の両方の４つの代表領域の移動ベクトルを求める必要がある。この様子を図８に示す。図８において、黒点が古い代表領域の中心点の座標のデータであり、白点が新しい代表領域の中心点の座標のデータである。図８（a）は、新しい代表領域の中心点の座標が２回入力されたときで、まだ既定の数には達していない。その場合、図８（a）の黒点で示される古い代表領域の点から求めた、点線で示される曲線から理想パラメータを求める。そして、図８（ｂ）に示すように、新しい代表領域の中心点の座標が、既定数（今回の例では７回）入力された時には、白点で示される新しい代表領域の点から求めた、一点鎖線で示される曲線から理想パラメータを求める。そして、古い代表領域の座標のデータを破棄し、以降は代表領域を２つに戻して処理を行う。このように、撮影者の移動による影響も、代表領域の変更で対応可能である。

第１の実施例では、パラメータ抽出手段１２０において、パラメータとして、面内回転と面内平行移動を使用した。それに対し、本実施例では、撮像系の回転量をパラメータとする。第１の実施例と本実施例の違いは、その使用するパラメータだけであるので、以下、変更となる、動きベクトル抽出手段１１０、パラメータ抽出手段１２０と理想パラメータ計算手段１３０の説明を行う。

動きベクトル抽出手段１１０では、入力されたデジタルの入力画像と、画像メモリ１００より入力される、前の時刻の画像とでマッチングをとり、画像中の動きベクトルを求める。この動きベクトルを求める点は、第１の実施例では、２点であったが、本実施例では、８点以上が必要である。またその点の選択は、画像中の強いエッジ上の点で、ある程度離れた複数の点を自動で選択しても良いし、または人間が選択しても良い。

パラメータ抽出手段１２０では、入力された動きベクトルから時間的に連続する画像間の画像の回転パラメータを求める。この回転量の求め方にはいくつかあり、例えば、出口光一郎著“ロボットビジョンの基礎”に説明されている８点アルゴリズムと呼ばれる方法や、また、従来例で示した、“Recovery of Ego-Motion Using Image Stabilization"の論文で説明している3枚の画像を使用した方法などどれを使用してもよい。ここではアフィン変換を使用する方法について説明する。

画像中の水平方向の軸をX軸、垂直方向の軸をY軸、画面に垂直な方向をZ軸とし、XYZ軸それぞれの軸回りの回転角を（ψ、φ、θ）とする。時間的に後の画像の対応点座標を（Xa,Ya）、前の画像の座標を（Xb、Yb）とすると、前の画像に対して、後の画像が、θ回転、（ｄｘ、ｄｙ）平行移動、ｍ倍拡大したとすると、
Xa=(cosθ・Xb＋sinθ・Yb−ｄｘ)・ｍ
＝A・Xb＋B・Yb＋C （３）
Ya=（―sinθ・Xb＋cosθ・Yb−ｄｙ）・ｍ
＝−B・Xb＋A・Yb＋D （４）
（ただし、A=ｍ・cosθ、B=ｍ・sinθ、C＝−ｍ・ｄｘ、D=−ｍ・ｄｙ）
の関係がある。動きベクトル抽出手段１１０で求めた複数の点の動きベクトルの座標をこの式に代入し、最小２乗法で、A,B,C,Dの係数を求め、そこから、回転量θ、平行移動量ｄｘ、ｄｙ、拡大量ｍを求める。さらに、一般的には撮影者の移動の並進成分よりも回転成分で大きく画像が変化するので、平行移動量ｄｘ、ｄｙが、それぞれ回転φ、回転ψで生じていると仮定し、回転角ψ、φを、φ＝arctan(dx/f)、ψ＝arctan(dy/f)として求める。なおここで、ｆは撮像系の焦点距離で、図示しない自動合焦手段から得られているとする。このとき、入力された動きベクトルの中には誤抽出したものも含まれており、それら誤抽出した結果も使用すると求めるパラメータの精度が低下するので、動きベクトルの信頼度を見て、使用する動きベクトルを決定することが出来る。そして、このように計算された各パラメータは、理想パラメータ計算手段１３０に出力される。

理想パラメータ計算手段１３０では、入力される回転パラメータを順に足し合わせて実際の回転角を求める。これは、パラメータ抽出手段１２０で求めた回転角ψ、φ、θは各画像間の相対的な回転角（先に読みこんだ画像を基準とした回転角）であるので、それらから実際の撮影装置の回転量を求めるということである。つまり、最初の入力画像を基準として、その基準画像のX軸、Y軸、Z軸のそれぞれの軸まわりの回転角をα、β、γとすると、ｎ番目の画像のときの回転角はそれぞれ、α（ｎ）＝α（ｎ−１）＋ψ（ｎ）、β（ｎ）＝β（ｎ−１）＋φ（ｎ）、γ（ｎ）＝γ（ｎ−１）＋θ（ｎ）となる。なお、最初の画像を基準としているので、α（０）＝β（０）＝γ（０）＝０であり、また、最初の画像と次の画像との回転角がψ（１）、φ（１）、θ（１）である。そして、次に回転角がなめらかに変化するような理想的な回転角を求めるために理想曲線を計算で求める。

そして、新たに回転角ψ、φ、θが入力された時は、回転角α、β、γに関するグラフが更新される。その様子を図９（a）、図９（ｂ）、図９（ｃ）に示す。図９において、横軸が画像番号で、縦軸が最初の画像を基準とした時の撮影装置の回転角であり、（a）が回転角α、（ｂ）が回転角β、（ｃ）が回転角γである。この図９においては、黒点で示したのが過去のデータであり、白点で示したのが新しく入力されたψ、φ、θから更新した新しい回転角α、β、γである。そして、一番古いデータを消去し、更新した新たな回転角も含めて、理想回転曲線が新たに計算される。そして、新たに求められた理想回転角を画像変換手段１４０に出力する。つまり、この図９でいうと、メッシュを入れた点の示す回転角を出力する。

その後は、その回転量を用いて、画像変換手段１４０で、変換画像を作成するための座標を計算し、画像メモリ制御手段１０１の制御で画像メモリ１００に保持された画像が読み出され、補間手段１５０で補間処理され出力される。

このように、パラメータを撮像系の回転量とすることで、処理コストはかかるが、より厳密な補正が可能になる。

上記示した第１、第２の実施例では、現在入力された画像から求めたパラメータを最新のパラメータとし、それと過去のパラメータとを使用して理想パラメータを求め、更にそれらの実際のパラメータと理想パラメータとに基づき、入力されたその画像を変換していた。それに対し、本実施例では、画像を変換するための理想パラメータを求める際に、その画像よりも時間的に後に入力された画像のパラメータも用いて、理想パラメータを求めるようにしている。つまり、理想パラメータの計算に使用する最新のパラメータを抽出するのに使用した画像と、計算して求めたその理想パラメータを用いて変換する画像とは、異なるものとなる。なお、このような処理を行うために、本実施例の画像メモリは、複数の旧画像を保持出来るようにしている。

図１０が本実施例の構成を示す図である。

図１０中、図1と同じ番号は同じものを示している。図１０において、１０００は画像メモリを、１００１は画像メモリ制御手段を、１１０は動きベクトル抽出手段を、１２０はパラメータ抽出手段を、１０３０は理想パラメータ計算手段を、１０９０はパラメータ記憶手段を、１４０は画像変換手段を、１５０は補間手段を、１６０は記録手段を、１７０は表示手段を、１８０は送信手段を示す。

以下、図１０中に示された構成要素において、第1の実施例と異なる手段である、画像メモリ１０００、画像メモリ制御手段１００１、理想パラメータ計算手段１０３０及びパラメータ記憶手段１０９０の機能を説明する。

画像メモリ１０００は、デジタル化された画像を複数保持するメモリであり、画像メモリ制御手段１００１はその画像メモリ１０００への画像の書き込みや画像メモリ１０００からの画像の読み出しの制御、及びそのアドレスの設定を行なう。なお、本実施例の画像メモリ１０００は新画像と複数の旧画像を保持している。パラメータ抽出手段１２０で求められたパラメータは、パラメータ記憶手段１０９０と理想パラメータ計算手段１０３０とに出力される。パラメータ記憶手段１０９０は、入力されたパラメータを既定数分記憶し、理想パラメータ計算手段１０３０からの出力リクエスト信号に応じて、FIFOとして順に記憶したパラメータを出力する。理想パラメータ計算手段１０３０は、パラメータ抽出手段１２０で計算されたパラメータを既定数分保持し、それらから理想的なパラメータを計算し、その理想パラメータを画像変換手段１０４０に出力するとともに、パラメータ記憶手段１０９０に出力リクエスト信号を出力する。画像変換手段１４０は、パラメータ抽出手段１２０で求められ、パラメータ記憶手段１０９０を介して入力されたパラメータと理想パラメータ抽出手段１３０で計算された理想パラメータとに基づいて、画像メモリ１０００に保持された画像から、記録手段１６０に記録する画像または表示手段１７０に表示する画像または送信手段１８０から送信する変換画像を作成するための、画像メモリ１０００の座標を計算し、画像メモリ制御手段１００１へ出力する。

続いて、図１０と図１１を用いて、この動画像処理装置及び方法の全体の動作を説明する。

第１の実施例と同様に、デジタルの入力画像は分岐され、画像メモリ１０００と、動きベクトル抽出手段１１０とに入力される。画像メモリ１０００に入力する経路では、入力された画像を、画像メモリ制御手段１００１の制御で画像メモリ１０００に保持する。また、動きベクトル抽出手段１１０にも入力され、動きベクトル抽出の計算に用いられる。

画像メモリ１０００は、デジタル入力画像を保持するとともに、その前の時刻に保持された画像中の２つの領域を代表領域として動きベクトル抽出手段１１０に出力する。

続いて、動きベクトル計算手段１１０において、入力されたデジタルの入力画像と、画像メモリ１０００より入力される、前の時刻の画像の代表領域とでマッチングをとり、その代表領域の動きベクトルを求める。求められた動きベクトルは、画像メモリ制御手段１００１とパラメータ抽出手段１２０に出力される。

パラメータ抽出手段１２０では、入力された動きベクトルから時間的に連続する画像間の移動パラメータを計算する。この計算は、第１の実施例と同様であるので説明は省略する。求められた面内回転と面内平行移動の移動パラメータは、パラメータ記憶手段１０９０に出力される、また、ある点の移動後の座標が理想パラメータ計算手段１０３０に出力される。

パラメータ記憶手段１０９０では、パラメータ抽出手段１２０で求められた面内回転と面内平行移動の移動パラメータを複数保持する。保持可能なパラメータの数は、画像メモリ１０００で保持可能な画像の数と同数である。そして、理想パラメータ計算手段１０３０から出力リクエスト信号が入力されると、保持しているパラメータの中で最も古いパラメータを画像変換手段１４０に出力する。

理想パラメータ計算手段１０３０では、パラメータ抽出手段１２０からの面内平行移動パラメータを既定数分保持している。これら保持している座標の変化を図１１（ａ）、図１１（ｂ）に示す。この図１１において、（ａ）は水平方向の座標Hの変化を、（ｂ）は垂直方向の座標Ｖの変化を示し、それぞれ横軸は画像番号（時間）、縦軸は水平方向の座標Ｈ，垂直方向の座標Ｖを示している。この理想パラメータ計算手段１０３０では、そこに保持されているパラメータのうち、既定数番目のパラメータに対する理想パラメータを計算する。例えば本実施例では、理想パラメータ計算手段１０３０にはｍ＋ｎ個のパラメータが保持されているとして、ｍ＋１番目のパラメータに対する理想パラメータを求めるとする。その時の画像が、画像番号ｋに対応するとする。図１１には、その画像番号ｋの画像に対して、パラメータ抽出手段１２０で求められた実際の座標が白丸で示してあり、それ以前のｍ個の画像で求めた座標を黒丸で、それ以降のｎ−１個の画像で求めた座標をメッシュの点で示してある。これらｍ＋ｎ個の点を使用して理想曲線を求め、理想パラメータを計算する。つまり、第１の実施例の図４においては、黒点で示された過去のパラメータと白点で示された現在のパラメータとから理想曲線を求め、その理想曲線の理想パラメータと実際の現在のパラメータから補正量を求め、その補正量により、画像メモリ１００に保持された画像を変換していたのに対し、本実施例では図１１に示すように、過去のパラメータｍ個とその後のｎ個のパラメータの計ｍ＋ｎ個で理想曲線を求め、画像番号ｋの時の、その理想曲線のパラメータと実際のパラメータから補正量を求め、画像変換手段１４０に出力する。このように、実施例１、実施例２では変換する画像の変換量の計算に用いる理想パラメータを、その画像にとっての過去と現在のデータから計算したのに対し、本実施例では変換する画像の変換量の計算に用いる理想パラメータを、その画像にとっての過去と現在および未来のデータから計算することが、本実施例の特徴である。

さらに、理想パラメータ計算手段１０３０は、理想パラメータを画像変換手段１４０に出力するとともに、パラメータ記憶手段１０９０に出力リクエスト信号を出力する。これにより、理想パラメータ計算手段１０３０から出力される理想パラメータと、パラメータ記憶手段１０９０から出力されるパラメータの同期をとることが出来る。

画像変換手段１４０では、第１の実施例と同様に変換座標を計算する。

画像メモリ１０００には、ｎ枚以上の枚数の画像が保持可能になっており、そこに保持されている複数の画像のうち最も古い画像が、画像メモリ制御手段１００１により、画像変換手段１４０から入力された座標に基づいて、読み出される。そして、新たな画像が入力されると、その出力した画像の領域に書き込まれる。

補間手段１５０では、画像メモリ１０００から読みだされた変換画像を補間して出力し、そして、出力された補間画像は、記録手段１６０で記録されたり、表示手段１７０で表示されたり、送信手段１８０でインターネットなどに送信されたりする。

上記示したように、本実施例では画像の変換に用いる理想パラメータを計算するのに、その画像以降の画像のパラメータも用いることで、より精度のよい補正が可能である。

なお、第１から第３の実施例において、画像を保持する画像メモリを使用したが、例えば、DVD等のメディアに記録された画像を補正して出力する際などは、そのメディアが高速にかつランダムに読み出せるものであれば、画像メモリを用いずに、直接メディアから読み出すようにすることも可能である。

また、第1から第3の実施例で示した動画像処理を、カメラ一体型記録装置で用いて、撮影した画像の画像揺れが無いように処理した画像を記録する事、及び撮影した画像や記録された画像を再生する装置で用いて、画像揺れが無いように処理した画像を再生すること、及びロボット等の移動手段をネットワークを介して遠隔操作するシステムに用いて、移動手段で撮影された動画像を画像揺れが無いように処理した画像をネットワークに送信して、オペレータに表示すること、及びロボット等の移動手段をネットワークを介して遠隔操作するシステムに用いて、ネットワークに送信された、移動手段で撮影された動画像を画像揺れが無いように処理した画像をオペレータに表示すること、及び動画像処理プログラムとすること、及び画像入力手段で入力された画像を、そのプログラムをプロセッサで実行し、画像揺れが無いように処理した画像を、記録または表示またはネットワークに送信することが可能である。

実施例１の構成を示す図 代表領域の移動ベクトルを示す図 座標値と理想曲線を示す図 新しい座標値と更新した理想曲線を示す図 理想パラメータ計算手段の動作のフローチャート 補正量を示す図 代表領域の切り替えを示す図 理想パラメータの切り替えを示す図 実施例２のパラメータと理想曲線を示す図 実施例３の構成を示す図 実施例３の理想曲線を示す図

符号の説明

１００、１０００ 画像メモリ
１０１、１００１ 画像メモリ制御手段
１１０ 動きベクトル抽出手段
１２０ パラメータ抽出手段
１３０、１０３０ 理想パラメータ計算手段
１４０ 画像変換手段
１５０ 補間手段
１６０ 記録手段
１７０ 表示手段
１８０ 送信手段
１０９０ パラメータ記憶手段

Claims (15)

1. 入力される動画像の各時刻でのパラメータ値を求めるパラメータ抽出手段と、前記パラメータ抽出手段で求めた各時刻でのパラメータ値を統計処理し各時刻での理想パラメータ値を計算する理想パラメータ計算手段と、新旧の画像を保持する画像メモリと、前記パラメータ抽出手段で求められた実際のパラメータ値と前記理想パラメータ計算手段で計算された理想パラメータ値に基づき補正量を計算し、その補正量に基づいて前記画像メモリに保持された画像を変換する画像変換手段とから構成される動画像処理装置において、
   前記パラメータ抽出手段で抽出されたパラメータが、前記理想パラメータ計算手段に入力される毎に、前記理想パラメータ計算手段において、新規理想パラメータを求める計算を行うことを特徴とする動画像処理装置。
2. 請求項１に記載の動画像処理装置において、パラメータ抽出手段で求めるパラメータとは、画像の面内回転量と特定の点の座標であり、理想パラメータ計算手段では、前記特定の点の座標が理想的に変化する理想座標を求め、実際の座標とその理想座標とから補正量を計算し、その補正量および前記面内回転量とから画像メモリに保持された画像を変換することを特徴とする動画像処理装置。
3. 請求項１又は請求項２に記載の動画像処理装置において、画像メモリは複数の画像を保持可能であり、前記画像メモリに保持された複数の画像中の１枚の画像を変換する補正量を求めるために、理想パラメータ計算手段では、その変換する画像より以降に入力された画像からパラメータ抽出手段で抽出されたパラメータも使用することを特徴とする動画像処理装置。
4. 請求項２に記載の動画像処理装置において、パラメータである座標を求める特定の点が変更された時には、理想パラメータ計算手段では理想座標の計算に必要な数のデータが集まるまでは、変更前の特定点から理想座標を求め、必要な数のデータが集まった後は変更後の特定点から理想座標を求めることを特徴とする動画像処理装置。
5. 撮影した動画像に対し、請求項１〜請求項４のいずれかに記載の動画像処理装置を用いて動画像処理を行い、動画像処理を行なった動画像を記録することを特徴とするカメラ一体型画像記録装置。
6. 撮影または記録された動画像に対し、請求項１〜請求項４のいずれかに記載の動画像処理装置を用いて動画像処理を行い、動画像処理を行なった動画像を再生することを特徴とする動画像再生装置。
7. ロボットの移動手段をネットワークを介して遠隔操作するシステムにおいて、移動手段に取り付けられた撮像装置で撮影された動画像に対し、請求項１〜請求項４のいずれかに記載の動画像処理装置を用いて動画像処理を行い、処理を行なった動画像をネットワークに送信し、遠隔操作を行なうオペレータに、処理された動画像をネットワークを介して表示することを特徴とする遠隔操作システム。
8. ロボットの移動手段をネットワークを介して遠隔操作するシステムにおいて、移動手段に取り付けられた撮像装置で撮影された動画像をネットワークに送信し、ネットワークを介して得られる移動手段で撮影された動画像に対し、請求項１〜請求項４のいずれかに記載の動画像処理装置を用いて動画像処理を行い、処理された動画像を遠隔操作を行なうオペレータに表示することを特徴とする遠隔操作システム。
9. 動画像の各時刻でのパラメータ値を求めるパラメータ抽出ステップと、及び前記パラメータ抽出ステップで求めた各時刻でのパラメータ値を統計処理し各時刻での理想パラメータ値を計算する理想パラメータ計算ステップと、及び前記パラメータ抽出ステップで求められた実際のパラメータ値と前記理想パラメータ計算ステップで計算された理想パラメータ値に基づき補正量を計算し、その補正量に基づいて画像メモリに保持された画像を変換する画像変換ステップとからなる動画像処理方法において、
   前記パラメータ抽出ステップで抽出されたパラメータが、前記理想パラメータ計算ステップに入力される毎に、前記理想パラメータ計算ステップにおいて、新規理想パラメータを求める計算を行うことを特徴とする動画像処理方法。
10. 前記第９項の動画像処理方法において、パラメータ抽出ステップで求めるパラメータとは、画像の面内回転量と特定の点の座標であり、理想パラメータ計算ステップでは、前記特定の点の座標が理想的に変化する理想座標を求め、実際の座標とその理想座標とから補正量を計算し、その補正量および前記面内回転量とから画像メモリに保持された画像を変換することを特徴とする動画像処理方法。
11. 請求項９又は請求項１０に記載の動画像処理方法において、画像メモリに保持された複数の画像中の１枚の画像を変換する補正量を求めるために、理想パラメータ計算ステップでは、その変換する画像より以降に入力された画像からパラメータ抽出ステップで抽出されたパラメータも使用することを特徴とする動画像処理方法。
12. 請求項１０に記載の動画像処理方法において、パラメータである座標を求める特定の点が変更された時には、理想パラメータ計算ステップでは理想座標の計算に必要な数のデータが集まるまでは、変更前の特定点から理想座標を求め、必要な数のデータが集まった後は変更後の特定点から理想座標を求めることを特徴とする動画像処理方法。
13. 請求項９〜請求項１２のいずれかに記載の動画像処理方法をコンピュータにより読み取り可能な形で実行することを特徴とする動画像処理プログラム。
14. 請求項１３に記載の動画像処理プログラムをコンピュータにより読み取り可能な形で記憶した記憶媒体。
15. 画像入力手段と、新旧の画像を保持する画像メモリと、請求項１３に記載の動画像処理プログラムと、前記動画像処理プログラムを実行するプロセッサと、請求項１４に記載の記憶媒体と、前記動画像処理プログラムで処理された動画像を記録する記録手段、または前記動画像処理プログラムで処理された動画像を表示する表示手段、または前記動画像処理プログラムで処理された動画像をネットワークに送信する送信手段とから構成される動画像処理システム。

Images