JP2011103528A - 高速動画像撮影装置、高速動画像撮影方法 - Google Patents

Abstract

【課題】単位時間時間当たりの画像変化量が大きい領域が大きくても、高解像度、高フレームレートの動画像を出力可能にしつつ、原動画の画素レートを抑制する。
【解決手段】動画像撮影装置を、動画像を構成する各フレームを撮影し、撮影した全領域、又は前記撮影した全領域のうち指定領域情報で指定された領域の画像データを出力する撮影手段１と、前記撮影手段から出力された少なくとも２つの全領域の画像データに基づき、時間当たりの変化が大きい画素を含む領域を変化領域として設定する変化領域設定手段２と、前記撮影手段１で指定された領域の画像データを出力するフレーム毎に、前記変化領域内の所定サイズの領域を指定し、前記所定サイズの領域の範囲を示す情報を指定領域情報として前記撮影手段１に出力する指定領域設定手段３をそなえて構成する。
【選択図】 図２

Description

本発明は、動画像撮影装置、又は動画像撮影方法に関するものである。

動作の速い被写体を撮影する用途に高フレームレート（１２００ｆｐｓ，６００ｆｐｓなど）で動画像を撮影する装置がある。フレームレートを上げると、単位時間当たりの静止画像の枚数が増えるため、動画像の画素レート（単位時間当たりの画素信号の数）がフレームレートに比例して増大する。すると、高フレームレートで撮影しつつ原動画の画素レートを維持するためには、１フレーム当たりのデータサイズを小さくする必要があり、画像の解像度を小さくせざるを得ない。

動画像データを記録・通信する際に圧縮処理を行なうが、圧縮前の動画像（原動画）の画素レートが大きくなると、単位時間当たりの圧縮処理に関する演算量が増大する。動画像の撮影はリアルタイムで行われ、データが次々に入力されるため、そのデータサイズに見合った速さの演算処理が必要である。そのため、入力動画像の画素レートが大きくなった場合、画像データを処理する回路の規模を大きくするか、クロック周波数を高くしなければならない。回路規模が大きくなれば、コストが増大するため、クロック周波数を高くすることが試みられる。しかしながらクロック周波数を高くすることは消費電力の増大につながるため、処理する原動画の画素レートそのものを抑制することが求められる。特にバッテリで駆動する撮影装置であれば、消費電力を下げるためにクロック周波数を低く抑えたい。

例えば、動作の速い被写体を撮影する場合であっても、動作が速い被写体が存在する領域については高フレームレート撮影の必要性があるが、通常のフレームレートで撮影すれば充分に画質を維持できる領域も存在する。

特許文献１には、撮影する領域を分割し、分割した領域毎に異なるフレームレートで撮影し、異なるフレームレートで撮影されたそれぞれの画像を合わせて出力する技術が開示されている。また、注目する被写体に対して、その被写体が含まれる領域とそうでない領域に分割し、それぞれ異なるフレームレートで撮影する技術と、注目被写体が移動して分割した領域からはみ出した場合に、領域を分割しなおす技術も開示されている。

特開２００７−２２８０１９公報

特許文献１に開示された技術では、高フレームレートで撮影する領域が大きい場合、特に全領域である場合には、結果的に原動画の画素レートが増大する。本願においては、動画像撮影装置が、高解像度で高フレームレートの動画像を出力可能で、高フレームレート撮影が必要な領域が大きい場合にも原動画の画素レートを抑制することを主たる目的とする。

上記の目的を達成するため、本願における動画像撮影装置は、動画像を構成する各フレームを撮影し、撮影した全領域、又は前記撮影した全領域のうち指定領域情報で指定された領域の画像データを出力する撮影手段と、前記撮影手段から出力された少なくとも２つの全領域の画像データに基づき、時間当たりの変化が大きい画素を含む領域を変化領域として設定する変化領域設定手段と、前記撮影手段で指定された領域の画像データを出力するフレーム毎に、前記変化領域内の所定サイズの領域を指定し、指定された範囲を支持する情報を指定領域情報として前記撮影手段に出力する指定領域設定手段とを有する。

上記の目的は、本願における動画像撮影方法は、動画像を構成する各フレームを撮影し、撮影した全領域、又は前記撮影した全領域のうち指定領域情報で指定された領域の画像データを出力する第一のステップと、第一のステップで出力された少なくとも２つの全領域の画像データに基づき、時間当たりの変化が大きい画素を含む領域を変化領域として設定する第二のステップと、第一のステップにおいて指定された領域の画像データを出力するフレーム毎に、前記変化領域内の所定サイズの領域を指定し、指定された範囲を指示する情報を指定領域情報とする第三のステップを有する。

高フレームレート撮影が必要な領域が大きい場合も、撮影した全領域の画像データを取得するフレームと、所定サイズの領域の画像データを取得するフレームを設けることで、高フレームレートで高解像度の動画を出力可能にしつつ、原動画の画素レートを抑制できる。

撮影するフレームに対して画像を出力する領域を時系列に示した図である。 第一の実施形態の構成図である。 撮影手段１の構成の一例である。 撮影手段１の構成の一例である。 画像出力手段４の構成図である。 第一の実施形態の処理フローを表す図である。 変化領域の設定方法の一例について、処理フローを表す図である。 所定サイズの領域をシフトして、画像を出力する領域を指定する方法を説明する 図である。 所定サイズの領域をシフトして、画像を出力する領域を指定する方法の処理フロ ーを表す図である。 変化領域が小さい場合に変化領域を次回撮影領域に指定する処理フローを表す 図である。 撮影優先度についての説明図であり、指定した領域を図示している。 撮影優先度の修正についての説明図である。 撮影優先度の修正についての説明図である。 撮影優先度の修正についての説明図である。 第二の実施形態の指定領域設定手段３についての構成図である。 撮影優先度に基づく領域指定についての処理フロー 撮影優先度の修正方法の一例を説明する図 外挿予測を説明する図 第三の実施形態の構成図 第三の実施形態の既撮影領域設定手段５と指定領域設定手段３についての構成 図 ブロックマッチングを説明する図 既撮影領域設定手段５における撮影優先度評価の処理フロー 第四の実施形態の構成図 変化領域の更新の処理フロー 第五の実施形態の構成図

まず、本発明の基本機能を説明する。具体的な実施例は追って説明する。

フレームレートと画像の解像度は、演算回路のデータ処理能力や伝送能力に対して、どちらか一方を大きくすると入力データを処理しきれなくなるため、もう一方を小さくせざるを得ず、両立しない関係にある。一般的な動画像のフレームレートは３０ｆｐｓや６０ｆｐｓなどであるが、６００ｆｐｓや１２００ｆｐｓ程度の高速撮影を行うと、原動画の画素レートは撮影するフレームレートに比例して大きくなる。例えば、単位時間当たりのビット数を表すビットレートは、ビットレート＝画素レート×３（ＲＧＢ）×８（濃度値）であるが、解像度を１９２０×１０８０画素として６０ｆｐｓで撮影した場合、原動画の画素レートビットレートは１９２０×１０８０×３（ＲＧＢ）×８（濃度値）×６０＝約３Ｇｂｐｓになる。フレームレートを１０倍にして６００ｆｐｓの高速撮影を行なった場合、その原動画の画素レートビットレートは１９２０×１０８０×３（ＲＧＢ）×８（濃度値）×６００＝約３０Ｇｂｐｓと１０倍になる。このような条件で高速撮影する場合は毎秒３．７ＧＢ程度の原動画を圧縮処理しなければならない。

圧縮の演算ついて、例えばメモリへの入力を３２ｂｉｔとした場合、３２ｂｉｔ×１ＧＨｚ＝３２Ｇｂｐｓであるので、クロック周波数を１ＧＨｚ程度にすれば、撮影した原動画データをメモリに格納することが可能となる。さらにメモリから同時に入力データと同程度の量のデータを出力することを考えると、２ＧＨｚ程度のクロック周波数を必要とする。

動画像圧縮の規格によって演算の内容は異なるが、原動画の画素レートを小さくすることで動画像圧縮に関する演算回数が減るため、クロック周波数を下げられるようになり、その結果、消費電力を抑えることができる。

そこで本願においては、全フレームについて撮影した全領域の画像データを取得することをせず、部分的に指定した所定サイズの領域画像データを取得するフレームを設ける。全領域の画像データについて取得したフレームは、その１つ前のフレームから全領域について更新するが、所定サイズの領域の画像データを取得したフレームは、その領域の画像を更新する。

所定サイズの領域の画像を取得するフレームを設けることで、原動画の画素レートを低減でき、所定サイズの領域を取得するフレームの頻度を決めておけば、原動画の画素レートを予め定めることができる。また、所定サイズの領域の画像データを出力したフレームにおいて、所定サイズの領域以外については、その前のフレームと同じ画像なので圧縮符号化の演算を大幅に減らすことが可能となる。

画像を取得する領域の所定サイズと、所定サイズの領域の画像を取得するフレームの頻度は、動画像圧縮に関する演算処理のクロック周波数を予め設定しておき、そのクロック周波数の範囲内で処理可能な原動画の画素レートに基づいて設定される。このような設定とすることで、高フレームレート撮影が必要な領域のサイズに左右されることなく原動画の画素レートを抑制できる。

また、高フレームレート撮影の必要性がある領域を抽出して変化領域とし、この変化領域内で所定サイズの領域をフレーム毎に指定する。１フレームでは一部の領域の画像しか取得されないが、数フレームかけて高フレームレート撮影が必要な変化領域内を更新することができる。

また、単位時間あたりの画像変化が大きくない領域についても、その変化を捉える必要があるので、所定サイズの領域の画像データを所定フレーム数取得するたびに撮影可能な全領域の画像データを取得すればよい。画像変化の大きい領域を変化領域としていたが、その撮影対象が移動することが考えられるので、全領域画像を取得するフレーム毎に変化領域を設定しなおすとよい。

この方法により撮影される原動画の画素レートの例として、以下のように決めても良い。所定サイズの領域の画像データを所定フレーム数取得し、その度に１フレーム全領域の画像データを取得することにする。全領域の画像データのフレームレートは通常の動画像のフレームレート程度でよいとして６０ｆｐｓであるとすると、（所定フレーム数＋１）＝（所定サイズ領域の画像のフレームレート）／（全領域画像のフレームレート）とすれば良い。６００ｆｐｓで高速撮影するのであれば、所定サイズの領域の画像データを取得するフレームを９フレーム撮影するたびに、全領域の画像データを取得するフレームを１フレーム撮影することになる。

撮影する全領域を１９２０×１０８０画素として、所定サイズを６４０×３６０画素とする。全領域の画像データによる原動画の画素レートビットレートが１９２０×１０８０×３×８×６０＝約３Ｇｂｐｓで、所定サイズの領域の画像データによる原動画のビットレート画素レートが６４０×３６０×３×８×（６００−６０）＝約３Ｇｂｐｓで合計約６Ｇｂｐｓになる。全てのフレームで全領域の画像データを出力した場合の約３０Ｇｂｐｓと比べて画素レートビットレートを格段に抑えられている。また、メモリに３２ｂｉｔで格納する場合のクロック周波数は０．２ＧＨｚ程度であり、書き込みと読み出しを両方する場合で０．４ＧＨｚ程度となる。逆に、６Ｇｂｐｓで６００ｆｐｓの動画像で、毎フレーム全領域の画像を取得する場合は、１フレームの解像度は８６４×４８６画素（縦横比１６：９の場合）程度に小さくせざるを得ない。

所定サイズの領域の設定方法について、各フレームを仮想的に時間軸に沿って並べて表示した図１を参照しながら説明する。フレームＲ１、フレームＲ２は撮影した全領域の画像データを取得したフレームである。全領域の画像データを取得したフレーム間にあるフレームＣ１１、フレームＣ１２、フレームＣ１３、フレームＣ２１は所定サイズの領域の画像データを取得したフレームである。それぞれのフレームにおいて画像データを取得する領域は太線で囲んで表しており、変化領域は図中の説明で指定されている領域である。

フレームＲ１は全領域の画像データを取得し、単位時間当たりの画像変化が大きい領域を抽出し、変化領域を設定する。その次のフレームＣ１１では変化領域内の所定のサイズの領域ｃ１１１の画像データを取得する。フレームＣ１１の次のフレームＣ１２では、フレームＣ１１で取得した画像データの領域ｃ１１２とは別に、再び変化領域内に所定サイズの領域ｃ１２１を設定し、画像データを取得する。フレームＣ１３では、さらに変化領域内に所定サイズの領域ｃ１３１を設定し、画像データを取得する。このように変化領域内で所定サイズの領域をフレーム毎に指定しながら画像データを取得する。

フレームＣ１１、フレームＣ１２、フレームＣ１３と同様にして、それ以降の所定サイズの領域を指定する。指定された領域の画像データを取得するフレームを所定フレーム数撮影した後で全領域の画像データを取得するフレームを撮影し、そのフレームをフレームＲ２とする。全領域の画像データによる２つのフレームを比較することで、変化領域を更新し、フレームＣ２１では更新された変化領域内で所定サイズの領域を指定する。それ以降のフレームも同様に所定サイズの領域を指定する手順を繰り返し、更新された変化領域内でフレーム毎に所定サイズの領域を指定し、指定された領域の画像データを取得する。

以上に説明した本発明の基本機能について、以下のような構成によって実施することが考えられる。実施の形態については、適宜図面を参照しつつ説明する。また、以下の実施形態は具体的構成をこれに限るものでなく、その趣旨を逸脱しない範囲において設計変更可能である。

［第一の実施形態］
第一の実施形態の構成を示した図が図２である。 本実施形態における動画像撮影装置は撮影手段１、変化領域設定手段２、指定領域設定手段３、画像出力手段４をそなえて構成される。

撮影手段１は、撮影可能な領域のうち指定された領域の画像データを出力可能な撮影手段を想定している。そのような撮影手段とするには、図３の様な構成が考えられる。図３では撮影装置１を、撮像素子１１と、Ａ／Ｄ変換手段１２と、カウンタ１３と、読み出し制御手段１４をそなえて構成している。

撮像素子１１は、撮影レンズを通り抜けた光の情報を電気信号に変換するＣＣＤやＣＭＯＳなどのイメージセンサである。受光領域で光電変換した画像情報を読み出し制御手段１４の読み出し制御に応じて出力する。

Ａ／Ｄ変換手段１２は、撮像素子１１から読み出したアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換手段１２から出力する画像は、例えばＲＧＢ３色それぞれの濃度値を８ｂｉｔで表現し、１画素当たり２４ｂｉｔの情報量をもつデジタル信号でも良いし、ＲＧＢでなくＹＣｂＣｒに変換していても構わない。デジタル画像処理を行なえるデータであれば良い。撮影手段１はデジタル信号に変換された画像データを、変化領域設定手段２、画像出力手段４に出力する。各フレームにおいて出力された領域のデジタル信号の画像データを原画像と呼ぶ。

カウンタ１３は、所定サイズの領域の画像データを出力する回数を数えるカウンタであり、所定サイズの領域を１フレーム撮影するたびにカウンタを１上げて、カウンタが所定のフレーム数に達すると、全領域の画像データを出力する命令を読み出し制御手段１４に出力する。

読み出し制御手段１４は、撮像素子１１から画像データを読み出すタイミングと読み出し位置を制御する。読み出しの位置は、指定領域設定手段３が指定する次に撮影するフレームの所定サイズの領域の情報に基づいて制御する。また、読み出しのタイミングは、撮影するフレームレートに合わせたクロックをそなえ、そのクロックに基づき制御する。さらに、カウンタ１３から全領域の画像を出力する命令を受けた場合は、その命令通りに撮像素子１１から画像データを全領域について読み出す制御を行なう。

また、撮影手段１は図４のような構成であっても構わない。図４では撮影手段１を撮像素子１１と、Ａ／Ｄ変換手段１２と、カウンタ１３と、出力領域制御手段１５と、クロック１６をそなえて構成している。図３の構成とは、読み出し制御手段１４を持たない代わりに、出力領域制御手段１５をそなえている点と、クロック１６を別にそなえた点で異なる。

この構成では、クロック１６が制御するタイミングで、撮像素子１１が撮影を行う。図３の構成と異なり、撮像素子１１からは全てのフレームについて全領域の画像データを読み出す。クロック１６の信号に基づき、カウンタ１３が撮影フレーム数を数え、撮影フレーム数を出力領域制御手段１５に出力する。出力領域制御手段１５は、カウンタ１３の情報に基づいて全領域の画像データを出力するか、所定サイズの領域の画像データを出力するか判断し、出力する領域を制御する。

この出力領域制御手段１５は、図４のようにＡ／Ｄ変換された画像信号から出力する情報を取り出してもよいが、撮像素子１１とＡ／Ｄ変換手段１２の間に設け、出力する領域の画像信号を取り出してからＡ／Ｄ変換しても良い。前者は制御が簡単であり、後者はＡ／Ｄ変換の演算量が少ない。

撮像手段１は、その構成自体は図３や図４の構成でもよく、撮影したフレーム数をカウントして、そのフレーム数に応じて全領域の画像を出力するか、指定された領域の画像を出力するかの切り替えが可能である撮影手段であれば良い。

変化領域設定手段２は、撮影手段１において取得した原画像に基づいて、撮影した画像のうち単位時間当たりの変化量が大きい領域を変化領域として抽出し、その位置・サイズを設定する。単位時間あたりの画像変化が大きいということは、設定した変化領域について高フレームレート撮影する必要性があるということである。この変化領域の設定方法については後述する。

指定領域設定手段３は、変化領域設定手段２で設定された変化領域内で所定のサイズの領域を指定する。指定された領域を次回撮影フレームで画像データを取得する領域として、その範囲を指示する情報を撮影手段１に出力する。

画像出力手段４は、撮影手段１から出力した原画像を読み込み、圧縮処理をして動画像撮影装置から動画像を表示、記録、又は通信する装置に出力する。圧縮に関わる演算は圧縮処理手段４３で行なう。圧縮処理に必要な画像を読み出すために、原動画を記憶しておくフレームメモリ４２をそなえている。

さらに、フレームメモリ４２のクロック周波数に応じて適宜バッファ４１を設けることが考えられる。フレームメモリ４２への入力データ量は、画像出力手段４への入力画像データが全領域のフレームか所定サイズの領域のフレームかで時間的に変動する。全領域の画像データを取得したフレームをフレームメモリ４２に格納するときには速い書き込みが必要とされるが、所定サイズの領域の画像データを取得したフレームの格納には必要とされない。そこで、バッファ４１を設けることで、フレームメモリ４２へ入力画素レートビットレートが平均化され、クロック周波数を低く設定できる。クロック周波数はフレームメモリ４２からの読み出しのデータ量も考慮して、クロック周波数を定めればよい。

第一の実施形態の撮影開始から撮影終了までの画像出力手段４に原画像を出力するフローについて図６を参照して説明している。

撮影開始命令が入力される（Ｓ１０１）と、まず撮影手段１は撮影した全領域の画像データを変化領域設定手段２と画像出力手段４に出力する（Ｓ１０２）。撮影開始命令直後のＳ１０２では、全領域の画像データを２フレーム取得し、変化領域設定手段２で撮影したフレームをそれぞれフレームＲ１、フレームＲ２として保存する。

変化領域設定手段２は、フレームＲ１とフレームＲ２に基づいて変化領域を設定する（Ｓ１０３）。変化領域の設定方法は後述する。設定した変化領域の範囲を指示する情報を指定領域設定手段３に出力する。指定領域設定手段３は、Ｓ１０３で設定した変化領域の範囲内で所定のサイズの領域を指定する（Ｓ１０４）。

撮影手段１は、Ｓ１０４で指定された領域の範囲を指示する情報に基づき、指定された領域について撮像素子１１から画像データを読み出し、取得した画像信号をＡ／Ｄ変換して画像出力手段４と変化領域設定手段２に出力する（Ｓ１０５）。また、所定サイズの領域の画像データを出力したフレーム数を数えるカウンタの数字を１増やし（Ｓ１０６）、既に所定フレーム数撮影しているかを判断する（Ｓ１０７）。カウンタが所定数を超えた場合はカウンタをリセットし（Ｓ１０８）、それとともに、フレームＲ２の画像情報のラベルをフレームＲ１に変更しておく。その後で再度全領域の画像データを取得し、変化領域設定手段２と画像出力手段４に出力し、撮影手段１が出力したフレームをフレームＲ２とする（Ｓ１０２）。カウンタが所定数を超えない場合は、所定サイズの領域を再び変化領域の範囲内で指定し（Ｓ１０４）、指定された領域の画像データを出力する（Ｓ１０５）。以後、撮影終了命令が入力されるまでフローを繰り返す。

次に変化領域を設定する方法について説明する。単位時間当たりの画像変化が大きい領域を抽出するには、全領域の画像データを出力した少なくとも２つのフレームに基づく必要がある。全領域画像のフレームで、画像の変化量を比較する２つのフレームをフレームＲ１とフレームＲ２とし、フレームＲ１の方がフレームＲ２よりも過去のフレームであり、フレームＲ２が撮影された時点で変化領域を更新する。単位時間あたりの画像の変化量を評価する方法として、フレームＲ１とフレームＲ２の差分を評価する方法を説明し、その評価を基に、どのように画像変化の大きい領域を含むように変化領域を設定するかを説明する。さらに、画像の変化量を評価する別の手法としてブロックマッチングの動きベクトルを評価する方法について説明する。

まず、フレームＲ１，Ｒ２の差分により画像の変化量の大きい領域を抽出する方法について図７と対応させながら説明する。撮影手段１から出力されたフレームＲ１とフレームＲ２の原画像を読み出し（Ｓ２０１）、それぞれのフレームで同一位置の画素同士で濃度値の差をとり、絶対値を算出する（Ｓ２０２）。差をとる濃度値はＲＧＢ、もしくはＹＣｂＣｒの３色の濃度値についてでも良いし、ＹＣｂＣｒのＹの値の濃度値のみとしても良い。フレームＲ１とフレームＲ２の間の時間に画像が大きく変化すれば、対応する画素の濃度値の差は大きくなるし、逆なら差が小さい。

ある１画素のみ差分絶対値が大きく、その周りの画素については差分絶対値が小さい場合は、その画素の画像変化量が大きいからといって変化領域に含めるべきでない。むしろ変化量の大きい画素が集中している領域のみを変化領域として選択することが望ましい。そこで、まず全領域をブロック（例えば１６×１６画素）に分割し、分割したブロック内で差分絶対値の平均値を算出する。もしくは単に和をとる（Ｓ２０３）。さらに各ブロックの評価値を対象に平均フィルタをかけても良い。フィルタは加重平均フィルタやメディアンフィルタなどが考えられる。

各ブロックから変化領域を決定する方法を説明するが、この方法だけに限る必要はなく、評価値の大きいブロックを多く含むように領域を設定すれば問題ない。まず、小ブロックの評価値の閾値を設定して、閾値未満のブロックの値を「０」とし、閾値以上のブロックの値を「１」として２値化する（Ｓ２０４）。この閾値は既定の値を準備しておいても良いし、全ブロックの評価値を平均して、その平均値としても良い。また、閾値を用いずに評価値の大きい順にブロックを特定の個数だけ選択しても良い。

２値化により「１」が与えられたブロックの中から、ｘ座標の最大値と最小値、ｙ座標の最大値と最小値を求め、（ｘ座標の最小値，ｙ座標の最小値）、（ｘ座標の最大値，ｙ座標の最小値）、（ｘ座標の最小値，ｙ座標の最大値）、（ｘ座標の最大値，ｙ座標の最大値）の４点に囲まれる矩形領域を変化領域として設定する。

また、撮影もれのないようにするために、予め範囲を広げて設定しても良い。例えばα画素ずつ広げて変化領域を設定すると決めておいて、最大値と最小値を用いて指定する矩形領域を最小値の代わりに最小値−α、最大値の代わりに最大値＋αを用いて範囲指定しても良い。

次にブロックマッチングにより画像変化の大きい領域を抽出する方法について説明する。フレームＲ２をマクロブロック（例えば１６×１６画素）に分割し、それぞれのマクロブロックについて濃度値の誤差が最も小さくなる領域がないか、フレームＲ１内を探索する。濃度値の誤差は、差分による方法と同様に対応する画素どうしで差分をとり、その絶対値の総和で評価する。探索によってフレームＲ２のそれぞれのマクロブロックに対応するフレームＲ１のブロックを見出し、その位置関係を表す動きベクトルが求められる。この動きベクトルの大きさが大きいほど画像変化が大きいと判断できる。このようにブロックマッチングを用いた場合も、ある程度の画素の集まりで画像の変化量を評価するため、画像変化量が大きい画素が集中している領域を抽出できる。あとは２つのフレームの差分による方法と同様に変化領域を設定できる。

この変化領域の設定は前述の通り、全領域画像のフレームが得られるたびに上記の方法によって更新される。そのため本実施例では全領域画像によるフレーム間で変化領域は変更していないが、他の実施例においては、全領域画像のフレーム間でも変化領域があるべき位置を予測して毎フレーム移動させる構成もある。この方法については後述する。
変化領域内で所定サイズの領域を設定する方法について説明する。まず、所定サイズの領域を単純に横方向シフトする方法を説明する。この方法は以下の説明に限らず、方向、順序、シフト開始位置などを変えても差し支えない。所定サイズの領域を設定する他の方法については、他の実施形態のところで説明する。

図８において変化領域設定手段２によって設定された変化領域は太線の枠であり、引き出し線の通りである。この説明においては便宜的に変化領域の角の画素の座標を（１，１）として説明する。変化領域のサイズはＮ×Ｍ画素とする。また、画素レートの制限に基づいて決定される所定のサイズをｎ×ｍ画素とする。変化領域を更新して１番目に撮影するフレームの所定サイズの領域をＡ１として、２番目に撮影するフレームの所定サイズの領域をＡ２とする。横方向に順次シフトし、変化領域の端に行き着いたフレームがＡ４であり、その次のフレームがＡ５である。
変化領域を更新してから所定サイズの領域を設定する手順を順序だてて説明する。変化領域を更新して１番目のフレームにおいては、（１，１），（１，ｍ），（ｎ，ｍ），（ｎ，１）を頂点とする矩形の領域Ａ１を指定する（Ｓ３０１）。そして指定した領域の範囲を指示する情報を撮影手段１に出力する。撮影手段１はＳ３０１で指定された領域の画像データを取得し、出力する。さらに撮影手段１のカウンタを１上げる。その後カウンタが所定数をこえたか判断し（Ｓ１０７）、所定数超えた場合は再度変化領域を設定する。カウンタが所定数を超えていない場合は、次回撮影フレームの所定サイズの領域を設定するフローに移る。

領域Ａ１の次に画像データを取得する領域は、領域Ａ１を（ｎ，０）だけ移動させた頂点の座標が（ｎ＋１，１），（ｎ＋１，ｍ），（２ｎ，ｍ），（２ｎ，１）の矩形の領域Ａ２となる。同様の領域指定の手順によりｉ番目のフレームの所定サイズの領域は（ｎ（ｉ−１）＋１，１），（ｎ（ｉ−１）＋１，ｍ），（ｉ×ｎ，ｍ），（ｉ×ｎ，１）による矩形の領域とする。

この手順に従い、フレームを進めるごとに以上の横方向のシフトを数式１となるまで続け（Ｓ３０３）、下記の数式１を初めて満たすｉ番目のフレームについては（Ｎ−ｎ＋１，１），（Ｎ−ｎ＋１，ｍ），（Ｎ，ｍ），（Ｎ，１）による矩形の領域Ａ４を指定する（Ｓ３０６）。その次のフレームについては（０，ｍ）だけ縦方向に移動させ、Ｘ座標は１番目のフレームと同じ座標をとるようにする。つまり（１，ｍ＋１），（１，２ｍ），（ｎ，２ｍ），（ｎ，ｍ＋１）による矩形の領域Ａ５を指定する（Ｓ３０８）。それ以降の所定サイズの領域も上記と同様にシフトし、領域を指定する。

ｉ×ｎ＞Ｎ
上記の操作をカウンタが所定数を越えるまで繰り返す。先に述べたとおり、ｘｙ座標を入れ替えれば縦方向のシフトも可能であるし、変化領域を更新して１番目のフレームにおける所定サイズの領域をどの位置に指定しても構わない。

その他にも、過去に撮影したフレームで撮影されていない度合いを表す撮影優先度という指標を導入して、時間的に近いフレームで撮影されていない領域を優先的に撮影する方法も考えられる。この方法については第二の実施形態、第三の実施形態で説明する。

原動画の画素レートと動画の処理能力に基づいて定められた所定サイズよりも変化領域が小さいときには変化領域をそのまま画像データを出力する領域として指定しても良い。その場合は変化領域を設定した後に図６の処理フローを行なう。

変化領域を設定した後で所定サイズの領域を指定する前（Ｓ１０４）に、設定した変化領域が所定サイズよりも小さいかを判断する（Ｓ４０１）。変化領域が所定サイズよりも大きければ、当然所定サイズの領域を指定するフロー（Ｓ１０５）に移行する。変化領域が所定サイズよりも小さければ、次回画像データを取得する領域として指定して、変化領域の範囲を指示する情報を撮影手段１に出力し、撮影手段１で変化領域の画像データを取得する（Ｓ４０２）。変化領域を撮影したら、カウンタを１上げて（Ｓ４０３）再度変化領域の画像を出力する。所定サイズの領域の画像データを出力したときと同様、カウンタが所定数超えるまで変化領域の画像データを取得するフレームとし、カウンタが所定数超えたら全領域の画像データを取得して変化領域を再設定するフロー(Ｓ１０８)に戻る（Ｓ４０４）。

［第二の実施形態］
第二の実施形態は、指定領域設定手段３において所定サイズの領域を撮影優先度に基づいて指定するという特徴を有する点で、第一の実施形態と異なる。

高フレームレート撮影の必要性がある変化領域に対し、１つのフレームではその一部分の画像しか取得できないので、変化領域内で撮影頻度に偏りが生じる可能性がある。過去に画像データを取得された領域よりもそうでない領域の画像データを優先的に取得すれば、このような撮影頻度の偏りが減ると考えられる。

そこで、撮影優先度という指標を画素、もしくは一定の画素数で構成されるように区切られた領域（例えば４×４画素、８×８画素程度のブロック）ごとに割り当て、既に画像データを取得した領域の撮影優先度を修正することで、優先的に画像データを取得する領域とそうでない領域を差別化する。この撮影優先度に基づき、所定サイズの領域を指定する。

設定された変化領域内で所定サイズの撮影候補領域を複数設定し、撮影候補領域毎に撮影優先度の評価値を算出する。評価値が最大となる撮影候補領域を次回撮影フレームにおいて画像データを取得する所定サイズの領域として指定する。

図１１〜１４のモデル図を参照しながら撮影優先度を用いて所定サイズの領域を指定する方法を説明する。図１１は変化領域内で指定された領域を配置する例を示した。１回目に指定した領域を領域Ａ６、２回目に指定した領域を領域Ａ７、３回目に指定した領域をＡ８とする。図１２は指定された領域Ａ６について画像データの取得を行い、撮影優先度を修正した後の撮影優先度の図である。図１３は領域Ａ７の画像データ取得後、撮影優先度を修正した図であり、図１４は領域Ａ８の画像データ取得出力後、撮影優先度を修正した図である。図１１〜１４のモデル図では簡単のため、変化領域を１０×８画素とし、画像データの取得を指定する所定サイズの領域を３×４画素とする。この撮影優先度を割り当てる単位は、画素ごとでなくとも一定サイズのブロックでも良いので、図１１〜図１４のモデル図は変化領域を１０×８ブロックであり、画像データの取得を指定する所定サイズの領域を３×４ブロックであるとしても良い。

まず、変化領域が更新された状態では、全ての画素の撮影優先度を同じ値にする。この例では全ての画素の撮影優先度を０としている。変化領域を更新した次のフレームでは、撮影優先度が全ての画素で同じため、撮影候補領域を複数設定しても全ての撮影候補領域で撮影優先度の評価値は同じである。例えば撮影候補領域内の全画素の撮影優先度の総和をそれぞれの撮影候補領についての評価値とすると、全て０になる。この例では領域Ａ６を指定したことにする。

領域Ａ６を画像データを取得する領域として指定した後、撮影手段１にその領域Ａ６の範囲を指示する情報を出力するとともに、撮影優先度の制御をする手段にも出力する。領域Ａ６とそれ以外の領域を差別化するために、領域Ａ６内の画素の撮影優先度を修正する。この例では図１２に示すように、先に撮影する領域Ａ６内の画素の撮影優先度を１下げる修正を行なう。

撮影手段１が指定された領域の画像データを取得した後、前フレームの撮影時と同様に複数の撮影候補領域を設定し、それぞれについて評価値を算出する。図１２の撮影優先度マップから明らかなように、総和は−１２〜０の範囲内となる。領域Ａ６を含まない撮影候補領域は評価値が０であり、評価値が最大である。この例では領域Ａ７を指定したことにする。

領域Ａ７内の画素の撮影優先度を下げたときの撮影優先度が図１３である。領域Ａ７についての画像データ取得後、撮影候補領域を生成して各々の評価値を算出すると、領域Ａ８の評価値が−１で最大となる。図１４から明らかなように、変化領域内で領域Ａ８以外のどの３×４画素の領域も評価値は−２以下になっている。これ以降のフレームも同様の手順で画像データを取得する領域を指定する。

撮影手段１のカウンタが所定フレーム数を数えたら、撮影手段１は全領域の画像データを取得し、その画像に基づいて変化領域設定手段２で変化領域が更新される。そのとき撮影優先度も初期化する。この例で言えば、全ての画素の撮影優先度を０にする。

第一の実施形態との相違点である指定領域設定手段３の構成について、図１５を参照しながら説明する。指定領域設定手段３は撮影優先度記憶手段３１、撮影優先度計算手段３２、撮影候補領域生成手段３３、撮影優先度評価手段３４、撮影領域選択手段３５をそなえた構成である。

撮影優先度記憶手段３１は、前回撮影時に評価した撮影優先度を保存しておく。保存しておいた撮影優先度を撮影優先度計算手段３２の計算時に読み出し、撮影優先度計算手段３２の計算後、その計算された撮影優先度を保存する。さらに更新した撮影優先度を撮影優先度評価手段３４に出力する。また、全領域の画像データを取得するたびに全画素、又は全ブロックの撮影優先度を同じ値にして初期化する。

撮影優先度計算手段３２は、撮影優先度記憶手段３１から撮影優先度を読み出し、そのうち前回撮影時に指定した領域の範囲内の撮影優先度について修正する。算出された撮影優先度は撮影優先度記憶手段３１に出力される。

撮影候補領域生成手段３３は、変化領域設定手段２から変化領域の範囲を指示する情報を読み出し、変化領域内の異なる位置に複数の所定サイズの領域を指定し、その範囲を指示する情報を撮影優先度評価手段３４に出力する。この複数の所定サイズの領域それぞれを撮影候補領域とする。

撮影優先度評価手段３４は、それぞれの撮影候補領域内の撮影優先度の評価値を算出する。撮影候補領域当たりの評価値は、撮影候補領域内の画素、又はブロックの撮影優先度についての総和でも、中間値でも良い。撮影候補領域の範囲を指示する情報とその評価値は撮影領域選択手段３５に出力される。

撮影領域選択手段３５では、撮影優先度評価手段３４の評価に基づいて最も優先的に撮影すべき撮影候補領域を選択し、その選択された撮影候補領域の範囲を指示する情報を撮影手段１に出力する。その次の所定サイズの領域を指定するために撮影優先度計算手段３２にも出力する。

以上の手段により指定領域設定手段３を構成し、撮影優先度に基づいて所定サイズの領域を指定する。以下に、その処理のフローについて図１６を参照しながら説明する。

まず、撮影優先度計算手段３２が、撮影優先度記憶手段３１から前回撮影時に保存しておいた撮影優先度を読み出し、前回撮影時に指定した領域内の各画素、又はブロックについての撮影優先度を修正する（Ｓ５０１）。計算後の撮影優先度は撮影優先度記憶手段３１に再び記憶される（Ｓ５０２）。また、撮影優先度評価手段３４は更新された撮影優先度を読み出す。

撮影候補領域生成手段３３は変化領域設定手段２から変化領域の範囲を指示する情報を読み出し、変化領域内で所定サイズの領域を撮影候補領域として設定する（Ｓ５０３）。撮影優先度評価手段３４は撮影候補領域の範囲を指示する情報を読み出し、その撮影候補領域内の撮影優先度を評価する（Ｓ５０４）。評価は読み込んだ撮影優先度のうち、撮影候補領域内である画素、又はブロックについての撮影優先度の和をとるなどして評価値を算出して行なう。撮影優先度の評価は生成した全ての撮影候補領域について行なう（Ｓ５０５）。

撮影領域選択手段３５は撮影候補領域のうち撮影優先度の評価値が最大のものを選択し、その撮影候補領域の範囲を指示する情報を撮影手段１に出力する（Ｓ５０６）。それと同時に撮影優先度計算手段にもその範囲を指示する情報を出力しておく。以下、図６の指定領域を撮影するステップ（Ｓ１０６）に続く。

さらに図３のカウンタをリセットするステップ（Ｓ１１０）に加え、撮影優先度記憶手段３１に保存している撮影優先度を初期化するステップも設ける。

撮影優先度計算手段３２において既撮影領域の撮影優先度を修正するが、例えば所定値下げる修正を行なうことが考えられる。この場合、所定値下げる際に、既撮影領域内にある全ての画素について所定値下げても良いし、既撮影領域内の画素、又はブロックについて撮影優先度を下げる一方で、その縁にある画素、又はブロックについては撮影優先度を上げるようにしても良い。図９を用いて説明すれば、既撮影領域Ａ９内で内部の領域Ａ１０で撮影優先度を下げ、縁部の領域Ａ１１で撮影優先度を上げるということである。こうすることで、既撮影領域の縁部分を含む撮影候補領域Ａ１２内の撮影優先度の評価値が最も大きくなると考えられ、既撮影領域Ａ９との隙間が生じない様に次回撮影領域を選択できる。そのため、全体の一部分を撮影することによる撮影領域の抜けが生じにくくなる。

次回撮影フレームに時間的に近いフレームに対応する既撮影領域の画像ほど、次回撮影フレームにおいて画像変化が小さいと考えられ、そうでないフレームに対応する既撮影領域の画像よりも信頼性が高いといえる。そのため、次回撮影フレームに時間的に近いフレームに対応する既撮影領域ほど画像データを取得し、画像を更新する必要性は低い。この時間的要素を加えるためには、次回撮影フレームに近いフレームの既撮影領域ほど撮影優先度を大幅に下げれば良い。

そこで、撮影優先度の下げ幅を撮影回数に応じて設定することが考えられる。例えば、撮影優先度計算手段３２での撮影優先度の下げ幅を１フレーム毎に大きくしていけばよい。そうすると、時間的に新しいフレームに対応する既撮影領域の撮影優先度の下げ幅ほど相対的に大きくなっている。これにより、時間的に新しいフレームに対応する既撮影領域ほど撮影領域として選択されにくくなる。

撮影優先度計算手段３２において撮影優先度の値は、下げるのでなく上げるようにして、撮影優先度評価手段３４において撮影優先度の評価値が最小のものを選択するようにしても構わない。既撮影領域とそうでない領域を差別化し、既撮影領域をできるだけ撮影しないような方法であれば良い。

また、撮影候補領域生成手段３３における変化領域内の撮影候補領域の取り方は、１画素ずつずらして変化領域内で取りうる全通りの候補を取ることが望ましい。優先度評価の処理の負荷が大きくなる場合には、数画素ずつずらして候補を生成するなど間引いて生成しても良い。

［第三の実施形態］
既に撮影した撮影対象は、次回撮影フレームにおいて別の位置に移動していると考えられ、撮影対象の移動も考慮する必要がある。そこで第三の実施形態では、既に画像データを取得した領域の次回撮影フレームにおける位置を予測し、その領域を既撮影領域として優先度を下げることとし、その点で第二の実施形態と相違する。

既に画像データを取得した領域の次回撮影フレームにおける位置を予測することについて説明する概念図が図１８である。次回撮影するフレームをフレームＮとし、フレームＮの１つ前に撮影されたフレームをフレームＣ、フレームＣよりも過去に撮影された全領域画像のフレームのうち最も新しいものをフレームＲとする。フレームＮは次回撮影フレーム、フレームＣは前回撮影フレーム、フレームＲは参照フレームである。

フレームＣにおいて画像データを取得した領域が領域Ａ１４であり、領域Ａ１３はフレームＲにおいてブロックマッチングにより領域Ａ１４と対応づけられた領域である。このブロックマッチングにより対応づけられた領域同士の位置関係を表す動きベクトルがＶ１である。これは領域Ａ１３で捉えた撮影対象が、時間Ｔ１の間に領域Ａ１４に移動（−Ｖ１の移動）したと考えられる。フレームＮにおいて領域Ａ１４に対応する領域は撮影する必要性が低いので、フレームＮにおいて領域Ａ１４と対応づけられた領域を既撮影領域と設定すべきである。そこで領域Ａ１４はフレームＣからフレームＮまでも動きベクトルＶ１に従った動きをすると予想し、線形の外挿予測を行なう。線形の予測なので、領域Ａ１４を反転した動きベクトル（−Ｖ１）の定数（Ｔ２／Ｔ１）倍だけ移動させ、移動させた領域Ａ１５を既撮影領域とすればよい。フレームＣ以前の領域を指定して画像データを取得したフレームについても同様の処理によって既撮影領域を設定することになる。具体的な設定手段については以下に述べる。

本実施形態の構成を図１９と図２０を参照して説明する。

図１９に示すとおり、第一の実施形態と第二の実施形態とは異なり、既撮影領域設定手段５を新たに有する。既撮影領域設定手段５は、既に撮影したフレームで画像データを取得した領域が次回撮影フレームにおいてどの領域にあたるかを予測し、予測された位置に既撮影領域を設定する機能をもつ。既撮影領域設定手段５と指定領域設定手段３について、その構成を図２０に示す。

既撮影領域設定手段５は、画像記憶手段５１、動き推定処理手段５２、フレーム選択手段５３、動き情報記憶手段５４、外挿予測手段５５、既撮影領域予測手段５６をそなえた構成である。指定領域設定手段３は第二の実施形態と同様の手段をそなえている。

画像記憶手段５１は撮影手段１が撮影するフレームのうち、全領域の画像データを取得したフレームを記憶し、その記憶されたフレームがフレームＲである。

動き推定処理手段５２は、撮影手段１が出力したフレームのうち、領域を指定して画像データを取得したフレームを（フレームＣ）入手する。フレームＣとフレームＲとの時間差Ｔ１を算出し、ブロックマッチングによりフレームＣで画像データを取得した領域とフレームＲを対応づけ、動き推定ベクトルＶ１を求める。この時間差Ｔ１と動き推定ベクトルＶ１をフレームＣからフレームＲへの動き情報として、動き情報記憶手段５４に出力する。

フレーム選択手段５３で、フレームＲとフレームＮの間にあるフレームを１つずつ選択する。フレームＣをまず選択し、その後１フレームずつ前のフレームを順番に選択する。

動き情報記憶手段５４は、動き推定処理手段５２から出力されたフレームＣの動き推定ベクトルＶ１と時間差Ｔ１をフレームの番号と対応づけて保存する。これはフレームＲが更新されるたびに初期化する。またフレーム選択手段の指示に応じて選択されたフレームに関する動き情報を読み出す。

外挿予測手段５５では、動き情報記憶手段５４から出力された動き情報を入手する。フレームＮと選択フレームとの時間差Ｔ２を算出し、選択されたフレームの動き推定ベクトルＶ１と時間差Ｔ１、Ｔ２を用いて数式２に基づき外挿予測し、外挿予測ベクトルＶ２を算出する。算出した外挿予測ベクトルＶ２を選択されたフレーム番号とともに既撮影領域予測手段５６に出力する。

Ｖ２ ＝ −Ｖ１ ＊ (Ｔ２/Ｔ１)
既撮影領域予測手段５６は、外挿予測手段５５から外挿予測ベクトルＶ２を受け取り、選択されたフレームの画像領域を予測した位置に移動させ、既撮影領域を設定し、その範囲を指示する情報を指定領域設定手段３に出力する。

撮影優先度計算手段３２は、撮影優先度記憶手段３１から撮影優先度を入手し、既撮影領域予測手段５６で設定された既撮影領域について第二の実施形態と同様に撮影優先度を修正し、撮影優先度記憶手段３１に出力する。フレーム選択手段５３で順番に選択されるフレーム全てについて同様の操作を行なう。

撮影優先度記憶手段３１は、撮影優先度計算手段３２が処理を行なうたびに記憶している撮影優先度を撮影優先度計算手段３２に出力し、撮影優先度計算手段３２により更新された撮影優先度を再度読み込み保存する。全ての選択フレームについて撮影優先度の計算が行なわれたとき、保存してある撮影優先度を撮影優先度評価手段３４に出力し、その後、保存してある撮影優先度を初期化し、全ての画素、又はブロックの撮影優先度を同じ値にする。

指定領域設定手段３のその他の構成である撮影候補領域生成手段３３、撮影優先度評価手段３４は第二の実施形態と同様の機能を有する。以上の手段で既撮影領域設定手段５と指定領域設定手段３を構成することにより、既撮影領域の移動を考慮した撮影優先度の計算を行い、所定サイズの領域を指定する。

図２１を参照してフレームＣとフレームＲのブロックマッチングについて説明する。領域Ａ１８がフレームＣとフレームＲにおいて撮影可能な全領域を重ねて表示したものであり、フレームＣで画像データを取得した領域をＡ１６とする。フレームＲ内で領域Ａ１６と最も類似している領域探索し、見出した領域を領域Ａ１７とする。領域Ａ１６と領域１７の２つの領域の位置関係を表す動き推定ベクトルＶ１を算出し、図中では動き推定ベクトルを矢印で表示している。変化領域を抽出するときの１６×１６画素を１ブロックとするブロックマッチングとは異なり、このブロックマッチングにおいてはフレームＣの領域Ａ１６を１つのマクロブロックとして扱うことにする。

以下に第三の実施形態の特徴部分である既撮影領域設定手段５と指定領域設定手段３について、その実施フローについて図２２を参照しながら説明する。Ｓ１０４までは第一の実施形態と同様の手順で進める。第一の実施例に示していないが、全領域の画像データを取得する（Ｓ１０２）たびに、画像記憶手段５１はその画像データをフレームＲとして記憶する。

動き推定処理手段５２が、指定領域の画像データを取得し、画像記憶手段５１からフレームＲを読み出す。２つの画像でブロックマッチングして、全領域画像のフレームで指定された領域の画像に最も類似した領域を探索する（Ｓ６０１）。ブロックマッチングにより得られた動き推定ベクトルＶ１と時間差情報Ｔ１をあわせて動き情報とし、フレームの番号と対応させて動き情報記憶手段５４に記憶しておく（Ｓ６０２）。

フレーム選択手段５３が１枚目の選択フレームとしてフレームＣを選択する（Ｓ６０３）。次に動き情報記憶手段５４からフレームＣの動き情報を呼び出す（Ｓ６０４）。外挿予測手段は選択フレームの番号に基づいて選択フレームと次回撮影フレームとの時間差Ｔ２を求め、数式２によって外挿予測ベクトルＶ２を算出する（Ｓ６０５）。選択したフレームで画像データを取得した領域を外挿予測ベクトルＶ２だけ移動させ、既撮影領域とする（Ｓ６０６）。撮影優先度を呼び出し、Ｓ６０６で指定した既撮影領域の範囲内の画素、又はブロックについての撮影優先度を修正する（Ｓ６０７）。Ｓ６０７の操作をした後、撮影優先度は保存しておく（Ｓ６０８）。

Ｓ６０４〜Ｓ６０８の操作を繰り返し、次回撮影フレームと参照フレームの間の全てのフレームについて行なわれたか判断する（Ｓ６０９）。まだ選択すべきフレームがある場合は、新たにフレームを選択し（Ｓ６１２）、Ｓ６０４〜Ｓ６０８のフローを行なう。

フレームを全て選択していた場合、全ての選択フレームの既撮影領域を反映した撮影優先度を撮影優先度評価手段３４に出力し（Ｓ６１０）、記憶しておいた撮影優先度は初期化する（Ｓ６１１）。以下、撮影優先度を評価するフローは第二の実施形態と同様であり、Ｓ５０３と続く。

［第四の実施形態］
第四の実施形態は、変化領域設定手段２において第三の実施形態で用いた外挿予測を用いて変化領域を毎フレーム移動するという特徴を有する点で、第一の実施形態、第二の実施形態、第三の実施形態と相違する。

全領域画像のフレームから次の全領域画像のフレームまでの時間に、高速移動する撮影対象が移動し、設定した変化領域内に収まらないこともありうる。そこで、変化領域をフレーム毎に再設定するのが望ましいが、そのためにはフレーム毎に全領域の画像データが必要であり、所定サイズの領域の画像データを取得するフレームを設けるという本願の主旨とは異なる。

第三の実施形態では、既に画像データを取得した領域が次回撮影フレームまでに移動する量を外挿予測した。変化領域の一部である指定された領域のフレーム間での移動と、変化領域も同様の移動をすると考えられるので、指定された領域の外挿予測に合わせて変化領域を移動させる。これにより高フレームレートで撮影すべき領域が高フレームレート撮影の対象範囲から外れることを防ぐ。

本実施形態の構成について図２３を参照しながら説明する。変化領域設定手段２に、全領域撮影するたびに変化領域を設定しなおす構成として画像記憶手段２１と変化領域更新手段２３を設け、フレーム毎の変化領域の移動量を予測する構成として画像記憶手段２１と動き推定処理手段２２と外挿予測手段２４を設ける。さらに変化領域を予測した移動量に基づいて移動させて更新する変化領域予測手段２５を有している。

画像記憶手段２１は、撮影手段１から全領域の画像データを取得したフレームを保存する。最新のフレームをフレームＣとし、フレームＣ以外の最新の全領域の画像データによるフレームをフレームＲとする。フレームＣとフレームＲを変化領域更新手段２３に出力する。また、変化領域更新手段２３に出力後は、フレームＣの画像を参照フレームとなるため、フレームＣのラベルをフレームＲに書き換える。その後、動き推定処理手段２２の呼び出しに応じてフレームＲを出力する。

変化領域更新手段２３は、フレームＲとフレームＣの２フレームの全領域の画像に基づき、変化領域を設定する。この設定方法は第一の実施形態と同様に２フレームの差分を用いても、ブロックマッチングを用いても良い。全領域画像のフレームのたびに変化領域は再設定される。再設定した変化領域の範囲を指示する情報を変化領域予測手段２５に出力する。

動き推定処理手段２２は、まず撮影手段１から所定サイズの領域の画像データを取得したフレームを入手し、フレームＣとする。フレームＣと画像記憶手段２１にあるフレームＲをブロックマッチングし、動き推定ベクトルＶ１とマッチングした２つのフレーム間の時間差Ｔ１を外挿予測手段２４に出力する。

外挿予測手段２４では、動き推定ベクトルＶ１と時間差情報Ｔ１とフレーム間隔Ｔ２を用いて数式２により外挿予測し、次回撮影フレームにおいて変化領域がどう移動するかを予測する外挿予測ベクトルＶ２を変化領域予測手段２５に出力する。

変化領域予測手段２５では、フレームＣにおける変化領域を外挿予測ベクトルＶ２だけ移動し、次回撮影時の変化領域とする。

本実施形態においては、撮影手段１と指定領域設定手段３と画像出力手段４は先に説明したどの実施形態のものでも構わない。また、第三の実施形態のように既撮影領域設定手段５を設けても良い。その場合は、既撮影領域設定手段５と変化領域設定手段２の両方で外挿予測のための手段を有することになるので、外挿予測のための手段を既撮影領域設定手段５と変化領域設定手段２で兼用しても良い。その構成が第五の実施形態である。

第四の実施形態の特徴部分である変化領域を毎フレーム予測し、予測に基づいて移動するフローは指定された領域の画像データを出取得した後で、Ｓ１０７でＮＯルートの場合に発生する。まず、前回出力した画像と参照フレームの画像をブロックマッチングする（Ｓ７０１）。ブロックマッチングは第三の実施形態のＳ６０１と同様な操作を行なう。ブロックマッチングによる動き情報に基づいて外挿予測ベクトルを算出する（Ｓ７０２）。次に外挿予測ベクトルに基づいて変化領域を移動する（Ｓ７０３）。その後、移動した変化領域内で所定サイズの領域を指定するフローに移行する（Ｓ１０４）。
［第五の実施形態］
前述の通り、第三の実施形態と第四の実施形態をあわせた形態の場合、外挿予測を行なう手段を１つにまとめた構成も可能である。その構成を第五の実施形態として、構成図を図２５に示す。この構成では所定サイズの領域の画像データを出力した１つのフレームに対して行なう動き推定処理は１回となり、画像データを取得する領域の設定に関する演算量を少なくできる。

変化領域設定手段２は、画像記憶手段６１と、変化領域更新手段２３と、変化領域予測手段２５と、動き推定処理手段６２と、動き情報記憶手段６３と、外挿予測手段６４によって構成される。また、既撮影領域設定手段５は画像記憶手段６１と、動き推定処理手段６２と、動き情報記憶手段６３と、外挿予測手段６４と、既撮影領域予測手段５６と、フレーム選択手段５３によって構成される。動き情報記憶手段６３と外挿予測手段６４以外については、第三の実施形態と第四の実施形態と同様の機能を有する。

動き情報記憶手段６３は動き推定処理手段６２によって算出された動き推定ベクトルＶ１をフレームＲと当該フレームの時間差Ｔ１とフレームの番号とともに記憶する。その後フレーム選択手段５３から選択フレーム番号を入手し、該当するフレームの番号と動き推定ベクトルＶ１とフレームＲとの時間差Ｔ１とフレーム番号を外挿予測手段６４に出力する。

外挿予測手段６４は、動き情報記憶手段６３から選択フレームに関する情報を入手する。フレーム番号に基づき、選択フレームから次回撮影フレームまでの時間差Ｔ２を求める。次に数式２に基づいて外挿予測し、外挿予測ベクトルＶ２を算出し、外挿予測ベクトルＶ２を既撮影領域予測手段５６に出力する。フレーム選択手段５３がはじめに選択するフレーム、つまり選択フレームがフレームＣである場合に変化領域予測手段２５にも出力する。

１ 撮影手段
２ 変化領域設定手段
３ 指定領域設定手段
４ 画像出力手段
１１ 撮像素子
１２ Ａ／Ｄ変換手段
１３ カウンタ
１４ 読み出し制御手段
１５ 出力制御手段
１６ クロック
４１ バッファ
４２ フレーム・メモリ
４３ 動画像圧縮手段
３１ 撮影優先度記憶手段
３２ 撮影優先度計算手段
３３ 撮影候補領域生成手段
３４ 撮影優先度評価手段
３５ 撮影領域選択手段
５ 既撮影領域設定手段
５１ 画像記憶手段
５２ 動き推定処理手段
５３ フレーム選択手段
５４ 動き情報記憶手段
５５ 外挿予測手段
５６ 既撮影領域予測手段
２１ 画像記憶手段
２２ 動き推定処理手段
２３ 変化領域更新手段
２４ 外挿予測手段
２５ 変化領域予測手段
６１ 画像記憶手段
６２ 動き推定処理手段
６３ 動き情報記憶手段
６４ 外挿予測手段

Claims (11)

1. 動画像を構成する各フレームを撮影し、撮影した全領域、又は前記撮影した全領域のうち指定領域情報で指定された領域の画像データを出力する撮影手段と、
   前記撮影手段から出力された少なくとも２つの全領域の画像データに基づき、時間当たりの変化が大きい画素を含む領域を変化領域として設定する変化領域設定手段と、
   前記撮影手段が指定された領域の画像データを出力するフレーム毎に、前記変化領域内の所定サイズの領域を指定し、指定された範囲を指示する情報を指定領域情報として前記撮影手段に出力する指定領域設定手段と
   を有することを特徴とする動画像撮影装置
   
2. 前記撮影手段が、各々指定された領域の画像データを出力し、所定フレーム数画像データを出力するたびに全領域の画像データを１フレーム出力する制御を行なうこと
   を特徴とする請求項１記載の動画像撮影装置
   
3. 前記変化領域設定手段が、前記撮影手段が出力した全領域の画像データ同士で差分絶対値を算出し、前記差分絶対値が閾値以上の画素を変化領域に含めること
   を特徴とする請求項１又は請求項２の動画像撮影装置
   
4. 前記指定領域設定手段が、前記所定サイズよりも前記変化領域が小さいときに、前記変化領域を前記撮影手段が画像データを出力する領域として指定すること
   を特徴とする請求項１〜請求項３に記載の動画像撮影装置
   
5. 前記指定領域設定手段が、
   次回撮影フレームで撮影すべきであるかの指標として画素毎に、もしくは一定の画素単位に区切られた領域毎に設けた撮影優先度を記憶する撮影優先度記憶手段と、
   過去に撮影したフレームで既に画像データを出力した領域を既撮影領域とし、前記撮影優先度記憶手段に記憶している前記撮影優先度のうち、前記既撮影領域内の画素について前記撮影優先度を修正する撮影優先度計算手段と、
   前記変化領域内で所定サイズの領域を互いに異なる位置に複数設定し、撮影候補領域とする撮影候補領域生成手段と、
   前記撮影候補領域のそれぞれについて前記撮影優先度を評価する撮影優先度評価手段と、
   前記撮影優先度評価手段による評価に基づいて複数の前記撮影候補領域のうち一つの撮影候補領域を指定し、指定された撮影候補領域の範囲情報を前記撮影手段に出力する撮影領域選択手段とを有すること
   を特徴とする請求項１〜請求項４に記載の動画像撮影装置
   
6. 前記撮影優先度計算手段が、前記既撮影領域内の画素について撮影優先度の値を下げる一方で、前記既撮影領域の縁部分の画素については撮影優先度の値を上げること
   を特徴とする請求項５記載の動画像撮影装置
   
7. 前記撮影優先度計算手段が、次回撮影フレームと時間的に近いフレームに対応する既撮影領域ほど撮影優先度を下げること
   を特徴とする請求項５又は請求項６記載の動画像撮影装置
   
8. 前記撮影手段が全領域の画像データを出力したフレームを参照フレームとして記憶する画像記憶手段と、
   前記撮影手段が指定された領域の画像データを出力したフレームを前記参照フレームと照合して最も一致する領域との位置関係を動き情報として算出する動き推定処理手段と、
   前記動き情報をフレームの順番と関連づけて記憶する動き情報記憶手段と、
   次回撮影フレームと参照フレームの間に撮影されたフレームを選択フレームとして順次選択するフレーム選択手段と、
   前記選択フレームを次回撮影フレームと照合した場合に、最も一致する領域との位置関係を前記動き情報に基づいて外挿予測する外挿予測手段と、
   前記選択フレームで画像データを出力した領域を前記外挿予測手段の予測に基づいて移動させ、既撮影領域とする既撮影領域予測手段とを有する既撮影領域設定手段と
   をさらにそなえることを特徴とする請求項５〜請求項７記載の動画像撮影装置
   
9. 前記変化領域設定手段が、
   前記撮影領域が全領域の画像データを出力したフレームを参照フレームとして記憶する画像記憶手段と、
   前回撮影フレームを前記参照フレームと照合して最も一致する領域との位置関係を動き情報として算出する動き推定処理手段と、
   前回撮影フレームを次回撮影フレームと照合した場合に、最も一致する領域との位置関係を前記動き情報に基づいて外挿予測する外挿予測手段と、
   前記外挿予測手段の予測に基づいて変化領域を移動して再設定する変化領域予測手段と
   を有することを特徴とする請求項１〜請求項８記載の動画像撮影装置
   
10. 前記変化領域設定手段が、
    前記動き推定処理手段により算出された前記動き情報を記憶し、外挿予測手段に前記動き情報を出力する動き情報記憶手段をそなえ、
    前記画像記憶手段と前記動き推定手段と前記動き情報記憶手段と前記外挿予測手段が、前記変化領域設定手段と前記既撮影領域設定手段の両方において機能すること
    を特徴とする請求項９記載の動画像撮影装置
    
11. 動画像を構成する各フレームを撮影し、撮影した全領域、又は前記撮影した全領域のうち指定領域情報で指定された領域の画像データを出力する第一のステップと、
    第一のステップで出力された少なくとも２つの全領域の画像データに基づき、時間当たりの変化が大きい画素を含む領域を変化領域として設定する第二のステップと、
    第一のステップにおいて指定された領域の画像データを出力するフレーム毎に、前記変化領域内で所定サイズの領域を指定し、指定された範囲を指示する情報を指定領域情報とする第三のステップと
    を有することを特徴とする動画像撮影方法
    
    
    

Images