JP2004072311A

JP2004072311A - 撮像装置

Info

Publication number: JP2004072311A
Application number: JP2002227220A
Authority: JP
Inventors: Kenta Kadomitsu; 角光　健太
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-08-05
Filing date: 2002-08-05
Publication date: 2004-03-04

Abstract

【課題】ビデオカメラのリアルタイム動画像符号化における演算量の増加を軽減し、効率的な符号化を実現する。
【解決手段】撮像部１０により子供１を撮像して動画像を取得し、符号化演算部２０により、この動画像の現画像フレームと動き補償フレーム間予測により動き補償範囲を定め、動きベクトルを求める探索を行なって作成された予測画像フレームとを減算して求めた予測残差画像フレームを符号化する。この符号化の際、子供１に装着された加速度センサを備えた発信機５から出力された被写体の動きを示す信号を受信演算部３０で受信し、この信号に基づいて子供１の動きに関する情報を得、この情報に基づいて動き補償範囲移動部４０が過去画像フレーム中に定める動き補償範囲を移動させる。
【選択図】　　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置に関し、詳しくは、被写体を撮像して得た動画像をリアルタイムで符号化するデジタルビデオカメラ等の撮像装置における演算量の低減に関するものである。
【０００２】
【従来の技術】
従来より、デジタルビデオカメラ等により被写体を撮像して動画像を得、この動画像の現画像フレームと動き補償フレーム間予測により作成された予測画像フレームとを減算して、予測残差画像フレームを求め、この予測残差画像フレームを符号化して動画像のデータ量を圧縮する動画像圧縮方式（ＭＰＥＧ）が知られている（例えば、特開平０７−２９８２７０号公報等）。
【０００３】
上記動き補償フレーム間予測は、現画像フレームとこの現画像フレームより前に得られた画像フレームとを使用し、この画像フレーム中に動き補償範囲を定めてこの動き補償範囲内における探索によって動きベクトルを求め、その後、この動きベクトルと上記動き補償範囲が定められた画像フレームとに基づいて現画像フレームに近似させた予測画像フレームを作成するものである。なお、以後、現画像フレームより前に取得されて動き補償範囲が定められる上記画像フレームを過去画像フレームと言う。
【０００４】
上記動きベクトルを求めるときには、始めに、現画像フレーム中の特定の領域に位置する例えば１６画素×１６画素の画素の集まりからなる現画像ブロックに対応させて過去画像フレーム中に定めた上記と同様の１６画素×１６画素の画素の集まりからなる動き補償基準ブロックの中心を基準位置とし、この基準位置から縦方向および横方向にそれぞれ例えば±３０画素に亘って広がる領域を動き補償範囲として定める。次に、この動き補償範囲中に存在する上記と同様の１６画素×１６画素の画素の集まりからなる画像ブロックの全てを探索して、上記現画像ブロックが示す画像内容と最も近い画像内容を持つ画像ブロックを類似画像ブロックとして見つけ出し、この類似画像ブロックの位置から動き補償基準ブロックの位置までの距離と方向とを示すベクトルを動きベクトルとして求める。
【０００５】
上記動き補償予測においては、現画像ブロックが示す画像内容と動き補償範囲中の各画像ブロックが示す画像内容との差が小さくなるにしたがって動きベクトルを求める際の演算の負担が低減される。すなわち、現画像ブロックが示す画像内容と動き補償範囲中の各画像ブロックが示す画像内容との差を表す数値が零に近い値であると上記動きベクトルを求めるときの演算（２進法）で扱う数値の桁数が全体的に小さくなり、それによりこの演算の負担が低減される。
【０００６】
なお、上記動きベクトルを求める際の動き補償範囲中を探索する経路は常に同じであり、また、動画像をリアルタイムで符号化して圧縮する際には全ての演算を所定の時間（例えば１／３０秒）以内に終了する必要があるので、動画像の符号化には高い演算能力を持つ演算素子が使用されている。
【０００７】
【発明が解決しようとする課題】
ところで、動画像の撮影中に、例えば子供などの撮影の対象とされている被写体が移動すると、撮像装置により撮像された画像中の被写体を示す画像が画像フレーム中を移動するので、その被写体が現画像フレーム中に占める領域の位置と過去画像フレーム中に占める領域の位置とにずれが生じる。そのため、現画像フレーム中に被写体が占める領域に設定される現画像ブロックによって示される画像内容と動きベクトルを求める際に過去画像フレームに設定される動き補償範囲中の各画像ブロックが示す画像内容との間のずれも増大する。
【０００８】
このような場合には、現画像ブロックが示す画像内容と動き補償範囲中の各画像ブロックが示す画像内容との差を表す数値の絶対値が大きくなり、動きベクトルを求める際の演算で扱う数値の桁数が全体的に大きくなってしまい、この演算の負担が増大するという問題がある、
本発明は、上記事情に鑑みてなされたものであり、被写体の動きによって増大するリアルタイム符号化における演算の負担を軽減し、効率的な符号化を実現することができる撮像装置を提供することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明の撮像装置は、被写体を撮像して動画像を取得する撮像手段と、動き補償フレーム間予測により動画像の過去画像フレーム中に動き補償範囲を定め、動きベクトルを求める探索を行なって作成された予測画像フレームと動画像の現画像フレームとを減算して求めた予測残差画像フレームを符号化する符号化手段とを備えた撮像装置であって、現画像フレーム中の特定の被写体の占める領域に注目領域を定め、特定の被写体に装着された出力手段から出力されたこの被写体の動きを示す信号を受信しこの信号に基づいて前記注目領域に対応して前記過去画像フレーム中に定める動き補償範囲を移動させる動き補償範囲移動手段を備えたことを特徴とするものである。
【００１０】
前記出力手段は少なくとも被写体の移動方向を示す信号を出力するもので、例えば加速度センサが用いられる。
【００１１】
前記動き補償範囲移動手段は、被写体の動きを示す信号に基づいて撮像装置から被写体までの距離に応じて注目領域の大きさを変えるようにしてもよい。すなわち、距離が短くなるにしたがって注目領域の大きさを大きくし、距離が長くなるにしたがって注目領域の大きさを小さくするようにしてもよい。
【００１２】
また、被写体の動きを示す信号に基づいて、過去画像フレームから現画像フレームまでに被写体の移動する移動量に応じて動き補償範囲の移動量変えるようにしてもよい。すなわち、被写体の移動量が大きくなるにしたがって動き補償範囲の移動量を大きくするものとすることができる。
【００１３】
【発明の効果】
本発明の撮像装置によれば、現画像フレーム中の特定の被写体の占める領域に注目領域を定め、特定の被写体に装着された出力手段から出力されたこの被写体の動きを示す信号を受信し、この信号に基づいて注目領域に対応して過去画像フレーム中に定める動き補償範囲を移動させる動き補償範囲移動手段を備えているので、現画像フレーム中の動きのある特定の被写体を示す領域における現画像ブロックに対して設定される動き補償範囲を、この現画像ブロックが示す画像内容に近い画像内容を持つ過去画像フレーム中の領域に定めることができ、この現画像ブロックと動き補償範囲中の画像ブロックとの差を表す値をより零に近づけて動きベクトルを求める際の演算において取り扱う値の桁数を小さくすることができ、動画像のリアルタイム符号化における演算の負担を軽減し、効率的な符号化を実現することができる。これにより、例えば、動きベクトルの演算を実行する回路の規模を縮小することもできる。
【００１４】
ここで、前記動き補償範囲移動手段を、前記信号に基づいて、撮像装置から被写体までの距離に応じて注目領域の大きさを変えるものとすれば被写体が占める領域をさらに正確に示す注目領域を現画像フレーム中に定めることができる。
【００１５】
また、前記動き補償範囲移動手段を、前記信号に基づいて、過去画像フレームから現画像フレームまでに被写体が移動する移動量に応じて動き補償範囲の移動量を変えるものとすれば、各現画像ブロックに対して設定される動き補償範囲を各現画像ブロックが示す画像内容にさらに近い画像内容を持つ過去画像フレーム中の領域に設定することができる。
【００１６】
なお、本発明においては、背景中を特定の被写体が移動する場合を想定しており、この被写体の移動に合わせてカメラの向きを変える、すなわち特定の被写体が画面中を移動せず、背景のみが移動する場合は想定していない。ただし被写体の移動に合わせてカメラの向きを変えても支障はない。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。図１は本発明の実施の形態による撮像装置の概略構成を示すブロック図、図２は現画像フレームが示す画像と過去画像フレームが示す画像と比べて示す概念図、図３は現画像フレーム中に注目領域を定めた様子を示す概念図、図４は大人用の注目領域の大きさと子供用の注目領域の大きさとを比較する図、図５は注目領域の大きさを発信機までの距離の違いや大人用と子供用の領域の違いに応じて示す図、図６は動き補償範囲を移動させた様子を示す概念図、図７は動き補償範囲を動き補償基準ブロックを含む範囲内で移動させた様子を示す概念図、図８は過去画像フレーム中に設定された動き補償範囲を探索して動きベクトルを求める様子を示す概念図、図９は動き補償範囲中を探索する探索経路の例を示す概念図である。
【００１８】
本発明の実施の形態による撮像装置（カメラ）１００は、被写体である子供１を撮像して動画像を取得する撮像手段である撮像部１０、動き補償フレーム間予測により動画像の過去画像フレーム中に動き補償範囲を定め、動きベクトルを求める探索を行なって作成された予測画像フレームとこの動画像の現画像フレームとを減算して求めた予測残差画像フレームを符号化する符号化手段である符号化演算部２０、子供１に装着された加速度センサを備えた発信機５から出力された被写体の動きを示す信号を受信する受信演算部３０を有し、この信号から求められる子供１の動きに基づいて過去画像フレーム中に定める動き補償範囲を移動させる動き補償範囲移動部４０、および、動きベクトルを求めるための探索を、動き補償範囲中のその特定された移動方向とは反対側の領域から開始させる探索経路設定部５０を備えている。なお、発信機５は被写体からの信号として第１の赤外光および超音波を０．５秒おきに同時に発信するとともに、この第１の赤外光と波長が異なる第２の赤外光を連続発信する。なお、発信機５は子供１の首にカメラ１００の方向へ向けて装着される。
【００１９】
ここで、子供１に装着された発信機５から発信される加速度センサに基づく情報は、子供１がカメラ１００に対して正面を向いていないときには、誤った方向を示す情報となる可能性があるが、子供１がカメラ１００に対して斜め、あるいは後を向いているときには発信機５からの信号が受信演算部３０で受信されないので、この受信演算部３０が発信機５から誤った加速度の情報を受信することはない。なお、受信演算部３０が加速度の情報を受信しないときには、動き補償範囲移動部４０は動き補償範囲を移動させない。
【００２０】
撮像部１０は、被写体の像を結像させるレンズ部１１とレンズ部１１によって結像された被写体の像を光電変換するＣＣＤ素子１２とＣＣＤ素子１２によって光電変換された信号をＡ／Ｄ変換し被写体を表す画像フレームを出力するＡ／Ｄ変換部１３とを有し、この撮像した画像フレームを連続的に出力する。
【００２１】
上記受信演算部３０は、被写体の動きを示す加速度センサの出力信号である第２の赤外光の受信に基づいて過去画像フレームから現画像フレームまでに被写体の移動する移動方向と移動量とを特定する機能を持つ赤外光検出部３５と、第１の赤外光および超音波の受信に基づいて発信機５までの距離を特定する距離特定手段である光音波測距部３６とを備えている。
【００２２】
上記光音波測距部３６は、発信機５から出力された０．５秒おきに同時に発信される第１の赤外光と超音波とを受信し、第１の赤外光を検出したときから、超音波を検出するまでの時間差に基づいて発信機５までの距離を特定する。
【００２３】
動き補償範囲移動部４０は、発信機５の位置に基づいて現画像フレーム中に子供１の像を含む注目領域を定め、この注目領域に対して過去画像フレーム中に定める動き補償範囲を上記特定された移動方向とは反対方向に移動させたり、上記特定された距離が短くなるにしたがって注目領域を拡大したり、発信機５が動画像として移動する移動量が大きくなるにしたがって動き補償範囲の移動量を大きくしたりする。
【００２４】
なお、ここでは、動き補償範囲移動部４０が動き補償範囲を移動させる範囲を、この動き補償範囲が後述する動き補償基準ブロックを含む範囲とする。
【００２５】
符号化演算部２０は、後述するフレームメモリ部２６から入力した過去画像フレーム中に動き補償範囲を定めて動きベクトルを求める動きベクトル取得ユニット２１と、この動きベクトルと過去画像フレームとに基づいて予測画像フレームを作成する予測画像フレーム作成部２２と、予測画像フレームと現画像フレームとを減算して予測残差画像フレーム求めるフレーム間減算部２３と、上記予測残差画像フレームと動きベクトルとを符号化し、この符号化した符号化データを後述する符号化データ蓄積部８０に出力する符号化部２４と、符号化データ蓄積部８０から符号化データを入力しこの符号化データを復号して画像フレームを再生する復号化部２５と、この復号された画像フレームを過去画像フレームとして記憶するフレームメモリ部２６とを備えている。
【００２６】
なお、上記動きベクトル取得ユニット２１は、上記動き補償範囲移動部４０と探索経路設定部５０とを内部に有している。また、この動きベクトル取得ユニット２１は、現画像フレーム中に定めた現画像ブロックの画像内容に近い画像内容を持つ画像ブロックを動き補償範囲中を探索して見つけ出し動きベクトルを求めるが、この探索において、現画像ブロックが示す画像内容と動き補償範囲中の画像ブロックが示す画像内容との差が予め定められた閾値以下となったときに探索を終了する。
【００２７】
符号化演算部２０によって符号化された符号化データは、符号化データ蓄積部８０に入力され蓄積される。これに対して、復号化部２５は、符号化データ蓄積部８０からすでに符号化された符号化データを入力し、この符号化データを復号して過去画像データを得、この過去画像データをフレームメモリ部２６に入力する。
【００２８】
次に上記実施の形態における作用について説明する。
【００２９】
特定の方向に運動している子供１を撮像して取得した画像フレームがこの撮像部１０から出力される。
【００３０】
符号化演算部２０の動きベクトル取得ユニット２１は、この画像フレームを現画像フレームとして入力するとともにフレームメモリ部２６から過去画像フレームを入力し、この過去画像フレーム中に動き補償範囲を定める。
【００３１】
このとき、動き補償範囲移動部４０は、発信機５の位置を特定するとともに、受信演算部３０の赤外光検出部３５によって受信した加速度センサの出力を積分すること等によって求められた、過去画像フレームから現画像フレームまでに発信機５、すなわち被写体が移動した移動量と移動方向と、光音波測距部３６によって受信したカメラ１００から発信機５までの距離を入力し、上記特定された発信機５の位置に基づいて現画像フレーム中に子供１が占める注目領域を定め、この注目領域に対応して過去画像フレーム中に定める動き補償範囲を上記特定された移動方向とは反対方向に移動させ、上記距離が短くなるにしたがってその注目領域を拡大し、上記特定された移動量が大きくなるにしたがって動き補償範囲の移動量を大きくする。
【００３２】
なお、上記発信機５の位置を特定する方式は、例えば、発信機５から発信された第２の赤外光を、この赤外光の波長領域のみを透過させるフィルタを備えた結像レンズを通して結像させ、この結像された第２の赤外光のスポット像をＣＣＤ素子で受光して発信機５を示すＣＣＤ素子上の位置を検出し、この検出された位置に基づいて上記画像フレーム中における発信機５の位置を特定する方式等を採用することができる。なお、この方式は上記撮像部１０と概略同等な構成によって実現することができる。
【００３３】
さらに、探索経路設定部５０が、受信演算部３０の赤外光検出部３５によって特定された、画像フレーム中に示される発信機５の移動方向を示す情報に基づいて、動き補償範囲中の探索を開始する領域をこの動き補償範囲中における上記特定された移動方向とは反対側の領域に設定し動き補償範囲中を探索する探索経路を定める。それにより、この動きベクトル取得ユニット２１が、上記移動された動き補償範囲中の上記探索経路にしたがった探索を行なって動きベクトルを求める。
【００３４】
その後、予測画像フレーム作成部２２が、過去画像フレームと上記のようにして求められた動きベクトルとを入力し、この動きベクトルと過去画像フレームとに基づいて上記現画像フレームが示す画像内容に近似させた画像内容を持つ予測画像フレームを作成する。
【００３５】
上記作成された予測画像フレームは現画像フレームとともにフレーム間減算部２３に入力され、フレーム間減算部２３において両フレーム間の減算が行なわれ予測残差画像フレームが求められる。符号化部２４はこの予測残差画像フレームと上記動きベクトル取得ユニット２１で作成された動きベクトルとを符号化して出力する。符号化部２４から出力された符号化データは、符号化データ蓄積部８０に入力され蓄積される。
【００３６】
なお、現画像フレーム中の注目領域の範囲外の領域に定められる現画像ブロックに対して設定される動き補償範囲については、動き補償範囲が移動されることはない。
【００３７】
ここで、動きベクトル取得ユニット２１において動きベクトルを求める作用について詳しく説明する。
【００３８】
図２に示すように、撮像部１０から動きベクトル取得ユニット２１に入力した現画像フレームＦ１が示す画像Ｇ１は、この動きベクトル取得ユニット２１がフレームメモリ部２６から入力した過去画像フレームＦ２の示す画像Ｇ２に対して子供１を示す画像の位置が画像フレーム中を動画像としてＥ１方向に移動させたものであり、背景を示す背景領域２の位置は画像フレーム中において殆ど変動していない。
【００３９】
ここで、図３に示すように、受信演算部３０によって特定された発信機５の位置に基づいて動き補償範囲移動部４０が現画像フレーム中に子供１の領域を示す注目領域Ｐを定める。このとき発信機５は子供１の首に掛けて装着するように予め定められており、注目領域Ｐは、発信機５がこの注目領域Ｐの概略中央に位置するように設定される。また、この注目領域Ｐの大きさは、図４に示すように、画像フレームに対して大きな領域となる大人用の領域Ｌ、あるいは画像フレームに対して小さな領域となる子供用の領域Ｓが設定可能であり、ここでは、被写体が子供なのでこの注目領域Ｐの大きさには子供用の領域が採用される。さらに、この動き補償範囲移動部４０は、光音波測距部３６によって受信した発信機５までの距離が短くなるにしたがって注目領域Ｐを拡大する。すなわち、発信機５までの距離が短いときには図５（ａ）に示すように、現画像フレームＦ１中に大きな注目領域Ｐ１を設定し、発信機５までの距離が長いときには図５（ｂ）に示すように、小さな注目領域Ｐ２を設定する。
【００４０】
なお、注目領域に大人用の大きな領域を採用した場合には、発信機５までの距離が短いときには、図５（ｃ）に示すように、現画像フレームＦ１中に上記注目領域Ｐ１より大きな注目領域Ｐ３が設定され、発信機５までの距離が長いときには図５（ｄ）に示すように、上記注目領域Ｐ２より大きい注目領域Ｐ４が設定される。
【００４１】
次に、動き補償範囲移動部４０が、現画像フレームＦ１中の注目領域Ｐに対して過去画像フレームＦ２中に定められる動き補償範囲を上記特定された移動方向であるＥ１方向とは反対方向のＥ２方向に移動させる。
【００４２】
すなわち、図６に示すように、現画像フレームＦ１中の注目領域Ｐ中に１６画素×１６画素の画素の集まりからなる現画像ブロックＢ０を定めこの現画像ブロックＢ０の現画像フレームＦ１中の位置に対応させた過去画像フレームＦ２中の位置に動き補償基準ブロックＢＫを設定し、さらに、この動き補償基準ブロックＢＫの中心から横方向（図中矢印Ｘ方向）および縦方向（図中矢印Ｙ方向）のそれぞれ±３０画素に亘る領域を動き補償範囲Ｍ１として定め、この動き補償範囲Ｍ１を上記Ｅ１方向とは反対方向のＥ２方向に移動させて動き補償範囲Ｍ２を設定する。このとき、動き補償範囲移動部４０が、上記受信演算部３０によって特定された発信機５の移動量が大きくなるにしたがって動き補償範囲の移動量Ｑ１を大きくする。
【００４３】
なお、ここでは動き補償範囲がＸ方向に１０画素、Ｙ方向に１０画素移動されて、過去画像フレームＦ２中の動き補償範囲Ｍ１は動き補償範囲Ｍ２で示される位置に移動される。なお、動き補償範囲移動部４０は動き補償範囲Ｍ１を動き補償基準ブロックＢＫを含む範囲で移動させるので、上記特定された発信機５の移動量が僅かであるときには、動き補償範囲移動部４０は、動き補償範囲Ｍ１を最小の移動量である１画素だけ移動させ、図７に示すように、例えば、動き補償範囲Ｍ１をＸ横方向およびＹ方向にそれぞれ１画素だけ移動させて動き補償範囲Ｍ３で示される位置に移動させる。なお、この移動は、上記画像移動方向に応じてＸ方向またはＹ方向のいずれか一方の方向のみに移動させるものであってもよい。一方、上記特定された発信機５の移動量が非常に大きいときには、動き補償範囲移動部４０は、動き補償範囲を上記画像移動方向に応じて、Ｘ方向またはＹ方向、あるいは両方向に最大の移動量である２２画素（２２画素＝（６０画素―１６画素）／２）移動させる。例えば、動き補償範囲Ｍ１をＸ方向に２２画素およびＹ方向に２２画素移動させると、この動き補償範囲Ｍ１は動き補償範囲の周縁Ｌ１と動き補償基準ブロックＢＫの周縁Ｌ２とが一致される動き補償範囲Ｍ４で示される位置に移動される。
【００４４】
次に、図８に示すように、過去画像フレームＦ２中に設定された動き補償範囲Ｍ２において、現画像ブロックＢ０が示す画像内容に近い画像内容を持つ画像ブロック、すなわち、現画像ブロックＢ０との差が閾値以下となる画像ブロックが探索される。この探索によって現画像ブロックＢ０との差が閾値以下となる類似画像ブロックＢＳが求められ、この類似画像ブロックＢＳの位置から動き補償基準ブロックＢＫの位置までの距離と方向とを示すベクトルが動きベクトルＶ１として求められる。
【００４５】
上記動き補償範囲Ｍ２において動きベクトルの探索を行なうときに求められる現画像ブロックＢ０と各画像ブロックとの画像内容の差を表す数値の絶対値は、動き補償範囲Ｍ１において現画像ブロックＢ０と動き補償範囲Ｍ１中の各画像ブロックとの画像内容の差を表す数値の絶対値より全体的に小さくなる。なぜなら、現画像フレームＦ１における現画像ブロックＢ０近傍の領域の画像内容は、過去画像フレームＦ２における動き補償範囲Ｍ２近傍の領域の示す画像内容が移動したものなので、動き補償範囲Ｍ１中の領域が示す画像内容より動き補償範囲Ｍ２中の領域が示す画像内容の方が現画像ブロックＢ０の画像内容により近いものとなるからである。
【００４６】
したがって、現画像ブロックＢ０と動き補償範囲Ｍ２中の各画像ブロックとの画像内容の差を表す数値がより零に近い値となり、動きベクトルを求める際の演算で扱う数値の桁数を少なくすることができ、この動きベクトルを求める際の演算の負担が低減される。
【００４７】
また、上記動きベクトルを求める際には、探索経路設定部５０によって動きベクトルを求めるための探索の経路が定められるが、この探索経路は、動き補償範囲Ｍ２中において、注目領域Ｐの移動方向であるＥ１方向とは反対のＥ２方向の側の領域Ｓ１から探索を開始させ、この領域Ｓ１からＥ１方向に補償範囲Ｍ２中の領域Ｓ２の側に向かって探索を続けるように定められる。
【００４８】
すなわち、現画像フレームＦ１の注目領域Ｐ中の現画像ブロックＢ０は、画像フレーム中を動画像としてＥ１方向に移動しているので、過去画像フレームＦ２中においては、現画像ブロックＢ０が示す画像内容はこの現画像ブロックＢ０と対応して過去画像フレームＦ２中に位置する動き補償基準ブロックＢＫを含むＥ２方向側に存在することになり、この現画像ブロックＢ０が示す画像内容が存在する領域は動き補償範囲Ｍ２中においては領域Ｗ１となる。一方、動き補償範囲Ｍ２中の動き補償基準ブロックＢＫの位置よりＥ２方向側の領域Ｗ２（図中斜線で示す）には現画像ブロックＢ０が示す画像内容が存在しないことになるので、Ｅ２方向側の動き補償範囲Ｍ２中の角部となる領域Ｓ１の方から探索を開始した方が、実質的に現画像ブロックＢ０に画像内容がより近い画像ブロック、すなわち、現画像ブロックＢ０との差が閾値以下となる類似画像ブロックを早く見つけることができる。
【００４９】
上記のようにして、類似画像ブロックＢＳを見つけたら上記動きベクトルＶ１を求めこの動き補償範囲Ｍ２中における探索を終了する。
【００５０】
なお、上記角部の領域Ｓ１から探索を開始したときの探索経路は、図９（ａ）中に矢印Ｕ１で示すように、領域Ｓ１から注目領域Ｐの移動方向であるＥ１方向と直交するＪ２方向に画像ブロックを１画素ずつ移動させ、画像ブロックが動き補償範囲Ｍ２の外縁まで達したらＥ１方向に１画素移動させＪ２方向とは反対方向に再び探索を行なう動作を繰り返しながら領域Ｓ１から領域Ｓ２に向かう経路となる。
【００５１】
また、図９（ｂ）に示すように、注目領域Ｐの移動方向がＸ方向とは反対方向の図中矢印Ｅ１１の方向（以後Ｅ１１方向と言う）であり、受信演算部３０によって検出された運動量が大きい場合には、例えば動き補償範囲がＥ１１方向とは反対方向に最大の移動量より１画素少ない２１画素移動される。このとき探索が開始される領域は動き補償範囲Ｍ１１中の上記Ｅ１１方向とは反対側の２箇所の角部である領域Ｓ１または領域Ｓ４となる。このときの探索経路は、探索が開始される領域を領域Ｓ１とすると、領域Ｓ１からＥ１１方向と直交するＪ１１方向に画像ブロックを１画素ずつ移動させ、画像ブロックが動き補償範囲Ｍ１１の外縁まで達したらＥ１１方向に１画素移動させ再びＪ１１とは反対方向に探索を行なう図中Ｕ２で示す経路となる。
【００５２】
ここでは、現画像ブロックが示す画像内容はＥ１１方向とは反対方向の動き補償基準ブロックＢＫ１を含む側に存在することになり、この領域は動き補償範囲Ｍ１１中における領域Ｗ１１となる。一方、動き補償範囲Ｍ１１中の動き補償基準ブロックＢＫ１の位置よりＥ１１方向側の領域Ｗ１２（図中斜線で示す）は現画像ブロックが示す画像内容が存在しない領域となる。
【００５３】
さらに、図９（ｃ）に示すように、注目領域Ｐの移動方向の成分がＸ方向に大きく、Ｙ方向に小さい図中矢印Ｅ１２で示す方向（以後Ｅ１２方向と言う）の場合には、探索が開始される領域は動き補償範囲Ｍ１２中の上記Ｅ１２方向とは反対側の角部である領域Ｓ３となり、受信演算部３０によって検出された運動量が小さい場合には、動き補償範囲がＥ１２方向とは反対方向に、例えばＸ方向とは反対方向に５画素、Ｙ方向とは反対方向に２画素移動される。このとき、探索経路は、動き補償範囲Ｍ１２の角部の領域Ｓ３からＥ１２方向と直交するＪ１２方向に画像ブロックを１画素ずつ移動させ、画像ブロックが動き補償範囲Ｍ１２の外縁まで達したらＥ１２方向に１画素移動させＪ１２方向とは反対方向に再び探索を行なう図中Ｕ３で示す経路となる。
【００５４】
ここでは、現画像ブロックが示す画像内容はＥ１２方向とは反対方向の動き補償基準ブロックＢＫ２を含む側に存在することになり、この領域は動き補償範囲Ｍ１２中における領域Ｗ１３となる。一方、動き補償範囲Ｍ１２中の動き補償基準ブロックＢＫ２の位置よりＥ１２方向側の領域Ｗ１４（図中斜線で示す）は現画像ブロックが示す画像内容が存在しない領域となる。
【００５５】
なお、上記動きベクトルを求める方式は、ＭＰＥＧの動画像符号化に採用することができ、この場合、現画像フレームをＰピクチャとすることができる。
【００５６】
上記受信演算部３０は、被写体が動画像として移動する移動方向を特定する機能、被写体が動画像として移動する移動量を特定する機能、および被写体までの距離を特定するの機能のすべてを備える場合に限らず、被写体の動きに関する少なくとも１つの情報を取得する機能を備えるようにして、この取得した動きに関する情報に基づいて動き補償範囲を移動させ動画像のリアルタイム符号化における演算の負担を軽減するようにしてもよい。また、２つ以上の被写体の動きに関する情報を取得する機能を備える場合においては、取得する情報の組合せはどのような組合せであってもよい。
【００５７】
なお、動きベクトルを求めるための探索は、動き補償範囲中の特定の領域から開始させる態様とする場合に限らず、上記とは異なる領域から探索が開始される態様としても動きベクトルを求める際の演算の負担を軽減する効果を得ることができる。さらに、動きベクトルの探索は、必ずしも閾値を設けて探索を早く終了させる場合に限らず、例えば動き補償範囲中の全ての領域を探索して現画像ブロックとの差が最小となる画像ブロックを類似画像ブロックとして求めるようにしても上記動きベクトルを求める際の演算の負担を軽減する効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態による撮像装置の概略構成を示すブロック図
【図２】現画像フレームが示す画像と過去画像フレームが示す画像と比べて示す概念図
【図３】現画像フレーム中に注目領域Ｐを定めた様子を示す概念図
【図４】大人用の注目領域の大きさと子供用の注目領域の大きさとを比較する図
【図５】注目領域の大きさを発信機までの距離の違いや大人用と子供用の領域の違いに応じて示す図。
【図６】動き補償範囲を移動させた様子を示す概念図
【図７】動き補償範囲を動き補償基準ブロックを含む範囲内で移動させた様子を示す概念図
【図８】過去画像フレーム中に設定された動き補償範囲を探索して動きベクトルを求める様子を示す概念図
【図９】動き補償範囲中を探索する探索経路の例を示す概念図
【符号の説明】
１　　子供
５　　発信機
１０　　撮像部
２０　　符号化演算部
３０　　受信演算部
４０　　動き補償範囲移動部
５０　　探索経路設定部
８０　　符号化データ蓄積部

Claims

被写体を撮像して動画像を取得する撮像手段と、動き補償フレーム間予測により前記動画像の過去画像フレーム中に動き補償範囲を定め、動きベクトルを求める探索を行なって作成された予測画像フレームと前記動画像の現画像フレームとを減算して求めた予測残差画像フレームを符号化する符号化手段とを備えた撮像装置であって、
前記現画像フレーム中の特定の被写体の占める領域に注目領域を定め、前記特定の被写体に装着された出力手段から出力された該被写体の動きを示す信号を受信し該信号に基づいて前記注目領域に対応して前記過去画像フレーム中に定める前記動き補償範囲を移動させる動き補償範囲移動手段を備えたことを特徴とする撮像装置。
前記動き補償範囲移動手段が、前記信号に基づいて撮影装置から前記被写体までの距離に応じて前記注目領域の大きさを変えるものであることを特徴とする請求項１記載の撮像装置。
前記動き補償範囲移動手段が、前記信号に基づいて、前記過去画像フレームから現画像フレームまでに被写体の移動する移動量に応じて、前記動き補償範囲の移動量を変えるものであることを特徴とする請求項１から２のいずれか１項記載の撮像装置。