JP2006042066A - 動画像情報伝送装置および伝送画像生成方法 - Google Patents

Abstract

【課題】撮像カメラにより撮影された画像情報に含まれる周辺情景画像を伝送用背景画像に置き換えて伝送する。
【解決手段】画像合成位置設定回路１１０は、平均画像メモリ１０６と比較用背景画像メモリ１０８とを比較することによって、画像合成位置情報を生成する。また、比較用背景画像メモリ更新回路１０７は、背景移動検出回路１０９によって検出されたカメラ１０１の撮像枠位置の動きに基づいて、比較用背景画像メモリ１０８の比較用背景画像を動画像情報の伝送中に動的に更新する。よって、撮像カメラ１０１の動きや交流照明に影響されることなく、オリジナル画像と伝送用背景画像とを合成することができ、撮像カメラ１０１により撮影された画像情報に含まれる周辺情景画像を伝送用背景画像に置き換えて伝送することが可能となる。
【選択図】 図１

Description

本発明は、例えばテレビ電話装置として使用される動画像情報伝送装置および同装置で用いられる伝送画像生成方法に関する。

近年、画像情報の圧縮技術及び通信技術の進歩により、音声情報と画像情報の伝送を行うテレビ電話装置が実用化されている。ところで、テレビ電話装置においては、人物を撮影した画像のような伝送したい画像情報のみならず、例えばその周辺の情景などの伝送したくない画像情報も一緒に伝送されてしまう。

そこで、最近では、伝送したくない画像情報を別の画像情報に置き換えて伝送する方法が開発され始めている（例えば、特許文献１参照）。

特許文献１のテレビ電話装置は、撮像カメラから入力された画像情報に含まれる周辺情景画像を予め用意された伝送用背景画像に置き換えて伝送する。撮像カメラから入力された画像情報は、例えば人物などのオブジェクトの画像と、例えばテレビ電話を行っている場所などの周辺情景の画像とを含む。撮像カメラから入力された画像情報と、予め周辺情景を撮影することによって得られた周辺情景画像とを比較して、一致する部分を周辺情景として判定する。判定された周辺情景は、予め用意された伝送用背景画像に置き換えられる。
特開平４−３１００８６号公報

しかし、特許文献１のテレビ電話装置は、通話中に、予め登録された周辺情景画像を更新する機能を有していない。このため、通話中に、もし撮像カメラが何らかの原因で動くようなことが発生した場合には、撮像カメラにより撮影された画像情報に含まれる周辺情景画像と、予め登録された周辺情景画像との不一致が発生する。不一致部分は人物などのオブジェクトの画像であると判定されるため、伝送したくない周辺情景が伝送されてしまうという問題が発生する。

また、特許文献１のテレビ電話装置では、撮像カメラから画像情報と、予め登録された周辺情景画像とが直接比較される。このため、例えば蛍光灯などの交流照明下で、蛍光灯の点灯周期より十分高速な撮像カメラを使用して通話を行った場合には、照明の照度が周期的に変化するために、撮像カメラにより撮影された画像情報に含まれる周辺情景画像と予め登録された周辺情景画像との不一致が周期的に発生し、これによって伝送したくない周辺情景が伝送されてしまうという問題が発生する。

本発明は上記事情を考慮してなされたものであり、撮像カメラにより撮影された画像情報に含まれる周辺情景画像を伝送用背景画像に置き換えて伝送することが可能な動画像情報伝送装置および伝送画像生成方法を提供することを目的とする。

上述の課題を解決するため、本発明の動画像情報伝送装置は、撮像カメラによって周辺情景と共にオブジェクトを撮影することによって得られる動画像情報のフレーム画像を記憶するフレーム画像記憶手段と、前記動画像情報の複数フレーム分の平均画像を記憶する平均画像記憶手段と、前記撮像カメラによって前記周辺情景を予め撮影することによって得られる周辺情景画像を記憶する周辺情景画像記憶手段と、伝送用背景画像を記憶する背景画像記憶手段と、前記平均画像記憶手段に記憶された平均画像と前記周辺情景画像記憶手段に記憶された周辺情景画像とを比較することによって、前記平均画像と前記周辺情景画像との一致位置と不一致位置とを示す合成位置情報を生成する画像合成位置情報生成手段と、前記画像合成位置情報に基づいて、前記フレーム画像記憶手段に記憶されたフレーム画像中の周辺情景が前記背景画像記憶手段に記憶された伝送用背景画像に置き換えられるように前記フレーム画像と前記伝送用背景画像とを合成する画像合成手段と、前記画像合成手段による合成によって得られる伝送用のフレーム画像を外部に伝送する伝送手段と、前記平均画像記憶手段に記憶された平均画像と前記周辺情景画像記憶手段に記憶された周辺情景画像とを比較することによって、前記撮像カメラの撮像枠位置の動きを検出する検出手段と、前記検出された前記撮像枠位置の動きに基づいて、前記周辺情景画像記憶手段に記憶されている周辺情景画像を更新する周辺情景画像更新手段とを具備することを特徴とする。

本発明によれば、撮像カメラにより撮影された画像情報に含まれる周辺情景画像を伝送用背景画像に置き換えて伝送することが可能となる。

以下、図面を参照して本発明の実施形態を説明する。

図１は、本発明の一実施形態に係る動画像情報伝送装置の構成例を示すブロック図である。この動画像情報伝送装置は、例えば、撮像カメラから取り込まれた動画像を伝送するためのテレビ電話装置として使用される。

この動画像情報伝送装置は、撮像カメラ１０１と、伝送用背景画像メモリ１０２と、オリジナル画像メモリ１０３と、複数画面分のフレームメモリ１０４と、平均演算回路１０５と、平均画像メモリ１０６と、比較用背景画像メモリ更新回路１０７と、比較用背景画像メモリ１０８と、背景移動検出回路１０９と、画像合成位置設定回路１１０と、画像合成回路１１１と、画像情報送信回路１１２とを備えている。

オリジナル画像メモリ１０３は、撮像カメラ１０１によって撮影されたオリジナル画像を記憶する。オリジナル画像は、撮像カメラ１０１によって周辺情景と共に人物などのオブジェクトを撮影することによって得られる動画像情報のフレーム画像である。動画像情報は撮像カメラ１０１から順次入力されるフレーム画像から構成される。オリジナル画像メモリ１０３には、撮像カメラ１０１から入力される最新のフレーム画像がオリジナル画像として記憶される。オリジナル画像は、例えば人物などのオブジェクトの画像と、例えばテレビ電話を行っている場所などの背景画像（周辺情景画像）とから構成される。

伝送用背景画像メモリ１０２には、予め登録された伝送用背景画像が保存されている。複数画面分のフレームメモリ１０４には、複数画面分のオリジナル画像が保存される。複数画面分のフレームメモリ１０４が例えば４個のフレームメモリから構成されている場合、複数画面分のフレームメモリ１０４には、最新のオリジナル画像Ｎ、１フレーム前のオリジナル画像Ｎ−１、２フレーム前のオリジナル画像Ｎ−２、３フレーム前のオリジナル画像Ｎ−３が保存される。

平均演算回路１０５は、複数画面分のフレームメモリ１０４に保存された複数画面分のオリジナル画像を画素毎に平均を取った平均画像を算出する機能を有する。平均演算回路１０５によって算出された平均画像は、平均画像メモリ１０６に保存される。

比較用背景画像メモリ１０８には、撮像カメラ１０１によってテレビ電話を行っている場所などを予め撮影することによって得られる周辺情景画像が比較用背景画像として登録されている。画像合成位置設定回路１１０は、平均画像メモリ１０６に保存されている平均画像と比較用背景画像メモリ１０８に保存された比較用背景画像（周辺情景画像）とを比較して、一致位置と不一致位置とを検出し、その検出された結果を画像合成位置情報として出力する機能を有する。このように、オリジナル画像と比較用背景画像とを直接比較するのではなく、平均画像と比較用背景画像とを比較することにより、画像合成位置設定回路１１０による一致／不一致判定に曖昧さを定義することが可能となる。よって交流照明下においても、撮像カメラ１０１により撮影された画像の背景と比較用背景画像メモリ１０８に記憶された比較用背景画像との比較で不一致と判定される画素位置の発生率を低減することが可能となる。

画像合成回路１１１は、画像合成位置設定回路１１０からの画像合成位置情報に基づいて、オリジナル画像メモリ１０３に保存された画像情報の周辺情景が、伝送用背景画像メモリ１０２に保存された背景画像に置き換えられるように、オリジナル画像メモリ１０３のオリジナル画像と伝送用背景画像メモリ１０２の伝送用背景画像とを合成する。画像合成回路１１１によって合成された合成動画像情報は、画像情報送信回路１１２を介して例えば通信相手先となるテレビ電話装置などの外部装置に伝送される。

背景移動検出回路１０９は、平均画像メモリ１０６に保存された平均画像と、比較用背景画像メモリ１０８に保存された比較用背景画像とを比較することにより、平均画像内の背景画像の動き、つまり撮像カメラ１０１の撮像枠位置の動きを検出する機能を有する。

比較用背景画像メモリ更新回路１０７は、背景移動検出回路１０９によって検出された撮像枠位置の動きに基づいて、比較用背景画像メモリ１０８に保存された周辺情景画像を更新する。この場合、比較用背景画像メモリ更新回路１０７は、背景移動検出回路１０９から出力される撮像枠位置の移動量情報に基づいて、比較用背景画像メモリ１０８に保存された周辺情景画像を移動させる。

このように、背景移動検出回路１０９および比較用背景画像メモリ更新回路１０７により、比較用背景画像メモリ１０８の比較用背景画像を動画像伝送中に動的に更新することができるので、比較用背景画像メモリ１０８の比較用背景画像の内容を平均画像の内容に合わせて自動的に修正することが可能となる。よって、カメラ１０１の位置が変化しても、画像合成位置設定回路１１０から画像合成位置情報を出力することができ、これによりオリジナル画像に含まれる周辺情景画像を伝送用背景画像メモリ１０２の伝送用背景画像に置き換えて伝送することが可能となる。

次に、図２および図３を参照して、本動画像情報伝送装置における画像合成動作を説明する。

画像合成位置設定回路１１０は、平均画像メモリ１０６の平均画像と比較用背景画像メモリ１０８の比較用背景画像（周辺情景画像）とを比較して、画素毎に一致／不一致を示す画像合成位置情報を生成する。この画像合成位置情報の例を図３に示す。図３の画像合成位置情報においては、“１”は一致する画素位置を示し、“０”は不一致の画素位置を示している。画像合成回路１１１は、図３の画像合成位置情報に基づいて、オリジナル画像メモリ１０３のオリジナル画像と伝送用背景画像メモリ１０２の伝送用背景画像とを合成する。この場合、画像合成回路１１１は、画素毎にオリジナル画像および伝送用背景画像の一方を選択する。画像合成位置情報が“１”の画素位置については伝送用背景画像が選択され、画像合成位置情報が“０”の画素位置についてはオリジナル画像が選択される。これにより、オリジナル画像内の周辺情景が伝送用背景画像に置き換えられ、オリジナル画像内のオブジェクト画像と伝送用背景画像との合成画像が生成される。

次に、図４および図５を参照して、画像合成位置設定回路１１０の動作を説明する。

画像合成位置設定回路１１０は、平均画像メモリ１０６に保存された平均画像のすべての画素について以下の処理を実行する。

まず、画像合成位置設定回路１１０は、検査対象の画素位置を示す座標（ｘ，ｙ）を（１，１）に初期設定する（ステップＳ１０１）。画像合成位置設定回路１１０は、平均画像メモリ１０６の座標（ｘ，ｙ）の画素の色相（Ｃavg）を計算するとともに、比較用背景画像メモリ１０８の座標（ｘ±Ａ，ｙ±Ａ）の範囲内に属する画素それぞれの色相を計算してその最大値（Ｃrefmax）と最小値（Ｃrefmin）を求める（ステップＳ１０２）。

ここで、Ａは予め規定されたｘ方向の許容度を示し、Ｂは予め規定されたｙ方向の許容度を示す。Ａ，Ｂはそれぞれ１以上の値であり、これにより検査対象の画素位置の座標（ｘ，ｙ）毎にその座標を中心とする測定範囲（ｘ±Ａ，ｙ±Ａ）が定義される。

色相とは、色相環に基づいて色味や色合いが表現されたものである。色相環は、赤、橙、黄、緑、青、紫を経て再び赤に戻るまでの周期を１周期として、色の変化が描かれたリング状の色の指標である。色相の値は色相環上の角度を示す値で定義される。

次に、画像合成位置設定回路１１０は、
Ｃrefmin−Ｃ ＜ Ｃavg ＜ Ｃrefmax＋Ｃ （１）
の条件が成立するか否かを判断する（ステップＳ１０３のＹＥＳ）。ここで、Ｃは色相の許容度である。（１）式は、平均画像の座標（ｘ，ｙ）の画素の色相（Ｃavg）と類似する色相を持つ画素が、比較用背景画像の座標（ｘ，ｙ）の画素位置の周辺領域（ｘ±Ａ，ｙ±Ａ）内に存在するか否かを判別するために用いられる。

（１）式が成立する場合、つまり平均画像の座標（ｘ，ｙ）の画素の色相（Ｃavg）と類似する色相を持つ画素が比較用背景画像上の座標（ｘ，ｙ）の周辺領域（ｘ±Ａ，ｙ±Ａ）に存在する場合（ステップＳ１０３のＹＥＳ）、画像合成位置設定回路１１０は、座標（ｘ，ｙ）を平均画像と比較用背景画像とが一致する画素位置であると判定し、当該座標（ｘ，ｙ）を伝送用背景画像入力位置として決定する（ステップＳ１０４）。例えば、平均画像の座標（ｘ，ｙ）の画素の色相が青である場合に、当該画素に対応する比較用背景画像上の（ｘ±Ａ，ｙ±Ａ）の領域内に青紫などの青に似通った色相が存在するならば、座標（ｘ，ｙ）は伝送用背景画像入力位置として決定される。通常、オブジェクトの画像の色相は周辺情景の画像の色相と大きく異なる。したがって、上述のように平均画像と比較用背景画像との間の画素の一致判定の条件に柔軟性を持たせることにより、平均画像の中から周辺情景画像の部分を検出することができる。

一方、（１）式が成立しない場合、（ステップＳ１０３のＮＯ）、画像合成位置設定回路１１０は、座標（ｘ，ｙ）を平均画像と比較用背景画像とが一致しない画素位置であると判定し、当該座標（ｘ，ｙ）をオリジナル画像入力位置として決定する（ステップＳ１０５）。

画像合成位置設定回路１１０は、現在のｘの値が、平均画像および比較用背景画像の各々のｘ方向の画像サイズ（Ｘｓｉｚｅ）に達するまで（ステップＳ１０６のＮＯ）、ｘの値を＋１ずつ増加しながら（ステップＳ１０７）、ステップＳ１０２〜Ｓ１０５の処理を繰り返し実行する。現在のｘの値がｘ方向の画像サイズ（Ｘｓｉｚｅ）に達すると（ステップＳ１０６のＹＥＳ）、画像合成位置設定回路１１０は、ｘを初期値１に戻すとともに（ステップＳ１０８）、ｙの値を＋１増加する（ステップＳ１０９〜Ｓ１１０）。このようにして、現在のｘ，ｙの値がともに、平均画像および比較用背景画像の各々のｘ方向の画像サイズ（Ｘｓｉｚｅ）およびｙ方向の画像サイズ（Ｙｓｉｚｅ）に達するまで、検査対象の画素を変更しながらステップＳ１０２〜Ｓ１０５の処理を繰り返し実行する。これにより、図３で説明した画像合成位置情報が生成される。

次に、図６のフローチャートを参照して、背景移動検出回路１０９の動作を説明する。

背景移動検出回路１０９は、例えば、平均画像および比較用背景画像それぞれから、輝度が最も低い点、輝度が最も高い点などの特徴点（背景移動検出点）を検出し、そして平均画像上の特徴点の画素位置と比較用背景画像上の特徴点の画素位置との関係に基づいて、撮像カメラ１０１の撮像枠位置の水平方向および垂直方向それぞれの移動量を算出する。本実施形態では、特徴点の検出は、平均画像および比較用背景画像上にそれぞれ配置した複数の測定範囲の各々について行なわれる。以下、測定範囲の数がｍ個である場合を想定して、具体的な動作を説明する。

背景移動検出回路１０９は、まず、測定範囲を指定する変数ｉを１に初期設定し（ステップＳ２０１）、ｉ（ｉ＝１）番目の測定範囲の中心座標（Ｐｘｉ，Ｐｙｉ）を求める（ステップＳ２０２）。次いで、背景移動検出回路１０９は、比較用背景画像メモリ１０８の座標（ｘ±Ａ，ｙ±Ｂ）の範囲内の画素それぞれの輝度を計算し、例えば輝度が最小の位置の座標（Ｐｒｅｆｘｉ，Ｐｒｅｆｙｉ）を求める（ステップＳ２０３）。このステップＳ２０３では、背景移動検出回路１０９は、平均画像メモリ１０６の座標（ｘ±Ａ，ｙ±Ｂ）の範囲内の画素それぞれの輝度を計算し、例えば輝度が最小の位置の座標（Ｐａｖｇｘｉ，Ｐａｖｇｙｉ）も求める。

背景移動検出回路１０９は、ｍ個の測定範囲それぞれの測定が完了するまで、ステップＳ２０２，Ｓ２０３の処理を繰り返し実行する（ステップＳ２０４，Ｓ２０５）。そして、背景移動検出回路１０９は、平均画像の特徴点の座標（Ｐａｖｇｘｉ，Ｐａｖｇｙｉ）と比較用背景画像の特徴点の座標（Ｐｒｅｆｘｉ，Ｐｒｅｆｙｉ）との差分を測定範囲毎に算出することにより、撮像カメラ１０１の撮像枠位置の水平方向および垂直方向それぞれの移動量を撮像枠位置の動きとして算出する（ステップＳ２０６）。このステップＳ２０６においては、例えば、ｘ方向の移動量（ｘｍｏｖｅ）およびｙ方向の移動量（ｙｍｏｖｅ）は、
ｘ方向の移動量（ｘｍｏｖｅ）＝（Ｐａｖｇｘｉ−Ｐｒｅｆｘｉ）の平均値
ｙ方向の移動量（ｙｍｏｖｅ）＝（Ｐａｖｇｙｉ−Ｐｒｅｆｙｉ）の平均値
によって求められる。

次に、図７のフローチャートを参照して、比較用背景メモリ更新回路１０７の動作を説明する。

比較用背景画像メモリ更新回路１０７は、背景移動検出回路１０９によって出力された移動量に基づいて、比較用背景画像メモリ１０８に保存された周辺情景を移動する。同時に、周辺情景が移動されたことによって画像が無くなった比較用背景画像メモリ１０８の画素位置に、その画素位置に対応する平均画像メモリ１０６の画素を書き込む処理を実行する。この場合、比較用背景画像メモリ更新回路１０７は、比較用背景画像メモリ１０８に保存された比較用背景画像の画素毎に、当該画素に移動すべき画素が比較用背景画像メモリ１０８に存在するか否かを判定する。

すなわち、比較用背景画像メモリ更新回路１０７は、まず、比較用背景画像メモリ１０８の検査対象の画素位置を示す座標（ｘ，ｙ）を（１，１）に初期設定する（ステップＳ３０１）。次いで、比較用背景画像メモリ更新回路１０７は、座標（ｘ−ｘｍｏｖｅ，ｙ−ｙｍｏｖｅ）に対応する比較用背景画像の画像情報ＤＡＴＡｒｅｆ（ｘ−ｘｍｏｖｅ，ｙ−ｙｍｏｖｅ）が、比較用背景画像メモリ１０８に存在するか否かを判定する(ステップＳ３０２)。

存在しないならば（ステップＳ３０２のＹＥＳ）、比較用背景画像メモリ更新回路１０７は、比較用背景画像メモリ１０８の座標（ｘ，ｙ）の画像情報ＤＡＴＡｒｅｆ（ｘ，ｙ）を、平均画像メモリ１０６の座標（ｘ，ｙ）の画像情報ＤＡＴＡａｖｇ（ｘ，ｙ）に置き換える（ステップＳ３０３）。このステップＳ３０３では、画像情報ＤＡＴＡａｖｇ（ｘ，ｙ）が、比較用背景画像メモリ１０８の座標（ｘ，ｙ）に書き込まれる。一方、存在するならば（ステップＳ３０２のＮＯ）、比較用背景画像メモリ更新回路１０７は、比較用背景画像メモリ１０８の座標（ｘ，ｙ）の画像情報ＤＡＴＡｒｅｆ（ｘ，ｙ）を、比較用背景画像メモリ１０８の座標（ｘ−ｘｍｏｖｅ，ｙ−ｙｍｏｖｅ）の画像情報ＤＡＴＡｒｅｆ（ｘ−ｘｍｏｖｅ，ｙ−ｙｍｏｖｅ）に置き換える（ステップＳ３０４）。このステップＳ３０４では、比較用背景画像メモリ１０８の座標（ｘ−ｘｍｏｖｅ，ｙ−ｙｍｏｖｅ）の画像情報ＤＡＴＡｒｅｆ（ｘ−ｘｍｏｖｅ，ｙ−ｙｍｏｖｅ）が、比較用背景画像メモリ１０８の座標（ｘ，ｙ）に移動される。

比較用背景画像メモリ更新回路１０７は、現在のｘの値が、比較用背景画像のｘ方向の画像サイズ（Ｘｓｉｚｅ）に達するまで（ステップＳ３０５のＮＯ）、ｘの値を＋１ずつ増加しながら（ステップＳ３０６）、ステップＳ３０２〜Ｓ３０４の処理を繰り返し実行する。現在のｘの値がｘ方向の画像サイズ（Ｘｓｉｚｅ）に達すると（ステップＳ３０５のＹＥＳ）、比較用背景画像メモリ更新回路１０７は、今度は、ｘを初期値１に戻すとともに（ステップＳ３０７）、ｙの値を＋１増加する（ステップＳ３０８〜Ｓ３０９）。このようにして、現在のｘ，ｙの値がともに、比較用背景画像のｘ方向の画像サイズ（Ｘｓｉｚｅ）およびｙ方向の画像サイズ（Ｙｓｉｚｅ）に達するまで、検査対象の画素を変更しながらステップＳ３０２〜Ｓ３０４の処理を繰り返し実行する。

以上の処理により、比較用背景画像メモリ１０８の画像情報は、図８に示すように、移動量（ｘｍｏｖｅ，ｙｍｏｖｅ）だけ移動され、そしてこの移動によって画像情報が無くなった各画素位置には、その画素位置に対応する平均画像メモリ１０６の画像情報が書き込まれる。

次に、図９のフローチャートを参照して、画像合成回路１１１の動作を説明する。

画像合成回路１１１は、画像合成位置設定回路１１０から出力される画像合成位置情報に基づき、合成画像を構成する各画素位置がオリジナル画像入力位置および伝送用背景画像入力位置のいずれであるかを判別する。

すなわち、画像合成回路１１１は、まず、出力すべき合成画像の画素位置を示す座標（ｘ，ｙ）を（１，１）に初期設定する（ステップＳ４０１）。次いで、画像合成回路１１１は、座標（ｘ，ｙ）に対応する画像合成位置情報の値に基づき、座標（ｘ，ｙ）がオリジナル画像入力位置および伝送用背景画像入力位置のいずれであるかを判断する（ステップＳ４０３）。

伝送用背景画像入力位置であれば（ステップＳ４０２のＹＥＳ）、画像合成回路１１１は、座標（ｘ，ｙ）に対応する画素の合成画像情報ＤＡＴＡｏｕｔ（ｘ，ｙ）として、伝送用背景画像メモリ１０２の座標（ｘ，ｙ）の画像情報ＤＡＴＡｂａｃｋ（ｘ，ｙ）を選択する（ステップＳ４０３）。一方、オリジナル画像入力位置であれば（ステップＳ４０２のＮＯ）、画像合成回路１１１は、座標（ｘ，ｙ）に対応する画素の合成画像情報ＤＡＴＡｏｕｔ（ｘ，ｙ）として、オリジナル画像メモリ１０３の座標（ｘ，ｙ）の画像情報ＤＡＴＡｏｒｇ（ｘ，ｙ）を選択する（ステップＳ４０４）。

画像合成回路１１１は、現在のｘ，ｙの値がともに、合成画像のｘ方向の画像サイズ（Ｘｓｉｚｅ）およびｙ方向の画像サイズ（Ｙｓｉｚｅ）に達するまで、チェック対象の画素位置を変更しながらステップＳ４０２〜Ｓ４０４の処理を繰り返し実行する（ステップＳ４０５〜Ｓ４０９）。

以上のように、本実施形態では、平均画像メモリ１０６と比較用背景画像メモリ１０８とを比較することによって画像合成位置情報が生成される。また、比較用背景画像メモリ１０８の比較用背景画像は、現在の平均画像メモリ１０６の内容に基づいて動画像情報の伝送中に動的に更新される。よって、撮像カメラ１０１の動きや交流照明に影響されることなく、オリジナル画像と伝送用背景画像とを合成することができ、撮像カメラ１０１により撮影された画像情報に含まれる周辺情景画像を伝送用背景画像に置き換えて伝送することが可能となる。

また、以上の本動画像情報伝送装置の処理はすべてコンピュータプログラムによって実現することができるので、当該コンピュータプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入するだけで、本実施形態と同様の効果を容易に実現することが出来る。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る動画像情報伝送装置の構成例を示すブロック図。 同実施形態に係る動画像情報伝送装置によって実行される画像合成の動作を示す図。 同実施形態に係る動画像情報伝送装置で用いられる画像合成位置情報の例を示す図。 同実施形態に係る動画像情報伝送装置に設けられた画像合成位置設定回路の動作を示すフローチャート。 同実施形態に係る動画像情報伝送装置に設けられた画像合成位置設定回路によって比較される平均画像メモリ上の画素位置と比較用背景画像メモリ上の領域との関係を示す図。 同実施形態に係る動画像情報伝送装置に設けられた背景移動検出回路の動作を示すフローチャート。 同実施形態に係る動画像情報伝送装置に設けられた比較用背景メモリ更新回路の動作を示すフローチャート。 同実施形態に係る動画像情報伝送装置に設けられた比較用背景メモリ更新回路によって比較用背景画像メモリが更新される様子を示す図。 同実施形態に係る動画像情報伝送装置に設けられた画像合成回路の動作を示すフローチャート。

符号の説明

１０１…撮像カメラ、１０２…伝送用背景画像メモリ、１０３…オリジナル画像メモリ、１０４…複数画面分のフレームメモリ、１０５…平均演算回路、１０６…平均画像メモリ、１０７…比較用背景画像メモリ更新回路、１０８…比較用背景画像メモリ、１０９…背景移動検出回路、１１０…画像合成位置設定回路、１１１…画像合成回路、１１２…画像情報送信回路。

Claims (5)

1. 撮像カメラによって周辺情景と共にオブジェクトを撮影することによって得られる動画像情報のフレーム画像を記憶するフレーム画像記憶手段と、
   前記動画像情報の複数フレーム分の平均画像を記憶する平均画像記憶手段と、
   前記撮像カメラによって前記周辺情景を予め撮影することによって得られる周辺情景画像を記憶する周辺情景画像記憶手段と、
   伝送用背景画像を記憶する背景画像記憶手段と、
   前記平均画像記憶手段に記憶された平均画像と前記周辺情景画像記憶手段に記憶された周辺情景画像とを比較することによって、前記平均画像と前記周辺情景画像との一致位置と不一致位置とを示す合成位置情報を生成する画像合成位置情報生成手段と、
   前記画像合成位置情報に基づいて、前記フレーム画像記憶手段に記憶されたフレーム画像中の周辺情景が前記背景画像記憶手段に記憶された伝送用背景画像に置き換えられるように前記フレーム画像と前記伝送用背景画像とを合成する画像合成手段と、
   前記画像合成手段による合成によって得られる伝送用のフレーム画像を外部に伝送する伝送手段と、
   前記平均画像記憶手段に記憶された平均画像と前記周辺情景画像記憶手段に記憶された周辺情景画像とを比較することによって、前記撮像カメラの撮像枠位置の動きを検出する検出手段と、
   前記検出された前記撮像枠位置の動きに基づいて、前記周辺情景画像記憶手段に記憶されている周辺情景画像を更新する周辺情景画像更新手段とを具備することを特徴とする動画像情報伝送装置。
2. 前記画像合成位置情報生成手段は、前記平均画像記憶手段に記憶された平均画像の色相と前記周辺情景画像記憶手段に記憶された周辺情景画像の色相とを比較することによって、前記平均画像の各画素毎に、当該画素に対応する前記周辺情景画像上の画素位置周辺の領域に、当該画素と類似する色相を有する画素が存在するか否かを判別する手段と、存在する場合、当該画素の位置を前記一致位置として決定する手段とを含むことを特徴とする請求項１記載の動画像情報伝送装置。
3. 前記検出手段は、予め決められた複数の測定範囲それぞれについて前記平均画像記憶手段に記憶された平均画像の特徴点の画素位置を検出する手段と、前記複数の測定範囲それぞれについて前記周辺情景画像記憶手段に記憶された周辺情景画像の特徴点の画素位置を検出する手段と、前記平均画像の特徴点の画素位置と前記周辺情景画像の特徴点の画素位置との差分を前記測定範囲毎に求めることによって、前記撮像カメラの撮像枠位置の水平方向および垂直方向それぞれの移動量を前記撮像枠位置の動きとして算出する手段とを含むことを特徴とする請求項１記載の動画像情報伝送装置。
4. 前記周辺情景画像更新手段は、前記検出された前記撮像枠位置の動きに基づいて、前記周辺情景画像記憶手段の周辺情景画像を移動する手段と、前記周辺情景画像の移動によって画像情報が無くなった前記周辺情景画像記憶手段上の各画素位置に、当該画素位置に対応する前記平均画像記憶手段上の平均画像を書き込む手段とを含むことを特徴とする請求項１記載の動画像情報伝送装置。
5. 動画像情報伝送装置によって外部に伝送される伝送画像を生成する伝送画像生成方法であって、
   撮像カメラによって周辺情景と共にオブジェクトを撮影することによって得られる動画像情報のフレーム画像を前記動画像情報伝送装置のフレーム画像記憶部に記憶するステップと、
   前記動画像情報のフレーム分の平均画像を前記動画像情報伝送装置の平均画像記憶部に記憶するステップと、
   前記撮像カメラによって前記周辺情景を予め撮影することによって得られた周辺情景画像を前記動画像情報伝送装置の周辺情景画像記憶部に記憶するステップと、
   伝送用背景画像を前記動画像情報伝送装置の背景画像記憶部に記憶するステップと、
   前記平均画像記憶部に記憶された平均画像と前記周辺情景画像記憶部に記憶された周辺情景画像とを比較することによって、前記平均画像と前記周辺情景画像との一致位置と不一致位置とを示す合成位置情報を生成するステップと、
   前記画像合成位置情報に基づいて、前記フレーム画像記憶部に記憶されたフレーム画像中の周辺情景が前記背景画像記憶部に記憶された伝送用背景画像に置き換えられるように前記フレーム画像と前記伝送用背景画像とを合成して前記伝送画像を生成するステップと、
   前記平均画像記憶部に記憶された平均画像と前記周辺情景画像記憶部に記憶された周辺情景とを比較することによって、前記撮像カメラの撮像枠位置の動きを検出するステップと、
   前記検出された前記撮像枠位置の動きに基づいて、前記周辺情景画像記憶部に記憶されている周辺情景画像を更新するステップとを具備することを特徴とする伝送画像生成方法。

Images