JP2010114785A - 映像送信装置、映像送信方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】映像データに含まれる送信先において表示させたくない物体を簡便かつ確実に非表示とする。
【解決手段】撮像装置から取得した映像データを編集して受信装置に送信する映像送信装置であって、撮像装置から映像データを取得する取得部と、映像データにおける検知領域を設定する領域設定部と、検知領域内に物体が存在することを検知する物体検知部と、物体検知部が検知領域内に物体が存在することを検知した場合に、映像データの物体を含む領域を、受信装置において物体が表示されないように編集する編集部と、編集された映像データを受信装置に送信する送信部とを備える。編集部は、映像データにおける物体の占める領域が変更された場合に、変更後の物体を含む領域を編集する。
【選択図】図７

Description

本発明は、映像送信装置、映像送信方法、およびコンピュータプログラムに関する。

近年、ビデオカメラなどで映像を撮影し、インターネットや専用線を通じて相手先に送信する映像送信装置が提案され、ビデオ会議や監視等に応用されている。映像送信装置において、プライバシー保護等のために送信相手に映像の一部を見せたくない場合には、動きがある物体を映像認識してマスキングする方法が知られている。

例えば、特許文献１に記載の技術は、送信相手に見せたくない領域をマスキングすることによって、この領域に含まれる物体を相手先に表示させない。しかしながら、この方法では、表示させたくない物体がこの領域から外れてしまった場合には相手先に表示されてしまう。また、特許文献２に記載の技術は、送信相手に見せたくない物体をユーザが予め登録しておくことによって、この物体を相手先に表示させない。しかしながら、この方法では、マスキング処理したい物体を個々に登録するのは手間がかかる上に、あらかじめ映像を用意できない物体は登録できないという問題がある。さらに、撮像装置がパン、チルト、ズームなどのカメラ制御を行った際に、表示させない物体を正しく認識し、マスキングする方法についてはいずれの文献においても述べられていない。
特許第３２８７３８２号公報 特開２００２−１４２２１４号公報

そこで本発明は、映像データに含まれる送信先において表示させたくない物体を簡便かつ確実に非表示とすることを目的とする。

上記課題に鑑みて、本発明に係る映像送信装置は、撮像装置から取得した映像データを編集して受信装置に送信する映像送信装置であって、
前記撮像装置から前記映像データを取得する取得手段と、
前記映像データにおける検知領域を設定する領域設定手段と、
前記検知領域内に物体が存在することを検知する物体検知手段と、
前記物体検知手段が前記検知領域内に物体が存在することを検知した場合に、前記映像データの該物体を含む領域を、前記受信装置において該物体が表示されないように編集する編集手段と、
前記編集された映像データを前記受信装置に送信する送信手段と
を備え、
前記編集手段は、前記映像データにおける前記物体の占める領域が変更された場合に、該変更後の前記物体を含む領域を編集することを特徴とする。

本発明により、映像データに含まれる送信先において表示させたくない物体を簡便かつ確実に非表示とすることが可能となる。

以下、添付の図面を参照しつつ、本発明に係る実施形態について説明する。

＜第１の実施形態＞
図１および図２を参照して本実施形態に係る映像送信装置１００について説明する。図１は本実施形態に係る映像送信装置１００の機能ブロック図の一例である。映像送信装置１００は、映像取得部１０１、領域設定部１０２、物体検知部１０３、編集部１０４、送信部１０５、および表示部１０６を備える。

映像取得部１０１は映像データを撮像装置１３０から取得する。映像データは撮像装置１３０で撮影された映像であり、撮像装置１３０から直接取得してもよいし、他の機器を介して取得してもよい。また、映像データは映像送信装置１００内に記憶されたものを読み出してもよい。

領域設定部１０２は、映像データの表示する映像に含まれる物体のうち、受信装置１４０において表示させない物体を検知する領域を設定する。受信装置１４０において表示させない物体を検知する領域のことを検知領域と呼ぶ。領域設定部１０２は、指定領域取得部１０７と検知領域算出部１０８とを含む。指定領域取得部１０７は、映像送信装置１００のユーザ１５０から、検知領域を指定する領域指定を取得する。検知領域として領域指定された領域を指定領域という。検知領域算出部１０８は映像データの映像において、検知領域とすべき領域を算出する。本実施形態では、指定領域をそのまま検知領域として設定する。

物体検知部１０３は、映像取得部１０１が取得した映像データから、検知領域内の物体を検出する。検知対象の物体は、人物のような移動を伴う物体であってもよい。

編集部１０４は、物体検知部１０３が検知領域内に物体を検知した場合に、受信装置１４０においてその物体が表示されないように、その物体を含む領域を編集した映像データを生成する。編集部１０４は、マスク領域設定部１０９、物体追尾部１１０、および映像編集部１１１を含む。マスク領域設定部１０９は、物体検知部１０３が物体を検知した場合に、その物体を含む領域をマスク領域として設定する。また、マスク領域設定部１０９はユーザ１５０からのマスク解除指示を受けてマスク領域を解除する。物体追尾部１１０は、マスク領域内の物体の移動を追尾して、マスク領域を更新する。映像編集部１１１は、映像取得部１０１が取得した映像データに対して、マスク領域をマスキングする編集処理を行う。

送信部１０５は、映像編集部１１１が編集した映像データを、通信ネットワーク等を介して受信装置１４０に送信する。受信装置１４０への送信は直接であっても間接であってもかまわない。例えば、編集した映像データをリアルタイムに受信装置１４０に送信してもよいし、編集した映像データのファイルを非同期に受信装置１４０に送信してもよい。例えば、映像送信装置１００の送信する映像データがテレビ番組の場合には、受信装置１４０はテレビ受信器などであり得る。映像送信装置１００の送信する映像データがビデオ会議の映像である場合には、受信装置１４０は会議相手のＰＣなどであり得る。

表示部１０６は、映像取得部１０１が取得した映像データやマスク領域設定部１０９が設定したマスク領域などを表示する。

図２は本実施形態に係る映像送信装置１００のハードウェア・ブロック図の一例である。なお、図２は、本発明の実施形態に対応する映像送信装置１００の構成を実現するための最小限の構成を示しており、映像送信装置１００に係わるその他の機構については説明の簡単のために省略している。

マイクロプロセッサであるＣＰＵ２０１は、ＲＯＭ２０３、ハードディスク（ＨＤ）２１２、外部メモリドライブ２１１にセットされた記憶メディアに記憶されたコンピュータプログラムやデータなどに基づき、映像送信装置１００を制御する。

ＲＡＭ２０２は、ＣＰＵ２０１のワークエリアとして機能し、ＲＯＭ２０３やＨＤ２１２等に格納されたコンピュータプログラムを保持する。また、以下に説明する検知領域の座標や各種設定などの一時データを記憶するのにも用いられる。

ＲＯＭ２０３、外部メモリドライブ２１１にセットされた記憶メディア或いは、ＨＤ２１２には、後述するフローチャートに示されるような、ＣＰＵ２０１により実行されるコンピュータプログラムなどが記憶されている。

キーボードコントローラ（ＫＢＣ）２０５は、キーボード（ＫＢ）２０９や図示しないマウス、リモコンなどのポインティングデバイスからの入力を制御する。ＫＢＣ２０５は、指定領域取得部１０７として機能する。ディスプレイコントローラ（ＤＰＣ）２０６は、ディスプレイ２１０の表示を制御する。ディスプレイ２１０は表示部１０６として機能する。ディスクコントローラ（ＤＫＣ）２０７は、ＨＤ２１２および外部メモリドライブ２１１のアクセスを制御し、それらの記憶メディアに対して各種プログラム、並びに、フォントデータ、ユーザファイルおよび編集ファイルなどの各種データを読み書きする。ネットワークコントローラ（ＮＣ）２０８は、ネットワーク２２０との間の通信を行う。ＮＣ２０８は映像取得部１０１や送信部１０５として機能する。ネットワーク２２０を介して映像取得部１０１が撮像装置１３０から映像データを取得したり、送信部１０５が受信装置１４０に映像データを送信したりする。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０２上に割り当てられた表示情報領域あるいは専用のビデオメモリ（ＶＲＡＭ）へのアウトラインフォントの展開（ラスタライズ）処理を実行し、ディスプレイ２１０上での表示を可能にする。また、ＣＰＵ２０１は、ディスプレイ２１０上のマウスカーソルなどにより指示されるコマンドに基づいて、登録された種々のウィンドウを開き、種々のデータ処理を実行する。

映像送信装置１００は、検知領域設定動作と映像送信動作という２種類の動作を主に行う。検知領域設定動作は、検知領域を設定する動作である。一方、映像送信動作は、映像データを編集して、受信装置１４０に送信する動作である。

最初に映像送信装置１００の検知領域動作について図３と図４とを用いて説明する。図３は本実施形態における映像送信装置１００の検知領域設定動作の一例を説明するフローチャートである。図３のフローチャートに記載された動作は、ＲＡＭ２０２に読み出されたコンピュータプログラムをＣＰＵ２０１が実行することによって処理される。

ステップＳ３０１で、映像取得部１０１は撮像装置１３０から映像データを取得して、表示部１０６に出力する。ステップＳ３０２で、表示部１０６が検知領域指定用のインタフェースを表示し、あわせて指定領域取得部１０７がユーザ１５０から領域指定を取得する。図４は本実施形態における表示部１０６が表示する検知領域指定用のインタフェースの一例を説明する図である。映像４０１は映像取得部１０１が取得した映像データの、ある時刻における映像であり、撮影対象の部屋の状況が映されている。領域４０２はユーザ１５０が指定した指定領域である。ユーザ１５０はリモコンなどの入力機器を用いて領域４０２の中心位置を上下左右に移動させたり、領域４０２の縦横の長さを変更したりすることによって、指定領域を指定する。図４においては、部屋の入り口を覆う領域４０２が指定領域として指定されている。ユーザ１５０による指定終了後に、ステップＳ３０３に移行する。

図３に戻り、ステップＳ３０３で、検知領域算出部１０８は、指定領域４０２の中心位置座標、横の長さ、および縦の長さ等の領域を表すために必要な情報を検知領域情報として物体検知部１０３に出力する。ユーザ１５０の指定領域４０２が検知領域として設定される。

ステップＳ３０４で、指定領域取得部１０７はすべての指定領域の取得を終了したか否かを判定する。例えば、指定領域取得部１０７はユーザ１５０からの終了指示を受け付けることによって、終了したか否かの判定をする。すべての検知領域指定が終了したと判定された場合（ステップＳ３０４において「ＹＥＳ」）は、映像送信装置１００は、検知領域設定動作を終了する。一方、一部の検知領域指定が終了していないと判定された場合（ステップＳ３０４において「ＮＯ」）は、ステップＳ３０２に戻り、指定領域をさらに取得する。

続いて映像送信装置１００の映像送信動作について図５と図６とを用いて説明する。図５は本実施形態における映像送信装置１００の映像送信動作の一例を説明するフローチャートである。図５のフローチャートに記載された動作は、ＲＡＭ２０２に読み出されたコンピュータプログラムをＣＰＵ２０１が実行することによって処理される。

ステップＳ５０１で、映像取得部１０１は撮像装置１３０から映像データを取得して、物体検知部１０３と映像編集部１１１とに出力する。ステップＳ５０２で、物体検知部１０３は検知領域内に物体を検知したか否かを判定する。検知したと判定された場合（ステップＳ５０２において「ＹＥＳ」）は、ステップＳ５０３に移行する。検知していないと判定された場合（ステップＳ５０２において「ＮＯ」）は、ステップＳ５０４に移行する。

図６を用いて映像に出現した物体の検知方法について説明する。図６は本実施形態において、映像に出現した物体の検知方法の一例を説明する図である。映像６１０はステップＳ５０１において取得した映像データの、ある時刻における映像である。検知領域６１１は、検知領域設定動作によって設定された検知領域であり、部屋の入り口を覆う領域が設定されている。物体６１２は、部屋に入ってきた人物である。物体検知部１０３は映像６１０における検知領域６１１内のデータと、過去の時刻に取得した映像における検知領域６１１内のデータとの差分をとる。そして、物体検知部１０３は、差分が閾値を超えた場合に物体６１２を検知する。このように、時間的に前後する映像データを比較することで物体検知部１０３は物体６１２を検知することができる。

図５に戻り、ステップＳ５０３で、表示部１０６は物体６１２を含む領域６１３をハイライト表示する。これによって、ユーザ１５０は物体６１２が検知されたことを認識することが容易になる。領域６１３は図に示すように検知領域６１１と同じであってもよいが、これに限られない。物体６１２を覆い隠す領域であればいかなるサイズや形状であってもかまわない。

また、マスク領域設定部１０９は、領域６１３をマスク領域として設定する。この際、マスク領域設定部１０９は、マスク領域６１３内の映像を受信装置１４０において表示させるか否かを示す公開情報も合わせて設定する。公開情報とは、受信装置１４０においてマスク領域内の映像を表示させる場合には「公開」となり、表示させない場合には「非公開」となる情報である。本実施形態では、公開情報の初期値を「非公開」とする。なお、領域６１３が所定の大きさよりも小さい場合には、ノイズと判断してマスク領域として設定しなくてもよい。

ステップＳ５０４で、マスク領域設定部１０９は、設定されたマスク領域に対して、ユーザ１５０からマスクを解除する指示を受けたか否かを判定する。ユーザ１５０は、ステップＳ５０３において表示部１０６が表示したハイライト表示を参照して、領域６１３内の物体６１２を受信装置１４０において表示してもよいか否かを決定する。表示してもよい場合には、リモコン等の入力機器を通じてマスク解除を指示する。指示を受けたと判定された場合（ステップＳ５０４において「ＹＥＳ」）は、ステップＳ５０５に移行して、マスク領域設定部１０９は、マスク領域の設定を解除する。この解除は、設定されているマスク領域の公開情報を「非公開」から「公開」に変更することで行う。一方、指示を受けていないと判定された場合（ステップＳ５０４において「ＮＯ」）は、ステップＳ５０６に移行する。

ステップＳ５０６で、物体追尾部１１０は、設定されているマスク領域の追尾処理を行う。マスク領域の追尾処理についての詳細は後述する。

ステップＳ５０７で、映像編集部１１１は、映像データに対して、公開情報が「非公開」になっているマスク領域にマスキング処理を施し、編集された映像データを送信部１０５に出力する。図６に示す映像６２０は、ステップＳ５０４においてマスク解除がされなかった場合に送信部１０５に出力される映像である。マスク領域６１３の公開情報が「非公開」であるため、マスク領域６１３がマスキングされ、マスク領域６１３内の映像が受信装置１４０において表示されない状態になっている。そのため、受信装置１４０のユーザは物体６１２を見ることができない。一方、映像６３０は、ステップＳ５０４においてマスク解除がされた場合に送信部１０５に出力される映像である。マスク領域６１３の公開情報がステップＳ５０５において「公開」に変更されているため、マスク領域６１３のマスキングが解除され、マスク領域６１３内の映像が受信装置１４０において表示される状態になっている。そのため、受信装置１４０のユーザは物体６１２を見ることができる。

ステップＳ５０８で、送信部１０５は編集された映像データを受信装置１４０に送信する。ステップＳ５０９で、ユーザ１５０からの映像送信終了の指示を受けたか否かを判定する。終了の指示を受けたと判定された場合（ステップＳ５０９において「ＹＥＳ」）には、映像送信動作を終了する。終了の指示を受けていないと判定された場合（ステップＳ５０９において「ＮＯ」）には、ステップＳ５０１に戻り、次の時刻の映像データを取得する。

続いて、ステップＳ５０６におけるマスク領域の追尾処理について、図７と図８とを用いて詳細に説明する。図７は時刻の経過に伴って、物体が移動する場合の映像の状況とその処理との一例について説明する図である。

映像７１０は映像データの時刻Ｔにおける映像である。入り口から入ってきた人物が移動して席についた状態を映している。マスク領域７０１は、時刻Ｔ−１におけるマスク領域である。物体７０２は時刻Ｔにおける検知された物体である。時刻Ｔ−１から時刻Ｔにかけて物体７０２が移動したので、物体７０２はマスク領域７０１からはみ出した状態になっている。したがって、このままの状態で映像データを受信装置１４０に送信するわけにはいかない。

背景映像７２０は撮影対象の部屋の背景の映像である。背景映像７２０は事前に取得してＲＯＭ２０３等に記憶しておく。背景映像７２０はどのように取得したものであってもかまわない。例えば、映像取得部１０１が取得した映像データの時間的に連続する所定数のフレームの同一画素位置における各画素の画素値のメディアンを、背景映像７２０の同一画素位置における画素値として、映像送信中に背景映像７２０を作成してもよい。

図８は図５に示したステップＳ５０６におけるマスク領域の追尾処理の一例を詳細に説明するフローチャートである。図８のフローチャートに記載された動作は、ＲＡＭ２０２に読み出されたコンピュータプログラムをＣＰＵ２０１が実行することによって処理される。

ステップＳ８０１で、時刻Ｔにおける映像７１０と背景映像７２０との差分映像７３０を算出する。図７に示すように、差分映像７３０には人物の映像とマスク領域７０１とのみが抽出されている。

ステップＳ８０２で、差分映像７３０におけるマスク領域７０１の近傍領域に対して、時刻Ｔ−１における物体７０２を用いてパターンマッチングを行い、時刻Ｔにおける物体７０２の位置を求める。

ステップＳ８０３で、ステップＳ８０２において求めた物体７０２に合わせて、マスク領域７０１を移動させ、マスク領域７０１の位置を更新する。このようにしてマスク領域７０１の位置を更新した差分映像が図７に示す差分映像７４０である。その後、映像編集部１１１は、差分映像７４０を背景映像７２０に重ね合わせることにより、時刻Ｔにおける編集した映像７５０を生成する。映像７５０では、物体７０２の移動に伴って、マスク領域７０１も移動しているため、物体７０２が受信装置１４０において表示されない状態が維持されている。一方、時刻Ｔにおいてマスク領域７０１の解除指示があった場合は、映像編集部１１１から出力される映像データは映像７６０のようになる。このように、映像データの送信の途中においても、物体７０２が受信装置１４０において表示される状態に変更することも可能である。なお、物体追尾部１１０は物体７０２の位置だけではなく、大きさも含めて追尾してもよい。すなわち、物体７０２の大きさが変化してマスク領域７０１に収まりきらなくなった場合に、物体追尾部１１０は自動的にマスク領域７０１を拡大する。

以上のように、本実施形態では、検知対象の物体が移動をして、もともとの検知領域の範囲を外れた場合であっても、送信先に対して検知対象の物体を非表示とすることができる。

なお、本実施形態では映像編集部１１１はマスク領域内の映像をマスキングことにより物体を非表示したが、本発明の編集処理はこれに限られない。例えば、映像編集部１１１は、マスク領域内の映像を背景映像などの過去に取得した映像に置き換えてもよい。

また、本実施形態では物体として人物を検出する例を説明したが、物体は人物に限られず、時間の変化に応じて位置や形状が変化するものであればかまわない。

なお、本実施形態ではマスク領域に公開情報を設け、公開情報が「非公開」のときのみマスキング処理を行う構成としたが、本発明において公開情報の与え方はこれに限られない。例えば、マスク領域は公開情報を持たず、図５におけるステップＳ５０５でマスク解除指示がなされた際にマスク領域を削除し、ステップＳ５０７では、存在するマスク領域のすべてにマスキング処理を施すようにしてもよい。

また、本実施形態では公開情報の種類が「公開」、「非公開」の２種類の場合を説明したが、本発明は公開情報の種類はこれに限られない。例えば、公開情報を３種類以上持ち、受信装置１４０の権限に応じて公開するか否かを切り替えるようにしてもよい。

また、本実施形態では検知領域が映像内部の矩形領域である例を説明したが、検知領域の形状はこれに限られない。例えば、図９に示す斜線を付した領域９０１のような端部周辺領域を検知領域として指定することで、映像の外部から侵入してくる物体を非表示にすることも可能である。図９は検知領域の設定の別の例を説明する図である。

また、本実施形態では検知領域は一つである例を説明したが、複数の領域を検知領域として設定しても、本発明の効果を得ることができるのは言うまでもない。

また、本発明の映像送信装置１００は外部から映像データを受信する構成で説明したが、撮像装置１３０等の映像データ出力元を映像送信装置１００と一体に構成しても、本発明の効果を得ることができるのは言うまでもない。さらに、映像送信装置１００は映像データを取得しつつ、編集された映像データをリアルタイムに受信装置１４０に送信してもよいし、映像データ全体を保存した後に編集された映像データを受信装置１４０に送信してもよい。

また、本実施形態では物体が移動をする場合を説明したが、移動に限らず、大きさの変更など、映像データにおける物体の占める領域が変更されるいかなる変化であってもかまわない。変更後の物体を覆うようにマスク領域は設定される。

＜第２の実施形態＞
第１の実施形態では、撮像装置１３０の撮影している範囲に変化がない場合について説明した。しかしながら、撮像装置１３０がパンチルト機構、ズーム機構などを備えている場合には、映像データにおいて撮影範囲が変化する場合もある。このような場合、新規に撮影範囲に含まれるようになった領域に受信装置１４０において表示させたくない物体が映っている可能性がある。例えば、リアルタイムに映像データを取得して、逐次的に検知領域を指定する場合に、新規に撮影範囲に含まれるようになる領域をユーザ１５０が事前に検知領域として指定することは難しい。そこで、第２の実施形態では、映像送信装置１００が新規に映像範囲に含まれるようになった領域を自動的に検知領域として設定する形態について説明する。なお、第１の実施形態と重複する構成要素については同一の参照番号を付して説明を省略する。

図１０を用いて本実施形態における映像送信装置１０００について説明する。図１は本実施形態における映像送信装置１０００の機能ブロック図の一例である。なお、映像送信装置１０００のハードウェア・ブロック図については第１の実施形態と同様のため、説明を省略する。本実施形態に係る映像送信装置１０００において、検知領域算出部１００８、物体検知部１００３、および物体追尾部１０１０が第１の実施形態と異なる動作を行う。

検知領域算出部１００８は、第１の実施形態で説明した動作に加えて、撮像装置１３０から撮像制御情報を取得する。撮像制御情報とは撮像装置１３０の撮影範囲を決定するパラメータであり、最大パン角度および最大チルト角度、撮影時点の撮像装置１３０のパン角度、チルト角度、およびズーム相対倍率、ならびに撮像装置１３０のワイド端での画角を含む。検知領域算出部１００８はさらに、撮像制御情報に基づいて、撮影領域の算出を行い、新規に撮影範囲に含まれるようになった領域を検知領域として設定する。

物体検知部１００３は、第１の実施形態で説明した動作に加えて、背景映像と処理時点の映像とを比較して物体を含む領域を切り出し、マスク領域を算出する。

物体追尾部１０１０は、第１の実施形態で説明した動作に加えて、撮像制御情報に基づいてマスク領域の動き補償を行うことにより、物体の追尾の精度を高める。

続いて、本実施形態における映像送信装置１０００の動作について説明する。映像送信装置１０００の検知領域設定動作は第１の実施形態と同様のため、説明を省略する。映像送信装置１０００が映像送信動作について、図１１について説明する。図１１は本実施形態における映像送信動作の一例を説明するフローチャートである。図１１のフローチャートに記載された動作は、ＲＡＭ２０２に読み出されたコンピュータプログラムをＣＰＵ２０１が実行することによって処理される。

第１の実施形態と異なる点は、ステップＳ１１０１〜ステップＳ１１０３である。 ステップＳ１１０１で、領域設定部１０２が検知領域を算出する。本実施形態においては撮像装置１３０による撮影範囲が変更される場合があるため、領域設定部１０２は、新規に撮影範囲に含まれることになった領域についても検知領域に含める。また、撮影範囲の変更に伴ってユーザ１５０が設定した検知領域が撮影範囲から外れた場合には、領域設定部１０２はその検知領域を検知対象から除外する。詳細は後述する。

ステップＳ１００２で、第１の実施形態で説明した動作に加えて、物体を含む領域を切り出し、マスク領域を算出する。詳細は後述する。

ステップＳ１１０３で、第１の実施形態で説明した動作に加えて、撮像制御情報に基づいてマスク領域の動き補償を行うことにより、物体の追尾の制度を高める。詳細は後述する。

続いて、図１２から図１６を用いて図１１におけるステップＳ１１０１の詳細について説明する。図１２は本実施形態における検知領域算出部１００８の詳細な機能ブロック図の一例である。検知領域算出部１００８は、撮影領域算出部１２０１、既存領域算出部１２０２、新規領域算出部１２０３、および指定領域算出部１２０４を備える。

撮影領域算出部１２０１は、撮像装置１３０から取得した撮像制御情報に基づいて、パノラマ映像における撮影領域の相対位置座標を算出する。パノラマ映像とは、撮像装置１３０が、パン、チルト、およびズームなどのカメラ制御によって撮影可能な領域全体の映像である。相対位置座標の算出方法の詳細は後述する。

既存領域算出部１２０２は、撮影領域算出部１２０１から取得した相対位置座標に基づいて、既存の検知領域の相対座標を更新して再設定する。

新規領域算出部１２０３は、撮影領域算出部１２０１から取得した撮影領域の相対位置座標と、過去の時刻における撮影領域の相対位置座標との差分を算出し、新規に撮影領域に含まれることになった領域を検知領域として設定する。

指定領域算出部１２０４は、ユーザが指定した指定領域を検知領域に設定するが、第１の実施形態と同様であるため説明を省略する。

図１３を用いて、検知領域算出部１００８の動作の詳細について説明する。図１３は本実施形態における検知領域算出部１００８の動作の一例を説明するフローチャートである。図１３のフローチャートに記載された動作は、ＲＡＭ２０２に読み出されたコンピュータプログラムをＣＰＵ２０１が実行することによって処理される。

ステップＳ１３０１で、撮影領域算出部１２０１は、撮像装置１３０から撮像制御情報を取得し、この撮像制御情報に基づいて、パノラマ映像における撮影領域の相対位置座標を算出する。撮像制御情報には、最大パン角度φｍａｘおよび最大チルト角度θｍａｘ、映像撮影時点のパン角度φ、チルト角度θ、およびワイド端を１倍とした場合のズーム相対倍率γ、ならびに撮像装置１３０のワイド端での水平画角λおよび垂直画角μが含まれる。

ここで、図１４と図１５とを用いて、撮像制御情報に基づいて、パノラマ映像における撮影領域を算出する方法について説明する。図１４は本実施形態におけるパノラマ座標系の一例を説明する図である。パノラマ映像１４０１は撮像装置１３０が撮影可能な全領域を表す映像である。撮影領域１４０２は、ある時刻に撮像装置１３０が撮影している範囲を表し、撮影対象の部屋の一部の状況が映されている。パノラマ映像１４０１の左上の点１４０３を原点とし、水平方向右向きをＸ軸、垂直方向下向きをＹ軸とした座標系をパノラマ座標系と呼び、パノラマ座標系における座標をパノラマ座標と呼ぶ。パノラマ座標系における、撮影領域１４０２の左上の点１４０４および右下の点１４０５の座標をそれぞれ、

とおく。

なお、本実施形態ではパノラマ映像１４０１全体を表しているが、これは単に説明の便宜のために表示しているに過ぎず、パノラマ座標の決定においてはパノラマ映像１４０１自体が必要となるわけではない。以下に説明するように、撮影領域算出部１２０１は撮像制御情報を用いてパノラマ座標を決定できる。

図１５は本実施形態におけるパノラマ座標の算出方法の一例を説明する図である。図１５（ａ）を用いて撮像装置１３０内部の撮像素子の空間座標の算出方法について説明する。撮像装置１３０のレンズ中心位置を原点１５００とし、撮像装置１３０のパンチルト機構が可動範囲の中心にあるときのレンズの光軸方向をｘ軸とする。また、光軸に直交する水平方向の軸をｙ軸、光軸に直交する垂直方向の軸をｚ軸とする。このように定めた座標系を空間座標系と呼び、空間座標系における座標を空間座標と呼ぶ。

ワイド端での焦点距離を１とし、空間座標系において撮像装置１３０内部の撮像素子は領域１５１１に位置するとする。このとき、撮像装置１３０のパンチルト機構が可動範囲の中心にある場合の撮像素子上の点１５１２および点１５１３の空間座標は、ワイド端を１倍とした場合のズーム相対倍率γ、ならびにワイド端での水平画角λおよび垂直画角μを用いて、それぞれ、

と表せる。

図１５（ｂ）を用いてパノラマ映像１４０１の空間座標の算出方法について説明する。パノラマ映像１４０１は空間座標系において領域１５２１に位置し、パノラマ座標系における点１４０３は空間座標系における点１５２２に位置するとする。このとき、点１５２２の空間座標は最大パン角度φｍａｘおよび最大チルト角度θｍａｘを用いて、

と表せる。

図１５（ｃ）を用いて撮影領域１４０２の空間座標の算出方法について説明する。撮影領域１４０２は空間座標系において領域１５３１に位置し、パノラマ座標系における点１４０４および点１４０５は空間座標系における点１５３２および点１５３３にそれぞれ位置するとする。一般的に、ｙ軸回転、ｚ軸回転の三次元の回転行列はそれぞれ、

と表せることが知られている。したがって、点１５３２および点１５３３の空間座標はそれぞれ、

と表せる。その結果、点１４０４および点１４０５のパノラマ座標はそれぞれ、

となり、パノラマ座標系における撮影領域１４０２の位置を、撮像制御情報を用いて表現することができる。

図１３に戻り、ステップＳ１３０２で、既存領域算出部１２０２は既存の検知領域の設定の有無を判定する。検知領域が設定されていると判定された場合（ステップＳ１３０２において「ＹＥＳ」）には、ステップＳ１３０３に移行する。検知領域が設定されていないと判定された場合（ステップＳ１３０２において「ＮＯ」）には、ステップＳ１３０４に移行する。

ステップＳ１３０３で、既存領域算出部１２０２は、既存の検知領域と撮影領域１４０２との重複範囲を算出し、この重複範囲を映像撮影時点の検知領域として再設定する。既存の検知領域には、ユーザが指定した指定領域を検知領域としたものと、過去に新規に撮影範囲に含まれることになった領域によるものとがある。再び図１４を用いて重複範囲の算出方法を説明する。既存領域算出部１２０２は撮影領域算出部１２０１から、現在の撮影領域１４０２の左上の点１４０４および右下の点１４０５のパノラマ座標を取得する。簡単のために、点１４０４のパノラマ座標を（Ｘ，Ｙ）＝（Ａ，Ｂ）とおき、点１４０５のパノラマ座標を（Ｘ，Ｙ）＝（Ｃ，Ｄ）とおく。検知領域１４０６はユーザ１５０からの指定に基づく領域であり、撮影対象の入り口を覆う領域が指定されている。検知領域１４０６の左上の点１４０７のパノラマ座標を（Ｘ，Ｙ）＝（Ｅ，Ｆ）とおき、検知領域１４０６の右下の点１４０８のパノラマ座標を（Ｘ，Ｙ）＝（Ｇ，Ｈ）とおく。

この場合、ｍａｘ（Ａ，Ｅ）＜＝ｍｉｎ（Ｇ，Ｃ）かつｍａｘ（Ｂ，Ｆ）＜＝ｍｉｎ（Ｈ，Ｄ）を満たす場合に撮影領域１４０２と検知領域１４０６との重複領域が存在する。ここで、ｍａｘ（ｍ，ｎ）は２つの数ｍ，ｎの最大値を返す関数であり、ｍｉｎ（ｍ、ｎ）は２つの数ｍ，ｎの最小値を返す関数である。重複領域の左上の点のパノラマ座標は、（ｍａｘ（Ａ，Ｅ），ｍａｘ（Ｂ，Ｆ））となり、重複領域の右下の点のパノラマ座標は、（ｍｉｎ（Ｇ，Ｃ），ｍｉｎ（Ｈ，Ｄ））となる。この結果、撮影領域１４０２の範囲から外れた検知領域１４０６の部分については検知領域から除外することができる。このようにして求めた重複領域を検知領域として再設定する。

図１３に戻り、ステップＳ１３０４で、新規領域算出部１２０３が撮影領域１４０２の変化の有無を判定する。新規領域算出部１２０３は、撮影時点の時刻Ｔと時刻Ｔ−１とにおける点１４０４および点１４０５のパノラマ座標値の差分絶対値の合計が閾値Ｔｈより小さい場合、すなわち、
|A(T)-A(T-1)|+|B(T)-B(T-1)|+|C(T)-C(T-1)|+|D(T)-D(T-1)| ＜ Th
が成り立つ場合にカメラ制御による撮影領域の変化はないと判定する。ここで、Ａ（ｔ）、Ｂ（ｔ）、Ｃ（ｔ）、およびＤ（ｔ）はそれぞれ、時刻ｔにおける座標値Ａ、Ｂ、Ｃ、およびＤを表す。一方、差分絶対値の合計が閾値Ｔｈ以上の場合、すなわち、
|A(T)-A(T-1)|+|B(T)-B(T-1)|+|C(T)-C(T-1)|+|D(T)-D(T-1)| ≧ Th
が成り立つ場合に撮影領域の変化があったと判定する。変化があったと判定された場合（ステップＳ１３０４において「ＹＥＳ」）にはステップＳ１３０５に移行し、変化がないと判定された場合（ステップＳ１３０４において「ＮＯ」）にはステップＳ１３０６に移行する。

ステップＳ１３０５で、新規領域算出部１２０３は、時刻Ｔ−１から時刻Ｔにかけて新規に撮影領域に入ってきた領域を算出して検知領域として設定する。新規領域算出部１２０３は、撮影領域算出部１２０１からＲ（Ｔ）と、ＲＯＭ２０３等に記憶されているＲ（Ｔ−１）とを比較する。ただし、Ｒ（ｔ）は時刻ｔにおける撮影領域である。そして、Ｒ（Ｔ）において、Ｒ（Ｔ−１）に含まれない部分の座標を算出し、新規の検知領域とする。

図１６を用いて新規の検知領域の具体例について詳細に説明する。図１６は時刻Ｔ−１から時刻Ｔにかけて撮影領域が右下方向に移動した場合の一例を説明する図である。領域１６０１は時刻Ｔ−１における映像領域すなわちＲ（Ｔ−１）を表し、領域１６０２は時刻Ｔにおける映像領域すなわちＲ（Ｔ）を表す。この場合に、Ｒ（Ｔ）に含まれるがＲ（Ｔ−１）に含まれない領域、すなわち斜線を付した領域１６０３が新規の検知領域として設定される。領域１６０３はどのように設定されてもよい。例えば、領域１６０３の各頂点の座標を設定してもよいし、パノラマ座標を管理するビットマップにおいて領域１６０３に含まれるビットにフラグを立ててもよい。

続いて、図１７と図１８とを用いて図１１におけるステップＳ１１０２の詳細について説明する。図１７は本実施形態における物体検知部１００３の詳細な機能ブロック図の一例である。なお、第１の実施形態で説明した機能については省略する。物体検知部１００３は、切り出し部１７０１、物体判定部１７０２、および出力部１７０３を備える。

切り出し部１７０１は、映像取得部１０１が取得した映像のうち、知領域に設定されている領域を切り出して物体判定部１７０２に出力する。物体判定部１７０２は、事前に取得したパノラマ映像の背景映像と、切り出し部１７０１が切り出した領域とを比較して、物体が存在するか否かを判定する。判定の詳細は後述する。出力部１７０３は、物体判定部１７０２の検知結果に基づいて、物体を含む領域をハイライト領域として表示部１０６に出力する。

物体検知処理について図１８を用いてさらに詳しく説明する。図１８は本実施形態における物体の切り出しの一例を説明する図である。映像１８００は映像取得部１０１が取得した、時刻Ｔにおける映像である。領域１８０１はユーザ１５０によって指定された検知領域である。領域１８０２は撮影範囲の移動により、時刻Ｔにおいて新規に検知領域となった領域である。時刻Ｔにおける撮影範囲の変更により、人物である物体１８０３が撮影領域内に含まれるようになっている。

切り出し部１７０１は、映像１８００から、検知領域１８０１と検知領域１８０２とを切り出す。そして、物体判定部１７０２は、事前に取得していた背景映像と、切り出された領域との差分をとる。差分が閾値を超えた場合に、物体判定部１７０２は検知領域内に物体１８０３が含まれると判定する。

その結果、映像１８１０に示すように、物体１８０３を含む領域１８０４がマスク領域として設定され、マスキングされる。このように、事前に取得した背景映像と比較する方法では、物体が動いていない場合であっても、検知領域内に含まれている物体を非表示の対象とすることができる。

続いて、図１１におけるステップＳ１１０３の詳細について説明する。物体追尾部１０１０は、第１の実施形態で説明した動作に加えて、撮像制御情報に基づいてマスク領域の動き補償を行う。

例えば、時刻Ｔ−１から時刻Ｔまでの撮影領域の中心の動きベクトル（Ｕ１，Ｖ１）とし、および撮影領域の水平方向拡大率をＬ１、垂直方向拡大率Ｌ２とする。このとき、Ｕ１，Ｖ１，Ｌ１，Ｌ２は、
U1 = (A(T)+C(T))-(A(T-1)+C(T-1))/2,
V1 = (B(T)+D(T))-(B(T-1)+D(T-1))/2,
L1 = (C(T)-A(T))/(C(T-1)-A(T-1)),
L2 = (D(T)-B(T))/(D(T-1)-B(T-1))
のように算出される。
時刻Ｔ−１でのマスク領域６０２の中心の撮影画面内座標を（Ｐ，Ｑ）とし、マスク領域の水平方向・垂直方向の長さをそれぞれＳ１、Ｓ２とする。このとき、動き補償した後の時刻Ｔにおけるマスク領域の中心の撮影画面内座標は、（Ｐ−Ｕ１，Ｑ９−Ｖ１）と算出できる。また、動き補償した後の時刻Ｔにおけるマスク領域の縦の長さ、横の長さはそれぞれ、Ｓ１／Ｌ１，Ｓ２／Ｌ２と算出できる。上述した方法で、パターンマッチングを行う前にマスク領域の位置および大きさを補正することにより、追尾精度を高めることが可能になる。

以上のように、本実施形態では、撮像装置による撮影範囲が途中で変更された場合にも、送信先において表示をさせない物体を非表示とすることができる。

なお、本発明の映像送信装置１０００は事前にパノラマ映像の背景映像を取得したが、本発明はこれに限られない。例えば、映像取得部１０１が取得した時間的に連続する所定フレーム数の映像データの同一画素位置における各画素の画素値のメディアンを背景映像の同一画素位置における画素値として繋ぎ合わせ、映像送信中に背景映像を作成するようにしてもよい。

なお、本実施形態では撮像装置１３０の撮影領域が右下方向に移動した例を用いて説明したが、他の方向に移動した場合やズームにより撮影領域の大きさが変化した場合にも同様に新規に撮影領域に含まれるようになった領域を算出することができる。例えば、図１９は撮影範囲をズームアウトした場合の映像の一例を説明する図である。領域１９０１は時刻Ｔ−１における映像であり、領域１９０２は時刻Ｔにおける映像である。撮像装置１３０がズームアウトすることにより、撮影範囲が広がっている。この場合には、斜線を付した領域１９０３が新規に検知領域となる。

＜その他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

本発明の第１の実施形態における映像送信装置１００の機能ブロック図の一例である。 本発明の実施形態における映像送信装置１００のハードウェア・ブロック図の一例である。 本発明の実施形態における映像送信装置１００の検知領域設定動作の一例を説明するフローチャートである。 本発明の実施形態における表示部１０６が表示する検知領域指定用のインタフェースの一例を説明する図である。 本発明の第１の実施形態における映像送信装置１００の映像送信動作の一例を説明するフローチャートである。 本発明の実施形態において、映像に出現した物体の検知方法の一例を説明する図である。 本発明の実施形態において、時刻の経過に伴って、物体が移動する場合の映像の状況とその処理との一例について説明する図である。 本発明の第１の実施形態におけるマスク領域の追尾処理の一例を詳細に説明するフローチャートである。 本発明の実施形態における検知領域の設定の別の例を説明する図である。 本発明の第２の実施形態における映像送信装置１０００の機能ブロック図の一例である。 本発明の第２の実施形態における映像送信装置１０００の映像送信動作の一例を説明するフローチャートである。 本発明の第２の実施形態における検知領域算出部１００８の詳細な機能ブロック図の一例である。 本発明の第２の実施形態における検知領域算出部１００８の動作の一例を説明するフローチャートである。 本発明の第２の実施形態におけるパノラマ座標系の一例を説明する図である。 本発明の第２の実施形態におけるパノラマ座標の算出方法の一例を説明する図である。 本発明の第２の実施形態において、撮影領域が右下方向に移動した場合の一例を説明する図である。 本発明の第２の実施形態における物体検知部１００３の詳細な機能ブロック図の一例である。 本発明の第２の実施形態における物体の切り出しの一例を説明する図である。 本発明の第２の実施形態において、撮影範囲をズームアウトした場合の映像の一例を説明する図である

符号の説明

１００ 映像送信装置
１０１ 映像取得部
１０２ 領域設定部
１０３ 物体検知部
１０４ 編集部
１０５ 送信部
１０６ 表示部
１０７ 指定領域取得部
１０８ 検知領域算出部
１０９ マスク領域設定部
１１０ 物体追尾部
１１１ 映像編集部
１３０ 撮像装置
１４０ 受信装置
１５０ ユーザ

Claims (11)

1. 撮像装置から取得した映像データを編集して受信装置に送信する映像送信装置であって、
   前記撮像装置から前記映像データを取得する取得手段と、
   前記映像データにおける検知領域を設定する領域設定手段と、
   前記検知領域内に物体が存在することを検知する物体検知手段と、
   前記物体検知手段が前記検知領域内に物体が存在することを検知した場合に、前記映像データの該物体を含む領域を、前記受信装置において該物体が表示されないように編集する編集手段と、
   前記編集された映像データを前記受信装置に送信する送信手段と
   を備え、
   前記編集手段は、前記映像データにおける前記物体の占める領域が変更された場合に、該変更後の前記物体を含む領域を編集することを特徴とする映像送信装置。
2. 前記取得手段は、前記撮像装置の撮影範囲を決定するパラメータである撮像制御情報を該撮像装置から取得し、
   前記領域設定手段は、
   前記撮像制御情報に基づいて前記撮影範囲が変更されたか否かを判定し、
   前記撮影範囲が変更されたと判定した場合に、前記撮影範囲に新規に加わった領域を検知領域に含める
   ことを特徴とする請求項１に記載の映像送信装置。
3. 前記撮像制御情報は、前記撮像装置の最大パン角度及び最大チルト角度、前記映像データの撮影時点のパン角度、チルト角度、及びズーム相対倍率、並びにワイド端での画角の少なくとも何れかを含むことを特徴とする請求項２に記載の映像送信装置。
4. 前記領域設定手段は、前記撮影範囲が変更されたと判定した場合に、既に設定されていた検知領域を前記変更後の撮影範囲と重複する部分に更新することを特徴とする請求項２又は３に記載の映像送信装置。
5. 前記領域設定手段は、前記映像データの端部周辺領域を検知領域として設定することを特徴とする請求項１乃至４のいずれか１項に記載の映像送信装置。
6. 前記物体検知手段は、時間的に前後する前記映像データの差分に基づいて物体が存在することを検知することを特徴とする請求項１乃至５のいずれか１項に記載の映像送信装置。
7. 前記編集手段は、前記映像データの前記物体を含む領域をマスキングすることにより前記編集を行うことを特徴とする請求項１乃至６のいずれか１項に記載の映像送信装置。
8. 前記編集手段は、前記映像データの前記物体を含む領域を該映像データの過去の映像に置き換えることにより前記編集を行うことを特徴とする請求項１乃至６のいずれか１項に記載の映像送信装置。
9. 前記編集手段はさらに、前記受信装置の権限に応じて、前記物体を含む領域を編集するか否かを決定することを特徴とする請求項１乃至８のいずれか１項に記載の映像送信装置。
10. 撮像装置から取得した映像データを編集して受信装置に送信する映像送信方法であって、
    取得手段が、前記撮像装置から前記映像データを取得する取得工程と、
    領域設定手段が、前記映像データにおける検知領域を設定する領域設定工程と、
    物体検知手段が、前記検知領域内に物体が存在することを検知する物体検知工程と、
    前記物体検知工程において前記検知領域内に物体が存在することを検知された場合に、編集手段が、前記映像データの該物体を含む領域を、前記受信装置において該物体が表示されないように編集する編集工程と、
    送信手段が、前記編集された映像データを前記受信装置に送信する送信工程と
    を備え、
    前記映像データにおける前記物体の占める領域が変更された場合に、前記編集手段が該変更後の前記物体を含む領域を編集することを特徴とする映像送信方法。
11. コンピュータを請求項１乃至９の何れか１項に記載の映像送信装置として機能させるためのコンピュータプログラム。

Images