JP2010239605A

JP2010239605A - 映像編集装置

Info

Publication number: JP2010239605A
Application number: JP2009249045A
Authority: JP
Inventors: Yuji Kasuya; 勇児糟谷
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-03-13
Filing date: 2009-10-29
Publication date: 2010-10-21
Anticipated expiration: 2029-10-29
Also published as: JP5493709B2; CN102349294B; EP2406949A1; WO2010104091A1; EP2406949A4; US8761582B2; CN102349294A; US20120014672A1

Abstract

【課題】描画対象物が撮影された映像から画情報を抽出するときに、画情報が描画された時刻に対する検出時刻の遅れを抑制することができる映像編集装置を提供すること。
【解決手段】画情報が描画された描画対象物が撮影された映像から、描画対象物を遮る動体が映されたフレームを検出する動体検出部２０と、動体検出部２０によって検出されなくなった検出後フレームを動体検出部２０によって検出された各検出フレームと比較していくことによって、画情報の描画が開始されたフレームを特定する描画フレーム特定部２１と、描画フレーム特定部２１によって特定されたフレームの前のフレームに対して、検出後フレームの画情報を合成していく合成処理部２２とを備える。
【選択図】図３

Description

本発明は、映像編集装置に関し、特に、画情報が描画されている描画対象物が撮影された映像を編集する映像編集装置に関する。

従来、会議や講義等で使用されるホワイトボードや黒板等の描画対象物に描画された画情報を映像として記録するものが知られている。しかし、単に描画対象物を撮影した映像には、描画対象物に画情報を描画した人物等の動体が映り込んでいるため、描き込まれた画情報が動体によって遮られ、画情報の視認性が悪くなるといったことがあった。

このような画情報の視認性の悪化を解消するものとして、描画対象物としての黒板を撮影した黒板映像から、板書の追加または消去が行われた板書領域を一定期間毎に抽出し、抽出した板書領域から板書をライン検出してベクトルデータを画情報として生成することにより、黒板映像から板書を抽出するものがある（例えば、特許文献１参照）。

しかしながら、上述したような従来の技術においては、講師領域が一定期間に移動した範囲全体を黒板領域から抽出して保持し、その範囲から現フレームの講師領域を除いた領域を、板書文字の更新情報を検索する検索領域としているため、長時間に渡って講師領域が移動しなかった場合等において、板書文字、すなわち、画情報の検出時刻が実際に描画された時刻より大きく遅れてしまうといった課題があった。

本発明は、このような従来の課題を解決するためになされたもので、描画対象物が撮影された映像から画情報を抽出するときに、画情報が描画された時刻に対する検出時刻の遅れを抑制することができる映像編集装置を提供することを目的とする。

本発明の映像編集装置は、画情報が描画された描画対象物が撮影された映像を編集する映像編集装置において、前記描画対象物を遮る動体が映されたフレームを検出する動体検出部と、前記動体検出部によって検出されなくなった検出後フレームを前記動体検出部によって検出された各検出フレームと比較していくことによって、前記画情報の描画が開始されたフレームを特定する描画フレーム特定部と、前記描画フレーム特定部によって特定されたフレームの前のフレームに対して、前記検出後フレームの画情報を合成していく合成処理を行う合成処理部と、を備えた構成を有している。

この構成により、本発明の映像編集装置は、動体が描画対象物を遮らなくなったときのフレームと、動体が描画対象物を遮っているときの各フレームとを比較していくことによって、画情報の描画が開始されたフレームを特定するため、描画対象物が撮影された映像から画情報を抽出するときに、画情報が描画された時刻に対する検出時刻の遅れを抑制することができる。

例えば、前記動体検出部は、前記映像における前記描画対象物の底辺を含む少なくとも１辺に外接する領域の変化に基づいて、前記描画対象物を遮る動体が映されたフレームを検出するようにしてもよい。

また、前記動体検出部は、前記映像における動きベクトルの大きさの合計値が予め定められた閾値を超えるか否かに基づいて、前記描画対象物を遮る動体が映されたフレームを検出するようにしてもよい。

また、前記動体検出部は、前記描画対象物を前記動体が遮る前、および、前記描画対象物を前記動体が遮った後に切り換えられるスイッチによって構成してもよい。

なお、前記描画フレーム特定部は、前記フレームを矩形単位で比較していくようにしてもよい。

例えば、前記描画フレーム特定部は、前記動体検出部によって検出される前の検出前フレームと前記検出後フレームとの差分画像を生成し、生成した差分画像から輝度が一定値以下の画素の連結成分の外接矩形を抽出し、抽出した外接矩形単位で前記フレームを比較していくようにしてもよい。

また、前記描画フレーム特定部は、前記動体検出部によって検出される前の検出前フレームと前記検出後フレームとの差分画像を生成し、生成した差分画像を予め定められたサイズのセルに分割し、分割したセルのなかで差分領域と重なるセル単位で前記フレームを比較していくようにしてもよい。

また、前記描画フレーム特定部は、前記検出後フレームの各矩形をテンプレートとして、前記各検出フレームに対してテンプレートマッチングを行い、前記テンプレートマッチングの結果が予め定められた閾値を超える矩形が同一領域またはその周囲の領域に存在する最も前のフレームを該テンプレートとした矩形が描画されたフレームとして特定するようにしてもよい。

この構成により、本発明の映像編集装置は、矩形単位にフレーム同士を比較することによって、画情報の描画が開始された時刻を高速に検出することができる。

また、前記描画フレーム特定部は、前記矩形が描画されたフレームを特定した後に、特定した描画フレームの該矩形を構成する各ピクセルと、前記各検出フレームの同一位置にあるピクセルとを比較し、予め定められた閾値を超える一致度を持つピクセルが該描画フレームまで連続して存在する検出フレームのなかで、最も前のフレームを該ピクセルが描画されたフレームとして特定するようにしてもよい。

この構成により、本発明の映像編集装置は、矩形単位にフレーム同士を比較することによって、画情報の描画が開始された時刻を高速に検出し、ピクセル単位にフレーム同士を比較することによって、画情報の描画が開始された時刻を高精細に検出することができる。

また、前記描画フレーム特定部は、前記フレームをピクセル単位で比較していくようにしてもよい。

例えば、前記描画フレーム特定部は、前記動体検出部によって検出される前の検出前フレームと前記検出後フレームとの差分画像を生成し、生成した差分画像を構成するピクセルのなかで差分領域に含まれるピクセル単位で前記フレームを比較していくようにしてもよい。

この構成により、本発明の映像編集装置は、ピクセル単位にフレーム同士を比較することによって、画情報の描画が開始された時刻を高精細に検出することができる。

また、前記描画フレーム特定部は、前記検出後フレームの各ピクセルと、前記各検出フレームの同一位置にあるピクセルとを比較し、予め定められた閾値を超える一致度を持つピクセルが前記検出後フレームまで連続して存在する検出フレームのなかで、最も前のフレームを該ピクセルが描画されたフレームとして特定するようにしてもよい。

また、前記合成処理部は、前記動体検出部によって検出されたフレームの輝度を平均化した上で、前記合成処理を行うようにしてもよい。

この構成により、本発明の映像編集装置は、撮影環境の変化および撮影装置の特性の変化等による輝度の変化に影響されない合成映像を生成することができる。

また、本発明の映像編集装置は、編集対象の映像の各フレームを構成する各ピクセルに対し、該ピクセルを中心とした予め定められた領域の輝度の平均値と、該ピクセルの輝度との差分値に予め定められた一定の背景色を加算するフィルタ部を備えるようにしてもよい。

この構成により、本発明の映像編集装置は、描画対象物に入射された環境光を描画対象物が撮影された映像から除去することができ、描画対象物が撮影された映像のホワイトバランスをとることができる。

また、本発明の映像編集方法は、画情報が描画された描画対象物が撮影された映像を編集する映像編集装置を用いて、前記描画対象物を遮る動体が映されたフレームを検出する動体検出ステップと、前記動体検出ステップで検出されなくなった検出後フレームを前記動体検出部によって検出された各検出フレームと比較していくことによって、前記画情報の描画が開始されたフレームを特定する描画フレーム特定ステップと、前記描画フレーム特定ステップで特定されたフレームに対して、前記検出後フレームの画情報を合成する合成処理を行う合成ステップと、を有する。

したがって、本発明の映像編集方法は、動体が描画対象物を遮らなくなったときのフレームと、動体が描画対象物を遮っているときの各フレームとを比較していくことによって、画情報の描画が開始されたフレームを特定するため、描画対象物が撮影された映像から画情報を抽出するときに、画情報が描画された時刻に対する検出時刻の遅れを抑制することができる。

例えば、前記動体検出ステップでは、前記映像における前記描画対象物の底辺を含む少なくとも１辺に外接する領域の変化に基づいて、前記描画対象物を遮る動体が映されたフレームを検出するようにしてもよい。

また、本発明の映像編集プログラムは、画情報が描画された描画対象物が撮影された映像を編集するための映像編集プログラムにおいて、前記描画対象物を遮る動体が映されたフレームを検出する動体検出ステップと、前記動体検出ステップで検出されなくなった検出後フレームを前記動体検出部によって検出された各検出フレームと比較していくことによって、前記画情報の描画が開始されたフレームを特定する描画フレーム特定ステップと、前記描画フレーム特定ステップで特定されたフレームの前のフレームに対して、前記検出後フレームの画情報を合成していく合成処理を行う合成ステップと、をコンピュータに実行させるためものである。

したがって、本発明の映像編集プログラムは、動体が描画対象物を遮らなくなったときのフレームと、動体が描画対象物を遮っているときの各フレームとを比較させていくことによって、コンピュータに画情報の描画が開始されたフレームを特定させるため、描画対象物が撮影された映像から画情報を抽出するときに、画情報が描画された時刻に対する検出時刻の遅れを抑制することができる。

また、本発明の映像編集システムは、画情報が描画される描画対象物と、前記描画対象物を撮影する撮影装置と、前記撮影装置によって撮影された映像を編集する映像編集装置とを備えた映像編集システムにおいて、前記映像編集装置は、前記描画対象物を遮る動体が映されたフレームを検出する動体検出部と、前記動体検出部によって検出されなくなった検出後フレームを前記動体検出部によって検出された各検出フレームと比較していくことによって、前記画情報の描画が開始されたフレームを特定する描画フレーム特定部と、前記描画フレーム特定部によって特定されたフレームの前のフレームに対して、前記検出後フレームの画情報を合成していく合成処理を行う合成処理部と、を有する。

この構成により、本発明の映像編集システムは、動体が描画対象物を遮らなくなったときのフレームと、動体が描画対象物を遮っているときの各フレームとを比較させていくことによって、映像編集装置に画情報の描画が開始されたフレームを特定させるため、描画対象物が撮影された映像から画情報を抽出するときに、画情報が描画された時刻に対する検出時刻の遅れを抑制することができる。

本発明は、描画対象物が撮影された映像から画情報を抽出するときに、画情報が描画された時刻に対する検出時刻の遅れを抑制することができる映像編集装置を提供することができる。

本発明の第１の実施の形態としての映像編集システムのブロック図である。本発明の第１の実施の形態としての映像編集装置のハードウェア構成図である。本発明の第１の実施の形態としての映像編集装置の機能ブロック図である。本発明の第１の実施の形態としての映像編集装置を構成する動体検出部の検知領域を説明するための第１の概念図である。本発明の第１の実施の形態としての映像編集装置を構成する動体検出部の検知領域を説明するための第２の概念図である。本発明の第１の実施の形態としての映像編集装置を構成する動体検出部の検知領域を説明するための第３の概念図である。本発明の第１の実施の形態としての映像編集装置の動作を説明するためのフローチャートである。本発明の第１の実施の形態としての映像編集装置の動体検出処理を説明するためのフローチャートである。本発明の第１の実施の形態としての映像編集装置の描画フレーム特定処理を説明するためのフローチャートである。本発明の第１の実施の形態としての映像編集装置の合成処理を説明するためのフローチャートである。本発明の第１の実施の形態としての映像編集装置の動作を説明するための概念図である。本発明の第１の実施の形態としての映像編集装置の他の態様の機能ブロック図である。本発明の第２の実施の形態としての映像編集装置の描画フレーム特定処理を説明するためのフローチャートである。本発明の第２の実施の形態としての映像編集装置の合成処理を説明するためのフローチャートである。本発明の第３の実施の形態としての映像編集装置の描画フレーム特定処理を説明するためのフローチャートである。本発明の第３の実施の形態としての映像編集装置の動作を説明するための概念図である。本発明の第４の実施の形態としての映像編集装置の描画フレーム特定処理を説明するためのフローチャートである。本発明の第４の実施の形態としての映像編集装置の動作を説明するための概念図である。本発明の第４の実施の形態としての映像編集装置の動作を説明するための概念図である。

以下、図面を参照して本発明の実施の形態について説明する。

（第１の実施の形態）
図１に示すように、本発明の第１の実施の形態としての映像編集システム１は、描画対象物としてのホワイトボード２と、ホワイトボード２を含む領域を撮影する撮影装置３と、撮影装置３によって撮影された映像を編集する映像編集装置４とを備えている。

ここで、本実施の形態においては、描画対象物としてホワイトボード２を適用した例について説明するが、本発明においては、描画対象物として黒板、投影スクリーンおよび紙等を適用してもよい。

撮影装置３は、一般的なビデオカメラによって構成され、撮影した映像を磁気ディスク、磁気テープ、光ディスクおよび不揮発性メモリ等の記憶媒体に記録するものでもよく、撮影した映像を電気信号、無線信号または光信号に変換して映像編集装置４等の外部装置に出力することができるものでもよい。撮影装置３は、ホワイトボード２を含む領域を撮影範囲５とするように、ホワイトボード２に対して固定されている。

映像編集装置４は、図２に示すように、ＣＰＵ（Central Processing Unit）１０と、ＲＡＭ（Random Access Memory）１１と、ＲＯＭ（Read Only Memory）１２と、ハードディスク装置１３と、キーボードやポインティングデバイス等よりなる入力装置１４と、液晶ディスプレイ等よりなる表示装置１５と、光ディスクや不揮発性メモリ等のメディアに対してデータの読み書きを行うメディアドライブ１６と、外部機器との通信を行うための通信モジュール１７とを備えた一般的なコンピュータ装置によって構成されている。

ハードディスク装置１３には、当該コンピュータ装置を映像編集装置４として機能させるためのプログラムが記憶されている。撮影装置３によって撮影された映像を表す映像データは、メディアドライブ１６または通信モジュール１７を介して映像編集装置４に入力される。

本実施の形態において、映像編集装置４は、メディアドライブ１６または通信モジュール１７を介して入力された映像データがハードディスク装置１３に格納されているものとして説明する。

ＣＰＵ１０は、ハードディスク装置１３に記憶されたプログラムをＲＡＭ１１を作業領域として実行することにより、図３に示すように、ハードディスク装置１３に格納された映像データが表す映像からホワイトボード２を遮る人物等の動体６（図１参照）が映されたフレームを検出する動体検出部２０と、ホワイトボード２に対して画情報の描画が開始されたフレームを特定する描画フレーム特定部２１と、映像から動体６を除去するようフレーム間で画情報を合成する合成処理部２２として機能する。

動体検出部２０は、映像におけるホワイトボード２の底辺を含む少なくとも１辺に外接する検知領域の変化に基づいて、ホワイトボード２を遮る動体６が映されたフレームを検出するようになっている。

なお、本実施の形態において、動体検出部２０は、図４に示すように、映像におけるホワイトボード２の底辺および両側辺に外接する検知領域３０の変化に基づいて、ホワイトボード２を遮る動体６が映されたフレームを検出するものとするが、検知領域３０は、入力装置１４を用いて設定できるようにしてもよい。

動体検出部２０は、具体的には、映像における最初のフレームのように、ホワイトボード２を遮る動体６が映されていないフレームを初期フレームとし、初期フレームとその他の各フレームとにおける検知領域３０の画像の差分を算出し、算出した差分に基づいて、ホワイトボード２を遮る動体６が映されたフレームを検出するようになっている。

ここで、本実施の形態において、画像の差分とは、輝度の差の絶対値または色空間上での距離尺度のことをいい、動体検出部２０は、検知領域３０を予め定められたサイズのセルに分割し、フレーム間の差分が予め定められた閾値ＴＨ１より大きいセルが存在する場合には、ホワイトボード２を遮る動体６が映されたフレームを検出したと判定するようになっている。

例えば、図５に示すように、ホワイトボード２の前に動体６が存在する場合には、図６に示すように、フレーム間の差分が予め定められた閾値ＴＨ１より大きいセルの集まり３１が検出され、動体検出部２０は、ホワイトボード２を遮る動体６が映されたフレームを検出したと判定する。

なお、動体検出部２０は、映像における動きベクトルの大きさの合計値が予め定められた閾値を超えるか否かに基づいて、ホワイトボード２を遮る動体６が映されたフレームを検出するようにしてもよく、検知領域３０の変化に基づいた検出と、動きベクトルの抽出との組み合わせによって、ホワイトボード２を遮る動体６が映されたフレームを検出するようにしてもよい。また、動体検出部２０は、ホワイトボード２を動体６が遮る前、および、ホワイトボード２を動体６が遮った後に切り換えられるスイッチによって構成してもよい。

描画フレーム特定部２１は、動体検出部２０によって検出されたフレーム（以下、それぞれ「検出フレーム」という。）区間の直前のフレーム（以下、単に「検出前フレーム」という。）から直後のフレーム（以下、単に「検出後フレーム」という。）までを２値化するようになっている。

また、描画フレーム特定部２１は、それぞれ２値化した検出前フレームと検出後フレームとの排他的論理和をとることにより差分画像を生成するようになっている。ここで、描画フレーム特定部２１は、ホワイトボード２の描画領域が映された範囲内で差分画像を切り出しておくことが好ましい。

なお、描画フレーム特定部２１は、それぞれ２値化した検出前フレームと検出後フレームとの排他的論理和をとることにより差分画像を生成するのに代えて、検出前フレームと検出後フレームとの輝度差からなる差分画像を生成するようにしてもよい。

さらに、描画フレーム特定部２１は、差分画像から黒画素の連結成分（差分画像が輝度差からなる場合には、輝度が一定値以下の画素の連結成分）の外接矩形を抽出するようになっている。例えば、描画フレーム特定部２１は、差分画像を走査し黒画素をラベリングしながら連結し、同一のラベルが付された画素を包含する最小の矩形を外接矩形として抽出するようになっている。なお、描画フレーム特定部２１による画素の連結については、周知であるため、説明を省略する（例えば、非特許文献１参照）。

描画フレーム特定部２１は、２値化した検出後フレームの外接矩形に対応する領域と、２値化した各検出フレームの外接矩形に対応する領域とをマッチングしていき、当該領域のマッチングがとれたとき、より具体的には、マッチング結果が予め定められた閾値ＴＨ２を超えたときに、当該フレームを当該外接矩形の更新フレームとして特定するようになっている。

なお、各検出フレームの外接矩形に対応する領域とは、各検出フレームにおいて、検出後フレームにおける外接矩形と同一領域、または、この同一領域から予め定められた誤差範囲内の周囲の領域のことをいう。

合成処理部２２は、動体検出部２０によって検出されたフレームの区間毎に、各検出フレームを直前のフレームに置き換え、この検出フレームが描画フレーム特定部２１によって何れかの外接矩形の更新フレームとして特定されている場合には、検出後フレームの当該外接矩形の領域を当該検出フレームの同領域に重畳するようになっている。

合成処理部２２は、このような処理を順次実行することにより、動体６の画像が除去された映像を生成し、生成した映像を表す映像データをハードディスク装置１３に記録するようになっている。

なお、合成処理部２２は、動体６がホワイトボード２を遮っている間に、撮影環境の変化および撮影装置の特性の変化等による輝度の変化が起こったときに、これらの変化に影響されない合成映像を生成するように、動体検出部２０によって検出されたフレームの区間毎に、各検出フレームの輝度を平均化した上で、上述した処理を行うことが好ましい。

このように構成された映像編集装置４の動作について図７乃至図１０を参照して説明する。

図７に示すように、まず、映像編集装置４は、ハードディスク装置１３に格納された映像データから入力装置１４を介して選択された映像データに対して、動体検出部２０による動体検出処理を実行し（ステップＳ１）、次いで、描画フレーム特定部２１による描画フレーム特定処理を実行し（ステップＳ２）、最後に合成処理部２２による合成処理を実行し（ステップＳ３）、合成処理の結果として得られた映像を表す映像データをハードディスク装置１３に記録する（ステップＳ４）。

図８に示すように、動体検出処理では、まず、映像における最初のフレームを初期フレームとして（ステップＳ１０）、初期フレームを除く各フレームに対し、以下に説明するステップＳ１１乃至Ｓ１４が実行される。

まず、初期フレームと当該フレームとにおける検知領域３０の画像の差分がセル単位で動体検出部２０によって算出される（ステップＳ１１）。次に、算出された差分が閾値ＴＨ１を超えるセルが存在するか否かが動体検出部２０によって判断される（ステップＳ１２）。

ここで、差分が閾値ＴＨ１を超えるセルが存在すると判断された場合には、ホワイトボード２を遮る動体６が映されたフレームが動体検出部２０によって検出されたと判定され、当該フレームを検出フレームとして、フレーム番号がＲＡＭ等に記録され（ステップＳ１３）、次のフレームに対する処理が実行される。

一方、差分が閾値ＴＨ１を超えるセルが存在しないと判断された場合には、ホワイトボード２を遮る動体６が映されたフレームが動体検出部２０によって検出されていないと判定され、当該フレームを初期フレームとして（ステップＳ１４）、次のフレームに対する処理が実行される。

図９に示すように、描画フレーム特定処理では、動体検出部２０によって検出された検出フレームの各区間に対し、以下に説明するステップＳ２０乃至Ｓ２５が実行される。

まず、当該区間における検出前フレームから検出後フレームまでが描画フレーム特定部２１によって２値化される（ステップＳ２０）。次いで、それぞれ２値化された検出前フレームと検出後フレームとの排他的論理和をとった差分画像が描画フレーム特定部２１によって生成され（ステップＳ２１）、差分画像から外接矩形が抽出される（ステップＳ２２）。

ここで、各検出フレームに対して、抽出された外接矩形毎に以下に説明するステップＳ２３乃至Ｓ２５が実行される。

まず、２値化された検出後フレームの当該外接矩形に対応する領域と、２値化された当該検出フレームの当該外接矩形に対応する領域とが描画フレーム特定部２１によってマッチングされる（ステップＳ２３）。

ここで、当該領域間でマッチングがとれた場合には、描画フレーム特定部２１によって、当該検出フレームのフレーム番号と当該外接矩形とが対応付けられてＲＡＭ等に記録され（ステップＳ２４）、当該外接矩形が差分画像から抽出された外接矩形から除外される（ステップＳ２５）。

一方、当該領域間でマッチングがとれなかった場合、または、当該外接矩形が除外された後、次の外接矩形または次の検出フレームに対する処理が実行される。

図１０に示すように、合成処理では、動体検出部２０によって検出された検出フレームの各区間の各検出フレームに対し、以下に説明するステップＳ３０乃至Ｓ３２が実行される。

まず、当該検出フレームが合成処理部２２によって直前のフレームに置き換えられる（ステップＳ３０）。次に、当該検出フレームが何れかの外接矩形の更新フレームとして描画フレーム特定部２１によって特定されているか、より具体的には、当該フレームのフレーム番号が当該外接矩形に対応付けられてＲＡＭ等に記録されているか否かが合成処理部２２によって判断される（ステップＳ３１）。

ここで、当該検出フレームが何れかの外接矩形の更新フレームとして特定されている場合には、検出後フレームの当該外接矩形の領域が当該検出フレームの同領域に重畳される（ステップＳ３２）。一方、当該検出フレームが何れかの外接矩形の更新フレームとして特定されていない場合には、次の検出フレームに対する処理が実行される。

このように、映像編集装置４が動作することにより、例えば、図１１に示すように、時刻ｔ４のフレームが検出後フレームとして検出された場合には、時刻ｔ１のフレームで書き込み「Ｗ」が検出され、時刻ｔ２のフレームで書き込み「Ｏ」が検出され、時刻ｔ３のフレームで書き込み「Ａ」が検出される。

ここで、時刻ｔ２で書き込み「Ｗ」が動体６によって遮られたとしても、時刻ｔ１のフレームで「Ｗ」が書き込まれたことが記録されているため、時刻ｔ１のフレームで書き込み「Ｗ」が合成される。

同様に、時刻ｔ３で書き込み「Ｏ」も動体６によって遮られたとしても、時刻ｔ２のフレームで「Ｏ」が書き込まれたことが記録されているため、時刻ｔ２のフレームで書き込み「Ｏ」が合成される。

以上説明したように、本発明の第１の実施の形態としての映像編集システム１は、動体６がホワイトボード２を遮らなくなったときのフレームと、動体６がホワイトボード２を遮っているときの各フレームとを比較させていくことによって、映像編集装置４に画情報の描画が開始されたフレームを特定させるため、ホワイトボード２が撮影された映像から画情報を抽出するときに、画情報が描画された時刻に対する検出時刻の遅れを抑制することができる。

なお、本発明において、映像編集システム１は、図１２に示すように、編集対象の映像の各フレームを構成する各ピクセルに対し、該ピクセルを中心とした予め定められた領域の輝度の平均値と、該ピクセルの輝度との差分値に予め定められた一定の背景色を加算するフィルタ部２３を備えるようにしてもよい。

例えば、本実施の形態のように、描画対象物としてホワイトボード２を適用した場合には、ホワイトボード２に描画された画情報は、描画領域に対して輝度が低下するため、フィルタ部２３は、各ピクセルの輝度から該ピクセルを中心とした予め定められた領域（例えば、１０〜２００ピクセル×１０〜２００ピクセル程度）の輝度の平均値を減算し、減算結果が０を上回ったピクセルの輝度を０にクリッピングし、この結果に一定の背景色（例えば、[Ｒ，Ｇ，Ｂ]＝[１００〜２５５，１００〜２５５，１００〜２５５]程度）を加算する。

これにより、映像編集システム１は、ホワイトボード２に入射された環境光をホワイトボード２が撮影された映像から除去することができ、ホワイトボード２が撮影された映像のホワイトバランスをとることができるようになる。

（第２の実施の形態）
本発明の第２の実施の形態は、本発明の第１の実施の形態における映像編集装置４のＣＰＵ１０に実行させるプログラムを変更することによって実現され、機能ブロックも同様に分類されるため、本発明の第２の実施の形態については、図１に示した映像編集システム１を用いて説明する。

本発明の第１の実施の形態において、描画フレーム特定部２１は、差分画像から外接矩形を抽出するものとして説明したが、本実施の形態において、描画フレーム特定部２１は、差分画像を予め定められた比較的大きなサイズ（例えば、５ピクセル×５ピクセル以上）のセルに分割するようになっている。

また、本実施の形態において、描画フレーム特定部２１は、差分画像において黒画素を含むセル単位に、２値化した検出後フレームの対応する領域と、２値化した各検出フレームの対応する領域とをマッチングしていき、当該領域のマッチングがとれたとき、当該フレームを当該セルの更新フレームとして特定するようになっている。

また、本発明の第１の実施の形態において、合成処理部２２は、動体検出部２０によって検出されたフレームの区間毎に、各検出フレームを直前のフレームに置き換え、この検出フレームが描画フレーム特定部２１によって何れかの外接矩形の更新フレームとして特定されている場合には、検出後フレームの当該外接矩形の領域を当該検出フレームの同領域に重畳するものとして説明した。

本実施の形態において、合成処理部２２は、動体検出部２０によって検出されたフレームの区間毎に、各検出フレームを直前のフレームに置き換え、この検出フレームが描画フレーム特定部２１によって何れかのセルの更新フレームとして特定されている場合には、検出後フレームの当該セルの領域を当該検出フレームの同領域に重畳するようになっている。

このように構成された映像編集装置４の動作について図１３および図１４を参照して説明する。なお、本実施の形態における映像編集装置４の動作は、本発明の第１の実施の形態における映像編集装置４の動作に対して、描画フレーム特定処理と合成処理のみが相違するため、これらの処理について説明する。

図１３に示すように、描画フレーム特定処理では、動体検出部２０によって検出された検出フレームの各区間に対し、以下に説明するステップＳ４０乃至Ｓ４５が実行される。

まず、当該区間における検出前フレームから検出後フレームまでが描画フレーム特定部２１によって２値化される（ステップＳ４０）。次いで、それぞれ２値化された検出前フレームと検出後フレームとの排他的論理和をとった差分画像が描画フレーム特定部２１によって生成され（ステップＳ４１）、差分画像が複数のセルに分割される（ステップＳ２２）。

ここで、各検出フレームに対して、差分画像において黒画素を含むセル毎に以下に説明するステップＳ４３乃至Ｓ４５が実行される。

まず、２値化された検出後フレームの当該セルに対応する領域と、２値化された当該検出フレームの当該セルに対応する領域とが描画フレーム特定部２１によってマッチングされる（ステップＳ４３）。

ここで、当該領域間でマッチングがとれた場合には、描画フレーム特定部２１によって、当該検出フレームのフレーム番号と当該セルとが対応付けられてＲＡＭ等に記録され（ステップＳ４４）、当該セルが差分画像から除外される（ステップＳ４５）。

一方、当該領域間でマッチングがとれなかった場合、または、当該セルが除外された後、次のセルまたは次の検出フレームに対する処理が実行される。

図１４に示すように、合成処理では、動体検出部２０によって検出された検出フレームの各区間の各検出フレームに対し、以下に説明するステップＳ５０乃至Ｓ５２が実行される。

まず、当該検出フレームが合成処理部２２によって直前のフレームに置き換えられる（ステップＳ５０）。次に、当該検出フレームが何れかのセルの更新フレームとして描画フレーム特定部２１によって特定されているか、より具体的には、当該フレームのフレーム番号が当該セルに対応付けられてＲＡＭ等に記録されているか否かが合成処理部２２によって判断される（ステップＳ５１）。

ここで、当該検出フレームが何れかのセルの更新フレームとして特定されている場合には、検出後フレームの当該セルの領域が当該検出フレームの同領域に重畳される（ステップＳ５２）。一方、当該検出フレームが何れかのセルの更新フレームとして特定されていない場合には、次の検出フレームに対する処理が実行される。

以上説明したように、本発明の第２の実施の形態としての映像編集システム１は、本発明の第１の実施の形態としての映像編集システム１と同様に、動体６がホワイトボード２を遮らなくなったときのフレームと、動体６がホワイトボード２を遮っているときの各フレームとを比較させていくことによって、映像編集装置４に画情報の描画が開始されたフレームを特定させるため、ホワイトボード２が撮影された映像から画情報を抽出するときに、画情報が描画された時刻に対する検出時刻の遅れを抑制することができる。

（第３の実施の形態）
本発明の第３の実施の形態は、本発明の第１または第２の実施の形態における映像編集装置４のＣＰＵ１０に実行させるプログラムを変更することによって実現され、機能ブロックも同様に分類されるため、本発明の第３の実施の形態については、図１に示した映像編集システム１を用いて説明する。

本発明の第２の実施の形態において、描画フレーム特定部２１は、差分画像を予め定められた比較的大きなサイズのセルに分割するものとして説明したが、本実施の形態において、描画フレーム特定部２１は、差分画像を予め定められた比較的小さなサイズ（例えば、５ピクセル×５ピクセル未満）のセルに分割するようになっている。なお、これらセルのサイズは、１ピクセル×１ピクセルであってもよい。

ただし、描画フレーム特定部２１は、マッチングがとれた後のフレームでマッチングがとれなくなったとき、当該フレームを当該セルの更新フレームから除去するようになっている。

合成処理部２２は、本発明の第２の実施の形態と同様に、動体検出部２０によって検出されたフレームの区間毎に、各検出フレームを直前のフレームに置き換え、この検出フレームが描画フレーム特定部２１によって何れかのセルの更新フレームとして特定されている場合には、検出後フレームの当該セルの領域を当該検出フレームの同領域に重畳するようになっている。

このように構成された映像編集装置４の動作について図１５を参照して説明する。なお、本実施の形態における映像編集装置４の動作は、本発明の第２の実施の形態における映像編集装置４の動作に対して、描画フレーム特定処理のみが相違するため、この処理について説明する。

図１５に示すように、描画フレーム特定処理では、動体検出部２０によって検出された検出フレームの各区間に対し、以下に説明するステップＳ６０乃至Ｓ６６が実行される。

まず、当該区間における検出前フレームから検出後フレームまでが描画フレーム特定部２１によって２値化される（ステップＳ６０）。次いで、それぞれ２値化された検出前フレームと検出後フレームとの排他的論理和をとった差分画像が描画フレーム特定部２１によって生成され（ステップＳ６１）、差分画像が複数のセルに分割される（ステップＳ６２）。

ここで、各検出フレームに対して、差分画像において黒画素を含むセル毎に以下に説明するステップＳ６３乃至Ｓ６６が実行される。

まず、２値化された検出後フレームの当該セルに対応する領域と、２値化された当該検出フレームの当該セルに対応する領域とが描画フレーム特定部２１によってマッチングされる（ステップＳ６３）。

ここで、当該領域間でマッチングがとれた場合には、当該検出フレームのフレーム番号と当該セルとが対応付けられてＲＡＭ等の記録媒体に描画フレーム特定部２１によって（記録されていなければ）記録され（ステップＳ６４）、次のセルまたは次の検出フレームに対する処理が実行される。

一方、当該領域間でマッチングがとれなかった場合には、当該検出フレームのフレーム番号と当該セルとが対応付けられて記録媒体に記録されているか否かが描画フレーム特定部２１によって判断される（ステップＳ６５）。

ここで、当該セルが当該検出フレームのフレーム番号と対応付けられて記録媒体に記録されていると判断された場合には、当該検出フレームのフレーム番号と当該セルとの対応が記録媒体から除去される（ステップＳ６６）。

一方、当該セルが当該検出フレームのフレーム番号と対応付けられて記録媒体に記録されていないと判断された場合、または、当該検出フレームのフレーム番号と当該セルとの対応が記録媒体から除去された後、次のセルまたは次の検出フレームに対する処理が実行される。

このように、映像編集装置４が動作することにより、例えば、図１６にホワイトボード２の一部を拡大して示すように、時刻ｔ４のフレームが検出後フレームとして検出された場合には、時刻ｔ１のフレームでセルｃ５〜ｃ９に書き込みがあったことが検出され、時刻ｔ１のフレームでセルｃ５〜ｃ９に書き込みがあったことが記録される。

次に、動体６が移動し、時刻ｔ２のフレームでセルｃ５の書き込みが検出されなくなると、時刻ｔ１のフレームでセルｃ５に書き込みがあったことが記録から除去される。さらに、動体６が移動し、時刻ｔ３のフレームでセルｃ５〜ｃ９に書き込みがあったことが検出され、時刻ｔ３のフレームでセルｃ５〜ｃ９に書き込みがあったことが記録される。

したがって、時刻ｔ１のフレームでセルｃ６〜ｃ９が合成され、時刻ｔ３のフレームでセルｃ１〜ｃ５が合成されることとなる。

以上説明したように、本発明の第３の実施の形態としての映像編集システム１は、比較的小さなサイズのセル単位にフレーム同士を比較することによって、画情報の描画が開始された時刻を高精細に検出することができる。

（第４の実施の形態）
本発明の第４の実施の形態は、本発明の第１乃至第３の実施の形態における映像編集装置４のＣＰＵ１０に実行させるプログラムを変更することによって実現され、機能ブロックも同様に分類されるため、本発明の第４の実施の形態については、図１に示した映像編集システム１を用いて説明する。

本発明の第１の実施の形態において、描画フレーム特定部２１は、差分画像から外接矩形を抽出するものとして説明したが、本実施の形態において、描画フレーム特定部２１は、抽出した外接矩形を予め定められた比較的小さなサイズ（例えば、５ピクセル×５ピクセル以下）のセルに分割するようになっている。なお、これらセルのサイズは、１ピクセル×１ピクセルであってもよい。

また、本実施の形態において、描画フレーム特定部２１は、差分画像において外接矩形単位に、２値化した検出後フレームの対応する領域と、２値化した各検出フレームの対応する領域とをマッチングしていき、当該領域のマッチングがとれたとき、当該フレームを当該外接矩形の更新フレームとして特定するようになっている。

さらに、描画フレーム特定部２１は、特定したフレームの当該外接矩形を構成する各セル単位に、外接矩形の更新フレームの対応する領域と、２値化した各検出フレームの対応する領域とをマッチングしていき、当該領域のマッチングがとれたとき、当該フレームを当該セルの更新フレームとして特定するようになっている。

このように構成された映像編集装置４の動作について図１７および図１８を参照して説明する。なお、本実施の形態における映像編集装置４の動作は、本発明の第２の実施の形態における映像編集装置４の動作に対して、描画フレーム特定処理のみが相違するため、この処理について説明する。

図１７に示すように、描画フレーム特定処理では、動体検出部２０によって検出された検出フレームの各区間に対し、以下に説明するステップＳ７０乃至Ｓ７５が実行される。

まず、当該区間における検出前フレームから検出後フレームまでが描画フレーム特定部２１によって２値化される（ステップＳ７０）。次いで、それぞれ２値化された検出前フレームと検出後フレームとの排他的論理和をとった差分画像が描画フレーム特定部２１によって生成され（ステップＳ７１）、差分画像から外接矩形が抽出される（ステップＳ７２）。

ここで、各検出フレームに対して、抽出された外接矩形毎に以下に説明するステップＳ７３乃至Ｓ７５が実行される。

まず、２値化された検出後フレームの当該外接矩形に対応する領域と、２値化された当該検出フレームの当該外接矩形に対応する領域とが描画フレーム特定部２１によってマッチングされる（ステップＳ７３）。

ここで、当該領域間でマッチングがとれた場合には、後述する描画セルフレーム特定処理が実行され（ステップＳ７４）、当該外接矩形が差分画像から抽出された外接矩形から除外される（ステップＳ７５）。

図１８に示すように、描画セルフレーム特定処理では、まず、当該外接矩形が描画フレーム特定部２１によって複数のセルに分割される（ステップＳ８０）。

ここで、当該外接矩形の描画フレーム（当該外接矩形とマッチングがとれたフレーム）になるまでの各検出フレームに対して、差分画像において黒画素を含むセル毎に以下に説明するステップＳ８１乃至Ｓ８４が実行される。

まず、２値化された検出後フレームの当該セルに対応する領域と、２値化された当該検出フレームの当該セルに対応する領域とが描画フレーム特定部２１によってマッチングされる（ステップＳ８１）。

ここで、当該領域間でマッチングがとれた場合には、当該検出フレームのフレーム番号と当該セルとが対応付けられてＲＡＭ等の記録媒体に描画フレーム特定部２１によって（記録されていなければ）記録され（ステップＳ８２）、次のセルまたは次の検出フレームに対する処理が実行される。

一方、当該領域間でマッチングがとれなかった場合には、当該検出フレームのフレーム番号と当該セルとが対応付けられて記録媒体に記録されているか否かが描画フレーム特定部２１によって判断される（ステップＳ８３）。

ここで、当該セルが当該検出フレームのフレーム番号と対応付けられて記録媒体に記録されていると判断された場合には、当該検出フレームのフレーム番号と当該セルとの対応が記録媒体から除去される（ステップＳ８４）。

このように、映像編集装置４が動作することにより、例えば、図１９にホワイトボード２を下段に、ホワイトボード２の一部を拡大して上段に示すように、時刻ｔ３のフレームで書き込み「Ｈ」が検出された場合には、時刻ｔ１のフレームでセルｃ５〜ｃ９に書き込みがあったことが検出され、時刻ｔ１のフレームでセルｃ５〜ｃ９に書き込みがあったことが記録される。

次に、動体６が移動し、時刻ｔ２のフレームでセルｃ５の書き込みが検出されなくなると、時刻ｔ１のフレームでセルｃ５書き込みがあったことが記録から除去される。さらに、動体６が移動し、時刻ｔ３のフレームでセルｃ５〜ｃ９に書き込みがあったことが検出され、時刻ｔ３のフレームでセルｃ５〜ｃ９に書き込みがあったことが記録される。

以上説明したように、本発明の第４の実施の形態としての映像編集システム１は、矩形単位にフレーム同士を比較することによって、画情報の描画が開始された時刻を高速に検出し、比較的小さなサイズのセル単位にフレーム同士を比較することによって、画情報の描画が開始された時刻を高精細に検出することができる。

なお、上述したように、本実施の形態における描画フレーム特定処理は、本発明の第１の実施の形態における描画フレーム特定処理と、本発明の第３の実施の形態における描画フレーム特定処理との組み合わせよりなる処理である。

同様に、本発明においては、本発明の第２の実施の形態における描画フレーム特定処理と、本発明の第３の実施の形態における描画フレーム特定処理との組み合わせた処理を用いてもよい。

１映像編集システム
２ホワイトボード
３撮影装置
４映像編集装置
１０ＣＰＵ
１１ＲＡＭ
１２ＲＯＭ
１３ハードディスク装置
１４入力装置
１５表示装置
１６メディアドライブ
１７通信モジュール
２０動体検出部
２１描画フレーム特定部
２２合成処理部
２３フィルタ部

特開２００６−１６２６９２号公報

田村秀行、コンピュータ画像処理、ｐｐ．１４３−１５０、株式会社オーム社、２００２年

Claims

画情報が描画された描画対象物が撮影された映像を編集する映像編集装置において、
前記描画対象物を遮る動体が映されたフレームを検出する動体検出部と、
前記動体検出部によって検出されなくなった検出後フレームを前記動体検出部によって検出された各検出フレームと比較していくことによって、前記画情報の描画が開始されたフレームを特定する描画フレーム特定部と、
前記描画フレーム特定部によって特定されたフレームの前のフレームに対して、前記検出後フレームの画情報を合成していく合成処理を行う合成処理部と、を備えたことを特徴とする映像編集装置。
前記動体検出部は、前記映像における前記描画対象物の底辺を含む少なくとも１辺に外接する領域の変化に基づいて、前記描画対象物を遮る動体が映されたフレームを検出することを特徴とする請求項１に記載の映像編集装置。
前記動体検出部は、前記映像における動きベクトルの大きさの合計値が予め定められた閾値を超えるか否かに基づいて、前記描画対象物を遮る動体が映されたフレームを検出することを特徴とする請求項１に記載の映像編集装置。
前記動体検出部は、前記描画対象物を前記動体が遮る前、および、前記描画対象物を前記動体が遮った後に切り換えられるスイッチによって構成されることを特徴とする請求項１に記載の映像編集装置。
前記描画フレーム特定部は、前記フレームを矩形単位で比較していくことを特徴とする請求項１乃至請求項４の何れかに記載の映像編集装置。
前記描画フレーム特定部は、前記動体検出部によって検出される前の検出前フレームと前記検出後フレームとの差分画像を生成し、生成した差分画像から輝度が一定値以下の画素の連結成分の外接矩形を抽出し、抽出した外接矩形単位で前記フレームを比較していくことを特徴とする請求項５に記載の映像編集装置。
前記描画フレーム特定部は、前記動体検出部によって検出される前の検出前フレームと前記検出後フレームとの差分画像を生成し、生成した差分画像を予め定められたサイズのセルに分割し、分割したセルのなかで差分領域と重なるセル単位で前記フレームを比較していくことを特徴とする請求項５に記載の映像編集装置。
前記描画フレーム特定部は、前記検出後フレームの各矩形をテンプレートとして、前記各検出フレームに対してテンプレートマッチングを行い、前記テンプレートマッチングの結果が予め定められた閾値を超える矩形が同一領域またはその周囲の領域に存在する最も前のフレームを該テンプレートとした矩形が描画されたフレームとして特定することを特徴とする請求項５乃至請求項７の何れかに記載の映像編集装置。
前記描画フレーム特定部は、前記矩形が描画されたフレームを特定した後に、特定した描画フレームの該矩形を構成する各ピクセルと、前記各検出フレームの同一位置にあるピクセルとを比較し、予め定められた閾値を超える一致度を持つピクセルが該描画フレームまで連続して存在する検出フレームのなかで、最も前のフレームを該ピクセルが描画されたフレームとして特定することを特徴とする請求項５乃至請求項８の何れかに記載の映像編集装置。
前記描画フレーム特定部は、前記フレームをピクセル単位で比較していくことを特徴とする請求項１乃至請求項４の何れかに記載の映像編集装置。
前記描画フレーム特定部は、前記動体検出部によって検出される前の検出前フレームと前記検出後フレームとの差分画像を生成し、生成した差分画像を構成するピクセルのなかで差分領域に含まれるピクセル単位で前記フレームを比較していくことを特徴とする請求項１０に記載の映像編集装置。
前記描画フレーム特定部は、前記検出後フレームの各ピクセルと、前記各検出フレームの同一位置にあるピクセルとを比較し、予め定められた閾値を超える一致度を持つピクセルが前記検出後フレームまで連続して存在する検出フレームのなかで、最も前のフレームを該ピクセルが描画されたフレームとして特定することを特徴とする請求項１０または請求項１１に記載の映像編集装置。
前記合成処理部は、前記動体検出部によって検出されたフレームの輝度を平均化した上で、前記合成処理を行うことを特徴とする請求項１乃至請求項１２の何れかに記載の映像編集装置。
編集対象の映像の各フレームを構成する各ピクセルに対し、該ピクセルを中心とした予め定められた領域の輝度の平均値と、該ピクセルの輝度との差分値に予め定められた一定の背景色を加算するフィルタ部を備えたことを特徴とする請求項１乃至請求項１３の何れかに記載の映像編集装置。
画情報が描画された描画対象物が撮影された映像を編集する映像編集装置を用いて、
前記描画対象物を遮る動体が映されたフレームを検出する動体検出ステップと、
前記動体検出ステップで検出されなくなった検出後フレームを前記動体検出部によって検出された各検出フレームと比較していくことによって、前記画情報の描画が開始されたフレームを特定する描画フレーム特定ステップと、
前記描画フレーム特定ステップで特定されたフレームの前のフレームに対して、前記検出後フレームの画情報を合成していく合成処理を行う合成ステップと、を有する映像編集方法。
前記動体検出ステップでは、前記映像における前記描画対象物の底辺を含む少なくとも１辺に外接する領域の変化に基づいて、前記描画対象物を遮る動体が映されたフレームを検出することを特徴とする請求項１５に記載の映像編集方法。
画情報が描画された描画対象物が撮影された映像を編集するための映像編集プログラムにおいて、
前記描画対象物を遮る動体が映されたフレームを検出する動体検出ステップと、
前記動体検出ステップで検出されなくなった検出後フレームを前記動体検出部によって検出された各検出フレームと比較していくことによって、前記画情報の描画が開始されたフレームを特定する描画フレーム特定ステップと、
前記描画フレーム特定ステップで特定されたフレームの前のフレームに対して、前記検出後フレームの画情報を合成していく合成処理を行う合成ステップと、をコンピュータに実行させるための映像編集プログラム。
前記動体検出ステップでは、前記映像における前記描画対象物の底辺を含む少なくとも１辺に外接する領域の変化に基づいて、前記描画対象物を遮る動体が映されたフレームを検出することを特徴とする請求項１７に記載の映像編集方法。
請求項１７または請求項１８に記載の映像編集プログラムがコンピュータに読み取り可能に記録された記録媒体。
画情報が描画される描画対象物と、
前記描画対象物を撮影する撮影装置と、
前記撮影装置によって撮影された映像を編集する映像編集装置とを備えた映像編集システムにおいて、
前記映像編集装置は、
前記描画対象物を遮る動体が映されたフレームを検出する動体検出部と、
前記動体検出部によって検出されなくなった検出後フレームを前記動体検出部によって検出された各検出フレームと比較していくことによって、前記画情報の描画が開始されたフレームを特定する描画フレーム特定部と、
前記描画フレーム特定部によって特定されたフレームの前のフレームに対して、前記検出後フレームの画情報を合成していく合成処理を行う合成処理部と、を有することを特徴とする映像編集システム。
前記動体検出部は、前記映像における前記描画対象物の底辺を含む少なくとも１辺に外接する領域の変化に基づいて、前記描画対象物を遮る動体が映されたフレームを検出することを特徴とする請求項２０に記載の映像編集装置。