JP2012129990A - 画像処理装置、及び画像処理プログラム - Google Patents

Abstract

【課題】自拠点で撮影された画像と他拠点で撮影された画像を処理する際に、画像品質の劣化を発生させずにキーフレーム画像を正確に抽出する画像処理装置及び画像処理プログラムを提供する。
【解決手段】差分画像データ生成手段によって生成された第一の差分画像データと差分画像データ受信手段によって受信された第二の差分画像データとを用いて合成画像データを生成する合成画像データ生成手段と、合成画像データ生成手段によって生成された合成画像データから、合成画像データが表す合成画像の経時的に変化する描画量が極大であるキーフレーム画像データを抽出するキーフレーム画像データ決定手段と、を有する。
【選択図】図３

Description

本発明は、自拠点で撮影された画像と他拠点で撮影された画像を処理する画像処理装置に関する。

近年、企業や教育機関、行政機関等では、会議や講演等において、文字や数字、図形が描かれたホワイトボード等の描画対象物の画像を保存して利用する技術が知られている。たとえば、スキャナ装置および印刷装置を備え、ホワイトボードの画像を走査して印刷するホワイトボード装置や、ホワイトボードに描かれた画像をビデオカメラ等の撮影装置で撮影して取得し、会議や講演の終了後に、ホワイトボードに描かれた画像を再生する技術が知られている。

また、会議中にはホワイトボードに対して文字、記号、図形等の描画像が描かれたり、消去されたりすることが繰り返されることが多い。このとき描画像が消去されずに描かれている間は描画量が増え、消去されると描画量が減ることになる。そして消去される直前の描画像には他の描画像よりも多くの情報が含まれているため、ユーザは消去される直前の描画像を参照したい機会が多いと考えられる。したがって、ビデオカメラによって撮影された撮影画像の中から、消去される直前の描画像を撮影した撮影画像（キーフレーム画像という）を抽出する技術が望まれている。

これを実現する技術が特許文献１に記載されている。特許文献１には、ホワイトボードを撮影して得られた撮影画像のうち白またはグレーでないセルをストロークセルとしている。そして、ストロークセルの数が最大となった撮影画像をホワイトボードに描かれた文字や数字、図形等の描画像が消去される直前の撮影画像であるキーフレーム画像として指定することが記載されている。

しかしながら、特許文献１に示される技術を複数の拠点に導入し、一の拠点で撮影された撮影画像を他の拠点のホワイトボードに映し出し、さらに、そのホワイトボードに他の拠点にいるユーザが描画像を描画して会議を行う場合がある。そのときにホワイトボード表面に表されている描画像を撮影し、後でキーフレーム画像を抽出することが要求される。この場合、他の拠点で撮影装置がホワイトボードを撮影すると、一の拠点で撮影された撮影画像と他の拠点で描画された描画像が撮影されることになる。すると、一の拠点でビデオカメラによって撮影された撮影画像がふたたび他の拠点のビデオカメラ撮影されることになるため、画像の品質は劣化し、キーフレーム画像を正確に抽出することができないという課題があった。

上述の課題を解決するために、請求項１にかかる発明は、撮影された画像を表す撮影画像データを取得する撮影画像データ取得手段と、他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、前記撮影画像データ取得手段によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信手段によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す第一の差分画像データを生成する差分画像データ生成手段と、他の画像処理装置の差分画像データ生成手段によって生成された第二の差分画像データを受信する差分画像データ受信手段と、前記差分画像データ生成手段によって生成された前記第一の差分画像データと前記差分画像データ受信手段によって受信された前記第二の差分画像データとを用いて合成画像データを生成する合成画像データ生成手段と、前記合成画像データ生成手段によって生成された前記合成画像データから、前記合成画像データが表す合成画像の描画量が時間に対して極大であるキーフレーム画像データを抽出するキーフレーム画像データ決定手段と、を有することを特徴とする。

以上説明したように、本発明によれば、撮影装置で撮影された撮影画像から他拠点より受信された受信画像データが表す受信画像を取り除いた画像を用いて合成画像を生成するので、１回だけカメラで撮影された撮影画像が用いられることになる。そのため、画像の品質が劣化せず、キーフレーム画像を正確に抽出することができる。

本発明の一実施形態に係る画像処理システムの概略図である。 本発明の一実施形態に係る画像処理装置のハードウェア構成図である。 本発明の一実施形態に係る画像処理装置の機能ブロック図である。 自拠点画像管理テーブルを示す概念図である。 他拠点画像管理テーブルを示す概念図である。 合成画像管理テーブルを示す概念図である。 画像処理システムの処理を表すシーケンス図である。 各画像データが表す画像の例である。 差分画像を生成する処理を示した処理フロー図である。 無人判定処理を示した処理フロー図である。 本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。 代表画像を抽出する処理で実施される無人画像をグループ化する処理を示した処理フロー図である。 キーフレーム画像を抽出する処理を示した処理フロー図である。

＜＜実施形態の全体構成＞＞
以下、図１乃至図１３を用いて、本発明の一実施形態について説明する。図１は、本発明の一実施形態に係る画像処理システムの概略図であり、まずは図１を用いて、本実施形態の概略を説明する。

図１に示す画像処理システム１は複数の画像処理装置（１０ａ、１０ｂ）、各画像処理装置（１０ａ、１０ｂ）の画像を映し出す描画対象物（２０ａ、２０ｂ）、撮影装置（３０ａ、３０ｂ）、プロジェクタ（４０ａ、４０ｂ）、通信ネットワーク５０によって構築されている。なお、本実施形態では、画像処理装置（１０ａ、１０ｂ）のうち任意の画像処理装置を示す場合には「画像処理装置１０」といい、描画対象物（２０ａ、２０ｂ）のうち任意の描画対象物を示す場合には「描画対象物２０」といい、撮影装置（３０ａ、３０ｂ）のうち任意の撮影装置を示す場合には「撮影装置３０」といい、プロジェクタ（４０ａ、４０ｂ）のうち任意のプロジェクタを示す場合には「プロジェクタ４０」という。

画像処理装置１０は、撮影装置３０及びプロジェクタ４０とＵＳＢケーブル等により接続され、撮影装置３０が撮影した画像を記録し、通信ネットワーク５０を経由して、他の画像処理装置１０に送信するものである。

また、描画対象物２０ａは、ユーザが文字や図形等の描画画像２００ａを描画するホワイトボードや黒板、紙等の物品である。さらに、描画対象物２０ａには、プロジェクタ４０ａが映し出す画像が映される。また、描画対象物２０ａ内にプロジェクタ４０ａが映し出す４つの点を角とする長方形で囲まれる領域を描画領域２０１ａとする。その描画領域２０１ａの周辺部を周辺領域２０２ａとする。撮影装置３０ａは、描画画像２００ａを含む描画領域２０１ａ、周辺領域２０２ａとそれらの前面にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ａは、画像処理装置１０ａが記憶している画像を描画対象物２０ａに映し出すものである。

同様に、描画対象物２０ｂは、ユーザが文字や図形等の描画画像２００ｂを描画するホワイトボードや黒板、紙等の物品である。さらに、描画対象物２０ｂには、プロジェクタ４０ｂが映し出す画像が映される。また、描画対象物２０ｂ内にプロジェクタ４０ｂが映し出す４つの点を角とする長方形で囲まれる領域を描画領域２０１ｂとする。その描画領域２０１ｂの周辺部を周辺領域２０２ｂとする。撮影装置３０ｂは、描画画像２００ｂを含む描画領域２０１ｂ、周辺領域２０２ｂとそれらの前方にある対象物を撮影して撮影画像を生成するカメラ等の装置である。プロジェクタ４０ｂは、画像処理装置１０ｂが記憶している画像を描画対象物２０ｂに映し出すものである。

なお、本実施形態では、描画画像（２００ａ、２００ｂ）のうち任意の描画対象物を示す場合には「描画領域２００」といい、描画領域（２０１ａ、２０１ｂ）のうち任意の描画対象物を示す場合には「描画領域２０１」といい、周辺領域（２０２ａ、２０２ｂ）のうち任意の周辺領域を示す場合には「周辺領域２０２」という。

また、通信ネットワーク５０は、画像処理装置１０ａと画像処理装置１０ｂにて、相互に各種データを送受信するためのものである。
＜＜実施形態のハードウェア構成＞＞
次に、本実施形態のハードウェア構成を説明する。

図２は、本発明の一実施形態に係る画像処理装置１０のハードウェア構成図である。画像処理装置１０は、画像処理装置１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、画像処理装置用プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、各種データを記憶するＨＤ(Ｈａｒｄ Ｄｉｓｋ)１０４、ＣＰＵ１０１の制御にしたがってＨＤ１０４に対する各種データの読み出し又は書込みを制御するＨＤＤ(Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ)１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出し又は書込み（記憶）を制御するメディアドライブ１０７、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するためのディスプレイＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０８、通信ネットワークを利用してデータ伝送をするためのネットワークＩ／Ｆ１０９、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード１１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス１１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ(Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)１１３に対するデータの読み出し又は書込みを制御するＣＤ−ＲＯＭドライブ１１４、外部の装置と情報を送受信する外部装置Ｉ／Ｆ１１５、音声データに基づいて音声を出力するためのスピーカーＩ／Ｆ１１６、ディスプレイ１１７及び、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

なお、上記画像処理装置用プログラムは、インストール可能な形式又は実行可能な形式のファイルで、上記記録メディア１０６やＣＤ−ＲＯＭ１１３等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
＜＜実施形態の機能構成＞＞
次に、本実施形態の機能構成について説明する。図３は、本実施形態の画像処理装置１０の機能ブロック図である。本実施形態の画像処理装置１０は、送受信部１１、画像取得部１２、画像補正部１３、差分画像生成部１４、無人判定部１５、代表画像決定部１６、キーフレーム画像決定部１７、表示制御部１８ａ、音声出力制御部１８ｂ、記憶・読出処理部１９、合成画像生成部２１、及び、表示部１８０を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＲＯＭ１０２に記憶されているプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、画像処理装置１０は、図２に示されているＨＤＤ１０５によって構築される記憶部１０００を有している。

（画像処理装置の各機能部）
次に、画像処理装置１０の各部を詳細に説明する。画像処理装置１０の送受信部１１は、ネットワークＩ／Ｆ１０９によって実現され、通信ネットワークを介して他の端末、装置又はシステムと各種データ（情報）の送受信を行う。

画像取得部１２は、外部装置Ｉ／Ｆ１１５によって実現され、撮影装置３０が撮影した撮影画像を表す撮影画像データを、ケーブル等を介して撮影装置３０から取得するものである。画像補正部１３は、画像取得部１２で取得された撮影画像データを台形補正等によって補正するものである。

差分画像生成部１４は、画像補正部１３によって補正された撮影画像データが表す撮影画像から、他の拠点で撮影された撮影画像を差し引いた画像を生成するものである。差分画像生成部１４は、輝度補正部１４ａ、差分算出部１４ｂ、輝度値決定部１４ｃによって構成される。輝度補正部１４ａは、画像取得部１２によって取得された撮影画像を形成する各画素の周辺領域の輝度値の平均値に対するその画素の輝度値の比率にホワイトボードの色の輝度値を掛け合わせることにより輝度平均値を算出し、さらに黄色の成分を除去することによって輝度値を補正するものである。なお、黄色の成分を除去する処理は、会議室内の照明によって、ホワイトボードの画像が黄色がかってしまうため、その影響を除去するために実施される。

差分算出部１４ｂは、輝度補正部１４ａが補正した輝度値から、他拠点画像データが表す画像の同じ位置にある画素の輝度値を減じることによって差分輝度値を算出するものである。ここで、他拠点画像データとは、送受信部１１が他の画像処理装置１０から通信ネットワーク５０を介して受信した受信画像データである。輝度値決定部１４ｃは、差分算出部１４ｂが算出した差分輝度値に基づいて、新たに生成する差分画像の輝度値を決定するものである。

無人判定部１５は、後述する合成画像生成部２１によって生成された合成画像のうち、描画対象物２０を除くものが撮影されていない合成画像を無人画像として決定するものである。描画対象物２０を除くものとは、たとえば、描画対象物２０に描画画像を書き込む人物等である。無人判定部１５は、輝度取得部１５ａ、差分判定部１５ｂ、輝度変化画素数判定部１５ｃによって構成される。輝度取得部１５ａは、差分画像生成部１４が生成した差分画像の各画素の輝度を取得する。差分判定部１５ｂは、輝度取得部１５ａが連続する２枚の画像についてそれぞれ取得した輝度の差分が閾値を超えているか否かを判定する。輝度変化画素数判定部１５ｃは差分判定部１５ｂで輝度が閾値を超えているとされた画素の数が所定数以上であるか否かを判定し、所定数以上である場合にはその画像を無人画像でないとし、所定数以下である場合にはその画像を無人画像とする。

代表画像決定部１６は、無人判定部１５で決定された無人画像のうち、同じ画像を表している無人画像をグループ化し、そのグループに属する無人画像のうち一の無人画像を代表画像として決定するものである。代表画像決定部１６は、同一判定部１６ａ、グループ決定部１６ｂによって構成される。同一判定部１６ａは、無人判定部１５で判定された無人画像が、直前に撮影された無人画像と同一であるか否かを判定する。ここで、直前に撮影された無人画像とは対応する画像ＩＤが直前のものである無人画像とする。グループ決定部１６ｂは、同一判定部１６ａでの決定に基づいて同一である無人画像には同一のグループＩＤが付与されるように無人画像のグループＩＤを決定する。このように無人画像にグループＩＤを付与することをグループ化という。このようにして代表画像決定部１６はグループＩＤが同一の無人画像のうち任意の一の画像を代表画像と決定する。

キーフレーム画像決定部１７は、代表画像決定部１６で決定された代表画像のうち、撮影によって経時的に変化する描画量が極大となる画像をキーフレーム画像として決定するものである。経時的に変化する描画量が極大となるとは、画像の描画量が、直前に撮影された画像の描画量より大きく、かつ、直後に撮影された画像の描画量より大きいことを意味する。

キーフレーム画像決定部１７は、描画量算出部１７ａ、描画量判定部１７ｂによって構成される。描画量算出部１７ａは、代表画像決定部１６で決定された代表画像の描画量を算出する。ここで、また、描画量とは、描画領域２０１内にある各画素のうち、輝度値が所定の閾値より低い画素の数量である。描画量判定部１７ｂは、描画量算出部１７ａで算出された描画量が、直前に撮影された代表画像の描画量、及び直後に撮影された代表画像の描画量より多いか否かを判定し、多いと判定した場合には、その代表画像をキーフレーム画像とする。

表示制御部１８ａは、図２に示されているディスプレイＩ／Ｆ１０８によって実現され、後述する表示部１８０に対して画像を表示させるための制御を行う。音声出力制御部１８ｂは、図２に示されているスピーカーＩ／Ｆ１１６によって実現され、図示しないスピーカーに音声を出力させるための制御を行う。

表示部１８０は、図２に示されているディスプレイ１１７によって実現され、表示制御部１８ａの制御によって画像を表示するものである。

また、記憶・読出処理部１９は、図２に示すＨＤＤ１０５として実現されている記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出したりする。記憶部１０００には、カメラによって撮影された撮影画像を表す撮影画像データを記憶する撮影画像記憶部１００１、他拠点から受信した受信画像データを記憶する受信画像記憶部１００２がある。また、記憶部１０００には、自拠点画像管理テーブルによって構成されている自拠点画像管理ＤＢ１００３(Ｄａｔａ Ｂａｓｅ)、他拠点画像管理テーブルによって構成されている他拠点画像管理ＤＢ１００４、合成画像管理テーブルによって構成されている合成画像管理ＤＢ１００５が構築されている。

合成画像生成部２１は、自拠点画像管理ＤＢ１００３に記憶されている撮影画像データが表す撮影画像と、他拠点画像管理ＤＢ１００４に管理されている受信画像データが表す受信画像とを合成することによって合成画像を生成するものである。

（自拠点画像管理テーブル）
記憶部１０００には、図４に示されているような自拠点画像テーブルによって構成されている自拠点画像管理ＤＢ(Ｄａｔａ Ｂａｓｅ)１００３が構築される。この自拠点画像管理テーブルでは、画像を一意に識別する画像ＩＤごとに、画像名が対応付けられて記憶されている。例えば、図４に示されている自拠点画像管理テーブルにおいて、画像ＩＤ「１」の画像は画像名「Ａ００００１．ｊｐｇ」であることを表している。ここで、画像ＩＤは撮影装置によって撮影され、後述する差分画像が生成された順に昇順に付与されるものとする。具体的には、最初に生成された画像の画像ＩＤが「１」、次に生成された画像の画像ＩＤが「２」となり、以降、順に１を加えた値を画像ＩＤとする。

（他拠点画像管理テーブル）
記憶部１０００には、図５に示されているような他拠点画像テーブルによって構成されている他拠点画像管理ＤＢ１００４が構築される。この他拠点画像管理テーブルでは、他拠点から受信した画像を一意に識別する画像ＩＤごとに、画像の名称を表す画像名が対応付けられて記憶されている。例えば、図５に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「Ｂ００００１．ｊｐｇ」であることを表している。

ここでは、自拠点と他拠点で交互に画像が取得されるものとし、自拠点で撮影された画像を識別する画像ＩＤを「１」、次に他拠点で撮影された画像の画像ＩＤを「１」、続いて、自拠点で撮影された画像の画像ＩＤを「２」、次に他拠点で撮影された画像の画像ＩＤを「２」とする。このようにすることによって、各拠点で撮影された順に画像ＩＤが付与されることになり、また、自拠点で撮影された画像と、その直後に他拠点で撮影された画像には同じＩＤが付与されることになる。

（合成画像管理テーブル）
記憶部１０００には、図６に示されているような合成画像テーブルによって構成されている合成画像管理ＤＢ１００５が構築される。この合成画像管理テーブルでは、合成画像を一意に識別する画像ＩＤごとに、画像名、無人画像であるか否かを表す無人フラグ、同一の画像をグループ化したグループＩＤ、代表画像であるか否かを表す代表フラグ、キーフレーム画像であるか否かをあらわすキーフレームフラグ、及び、描画量が対応付けられて記憶されている。記憶部１０００には、合成画像が無人画像である場合には「ｔｒｕｅ」、無人画像でない場合には「ｆａｌｓｅ」が記憶される。また、記憶部１０００には、合成画像が代表画像である場合には「ｔｒｕｅ」、代表画像でない場合には「ｆａｌｓｅ」が記憶される。また、記憶部１０００には、合成画像がキーフレーム画像である場合には「ｔｒｕｅ」、キーフレーム画像でない場合には「ｆａｌｓｅ」が記憶される。例えば、図６に示されている画像データ管理テーブルにおいて、画像ＩＤ「１」の画像は、画像名「ｍｅｒｇｅ００００１．ｊｐｇ」、無人フラグ「ｔｒｕｅ」、グループＩＤ「１」、代表フラグ「ｔｒｕｅ」、キーフレームフラグ「ｆａｌｓｅ」、描画量「３８００」であることを表している。

＜＜実施形態の処理・動作＞＞
以上が、本実施形態に係る画像処理システム１の構成及び機能（又は手段）の説明であり、続いて、図７乃至図１３を用いて、本実施形態に係る画像処理システム１における処理方法を説明する。なお、図７は、画像処理システムの処理を表すシーケンス図である。図８は、各画像データが表す画像の例である。図９は、差分画像を生成する処理を示した処理フロー図である。図１０は、無人判定処理を示した処理フロー図である。図１１は、本実施形態に係る画像処理システムの処理によって、決定される画像を示す概念図である。図１２は、代表画像を決定する処理で実施される無人画像をグループ化する処理を示した処理フロー図である。図１３は、キーフレーム画像を決定する処理を示した処理フロー図である。

図７を用いて、本実施形態に係る画像処理システム１の処理を説明する。撮影装置３０ａとしてのビデオカメラが描画対象物２０ａとしてのホワイトボード及びホワイトボードの前方にある光景を撮影して、撮影画像データａを生成する（ステップＳ１）。この撮影画像データａが表す撮影画像ａは図８（１）に示すように、拠点Ａで描かれた描画像「あ」と、拠点Ｂで描かれ、拠点Ａのプロジェクタ４０ａによって映し出されている描画像「い」を撮影した画像である。ここでの描画像「い」は拠点Ｂのカメラで撮影されたものをプロジェクタで映しているため、拠点Ｂのホワイトボードで直接見るものより、画質が劣化している。

次に、画像取得部１２が、ステップＳ１で撮影装置３０ａによって生成された撮影画像ａを表す撮影画像データａと、撮影画像データａを一意に識別する画像ＩＤを取得する（ステップＳ２）。画像ＩＤは撮影装置３０ａによって撮影された画像に基づいて後述する差分画像が生成された順に昇順に付与されるものとする。具体的には、最初に生成された撮影画像の画像ＩＤが「１」、次に生成された画像の画像ＩＤが「２」とされ、以降、順に１を加えた値が画像ＩＤとされる。

次に、画像補正部１３が、ステップＳ２で画像取得部１２によって取得された画像データａを台形補正等により補正する（ステップＳ３）。

そして、差分画像生成部１４が、ステップＳ３で補正された画像データａが表す画像ａから、拠点Ｂの画像処理装置１０ｂから受信された受信画像データｂが表す受信画像ｂを差し引いた差分画像（ａ−ｂ）を表す差分画像データ（ａ−ｂ）を生成する（ステップＳ４）。この処理について図９を用いて説明する。

まず、記憶・読出処理部１９が、ステップＳ２で取得された撮影画像データａの画像ＩＤを検索キーとして、他拠点画像管理ＤＢ１００４に記憶されている受信画像データｂを読み出す（ステップＳ４１）。ここで受信画像データｂは、あらかじめ拠点Ｂの画像処理装置１０ｂから、描画対象物２０ｂを撮影した撮影画像データｂが送信され（ステップＳ５’）たものである。撮影画像データｂを拠点Ａの画像処理装置１０ａの送受信部１１が受信画像データｂとして受信し（ステップＳ５’）、記憶・読出処理部１９が他拠点画像管理ＤＢ１００４に他拠点画像データとして記憶させてあるものとする（ステップＳ６’）。なお、ここで、拠点Ｂから送信される受信画像データｂは、後述する拠点Ａの画像処理装置１０ａで実施されるステップＳ１からステップＳ４の処理と同様の処理を経ているものである。また、ステップＳ５’、ステップＳ６’の処理は、それぞれ後述するステップＳ５、ステップＳ６と同様の処理である。つまり、画像データｂは、図８（２）に示されるように、拠点Ｂのホワイトボードに描かれた描画像「い」が描画されている画像である。

そして、差分算出部１４ｂは、ステップＳ３で台形補正された画像データａが表す画像ａの各画素の輝度値から、ステップＳ４１で読み出された受信画像データｂが表す受信画像ｂの同じ位置にある画素の輝度値を減じた値を差分値として算出する（ステップＳ４２）。次に、差分算出部１４ｂは、差分値が所定の閾値より大きいか否かを判定する（ステップＳ４３）。ステップＳ４３で、差分値が閾値より大きいと判定された場合には、その差分値を定数倍する等の所定の処理により増加させた値が差分画像の該当の位置の画素の輝度値となる（ステップＳ４４）。ステップＳ４３で、差分値が閾値より小さいと判定された場合には、背景となる画素の輝度値より高い所定の値が差分画像の該当の位置の画素の輝度値となる（ステップＳ４５）。このようにして得られた差分画像の画素の輝度値にホワイトボードの色の輝度値を加算する（ステップＳ４６）。ステップＳ４１からステップＳ４６までの処理を全ての画素に対して実施し、各画素に対して輝度値が決定された画像が差分画像（ａ−ｂ）（以降、差分画像ａ’という。）となる。差分画像ａ’は、図８（３）に示されるように、拠点Ａのホワイトボードに描かれた描画像「あ」が描画されている画像となる。これにより、劣化している描画像「い」が取り除かれ、拠点Ａのカメラでのみ撮影された劣化していない描画像「あ」だけが残った画像となる。

このようにして生成された差分画像ａ’を表す差分画像データａ’を、送受信部１１が通信ネットワーク５０を介して拠点Ｂの画像処理装置１０ｂに対して送信する（ステップＳ５）。画像処理装置１０ｂの送受信部１１は受信した差分画像データａ’を他拠点画像データとして、画像処理装置１０ｂの他拠点画像管理ＤＢ１００４に記憶する（ステップＳ６）
一方、ステップＳ４で生成された差分画像を表す差分画像データａ’は、画像処理装置１０ａの記憶・読出処理部１９によって、自拠点差分画像データａ’として自拠点画像管理ＤＢ１００３に画像ＩＤと関連付けて記憶される。

上述のように自拠点で撮影された全ての撮影画像から自拠点差分画像データａ’が生成され、全ての自拠点差分画像データａ’が自拠点画像管理ＤＢ１００３に記録され、同様にして他拠点で撮影された他拠点画像データｂ’が他拠点画像管理ＤＢ１００４に記録されると、記憶・読出処理部１９が、他拠点画像管理ＤＢ１００４に記憶されている他拠点差分画像データｂ’から、自拠点差分画像データａ’と同一の画像ＩＤである他拠点差分画像データｂ’を抽出する。そして、合成画像生成部２１が、自拠点差分画像データａ’が表す自拠点差分画像ａ’と他拠点差分画像データｂ’が表す他拠点差分画像ｂ’との合成画像（ａ’＋ｂ’）を生成する（ステップＳ７）。生成された合成画像（ａ’＋ｂ’）を表す合成画像データ（ａ’＋ｂ’）は、記憶・読出処理部１９によって合成画像管理ＤＢ１００５に記憶される。

続いて、ステップＳ５で生成された合成画像データ（ａ’＋ｂ’）が表す合成画像（ａ’＋ｂ’）に対して、無人判定部１５及び記憶・読出処理部１９が、ホワイトボード上に描かれた描画画像２００以外の撮影対象物が含まれるか否かを判定する無人判定処理を実施する（ステップＳ８）。無人判定処理の詳細を、図１０を用いて説明する。ステップＳ５で生成された合成画像データ（ａ’＋ｂ’）が表す合成画像（ａ’＋ｂ’）の画素ごとの輝度を、輝度取得部１５ａが取得する（ステップＳ８１）。輝度が取得されると、差分判定部１５ｂは合成画像（ａ’＋ｂ’）の各画素の輝度と、合成画像（ａ’＋ｂ’）の画像ＩＤの直前の画像ＩＤである合成画像の同じ位置にある画素の輝度との差分を算出し、その差分が閾値を超えているか否か判定する（ステップＳ８２）。続いて、輝度変化画素数判定部１５ｃが、それぞれの合成（ａ’＋ｂ’）画像に対して算出された輝度の差分が閾値を超えている画素を輝度変化画素としてその数を算出し（ステップＳ８３）、輝度変化画素の数が所定の値を超えているか判定する（ステップＳ８４）。ステップＳ８４で、輝度変化画素の数が所定の値を超えていると判定された場合、合成画像（ａ’＋ｂ’）は無人でないとされ、記憶・読出処理部１９が、その合成画像（ａ’＋ｂ’）に対応している無人フラグの値を「ｆａｌｓｅ」とする（ステップＳ８５）。ステップＳ８４で輝度変化画素の数が所定の値以下である場合、合成画像（ａ’＋ｂ’）は無人であるとされ、記憶・読出処理部１９は、その画像に対応している無人フラグの値を「ｔｒｕｅ」とする（ステップＳ８６）。無人判定部１５及び記憶・読出処理部１９は、ステップＳ８１からステップＳ８６までの処理を、もっとも小さい画像ＩＤの合成画像を除く、全ての合成画像に対して実施する。

図１１（１）乃至図１１（５）に示されるＦ１乃至Ｆ１０は描画対象物２０の状態を表している。時間が経過するとともにＦ１、Ｆ２、・・・Ｆ１０の順に描画対象物２０に描画されている文字が変化する様子を表しているものである。また、Ｆ２、Ｆ５、Ｆ８では、描画対象物２０の前方に人物がいることを示している。ステップＳ７で図１１の（１）に示されるＦ１乃至Ｆ１０の合成画像が生成され、ステップＳ８で人物が撮影されている合成画像Ｆ２、Ｆ５、Ｆ８を除いた合成画像が、図１１の（２）に示されるように抽出されることになる。

次に、対応する無人フラグが「ｔｒｕｅ」である合成画像（以降、無人合成画像という。）のうち、前に生成された無人合成画像と変化がないものをグループ化し、同じグループの無人合成画像の中から一の画像を代表画像と決定する処理を実施する（ステップＳ９）。グループ化する処理の詳細を、図１２を用いて説明する。合成画像管理ＤＢ１００５に記憶されている無人合成画像が、その画像の画像ＩＤの、直前の画像ＩＤの無人合成画像と同一であるかを、同一判定部１６ａが判定する（ステップＳ９１）。ここで、無人合成画像が同一であるか否かを判定する方法としてはテンプレートマッチング等の技術が用いられる。また、ブロックマッチング法を用いて、描画対象物に描かれている描画像に変化はないが、その位置がずれている画像を同一の画像として判定することにより、より精度の高い判定を行うことができる。ステップＳ９１で、無人合成画像が直前の画像ＩＤの無人合成画像と同一であると判定された場合には、グループ決定部１６ｂは、直前の画像ＩＤである無人合成画像のグループＩＤと同じグループＩＤである「１」として決定し、記憶・読出処理部１９が合成画像管理ＤＢ１００５に、その合成画像に関連付けて記憶する（ステップＳ９２）。ステップＳ９１で、無人合成画像が直前のグループＩＤの無人合成画像と同一でないと判定された場合には、グループ決定部１６ｂは、判定対象の無人合成画像に対応するグループＩＤを、直前のグループＩＤに１を加算した「２」として決定し、この値を記憶・読出処理部１９が合成画像管理ＤＢ１００５に記憶する（ステップＳ９３）。ステップＳ９１からステップＳ９３までの処理を、もっとも小さい画像ＩＤの無人合成画像を除く、全ての無人合成画像に対して実施する。これにより、図１１の（３）に示すように、無人合成画像のうち、無人合成画像Ｆ１のグループＩＤは「１」、無人合成画像Ｆ３及びＦ４のグループＩＤは「２」、無人合成画像Ｆ６及びＦ７のグループＩＤは「３」、無人合成画像Ｆ９及びＦ１０のグループＩＤは「４」となる。

このようにして、全ての無人合成画像に対してグループＩＤを付与することにより、同一のグループＩＤを付与された無人合成画像は同一のグループに属するとされる。このようなグループ化の処理を終えると、記憶・読出処理部１９は、同じグループの合成画像のうち、もっとも画像ＩＤが小さい無人合成画像を代表合成画像として、合成画像管理テーブルの対応する代表フラグを「ｔｒｕｅ」とする。記憶・読出処理部１９は、同じグループの合成画像のうち、もっとも画像ＩＤが小さい無人合成画像以外の合成画像に対応する代表フラグ「ｆａｌｓｅ」を合成画像管理ＤＢ１００５にその合成画像に関連付けて記憶する。これにより、図１１の（４）に示すように、合成画像Ｆ３、Ｆ６、及びＦ９が代表画像として抽出される。

次に、ステップＳ４で決定された代表合成画像のうち、キーフレーム合成画像を決定する処理を実施する（ステップＳ１０）。キーフレーム合成画像を決定する処理の詳細を、図１３を用いて説明する。まず、描画量算出部１７ａが、代表合成画像の描画量を算出する（ステップＳ１０１）。ここで、描画量の算出は輝度が閾値を超えている画素の数をカウントすることによって行われる。そして、描画量判定部１７ｂが、その代表合成画像の直前の画像ＩＤの代表合成画像の描画量より大きいか否かを判定する（ステップＳ１０２）。ステップＳ１０１で、代表合成画像の描画量が直前の画像ＩＤである代表画像の描画量より大きい場合には、描画量判定部１７ｂは、その代表合成画像が、直後の画像ＩＤである代表画像の描画量より大きいか否かを判定する（ステップＳ１０３）。代表画像の描画量が直後の画像ＩＤである代表画像の描画量より大きい場合には、その代表合成画像がキーフレーム合成画像とされ、記憶・読出処理部１９が、画像データ管理テーブルの対応するキーフラグ「ｔｒｕｅ」を記憶する（ステップＳ１０４）。一方、ステップＳ１０２で、代表合成画像の描画量が直前の画像ＩＤである代表合成画像の描画量以下である場合には、記憶・読出処理部１９は、合成画像管理ＤＢにその合成画像に関連付けてキーフレームフラグ「ｆａｌｓｅ」を記憶する（ステップＳ１０５）。ステップＳ１０３で、合成画像の描画量が直前の画像ＩＤである画像の描画量以下である場合には、記憶・読出処理部１９は、合成画像データ管理テーブルの対応するキーフラグ「ｆａｌｓｅ」とする（ステップＳ１０５）。ステップＳ１０１からステップＳ１０５までの処理を、もっとも小さい画像ＩＤの代表合成画像を除く、全ての代表合成画像に対して実施する。これにより、図１１の（５）に示すように、画像Ｆ３及びＦ９がキーフレーム合成画像として決定される。

＜＜実施形態の主な効果＞＞
以上説明したように本実施形態によれば、撮影装置で撮影された画像から他拠点より受信された画像を取り除いた画像を用いて合成画像を生成するので、１回だけカメラで撮影された描画像が用いられることになるため、画像品質の劣化が発生せず、キーフレーム画像を正確に抽出することができる。

＜＜実施形態の補足＞＞
本実施形態では、グループ化する処理及びキーフレーム合成画像を決定する処理において、各画像と、その画像ＩＤの直前の画像ＩＤである画像とに基づいて処理しているが、合成画像が生成された時間情報を合成画像管理ＤＢ１００５に記憶し、その時間情報を用いることによって、各画像と、直前に生成された画像とに基づいて処理してもよい。

また、キーフレーム合成画像を決定する処理において、各合成画像と、その画像ＩＤの直後の画像ＩＤである合成画像とに基づいて処理しているが、合成画像が生成された時間情報を合成画像管理ＤＢ１００５に記憶し、その時間情報を用いることによって各合成画像と、その直後に生成された合成画像とに基づいて処理してもよい。

また、画像処理装置１０ａによって成された差分画像データａ’、画像処理装置１０ｂ’によって生成された差分画像データｂ’を図示しない画像処理サーバに通信ネットワーク５０を介して送信し、画像処理サーバが合成画像を生成する処理、及び、それ以降の処理を行ってもよい。

また、代表合成画像を決定する処理において、同一のグループＩＤである無人合成画像のうち、もっとも画像ＩＤの小さい無人合成画像を代表画像としたが、同一のグループＩＤを有する無人合成画像のうち、任意の一の無人合成画像を代表画像としてもよい。

また、無人フレーム抽出処理の詳細において、輝度取得部１５ａは、画像フレームが表す画像の周辺領域２０２内の、画素ごとの輝度を取得してもよい。周辺領域２０２の前面に描画する人が存在する場合が多いため、このように周辺領域２０２の輝度を測定するだけで、人のいる画像フレームであるか否かを判定するには十分であり、このようにすることで、描画領域２０１及び周辺領域２０２の画素の輝度を測定するより、処理量が減少し、ＣＰＵの負荷の低減を図ることができる。

また、黒板等の黒い描画対象物２０に白いペンやチョーク等で描画画像２００を形成する場合にも適用できる。この場合、描画量とは、描画領域２０１内にある各画素のうち、輝度値が所定の閾値より高い画素の数量とする。

また、撮影装置３０から取得した撮影画像データを用いて差分画像生成処理を実施しているが、撮影装置３０から取得した撮影画像データを撮影画像記憶部１００１に記憶しておいてもよい。その場合、撮影画像記憶部１００１から読み出した撮影画像データを用いて差分画像生成処理を実行することとなる。

同様に、他拠点から受信した受信画像データをいったん受信画像記憶部１００２に記憶しておいてもよい。その場合、受信画像記憶部１００２から読み出した受信画像データを用いて差分画像生成処理を実施し、また、読み出された受信画像データは他拠点画像管理ＤＢ１００４に記憶されることになる。

１０ 画像処理装置
１１ 送受信部
１２ 画像取得部
１３ 画像補正部
１４ 差分画像生成部
１４ａ 輝度補正部
１４ｂ 差分算出部
１４ｃ 輝度値決定部
１５ 無人判定部
１５ａ 輝度取得部
１５ｂ 差分判定部
１５ｃ 輝度変化画素数判定部
１６ 代表画像決定部
１６ａ 同一判定部
１６ｂ グループ決定部
１７ キーフレーム画像決定部
１７ａ 描画量算出部
１７ｂ 描画量判定部
１８ａ 表示制御部
１８ｂ 音声出力制御部
１９ 記憶・読出処理部
２０ 合成画像生成部
１０００ 記憶部
１００１ 撮影画像記憶部
１００２ 受信画像記憶部
１００３ 自拠点画像管理ＤＢ
１００４ 他拠点画像管理ＤＢ
１００５ 合成画像管理ＤＢ
２０ 描画対象物
２００ 描画画像
２０１ 描画領域
２０２ 周辺領域
３０ 撮影装置
４０ プロジェクタ
５０ 通信ネットワーク

特開２００４−０８０７５０公報

Claims (8)

1. 撮影された画像を表す撮影画像データを取得する撮影画像データ取得手段と、
   他の画像処理装置から受信画像データを受信する受信画像データ受信手段と、
   前記撮影画像データ取得手段によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信手段によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す第一の差分画像データを生成する差分画像データ生成手段と、
   他の画像処理装置の差分画像データ生成手段によって生成された第二の差分画像データを受信する差分画像データ受信手段と、
   前記差分画像データ生成手段によって生成された前記第一の差分画像データと前記差分画像データ受信手段によって受信された前記第二の差分画像データとを用いて合成画像データを生成する合成画像データ生成手段と、
   前記合成画像データ生成手段によって生成された前記合成画像データから、前記合成画像データが表す合成画像の経時的に変化する描画量が極大であるキーフレーム画像データを抽出するキーフレーム画像データ決定手段と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記合成画像の周辺領域の画像に変化がない無人フレームを抽出する無人フレーム抽出手段を有し、
   前記キーフレーム画像データ決定手段は、前記無人フレーム抽出手段で抽出された複数の合成画像データが表す合成画像の描画量が時間に対して極大であるキーフレーム画像データを決定することを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記無人画像データ抽出手段によって抽出された画像のうち、同一の画像であるものをグループ化するグループ化手段を備え、
   前記キーフレーム画像データ決定手段は、前記グループ化手段でグループ化された画像を代表する代表画像から描画量が時間に対して極大であるキーフレーム画像を表すキーフレーム画像データを決定することを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか一項に記載の画像処理装置であって、
   前記描画量は、前記画像の画素のうち輝度が所定の閾値より低い画素の数であることを特徴とする画像処理装置。
5. 画像処理装置が実行する画像処理プログラムであって、
   撮影された画像を表す撮影画像データを取得する撮影画像データ取得工程と、
   他の画像処理装置から受信画像データを受信する受信画像データ受信工程と、
   前記撮影画像データ取得工程によって取得された前記撮影画像データが表す撮影画像から、前記受信画像データ受信工程によって受信された前記受信画像データが表す受信画像を除去した差分画像を表す第一の差分画像データを生成する差分画像データ生成工程と、
   他の画像処理装置の差分画像データ生成工程によって生成された第二の差分画像データを受信する差分画像データ受信工程と、
   前記差分画像データ生成工程によって生成された前記第一の差分画像データと前記差分画像データ受信工程によって受信された前記第二の差分画像データとを用いて合成画像データを生成する合成画像データ生成工程と、
   前記合成画像データ生成工程によって生成された前記合成画像データから、前記合成画像データが表す合成画像の描画量が時間に対して極大であるキーフレーム画像データを抽出するキーフレーム画像データ決定工程と、
   を前記画像処理装置に実行させることを特徴とする画像処理プログラム。
6. 請求項５に記載の画像処理プログラムであって、
   前記合成画像の周辺領域の画像に変化がない無人フレームを抽出する無人フレーム抽出工程を画像処理装置に実行させ、
   前記キーフレーム画像データ決定工程は、前記無人フレーム抽出工程で抽出された複数の合成画像データが表す合成画像の描画量が時間に対して極大であるキーフレーム画像データを決定することを特徴とする画像処理プログラム。
7. 請求項６に記載の画像処理プログラムであって、
   前記無人画像データ抽出工程によって抽出された画像のうち、同一の画像であるものをグループ化するグループ化工程を前記画像処理装置に実行させ、
   前記キーフレーム画像データ決定工程は、前記グループ化工程でグループ化された画像を代表する代表画像から描画量が時間に対して極大であるキーフレーム画像を表すキーフレーム画像データを決定することを特徴とする画像処理プログラム。
8. 請求項５乃至７のいずれか一項に記載の画像処理プログラムであって、
   前記描画量は、前記画像の画素のうち輝度が所定の閾値より低い画素の数であることを特徴とする画像処理プログラム。

Images