JP2011028327A

JP2011028327A - 画像処理装置、制御方法及びプログラム

Info

Publication number: JP2011028327A
Application number: JP2009170437A
Authority: JP
Inventors: Hidekuni Yasunaka; 英邦安中
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-07-21
Filing date: 2009-07-21
Publication date: 2011-02-10
Anticipated expiration: 2029-07-21
Also published as: JP5481988B2

Abstract

【課題】時系列画像からその時系列画像の中で静止した静止差分画像を生成することが可能な画像処理装置を提供する。
【解決手段】静止差分初期化部（101）は、静止差分画像の画素値を未割り当てにする。背景初期化部（102）は、時系列画像の変動を検知するための背景画像の画素値を未割り当てにする。背景差分生成部（104）は、時系列画像入力部（103）から入力された時系列画像と、背景初期化部（102）で未割り当てにした背景画像と、の画素値を比較し、時系列画像と背景画像とで画素値が異なる差分画素を生成する。画像生成部（105）は、背景差分生成部（104）が生成した差分画素の画素値を基に、時系列画像入力部（103）から入力された時系列画像の画素値の変動を検知し、時系列画像の中で静止した静止差分画像を生成する。
【選択図】図１

Description

本発明は、時系列画像からその時系列画像の中で静止した静止差分画像を生成する技術に関する。

従来、手書きの文字や図形をコンピュータに入力する場合は、タブレット等の手書入力装置が用いられてきた。

手書入力装置は、専用のペンやスタイラスなどの入力手段を入力面で移動させることで、圧力や電磁誘導や静電容量の変化を検知し、書き込みの軌跡の情報を取得し、表示装置に情報を表示している。

また、手書入力装置に表示機能を持たせたタッチパネルは、入力面に表示機能を併せ持ち、書き込んだ内容が直感的にすぐに見えるという利点があり、携帯端末や電子ホワイトボードなどに用いられている。

また、軌跡のストロークの書き順等から、書き込み途中で類似する文字の候補を表示する等の機能を持たせることも可能である。また、会議中にネットワークで遠隔地に書き込みをリアルタイムで転送し、会議内容の共有を図る装置もある。

しかし、専用のペンを用いる為、入力にある程度の慣れが必要である。例えば、ペンの先が正しい軌跡を描いたとしても、ペン先の検出タイミングよりも速くペンを移動させてしまうと、正しく軌跡を検出できないという問題がある。また、入力手段や入力面の仕組みが複雑であるため、装置の製造コストが大きいという問題がある。

一方、一部の電子ホワイトボードには、光学撮影装置を用いて書き込みを記録するものがある。光学撮影装置を用いると、入力に対して専用のペンやスタイラスや特殊な入力面が必要ない。また、通常のマーカ等で書き込みが可能なので入力が容易であり、それほど製造コストが大きくないという利点がある。

しかし、入力面の前面から撮影する種類の場合は、書き込みを行っている最中に撮影を行うと、人物や腕などによるオクルージョンが発生し、一部の書き込みが隠れてしまう問題がある。そのため、書き込みが全て終わった後に撮影する必要がある。

また、入力面の背面から撮影する種類もあるが、撮影時には入力面の前面から入射する光を利用するため、やはり、人物による影ができるという問題がある。

また、いずれも装置が大掛かりであり、卓上で紙に書いたメモを記録するような用途には不向きである。

ところで、近年になって高い解像度を持つ動画撮影装置が広く用いられるようになり、文字や図形等を撮影した場合にも、視認可能な品質で記録できるようになってきた。

動画を用いて書き込みを撮影すると、書き込みを行っている最中に撮影を行っても、時間帯によって動画の各フレームにおいて人物や腕によるオクルージョンが起きる場所が変化する。そのため、複数のフレームを確認すれば、書き込みが隠れるという問題を軽減できる。しかし、複数のフレームを確認することは面倒である。

また、遠隔地に書き込みをリアルタイムに転送しようとすると、人物を含む撮影動画全体を転送するのはデータ量が大きい。

一方、書き込みになんらかの画像処理や編集を適用することを考えると、書き込みのみを抽出し、文字や行などの単位で扱うことが考えられる。そのため、OCRでは文字や行の区切りを検出する技術を用いている。

なお、本発明より先に出願された技術文献として、画素分布のヒストグラムを導出して行間を検出する技術について開示された文献がある（例えば、特許文献１参照）。

また、縮小画像の黒画素に外接する矩形を導出し、文字間や行間を検出する技術について開示された文献がある（例えば、特許文献２参照）。

また、講義をビデオカメラで撮影し、板書の文字をベクトル化し、視認性を向上してWEBコンテンツに埋め込む技術について開示された文献がある（例えば、特許文献３参照）。

また、タッチパネルなどの文字入力装置を使い、記入文字の削除や追加、置換、強調などの変更作業を可能する技術について開示された文献がある（例えば、特許文献４参照）。

また、タブレットペン、マウス、タッチパネル等によって情報入力枠に入力された手書き文字の文字認識処理・文字整形処理を行って、表示画面上に整形文字を表示する技術について開示された文献がある（例えば、特許文献５、６参照）。

なお、動画による撮影は、１秒につき30フレームの画像（時系列画像）を取得するのが一般的である。しかし、行間や外接矩形を検出する計算コストは小さくない。そのため、フレーム（時系列画像）毎に画像全体でリアルタイムに処理することは困難である。

本発明は、上記課題に鑑みてなされたものであり、時系列画像からその時系列画像の中で静止した静止差分画像を生成することが可能な画像処理装置、制御方法及びプログラムを提供することを目的とする。

かかる目的を達成するために、本発明は、以下の特徴を有することとする。

＜画像処理装置＞
本発明にかかる画像処理装置は、
静止差分画像の画素値を未割り当てにする静止差分初期化手段と、
入力された時系列画像の変動を検知するための背景画像の画素値を未割り当てにする背景初期化手段と、
入力された時系列画像と、前記背景画像と、の画素値を比較し、前記時系列画像と前記背景画像とで画素値が異なる差分画素を生成する背景差分生成手段と、
前記差分画素の画素値を基に、前記時系列画像の画素値の変動を検知し、前記時系列画像の中で静止した静止差分画像を生成する画像生成手段と、
を有することを特徴とする。

本発明にかかる画像処理装置は、
書き込みを表す時系列画像を基に書き込みのグループ領域を導出する画像処理装置であって、
連続する時系列画像を比較し、連続する時系列画像の差分画像を生成する差分画像生成手段と、
前記差分画像に対する書き込みのグループ領域を導出するグループ領域導出手段と、
既に存在する書き込みのグループ領域と、前記差分画像に対する書き込みのグループ領域と、を基に、新たなグループ領域を導出するグループ領域更新手段と、
を有することを特徴とする。

＜制御方法＞
本発明にかかる制御方法は、
画像処理装置で行う制御方法であって、
静止差分画像の画素値を未割り当てにする静止差分初期化工程と、
前記画像処理装置に入力された時系列画像の変動を検知するための背景画像の画素値を未割り当てにする背景初期化工程と、
前記画像処理装置に入力された時系列画像と、前記背景画像と、の画素値を比較し、前記時系列画像と前記背景画像とで画素値が異なる差分画素を生成する背景差分生成工程と、
前記差分画素の画素値を基に、前記時系列画像の画素値の変動を検知し、前記時系列画像の中で静止した静止差分画像を生成する画像生成工程と、
を有することを特徴とする。

本発明にかかる制御方法は、
書き込みを表す時系列画像を基に書き込みのグループ領域を導出する画像処理装置で行う制御方法であって、
連続する時系列画像を比較し、連続する時系列画像の差分画像を生成する差分画像生成工程と、
前記差分画像に対する書き込みのグループ領域を導出するグループ領域導出工程と、
既に存在する書き込みのグループ領域と、前記差分画像に対する書き込みのグループ領域と、を基に、新たなグループ領域を導出するグループ領域更新工程と、
を有することを特徴とする。

＜プログラム＞
本発明にかかるプログラムは、
画像処理装置に実行させるプログラムであって、
静止差分画像の画素値を未割り当てにする静止差分初期化処理と、
前記画像処理装置に入力された時系列画像の変動を検知するための背景画像の画素値を未割り当てにする背景初期化処理と、
前記画像処理装置に入力された時系列画像と、前記背景画像と、の画素値を比較し、前記時系列画像と前記背景画像とで画素値が異なる差分画素を生成する背景差分生成処理と、
前記差分画素の画素値を基に、前記時系列画像の画素値の変動を検知し、前記時系列画像の中で静止した静止差分画像を生成する画像生成処理と、
をコンピュータに実行させることを特徴とする。

本発明にかかるプログラムは、
書き込みを表す時系列画像を基に書き込みのグループ領域を導出する画像処理装置に実行させるプログラムであって、
連続する時系列画像を比較し、連続する時系列画像の差分画像を生成する差分画像生成処理と、
前記差分画像に対する書き込みのグループ領域を導出するグループ領域導出処理と、
既に存在する書き込みのグループ領域と、前記差分画像に対する書き込みのグループ領域と、を基に、新たなグループ領域を導出するグループ領域更新処理と、
を、コンピュータに実行させることを特徴とする。

本発明によれば、時系列画像からその時系列画像の中で静止した静止差分画像を生成することができる。

第１の実施形態の画像処理装置100の構成例を示す図である。第１の実施形態の画像処理装置100の処理動作例を示す図である。静止差分画像のデータ構造例を示す図である。背景画像のデータ構造例を示す図である。時系列画像のデータ構造例を示す図である。差分画素を生成する際の処理動作例を示す図である。差分画素データリストのデータ構造例を示す図である。静止差分画素を生成する際の処理動作例を示す図である。第２の実施形態の画像処理装置100の構成例を示す図である。第２の実施形態の画像処理装置100の処理動作例を示す図である。時系列画像のデータ構造例を示す図である。差分画像のデータ構造例を示す図である。差分画像生成例を示す図である。差分画像に対する書き込みグループ領域を導出する際の処理動作例を示す図である。ヒストグラム生成例を示す図である。座標検出例を示す図である。領域導出例及び領域選択例を示す図である。新たな現在のグループ領域を導出する際の処理動作例を示す図である。グループ領域更新例を示す第１の図である。グループ領域更新例を示す第２の図である。

＜画像処理装置100の構成例＞
まず、図１を参照しながら、本実施形態の画像処理装置100の構成例について説明する。

本実施形態の画像処理装置100は、静止差分初期化部101と、背景初期化部102と、時系列画像入力部103と、背景差分生成部104と、画像生成部105と、を有して構成する。

静止差分初期化部101は、静止差分画像の画素値を未割り当てにする。

背景初期化部102は、入力された時系列画像の変動を検知するための背景画像の画素値を未割り当てにする。

時系列画像入力部103は、時系列画像を入力する。

背景差分生成部104は、時系列画像入力部103から入力された時系列画像と、背景初期化部102で未割り当てにした背景画像と、の画素値を比較し、時系列画像と背景画像とで画素値が異なる差分画素を生成する。

画像生成部105は、背景差分生成部104で生成された差分画素の画素値を基に、時系列画像入力部103から入力された時系列画像の画素値の変動を検知し、時系列画像の中で静止した静止差分画像を生成する。

＜本実施形態の画像処理装置100の処理動作＞
次に、図２を参照しながら、本実施形態の画像処理装置100の処理動作について説明する。

まず、静止差分初期化部101は、静止差分画像を初期化する（ステップS10）。

次に、背景初期化部102は、時系列画像の変動を検知するための背景画像を初期化する（ステップS11）。

次に、時系列画像入力部103は、時系列画像を入力する。時系列画像の入力がなくなった場合は（ステップS12/No）、処理を終了する（End）。

次に、背景差分生成部104は、時系列画像入力部103から入力された時系列画像と、背景初期化部102で未割り当てにした背景画像と、の画素値を比較し、時系列画像と背景画像とで画素値が異なる差分画素を生成する（ステップS13）。

次に、画像生成部105は、背景差分生成部104がステップS13で生成した差分画素の画素値を基に、時系列画像入力部103から入力された時系列画像の画素値の変動を検知し、時系列画像の中で静止した静止差分画像を生成する（ステップS14）。

次に、ステップS10〜ステップS14の各工程の処理動作について詳細に説明する。

＜ステップS10＞
まず、静止差分初期化部101は、静止差分画像を初期化する（ステップS10）。

図３に静止差分画像のデータ構造を示す。静止差分画像は、入力画像と同じ解像度（本実施形態では、1920x1080）を持ち、RGBの値（本実施形態では、それぞれ0〜255）で構成する。

ステップS10の静止差分画像の初期化は、画素値割り当てフラグを全て未割り当て（false）にする。

画素値割り当てフラグは、静止差分画像の各画素が処理を反映して画素値を割り当てたものなのか、未割り当てなのかを示すフラグである。

なお、本実施形態では、画素値割り当てフラグは、true/falseを表す真理値を用いることにする。但し、画素値に負の数を割り当てることも可能である。また、色信号としてRGBの各8ビットを用いるが、入力画像に応じたビット数を用いることも可能である。また、ビデオカメラによってはYUVを用いることもあるが、画素値にYUVの値を保持することも可能である。また、画像を2次元配列で表現しているが、1次元配列で表現することも可能である。

＜ステップS11＞
次に、背景初期化部102は、時系列画像の変動を検知するための背景画像を初期化する（ステップS11）。

図４に背景画像のデータ構造を示す。背景画像は、入力画像と同じ解像度（本実施形態では、1920x1080）を持ち、RGBの値（本実施形態では、それぞれ0〜255）で構成する。

ステップS11の背景画像の初期化は、画素値割り当てフラグを全て未割り当て（false）にする。

画素値割り当てフラグは、背景画像の各画素が入力画像を反映して画素値を割り当てたものなのか、未割り当てなのかを示すフラグである。

＜ステップS12＞
次に、時系列画像入力部103は、時系列画像を入力する。時系列画像の入力がなくなった場合は（ステップS12/No）、処理を終了する（End）。

図５に時系列画像のデータ構造を示す。時系列画像は、ビデオカメラで獲得されるリアルタイム映像を利用してもよいし、既に撮影された過去の映像を再生して利用してもよい。本実施形態では、PCに接続されたUSBカメラからリアルタイムで解像度1920x1080の画像を入力するものとする。単位時間当たりのフレーム数に限定はないが、フレーム数に応じて静止しているかどうかの判定を調整する必要がある。各画素は、RGBそれぞれ8ビットとする。また、画像を2次元配列で表現しているが、1次元配列で表現することも可能である。

＜ステップS13＞
次に、背景差分生成部104は、時系列画像入力部103から入力された時系列画像と、背景初期化部102で未割り当てにした背景画像と、の画素値を比較し、時系列画像と背景画像とで画素値が異なる差分画素を生成する（ステップS13）。

図６に差分画素を生成する際の処理動作を示す。背景画像の各画素に対して処理を行う。

まず、背景差分生成部104は、背景画像の画素の中で未処理の画素が存在するか否かを判定し（ステップS1301）、未処理の画素が存在する場合は（ステップS1301/Yes）、画素値割り当てフラグを基に、対象とする画素が未割り当てか否かを判定する（ステップS1302)。

対象とする画素が未割り当ての場合は（ステップS1302/Yes）、背景差分生成部104は、その未割り当ての画素に対し、入力された時系列画像の画素値、時系列画像の座標、時系列画像のフレームIDを差分画素データとしてリストに追加する（ステップS1303）。図７に差分画素データリストのデータ構造を示す。

また、対象とする画素が割り当て済みの場合は（ステップS1302/No）、背景差分生成部104は、背景画像と時系列画像との画素値を比較し、その画素値の差が所定の閾値以上であり（S1304/Yes）、かつ、その割り当て済みの画素の座標に対応する差分画素データが存在しない場合は（S1305/Yes）、その割り当て済みの画素に対し、入力された時系列画像の画素値、時系列画像の座標、時系列画像のフレームIDを差分画素データとしてリストに追加する（ステップS1306)。

本実施形態では、座標を2次元配列に対応するＸとＹにより表現しているが、1次元配列に対応する単一の値で表現してもよい。また、フレームIDは、差分画素データを生成してからの相対的な経過時間を知るための情報であれば何でもよく、差分画素データ生成時の時刻情報や、差分画素データ生成時の入力画像の時系列先頭からの経過時間情報、他にフレームIDの代わりにカウンターを利用し、後述するステップS14の処理でフレームIDをチェックする際にカウントアップしてもよい。

＜ステップS14＞
次に、画像生成部105は、背景差分生成部104がステップS13で生成した差分画素の画素値を基に、時系列画像入力部103から入力された時系列画像の画素値の変動を検知し、時系列画像の中で静止した静止差分画像を生成する（ステップS14）。

図８に静止差分画素を生成する際の処理動作を示す。

まず、画像生成部105は、差分画素データの中で未処理の差分画素データが存在するか否かを判定し（ステップS1401）、未処理の差分画素データが存在する場合は（ステップS1401/Yes）、対象とする差分画素データの画素値と、差分画素データの座標に対応する時系列画像の画素値と、を比較し、その画素値の差が所定の閾値以下か否かを判定する（ステップS1402）。

画素値の差が所定の閾値以下であれば（ステップS1402/Yes）、画像生成部105は、差分画素データのフレームIDと、時系列画像のフレームIDと、を比較し、そのフレームIDの差が所定の閾値以上か否かを判定する（ステップS1403）。

フレームIDの差が所定の閾値以上であれば（ステップS1403/Yes）、画像生成部105は、背景画像の画素値に差分画素データの画素値を代入し、背景画像の画素値を更新する（ステップS1404）。

次に、画像生成部105は、背景画像の画素値が割り当て済みか否かを判定する（ステップS1405）。

背景画像の画素値が割り当て済みである場合は（ステップS1405/Yes）、画像生成部105は、静止差分画像の画素値に差分画素データの画素値を代入し、静止差分画像の画素値を更新し、静止差分画像の画素値を割り当て済みとし（ステップS1406）、差分画素データを削除する（ステップS1407）。

また、背景画像の画素値が割り当て済みでない場合は（ステップS1405/No）、画像生成部105は、背景画像の画素値を割り当て済みとし（ステップS1408）、差分画素データを削除する（ステップS1409）。

また、画素値の差が閾値以下でない場合は（ステップS1402/No）、画像生成部105は、差分画素データを削除する（ステップS1410）。

なお、ステップS14で生成された静止差分画像は、フレームを処理する毎に更新される。

出力画像として単一の画像を必要とする場合は、入力された全ての時系列画像を処理した後の静止差分画像を用いればよい。出力画像として時系列の画像を必要とする場合は、入力された時系列画像を処理する度に静止差分画像を複製して用いればよい。

＜本実施形態の画像処理装置100の作用・効果＞
このように、本実施形態の画像処理装置100は、図２に示すように、静止差分初期化部101は、静止差分画像の画素値を未割り当てにする（ステップS10）。背景初期化部102は、時系列画像入力部103から入力された時系列画像の変動を検知するための背景画像の画素値を未割り当てにする（ステップS11）。また、背景差分生成部104は、時系列画像入力部103から入力された時系列画像と、背景初期化部102で未割り当てにした背景画像と、の画素値を比較し、時系列画像と背景画像とで画素値が異なる差分画素を生成する（ステップS13）。画像生成部105は、背景差分生成部104が生成した差分画素の画素値を基に、時系列画像入力部103から入力された時系列画像の画素値の変動を検知し、時系列画像の中で静止した静止差分画像を生成する（ステップS14）。これにより、本実施形態の画像処理装置100は、オクルージョンの原因となる動く人物や腕等の画像を時系列画像から除去することになるため、時系列画像の中で静止した画像のみを抽出した静止差分画像を生成することができる。

また、背景差分生成部104は、図６に示すように、背景画像において未割り当ての画素に対しては（ステップS1302/Yes）、その未割り当ての画素に対し、時系列画像の画素値、時系列画像の座標、時系列画像のフレームIDを差分画素データとしてリストに追加する（ステップS1303）。また、背景画像において割り当て済みの画素に対しては（ステップS1302/No）、その割り当て済みの画素と、時系列画像の画素と、の画素値を比較し（ステップS1304）、その画素値の差が閾値以上（ステップS1304/Yes）、かつ、その割り当て済みの画素の座標に対応する差分画素データが存在しない場合に（ステップS1305/Yes）、その割り当て済みの画素に対し、時系列画像の画素値、時系列画像の座標、時系列画像のフレームIDを差分画素データとしてリストに追加する（ステップS1306）。これにより、本実施形態の画像処理装置100は、差分画像を生成する際に、画素の差分が発生したフレームを特定可能な形式で画素毎の差分を保存することになるため、差分が静止しているか否か判定することができる。

また、画像生成部105は、図８に示すように、図６の処理で差分画素データを追加したリストの差分画素データの画素値と、差分画素データの座標に対応する時系列画像の画素値と、を比較する（ステップS1402）。また、リストの差分画素データのフレームIDと、差分画素データの座標に対応する時系列画像のフレームIDと、を比較する（ステップS1403）。そして、画素値の差が所定の閾値以下であり（ステップS1402/Yes）、かつ、フレームIDの差が所定の閾値以上である場合は（ステップS1403/Yes）、背景画像の画素値に差分画素データの画素値を代入し、背景画像の画素値を更新する（ステップS1404）。

そして、背景画像の画素値が割り当て済みである場合は（ステップS1405/Yes）、静止差分画像の画素値に差分画素データの画素値を代入し、静止差分画像の画素値を更新し（ステップS1406）、差分画素データを削除する（ステップS1407）。また、背景画像の画素値が割り当て済みでない場合は（ステップS1405/No）、背景画像の画素値を割り当て済みとし（ステップS1408）、差分画像データを削除する（ステップS1409）。また、画素値の差が所定の閾値以下でない場合は（ステップS1402/No）、差分画素データを削除する（ステップS1410）。これにより、本実施形態の画像処理装置100は、複数のフレームにて同様の差分が連続して発生しているか否かを判定し、静止した差分のみを用いて静止差分画像を生成することができる。

（第２の実施形態）
次に、第２の実施形態について説明する。

＜画像処理装置100の構成例＞
まず、図９を参照しながら、本実施形態の画像処理装置100の構成例について説明する。

本実施形態の画像処理装置100は、時系列画像入力部201と、差分画像生成部202と、グループ領域導出部203と、グループ領域更新部204と、を有して構成する。

時系列画像入力部201は、時系列画像を入力する。

差分画像生成部202は、時系列画像入力部201から入力された連続する時系列画像を比較し、連続する時系列画像の差分画像を生成する。

グループ領域導出部203は、差分画像生成部202で生成された差分画像に対する書き込みのグループ領域を導出する。

グループ領域更新部204は、書き込みのグループ領域と、グループ領域導出部203が導出した差分画像に対する書き込みのグループ領域と、を基に、新たなグループ領域を導出する。

＜本実施形態の画像処理装置100の処理動作＞
次に、図１０を参照しながら、本実施形態の画像処理装置100の処理動作について説明する。

まず、時系列画像入力部201は、時系列画像を入力する。時系列画像の入力がなくなった場合は（ステップS21/No）、処理を終了する（End）。

次に、差分画像生成部202は、時系列画像入力部201から入力された連続する２つの時系列画像の画素値を比較し、２つの時系列画像で画素値が異なる差分画像を生成する（ステップS22）。

次に、グループ領域導出部203は、差分画像生成部202がステップS22で生成した差分画像に対する書き込みのグループ領域を導出する（ステップS23）。

次に、グループ領域更新部204は、書き込みのグループ領域と、グループ領域導出部203がステップS23で導出した差分画像に対する書き込みのグループ領域と、を基に、新たな現在のグループ領域を導出する（ステップS24）。

次に、ステップS21〜ステップS24の各工程の処理動作について詳細に説明する。

＜ステップS21＞
まず、時系列画像入力部201は、時系列画像を入力する。時系列画像の入力がなくなった場合は（ステップS21/No）、処理を終了する（End）。

図１１に時系列画像のデータ構造を示す。時系列画像は、ビデオカメラで獲得されるリアルタイム映像を利用してもよいし、既に撮影された過去の映像を再生して利用してもよい。但し、時系列画像の制限として、その内容は書き込みを表すものであり、動く人の腕などが含まれてはならない。本実施形態では、第１の実施形態における静止差分画像を時系列画像として生成したものを用いる。若しくは、Power pointなどのプレゼンテーションソフトウェアにより文字をアニメーションで表示したものをビデオカメラで撮影したり、時系列画像として保存したものや、ワードプロセッサにより文字を書き込んでいる最中のモニターをビデオカメラで撮影したり、時系列画像として保存したものを用いても良い。単位時間当たりのフレーム数に制限はないが、各画素はRGBそれぞれ8ビットとする。また、画像を2次元配列で表現しているが、1次元配列で表現することも可能である。

＜ステップS22＞
次に、差分画像生成部202は、時系列画像入力部201から入力された連続する２つの時系列画像の画素値を比較し、異なる画素に対して差分画像を生成する（ステップS22）。

図１２に差分画像のデータ構造を示し、図１３に差分画像生成の例を示す。

書き込みが無い部位においても、フレーム毎に多少の画素値の変動が起こりうるため、連続する時系列画像の画素値を比較し、その画素値の差が一定の閾値以上であれば差分があると判断し、後の入力画像の画素値を差分画像の画素値に代入し、画素値を割り当て済みとする。また、連続する時系列画像の画素値を比較し、一定の閾値以上でなければ差分はないと判断し、画素値を未割り当てとする。なお、差分画像の解像度は、入力画像の解像度と同じでも良いが、データ量を小さくするため、差分が存在する領域（割り当て済みの領域）のみを差分画像とする。

＜ステップS23＞
次に、グループ領域導出部203は、差分画像生成部202がステップS22で生成した差分画像に対する書き込みのグループ領域を導出する（ステップS23）。

図１４に差分画像に対する書き込みグループ領域を導出する際の処理動作を示す。

まず、グループ領域導出部203は、差分画像の画素の縦座標及び横座標に対するヒストグラムを計算する（ステップS2301）。

グループ領域導出部203は、縦座標及び横座標の各座標毎に、割り当て済みの画素値の個数をカウントし、縦座標及び横座標に対するヒストグラムを生成する。図１５にヒストグラム生成の例を示す。

図１５に示すように、割り当て済みの画素値の個数を縦座標でカウントすることで、縦座標のヒストグラムを生成することができる。また、割り当て済みの画素値の個数を横座標でカウントすることで、横座標のヒストグラムを生成することができる。

次に、グループ領域導出部203は、画素の分布が所定の閾値以下の縦座標及び横座標を検出する（ステップS2302）。

図１６に座標検出の例を示す。

文字“Ｔ"を表す差分画像の場合は、縦座標のヒストグラムにおいて、最上部と最下部に画素が存在するため、画素数は所定の閾値以下ではないが、最上部と最下部の縦座標を検出する。横座標のヒストグラムにおいても同様である。

また、文字“opi"を表す差分画像の場合は、縦座標のヒストグラムにおいて、画素が存在する部位が２分割され、横座標のヒストグラムにおいて、画素が存在する部位が３分割されている。

次に、グループ領域導出部203は、近接する縦座標同士と近接する横座標同士とを四隅とする領域を導出する（ステップS2303）。

図１７に領域導出の例を示す。

文字“opi"を表す差分画像の場合は、縦方向に２分割され、横方向に３分割されているため、縦横を考慮すると、２×３＝６分割されることになる。

次に、グループ領域導出部203は、画素の存在する領域を選択する（ステップS2304)。

図１７に領域選択の例を示す。

文字“opi"を表す差分画像の場合は、６分割された領域のうち、実際に画素が存在するのは斜線で示す４領域であり、この４領域を後工程の処理の対象であるグループ領域として選択する。

＜ステップS24＞
次に、グループ領域更新部204は、書き込みのグループ領域と、グループ領域導出部203がステップS23で導出した差分画像に対する書き込みのグループ領域と、を基に、新たな現在のグループ領域を導出する（ステップS24）。

図１８に新たな現在のグループ領域を導出する際の処理動作を示す。

まず、グループ領域更新部204は、未処理の現在のグループ領域があるか否かを判定し（ステップS2401）、未処理の現在のグループ領域がある場合は（ステップS2401/Yes）、未処理の追加のグループ領域があるか否かを判定する（ステップS2402）。

未処理の追加のグループがある場合は（ステップS2402/Yes）、グループ領域更新部204は、現在のグループ領域と、追加のグループ領域と、が所定の閾値以上重なるか否か判定する（ステップS2403）。

もし、所定の閾値以上重なる場合は（ステップS2403/Yes）、グループ領域更新部204は、現在のグループ領域と、追加のグループ領域と、を併合し、新たな現在のグループ領域とし、グループ領域を更新し、領域方向を維持する（ステップS2404）。

もし、所定の閾値以上重ならない場合は（ステップS2403/No）、グループ領域更新部204は、現在のグループ領域が縦方向か横方向かを判定する（ステップS2405）。

もし、縦方向か横方向である場合は（ステップS2405/Yes）、グループ領域更新部204は、現在のグループ領域と、追加のグループ領域と、が近接し、かつ、その方向が長くなるか否かを判定する（ステップS2406）。

もし、近接し、かつ、その方向が長くなる場合は（ステップS2406/Yes）、グループ領域更新部204は、現在のグループ領域と、追加のグループ領域と、を併合し、新たな現在のグループ領域とし、グループ領域を更新し、領域方向を維持する（ステップS2407）。

もし、縦方向か横方向でない場合は（ステップS2405/No）、グループ領域更新部204は、現在のグループ領域の方向が無方向か否かを判定する（ステップS2408）。

もし、無方向である場合は（ステップS2408/Yes）、グループ領域更新部204は、現在のグループ領域と、追加のグループ領域と、が近接し、かつ、近接する部位の縦方向あるいは横方向の長さの差が所定の閾値以下であるか否かを判定する（ステップS2409）。

もし、近接し、かつ、近接する部位の縦方向あるいは横方向の長さの差が所定の閾値以下である場合は（ステップS2409/Yes）、グループ領域更新部204は、現在のグループ領域と、追加のグループ領域と、を併合し、新たな現在のグループ領域とし、グループ領域を更新し、併合した部位に応じて領域方向を決定する（ステップS2410）。

なお、ステップS2406の判定において近接し、かつ、その方向が長くない場合（ステップS2406/No）、ステップS2408の判定において無方向でない場合（ステップS2408/No）、ステップS2409の判定において近接し、かつ、近接する部位の縦方向あるいは横方向の長さの差が所定の閾値以下でない場合は（ステップS2409/No）、現在のグループ領域と、追加のグループ領域と、を併合しないため、グループ領域更新部204は、その併合しなかった追加のグループ領域は、現在のグループ領域と、追加のグループ領域と、の併合判定が初回であるか否か判定する（ステップS2411）。

もし、初回の場合は（ステップS2411/Yes）、グループ領域更新部204は、追加のグループ領域の末尾に移動する（ステップS2412）。

もし、初回でない場合は（ステップS2411/No）、グループ領域更新部204は、無方向の新たな現在のグループ領域として追加する（ステップS2413）。

図１９、図２０に例を示す。図１９、図２０は、差分画像が“Ｔ"と“opi"となった２つのフレームの処理について示す。

No.1では、初回には現在のグループ領域が存在しないため、初めの追加のグループ領域を新たな現在のグループ領域とする。この領域の方向は無方向とする。

No.2では、S2403の判定がNoとなり、S2405の判定がNoとなり、S2408の判定がYesとなり、S2409の判定がYesとなる。ここで、“Ｔ"と“o"との間には隙間が存在するが、“Ｔ"と“o"との横方向の長さに比べて十分小さいため、近接していると判断できる。これにより、元の現在のグループ領域は、追加のグループ領域と併合し、新たなグループ領域となる。これらの領域は横同士で併合したため、この領域の方向は横方向となる。

No.3では、S2403の判定がNoとなり、S2405の判定がYesとなり、S2406の判定がYesとなる。ここで、“o"と”p"との間には隙間が存在するが、“o"と“p"との横方向の長さに比べて十分小さいため、近接していると判断できる。これにより、元の現在のグループ領域は、追加のグループ領域と併合し、新たなグループ領域となる。この領域の方向は横方向を維持する。

No.4では、S2403の判定がNoとなり、S2405の判定がYesとなり、S2406の判定がNoとなる。ここで、“p"と“i"との上部の点の間には隙間が存在するが、“i"の上部の点の横方向の長さに比べて小さくないため、近接していると判定しない。その後、S2411の判定がYesとなり、新たなグループ領域は生成されず、追加のグループ領域は、最後の追加のグループ領域として再び処理されることになる。

No.5では、S2403の判定がNoとなり、S2405の判定がYesとなり、S2406の判定がYesとなり、元の現在のグループ領域は、追加のグループ領域と併合し、新たなグループ領域となる。この領域の方向は横方向を維持する。

No.6では、S2403の判定がYesとなり、元の現在のグループ領域は、追加のグループ領域と併合し、新たなグループ領域となる。この領域の方向は横方向を維持する。

上記のフレーム以降、“c"や"●"や“R"といった追加のグループ領域が続く。

“c"は、S2406の判定がYesとなり、図１９、図２０の現在のグループ領域に併合される。

“●"は、S2403の判定がNoとなり、S2405の判定がYesとなり、S2406の判定がNoとなり、S2411の判定がYesとなり、最後の追加のグループ領域となる。

“R"は、同様にS2403の判定がNoとなり、S2405の判定がYesとなり、S2406の判定がNoとなり、S2411の判定がYesとなり、最後の追加のグループ領域となる。

ここで、“●"と"R"とでグループ領域の併合は発生しなかったため、現在のグループ領域には何の変化も発生していない。そのため、再びの併合判定においても“●"はやはり併合することはなく、S2411の判定がNoとなり、新たな現在のグループ領域となる。この領域の方向は無方向となる。これにより、現在のグループ領域は２つになり、２つの行に分かれたことになる。“R”は、“●"の現在のグループ領域との併合判定時に、S2409の判定がYesとなり、元の現在のグループ領域は追加のグループ領域と併合し、新たなグループ領域となる。これらの領域は横同士で併合したため、この領域の方向は横方向となる。

なお、本実施形態では、書き込みとしてアルファベット文字を用いた為、最も縦が長い文字と最も縦が短い文字との長さの比は、0.5倍程度と考えられる。縦が長い文字と縦が短い文字とのどちらが現在のグループ領域か追加のグループ領域になる可能性があるため、S2409の判定の長さの比の範囲は、0.5〜2.0程度とすればよい。

なお、本実施形態では、文を横書きにしたが、アルゴリズムは文の横書きや縦書きを区別しておらず、文を縦書きにすることも可能である。

＜本実施形態の画像処理装置100の作用・効果＞
このように、本実施形態の画像処理装置100は、図１０に示すように、差分画像生成部202は、時系列画像入力部201から入力された連続する時系列画像を比較し、連続する時系列画像の差分画像を生成する（ステップS22）。グループ領域導出部203は、差分画像生成部202で生成された差分画像に対する書き込みのグループ領域を導出する（ステップS23）。グループ領域更新部204は、既に存在する書き込みのグループ領域と、グループ領域導出部203で導出された差分画像に対する書き込みのグループ領域と、を基に、新たなグループ領域を導出する（ステップS24）。これにより、本実施形態の画像処理装置100は、書き込みを表す時系列画像からその時系列画像の差分毎にグループ領域を導出し、既に存在する既存の書き込みのグループ領域と併合し、高速に新たなグループ領域を導出することができる。

また、本実施形態のグループ領域導出部203は、図１４に示すように、差分画像生成部202で生成された差分画像の画素の縦座標及び横座標に対するヒストグラムを計算し（ステップS2301）、画素の分布が閾値以下の縦座標及び横座標を検出し（ステップS2302）、近接する縦座標同士と近接する横座標同士とを四隅とする領域を導出し（ステップS2303）、該導出した領域を基に、画素の存在する領域を選択し（ステップS2304）、該選択した領域を、差分画像に対する書き込みのグループ領域として導出することにしている。これにより、本実施形態の画像処理装置100は、グループ領域を導出する際に、画素の分布をチェックし、文字を含む矩形領域を、差分画像に対する書き込みのグループ領域として導出することができる。

また、本実施形態のグループ領域更新部204は、図１８に示すように、既に存在する書き込みのグループ領域である現在のグループ領域と、差分画像に対する書き込みのグループ領域である追加のグループ領域と、が所定の閾値以上重なる場合に（ステップS2403/Yes）、現在のグループ領域と追加のグループ領域とを併合し、新たな現在のグループ領域とし、領域方向を維持することにしている（ステップS2404）。また、現在のグループ領域が縦方向あるいは横方向であり（ステップS2405/Yes）、現在のグループ領域と追加のグループ領域とが近接し、且つ、その方向が長くなる場合に（ステップS2406/Yes）、現在のグループ領域と追加のグループ領域とを併合し、新たな現在のグループ領域とし、領域方向を維持することにしている（ステップS2407）。また、現在のグループ領域が無方向であり（ステップS2408/Yes）、現在のグループ領域と追加のグループ領域とが近接し、かつ、近接する部位の縦方向あるいは横方向の長さの比が一定の範囲である場合に（ステップS2409/Yes）、現在のグループ領域と追加のグループ領域とを併合し、新たな現在のグループ領域とし、併合した部位に応じて領域方向を決定することにしている（ステップS2410）。また、併合しなかった追加のグループ領域は、現在のグループ領域と追加のグループ領域との併合判定が初回の場合は（ステップS2411/Yes）、追加のグループ領域の最後に再び併合判定を行い（ステップS2412）、現在のグループ領域と追加のグループ領域との併合判定が初回でない場合は（ステップS2411/No）、無方向の新たな現在のグループ領域として追加し、残りの追加のグループ領域との併合判定を行うことにしている（ステップS2413）。これにより、本実施形態の画像処理装置100は、グループ領域を更新する際に、グループ領域の位置関係と方向を確認し、同一の行に位置するグループ領域（文字）を併合することができる。

なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

例えば、上述した本実施形態における画像処理装置100を構成する各装置における制御動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成を用いて実行することも可能である。

なお、ソフトウェアを用いて処理を実行する場合には、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれているコンピュータ内のメモリにインストールして実行させることが可能である。あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやROM（Read Only Memory）に予め記録しておくことが可能である。あるいは、プログラムは、リムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することが可能である。なお、リムーバブル記録媒体としては、フロッピー（登録商標）ディスク、CD-ROM（Compact Disc Read Only Memory）、MO（Magneto optical）ディスク、DVD（Digital Versatile Disc）、磁気ディスク、半導体メモリなどが挙げられる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールすることになる。また、ダウンロードサイトから、コンピュータに無線転送することになる。また、ネットワークを介して、コンピュータに有線で転送することになる。

また、本実施形態における画像処理装置100は、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

本発明は、遠隔会議システム、遠隔講義システム、会議支援システム、筆記トレーニングシステムなどに適用可能である。

１００画像処理装置
１０１静止差分初期化部
１０２背景初期化部
１０３時系列画像入力部
１０４背景差分生成部
１０５画像生成部
２０１時系列画像入力部
２０２差分画像生成部
２０３グループ領域導出部
２０４グループ領域更新部

特開平９−１５３９６７号公報特開平７−１６８９１１号公報特開２００６−１６２６９２号公報特開２００４−１５２０４０号公報特開２００３−０９９７１３号公報特許第４０５００５５号公報

Claims

静止差分画像の画素値を未割り当てにする静止差分初期化手段と、
入力された時系列画像の変動を検知するための背景画像の画素値を未割り当てにする背景初期化手段と、
入力された時系列画像と、前記背景画像と、の画素値を比較し、前記時系列画像と前記背景画像とで画素値が異なる差分画素を生成する背景差分生成手段と、
前記差分画素の画素値を基に、前記時系列画像の画素値の変動を検知し、前記時系列画像の中で静止した静止差分画像を生成する画像生成手段と、
を有することを特徴とする画像処理装置。
前記背景差分生成手段は、
前記背景画像において未割り当ての画素に対しては、当該未割り当ての画素に対し、前記時系列画像の画素値、前記時系列画像の座標、前記時系列画像のフレームIDを差分画素データとしてリストに追加し、
前記背景画像において割り当て済みの画素に対しては、当該割り当て済みの画素と、前記時系列画像の画素と、の画素値を比較し、その画素値の差が閾値以上、かつ、前記割り当て済みの画素の座標に対応する差分画素データが存在しない場合に、当該割り当て済みの画素に対し、前記時系列画像の画素値、前記時系列画像の座標、前記時系列画像のフレームIDを差分画素データとしてリストに追加することを特徴とする請求項１記載の画像処理装置。
前記画像生成手段は、
前記リストの前記差分画素データの画素値と、前記差分画素データの座標に対応する前記時系列画像の画素値と、を比較する第１の比較手段と、
前記リストの前記差分画素データのフレームIDと、前記差分画素データの座標に対応する前記時系列画像のフレームIDと、を比較する第２の比較手段と、を有し、
前記第１の比較手段で比較した前記画素値の差が所定の閾値以下であり、かつ、前記第２の比較手段で比較した前記フレームIDの差が所定の閾値以上である場合は、
前記背景画像の画素値に前記差分画素データの画素値を代入し、前記背景画像の画素値を更新し、前記背景画像の画素値が割り当て済みである場合は、前記静止差分画像の画素値に前記差分画素データの画素値を代入し、前記静止差分画像の画素値を更新し、前記差分画素データを削除し、前記背景画像の画素値が割り当て済みでない場合は、前記背景画像の画素値を割り当て済みとし、前記差分画像データを削除し、
前記第１の比較手段で比較した前記画素値の差が所定の閾値以下でない場合は、前記差分画素データを削除することを特徴とする請求項２記載の画像処理装置。
書き込みを表す時系列画像を基に書き込みのグループ領域を導出する画像処理装置であって、
連続する時系列画像を比較し、連続する時系列画像の差分画像を生成する差分画像生成手段と、
前記差分画像に対する書き込みのグループ領域を導出するグループ領域導出手段と、
既に存在する書き込みのグループ領域と、前記差分画像に対する書き込みのグループ領域と、を基に、新たなグループ領域を導出するグループ領域更新手段と、
を有することを特徴とする画像処理装置。
前記グループ領域導出手段は、
前記差分画像の画素の縦座標及び横座標に対するヒストグラムを計算し、画素の分布が所定の閾値以下の縦座標及び横座標を検出し、近接する縦座標同士と近接する横座標同士とを四隅とする領域を導出し、該導出した領域を基に、画素の存在する領域を選択し、該選択した領域を、前記差分画像に対する書き込みのグループ領域として導出することを特徴とする請求項４記載の画像処理装置。
前記グループ領域更新手段は、
既に存在する書き込みのグループ領域である現在のグループ領域と、前記差分画像に対する書き込みのグループ領域である追加のグループ領域と、が所定の閾値以上重なる場合に、前記現在のグループ領域と前記追加のグループ領域とを併合し、新たな現在のグループ領域とし、領域方向を維持し、
現在のグループ領域が縦方向あるいは横方向であり、現在のグループ領域と追加のグループ領域とが近接し、且つ、その方向が長くなる場合に、前記現在のグループ領域と前記追加のグループ領域とを併合し、新たな現在のグループ領域とし、領域方向を維持し、
現在のグループ領域が無方向であり、現在のグループ領域と追加のグループ領域とが近接し、かつ、近接する部位の縦方向あるいは横方向の長さの比が一定の範囲である場合に、前記現在のグループ領域と前記追加のグループ領域とを併合し、新たな現在のグループ領域とし、併合した部位に応じて領域方向を決定し、
併合しなかった追加のグループ領域は、現在のグループ領域と追加のグループ領域との併合判定が初回の場合は、追加のグループ領域の最後に再び併合判定を行い、
現在のグループ領域と追加のグループ領域との併合判定が初回でない場合は、無方向の新たな現在のグループ領域として追加し、残りの追加のグループ領域との併合判定を行うことを特徴とする請求項５記載の画像処理装置。
画像処理装置で行う制御方法であって、
静止差分画像の画素値を未割り当てにする静止差分初期化工程と、
前記画像処理装置に入力された時系列画像の変動を検知するための背景画像の画素値を未割り当てにする背景初期化工程と、
前記画像処理装置に入力された時系列画像と、前記背景画像と、の画素値を比較し、前記時系列画像と前記背景画像とで画素値が異なる差分画素を生成する背景差分生成工程と、
前記差分画素の画素値を基に、前記時系列画像の画素値の変動を検知し、前記時系列画像の中で静止した静止差分画像を生成する画像生成工程と、
を有することを特徴とする制御方法。
書き込みを表す時系列画像を基に書き込みのグループ領域を導出する画像処理装置で行う制御方法であって、
連続する時系列画像を比較し、連続する時系列画像の差分画像を生成する差分画像生成工程と、
前記差分画像に対する書き込みのグループ領域を導出するグループ領域導出工程と、
既に存在する書き込みのグループ領域と、前記差分画像に対する書き込みのグループ領域と、を基に、新たなグループ領域を導出するグループ領域更新工程と、
を有することを特徴とする制御方法。
画像処理装置に実行させるプログラムであって、
静止差分画像の画素値を未割り当てにする静止差分初期化処理と、
前記画像処理装置に入力された時系列画像の変動を検知するための背景画像の画素値を未割り当てにする背景初期化処理と、
前記画像処理装置に入力された時系列画像と、前記背景画像と、の画素値を比較し、前記時系列画像と前記背景画像とで画素値が異なる差分画素を生成する背景差分生成処理と、
前記差分画素の画素値を基に、前記時系列画像の画素値の変動を検知し、前記時系列画像の中で静止した静止差分画像を生成する画像生成処理と、
をコンピュータに実行させることを特徴とするプログラム。
書き込みを表す時系列画像を基に書き込みのグループ領域を導出する画像処理装置に実行させるプログラムであって、
連続する時系列画像を比較し、連続する時系列画像の差分画像を生成する差分画像生成処理と、
前記差分画像に対する書き込みのグループ領域を導出するグループ領域導出処理と、
既に存在する書き込みのグループ領域と、前記差分画像に対する書き込みのグループ領域と、を基に、新たなグループ領域を導出するグループ領域更新処理と、
を、コンピュータに実行させることを特徴とするプログラム。