JP2014178744A - 発光物体検出装置、発光物体検出方法及び発光物体検出プログラム - Google Patents

Abstract

【課題】簡易に物体を検出することが可能な発光物体検出装置、発光物体検出方法及び発光物体検出プログラムを提供する。
【解決手段】スクリーン画面検出装置１は、定期的に明滅を繰り返すスクリーン画面のリフレッシュレートと異なるフレームレートで撮像した複数のフレーム画像信号を入力する入力部１０と、複数のフレーム画像信号間の差分を累積したカウンタマップを生成するカウンタマップ生成部２０と、カウンタマップの所定方向における複数のカウンタ値の変化に基づいてスクリーン画面の位置を検出するプロジェクション処理部３０と、を備えるものである。
【選択図】図１

Description

本発明は、発光物体検出装置、発光物体検出方法及び発光物体検出プログラムに関し、特に、定期的に明滅を繰り返す発光物体を検出する発光検出装置、発光物体検出方法及び発光物体検出プログラムに関する。

従来から様々な目的で、画像処理を利用して所望の物体を検出する物体検出装置が利用されている。例えば、スクリーン画面などの物体検出に関する従来技術として、非特許文献１、特許文献１〜３が知られている。

非特許文献１には、カメラなどの撮影装置を用いて取得した画像に含まれるＰＣ（Personal Computer）やＴＶのスクリーン画面（表示装置）を検出する方法が記載されている。具体的には、非特許文献１では、蛍光マーカーをＰＣのスクリーン画面の右上、右下、左上と左下に張り付け、カメラなどで取得した画像データから特定色の蛍光マーカーを検出することで、スクリーン画面を検出する。非特許文献１は、処理の主要部を色判別で実現したため、計算量が低く、市販の一般カメラで撮影した画像を用いて処理することができる。

Q.Zhang, J.Ohya, S.Yonemura, "Study of Real-time Marker-based PC Detection for Visual Call Center Applications", IEICE Technical Report CVIM2006-155-29, pp.227-232, 2006年9月9日

国際公開第２０１０／１４６７０４号 特開２０１０−１５２１７３号公報 特開２０１０−１５２６７２号公報

しかしながら、非特許文献１のような従来技術では、蛍光マーカーの色が光環境に依存するため、検出精度が不安定である。さらに、検出処理を行うには蛍光マーカーを用意する必要があるため、手間がかかり、実用化することが難しい。

その他の従来技術として、カメラで撮影した画像を画像解析しパターン認識することで、スクリーン画面を検出する方法も考えられる。しかしながら、この手法では、パターン認識のために複雑な解析処理をする必要があり、計算量が非常に大きい。

このように、従来技術では、蛍光マーカーが必要であったり、また、複雑な画像解析処理が必要であったりするため、簡易に物体を検出することが困難であるという問題があった。

本発明に係る発光物体検出装置は、所定の明滅レートで明滅発光する発光物体が前記明滅レートと異なるフレームレートで撮像された複数のフレーム画像信号を入力する入力部と、前記複数のフレーム画像信号間の差分を累積した累積マップを生成する累積マップ生成部と、前記累積マップの所定方向における複数の累積値の変化に基づいて前記発光物体の位置を検出する位置検出部と、を備えるものである。

本発明に係る発光物体検出方法は、所定の明滅レートで明滅発光する発光物体が前記明滅レートと異なるフレームレートで撮像された複数のフレーム画像信号を入力し、前記複数のフレーム画像信号間の差分を累積した累積マップを生成し、前記累積マップの所定方向における複数の累積値の変化に基づいて前記発光物体の位置を検出するものである。

本発明に係る発光物体検出プログラムは、コンピュータに発光物体検出方法を実行させるための発光物体検出プログラムであって、前記発光物体検出方法は、所定の明滅レートで明滅発光する発光物体が前記明滅レートと異なるフレームレートで撮像された複数のフレーム画像信号を入力し、前記複数のフレーム画像信号間の差分を累積した累積マップを生成し、前記累積マップの所定方向における複数の累積値の変化に基づいて前記発光物体の位置を検出するものである。

本発明によれば、簡易に物体を検出することが可能な発光物体検出装置、発光物体検出方法及び発光物体検出プログラムを提供することができる。

実施の形態１に係るスクリーン画面検出装置（発光物体検出装置）の構成を示すブロック図である。 実施の形態１に係るスクリーン画面検出方法を示すフローチャートである。 実施の形態１に係るスクリーン画面検出方法を示すフローチャートである。 実施の形態１に係るスクリーン画面検出方法を説明するためのイメージ図である。 実施の形態１に係るスクリーン画面検出方法を説明するためのイメージ図である。 実施の形態１に係るスクリーン画面検出方法を示すフローチャートである。 実施の形態１に係るスクリーン画面検出方法を説明するためのイメージ図である。 実施の形態１に係るスクリーン画面検出方法を説明するためのイメージ図である。

（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。スクリーン画面のリフレッシュレートとカメラのフレームレート（fps）間に位相ずれがあるため、静止カメラで取得する連続フレーム画像に明暗変動が生じる。本実施の形態では、この現象を利用し、明暗変動がより激しいところが検出対象のスクリーン画面の位置であると判断する。

図１は、本実施の形態に係るスクリーン画面検出装置（発光物体検出装置）の構成を示している。なお、ここでは、スクリーン画面（表示装置）を検出する例について説明するが、スクリーン画面に限らず、定期的に明滅を繰り返す（明滅発光する）その他の発光物体を検出してもよい。例えば、蛍光灯やＬＥＤ照明、ＬＥＤ信号機等を検出してもよい。

図１に示すようにスクリーン画面検出装置１は、入力部１０、カウンタマップ生成部２０、プロジェクション処理部３０を備えている。なお、図２以降のスクリーン画面検出方法（発光物体検出方法）が実現できれば、その他の機能ブロックで構成してもよい。図１のスクリーン画面検出装置における各機能（各処理）は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。スクリーン画面検出装置の各機能を、ＣＰＵ（Central Processing Unit）やメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に図２以降に後述するスクリーン画面検出方法を行うためのスクリーン画面検出プログラム（発光物体検出プログラム）を格納し、スクリーン画面検出装置の各機能を、記憶装置に格納されたスクリーン画面検出処理プログラムをＣＰＵで実行することにより実現してもよい。

入力部１０は、スクリーン画面が含まれるように撮影された入力映像を入力する。入力映像は、一般的なカメラで撮影した映像であり、スクリーン画面のリフレッシュレート（明滅レート）と異なるフレームレートで撮影された複数のフレーム画像を含む信号である。

カウンタマップ生成部（累積マップ生成部）２０は、入力映像の一定の場所における明暗変化量を示すカウンタマップを生成する。カウンタマップは、複数のフレーム画像間の差分を累積した累積マップであり、入力されたフレームと同じサイズのカウンタ（累積値）の集合であるとも言える。カウンタマップ生成部２０は、隣接フレーム（時間的に連続する連続フレーム）間の差分値の変化が事前に設定した閾値（差分閾値）以上の画素に対し、入力映像と同じサイズのカウンタマップの該当位置に１を加算する。カウンタマップ生成部２０は、一定フレーム数のフレーム画像に対し同じ演算を繰り返し、カウンタマップを生成する。

プロジェクション処理部（位置検出部）３０は、生成されたカウンタマップに基づいて、スクリーン画面の位置を確定する。ターゲット（検出対象）であるスクリーン画面は四角形のフレーム形状であるため、フレーム形状の画面フレームの端部（フレーム枠）、すなわち、上下左右の各位置を計算する。プロジェクション処理部３０は、カウンタマップの所定方向のプロジェクション（カウンタ値または累積値）の変化に基づいてスクリーン画面の位置を検出する。プロジェクションは、カウンタマップにおける所定方向のカウンタ値（累積値）の集合であり、カウンタマップの所定方向における一端から他端までの位置と、各位置のカウンタ値（累積値）の関係を示している。本実施の形態では、画像（カウンタマップ）に対し水平方向のプロジェクションである水平方向プロジェクション（horizontal projection）と、画像（カウンタマップ）に対し垂直方向のプロジェクションである垂直方向プロジェクション（vertical projection）を用いる。式（１）は水平方向プロジェクションＰ_Ｖを示し、式（２）は垂直方向プロジェクションＰ_Ｈの算出式を示している。


ただし、水平方向プロジェクションは入力映像に対してスクリーン画面の左右位置、垂直方向プロジェクションは入力映像に対してスクリーン画面の上下位置の算出に使われる。カウンタマップには環境光の変化や写像ノイズなどの影響によりノイズが存在することから、簡単に切り出し演算を行うため、ノイズに対し頑健性を持つ式（１）〜（２）のプロジェクションを用いて、スクリーン画面の画面フレーム端部（枠）の場所を算出する。プロジェクション処理部３０は、水平方向または垂直方向に向かってプロジェクションを参照し、最初（または最後）に検出されたピークの位置がスクリーン画面の画面フレーム端部の位置であると判断する。なお、本実施の形態では、水平方向及び垂直方向のプロジェクションを利用するが、その他の方向やさらに複数の方向のプロジェクションを利用してもよい。例えば、画像の水平方向または垂直方向に対しスクリーン画面が傾いている場合、傾いた方向のプロジェクションとすることが好ましい。また、検出対象がスクリーン画面のような四角形以外の形状の場合、複数の方向のプロジェクションを使用することが好ましい。

図２は、本実施の形態に係るスクリーン画面検出装置で実行されるスクリーン画面検出方法の概要を示している。図２に示すように、予めカウンタマップを初期化しておく（Ｓ１０１）。カウンタマップに含まれる全てのカウンタ値をクリアしておく。

入力部１０に入力映像が入力されると、カウンタマップ生成部２０は、各フレーム信号間の差分絶対値を算出し（Ｓ１０２）、算出した差分値に基づいてカウンタマップを更新する（Ｓ１０３）。映像信号に含まれるフレーム１〜フレームＮまでＳ１０２及びＳ１０３を繰り返し、カウンタマップを生成する。

図３は、図２のＳ１０２及びＳ１０３の処理の詳細を示している。Ｓ１０２及びＳ１０３のカウンタマップ生成処理（更新処理）では、図３に示すように、カウンタマップ生成部２０は、連続するフレーム画像の差分値を求めるため、画素（ピクセル）をスキャンしていく（Ｓ２０１）。

カウンタマップ生成部２０は、スキャンされたフレーム画像の画素間の輝度差と閾値（差分閾値）を比較し（Ｓ２０２）、輝度差が閾値よりも大きいか否か判定する（Ｓ２０３）。輝度差が閾値よりも大きい場合、カウンタマップ生成部２０は、カウンタマップの対応する位置（カウンタ）に１を加算（インクリメント）する（Ｓ２０４）。Ｓ２０４でカウンタマップを更新した後、または、Ｓ２０３で輝度差が閾値以下の場合、最後の画素か否か判定し（Ｓ２０５）、最後の画素ではない（残りの画素がある）場合、Ｓ２０１以降の処理を繰り返し、最後の画素の場合、カウンタマップの更新処理を終了する。

図４は、スクリーン画面を含むフレーム画像（入力映像）の例であり、図５は、図４のようなフレーム画像を含む映像が入力された場合に生成されるカウンタマップの例である。図５では、カウンタマップの値（カウンタ値）が大きいところを白く示している。スクリーン画面に対応する領域が白くなっており、スクリーン画面の位置では輝度差が大きいことが理解できる。

図２の処理で、Ｎフレームまでの差分演算が終了し、カウンタマップの更新（Ｓ１０２及びＳ１０３）が終了すると、プロジェクション処理部３０は、カウンタマップに基づいて水平方向及び垂直方向のプロジェクションを生成する（Ｓ１０４）。プロジェクション処理部３０は、水平方向のプロジェクションに基づいてスクリーン画面の左右端部の位置を決定し（Ｓ１０５）、垂直方向のプロジェクションに基づいてスクリーン画面の上下端部の位置を決定する（Ｓ１０６）。

図６は、図２のＳ１０５及びＳ１０６の処理の詳細を示している。例えば、水平方向プロジェクションと垂直方向プロジェクションのそれぞれに対し、図６の処理を行う。Ｓ１０５及びＳ１０６の位置検出処理では、図６に示すように、プロジェクション処理部３０は、水平方向または垂直方向のプロジェクションを所定の範囲（例えば、０〜１）に正規化する（Ｓ３０１）。ここでは、プロジェクションの画素値が次のべき乗演算で過大な値にならないよう正規化を行う。

続いて、プロジェクション処理部３０は、正規化したプロジェクションに対しべき乗演算を行う（Ｓ３０２）。以下の処理のピーク検出ステップ（Ｓ３０４）でピークをより正しく計算するため、プロジェクションにおけるターゲット（スクリーン画面）のピーク値とローカル（スクリーン画面以外の）ピーク値の差を明確にする必要がある。そこで、本実施の形態では、べき乗演算することで、ピーク値の差を拡大する。ここで用いる乗数（指数）は１より大きい整数Ｎを推奨する。

続いて、プロジェクション処理部３０は、べき乗演算したプロジェクションに対してローパスフィルタを適用する（Ｓ３０３）。ローパスフィルタを用いることで、プロジェクションにノイズ状のゆらぎが生じている場合、ノイズ成分を除去し、ピーク検出の精度を向上することができる。なお、ローパスフィルタの適用は省略してもよい。

続いて、プロジェクション処理部３０は、処理後のプロジェクション（powered projection）からピークを検出する（Ｓ３０４）。例えば、プロジェクションの立上りと立下りの間の各頂点をピークと判定する。また、プロジェクション処理部３０は、処理後のプロジェクションから、位置を検出するための閾値（ピーク閾値）を算出する（Ｓ３０５）。ここでは、閾値としてプロジェクションの平均値を算出する。

続いて、プロジェクション処理部３０は、プロジェクションのピークと閾値（平均値）に基づいてスクリーン画面の位置を検出する（Ｓ３０６）。具体的には、水平方向のプロジェクションの場合、プロジェクションを先頭から順に参照していき、閾値以上であるピークのうち、先頭から一つ目に検出できたピークの位置をスクリーン画面の左端と決定し、また、プロジェクションを後尾から参照していき、閾値以上であるピークのうち、後尾（最後）から一つ目に検出できたピーク（先頭から参照したときの最後のピーク）の位置をスクリーン画面の右端と決定する。垂直方向のプロジェクションの場合、プロジェクションを先頭から順に参照していき、閾値以上であるピークのうち、先頭から一つ目に検出できたピークの位置をスクリーン画面の上端と決定し、また、プロジェクションを後尾から参照していき、閾値以上であるピークのうち、後尾（最後）から一つ目に検出できたピーク（先頭から参照したときの最後のピーク）の位置をスクリーン画面の下端と決定する。プロジェクション処理部３０は、検出したスクリーン画面の上下左右の位置を出力する。例えば、複数の水平方向（垂直方向）のプロジェクションに対し図６の処理を行い、スクリーン画面の複数の左右（上下）位置を検出し、複数の左右（上下）位置から画面フレームの各辺（枠）の位置を認識してもよいし、１つの水平方向（垂直方向）のプロジェクションに対し図６の処理を行い、スクリーン画面の１つの左右（上下）位置を検出し、１つの左右（上下）位置から推測して画面フレームの各辺を認識してもよい。

図７（ａ）は、図５のカウンタマップから生成された水平方向プロジェクション（図５の水平方向）の例であり、図７（ｂ）は、図５のカウンタマップから生成された垂直方向プロジェクション（図５の垂直方向）の例である。図７（ａ）では、Ｐ１が、先頭から最初に閾値を超えるピークであるためスクリーン画面の左端の位置となり、Ｐ２が、後尾から最初に閾値を超えるピークであるためスクリーン画面の右端の位置となる。図７（ｂ）では、Ｐ３が、先頭から最初に閾値を超えるピークであるためスクリーン画面の上端の位置となり、Ｐ４が、後尾から最初に閾値を超えるピークであるためスクリーン画面の下端の位置となる。図８は、図７（ａ）及び図７（ｂ）のプロジェクションから検出された検出結果を、上下左右で囲まれる画面フレーム枠（白枠で図示されている）で示した例である。なお、図４、５、７、８の例は、スクリーン画面をＦＰＳが３０のカメラで撮影した例である。

以上のように、本実施の形態では、スクリーン画面のリフレッシュレートと異なるフレームレートで撮影した映像を利用し、連続フレーム間の明暗を示すカウンタマップを生成し、カウンタマップの所定方向に対するプロジェクションのピークに基づいてスクリーン画面の位置を検出することとした。これにより、スクリーン画面のリフレッシュレートとカメラのフレームレートの位相差を利用して、スクリーン画面を確実に検出することができる。蛍光マーカーやパターン認識など複雑な画像解析が不要であり、一般的なカメラで撮影した映像と単純な演算処理で実現可能なため、簡易にスクリーン画面の位置を検出することができる。

また、本実施の形態は従来手法の蛍光マーカー依存と比べスクリーン本体とカメラの物理上の特性を用いることで頑健性と便宜性を向上させることができるので、幅広い分野での応用を期待できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ スクリーン画面検出装置
１０ 入力部
２０ カウンタマップ生成部
３０ プロジェクション処理部

Claims (16)

1. 所定の明滅レートで明滅発光する発光物体が前記明滅レートと異なるフレームレートで撮像された複数のフレーム画像信号を入力する入力部と、
   前記複数のフレーム画像信号間の差分を累積した累積マップを生成する累積マップ生成部と、
   前記累積マップの所定方向における複数の累積値の変化に基づいて前記発光物体の位置を検出する位置検出部と、
   を備える発光物体検出装置。
2. 前記累積マップ生成部は、前記複数のフレーム画像信号に含まれる時間的に連続する２つのフレーム画像信号の各画素を比較し、当該比較結果が所定の差分閾値よりも大きい場合、該当する前記累積マップの累積値をカウントアップする、
   請求項１に記載の発光物体検出装置。
3. 前記位置検出部は、前記累積マップの所定方向における複数の累積値を所定範囲内に正規化し、当該正規化した複数の累積値に基づいて、前記発光物体の位置を検出する、
   請求項１または２に記載の発光物体検出装置。
4. 前記位置検出部は、前記累積マップの所定方向における複数の累積値をＮ乗（Ｎは２以上の整数）した値に基づいて、前記発光物体の位置を検出する、
   請求項１乃至３のいずれか一項に記載の発光物体検出装置。
5. 前記位置検出部は、前記累積マップの所定方向における複数の累積値に対し、ローパスフィルタを適用した値に基づいて、前記発光物体の位置を検出する、
   請求項１乃至４のいずれか一項に記載の発光物体検出装置。
6. 前記位置検出部は、前記累積マップの所定方向における複数の累積値のピーク値を検出し、検出したピーク値に基づいて、前記発光物体の位置を検出する、
   請求項１乃至５のいずれか一項に記載の発光物体検出装置。
7. 前記位置検出部は、前記検出したピーク値が、所定のピーク閾値よりも大きいピーク値に基づいて、前記発光物体の位置を検出する、
   請求項６に記載の発光物体検出装置。
8. 前記ピーク閾値は、前記複数の累積値の平均値である、
   請求項７に記載の発光物体検出装置。
9. 前記位置検出部は、前記複数の累積値を前記所定方向に向かって参照し、最初または最後に検出された前記ピーク値の位置を、前記発光物体の端部の位置であると判断する、
   請求項６乃至８のいずれか一項に記載の発光物体検出装置。
10. 前記位置検出部は、前記累積マップの複数の方向における複数の累積値の変化に基づいて前記発光物体の位置を検出する、
    請求項１乃至９のいずれか一項に記載の発光物体検出装置。
11. 前記発光物体は、所定のリフレッシュレートでリフレッシュを繰り返す表示装置である、
    請求項１乃至１０のいずれか一項に記載の発光物体検出装置。
12. 所定の明滅レートで明滅発光する発光物体が前記明滅レートと異なるフレームレートで撮像された複数のフレーム画像信号を入力し、
    前記複数のフレーム画像信号間の差分を累積した累積マップを生成し、
    前記累積マップの所定方向における複数の累積値の変化に基づいて前記発光物体の位置を検出する、
    発光物体検出方法。
13. 前記累積マップの生成では、前記複数のフレーム画像信号に含まれる時間的に連続する２つのフレーム画像信号の各画素を比較し、当該比較結果が所定の差分閾値よりも大きい場合、該当する前記累積マップの累積値をカウントアップする、
    請求項１２に記載の発光物体検出方法。
14. 前記位置の検出では、前記累積マップの所定方向における複数の累積値のピーク値を検出し、検出したピーク値に基づいて、前記発光物体の位置を検出する、
    請求項１２または１３に記載の発光物体検出方法。
15. 前記位置の検出では、前記複数の累積値を前記所定方向に向かって参照し、最初または最後に検出された前記ピーク値の位置を、前記発光物体の端部の位置であると判断する、
    請求項１４に記載の発光物体検出方法。
16. コンピュータに発光物体検出方法を実行させるための発光物体検出プログラムであって、
    前記発光物体検出方法は、
    所定の明滅レートで明滅発光する発光物体が前記明滅レートと異なるフレームレートで撮像された複数のフレーム画像信号を入力し、
    前記複数のフレーム画像信号間の差分を累積した累積マップを生成し、
    前記累積マップの所定方向における複数の累積値の変化に基づいて前記発光物体の位置を検出する、
    発光物体検出プログラム。