JP2017125764A - 物体検出装置、及び物体検出装置を備えた画像表示装置 - Google Patents

Abstract

【課題】距離情報に基づいて対象物体に関する情報を高精度に検出する。【解決手段】測距部１０及び制御部２０を有する状態判定装置３０と、投射部４０とを備えて画像投影装置１を構成する。投射部４０は、光源４１等を備え、投射制御部５０の制御によって投影画像を投影面３に表示する。測距部１０は、投影面３に適した第一の露光条件で第一の背景デプスマップを取得し、入力操作部４に適した第二の露光条件で第二のデプスマップを取得する。制御部２０は、第一のデプスマップを記憶するデプスマップ記憶部２１、第二のデプスマップの各画素の測距値の信頼性を判定する信頼性判定部２２、第二のデプスマップを、信頼性判定部２２の判定結果に基づき補完し状態判定用デプスマップを生成するデプスマップ生成部２３、状態判定用デプスマップ等に基づき、投影面３に対する入力操作部４の状態を判定する状態判定部２４を備える。【選択図】図２

Description

本発明は、物体検出装置、及び物体検出装置を備えた画像表示装置に関する。

近年、画像情報に基づいて対象物体の検出等を行う物体検出装置を搭載し、スクリーンに投影した投影画像に文字や図などを書き込む機能や、投影画像の拡大、縮小、ページ送りなどの操作を実行する機能等を備えた、いわゆるインタラクティブなプロジェクタ装置が開発されている。これらの機能は、スクリーンをタッチする操作者の指や、操作者が保持するペン及び指し棒などを入力操作部とし、その入力操作部の位置及び動き等の情報を検出して、その検出結果をコンピュータなどへ送ることで実現されている。

このようなプロジェクタ装置として、背景物体となるスクリーンの距離情報及び入力操作部の距離情報をそれぞれ距離画像センサにより取得し、それらの情報からスクリーンに対する入力操作部の位置及び動きを３次元的に求める技術が提案されている（例えば、特許文献１参照）。また距離画像センサとして、ステレオカメラを用いた距離画像センサ、ＴＯＦ（Time-of-Flight）センサ、パターン投影法に基づくセンサ等が知られている。

一方、距離情報を用いて監視空間への侵入物体を検知する侵入検知装置も開示されている（例えば、特許文献２参照）。特許文献２では、測距不能な画素に起因する誤動作を低減させ、侵入者の侵入検知精度を向上させる目的で、背景物体及び侵入物体それぞれの距離情報を計測し、それらの情報の一方に測距精度が低下した画素がある場合、当該画素も距離変化画素として抽出し、侵入物体の有無を判定する技術が開示されている。

ところで、スクリーンや建造物等の背景物体と、操作者の指や侵入物体等の対象物体は、距離画像センサで用いる測定光に対する反射率が異なるため、距離情報に基づいて対象物体の位置や動き等の情報を高精度に取得するためには、反射率の違いを考慮する必要がある。

本発明は、上記の事情に鑑みて為されたもので、距離情報に基づいて対象物体に関する情報を高精度に検出することを目的とする。

上記の目的を達成するため、本発明に係る物体検出装置は、測距部を有し、該測距部から所定の視野内について距離情報を取得する物体検出装置であって、測距部が視野内についての距離情報を取得する際の条件を制御する制御部を備え、制御部は、視野内に存在する基準物体に適した第一の条件で視野内について第一の距離情報を取得し、視野内に存在する対象物体に適した第二の条件で視野内について第二の距離情報を取得するよう測距部を制御し、測距部における基準位置から基準物体までの基準距離を第一の距離情報に基づいて求め、測距部における基準位置から対象物体までの対象距離を第二の距離情報から求め、基準距離と対象距離とに基づき、基準物体に対する対象物体の状態を検出することを特徴とする。

本発明によれば、距離情報に基づいて対象物に関する情報を高精度に検出することが可能となる。

本願の第１実施形態に係る物体検出装置としての状態判定装置を有する画像投影装置と、画像情報装置とを備えた画像投影システムの構成を概略的に示した概略図である。 図１に示す画像投影装置の構成を概略的に示した概略図である。 図１に示す投射部の一構成例を説明するための光学図である。 パターン投影法に基づく方式を用いた測距部の一構成例を示した概略図である。 ステレオ法に基づく方式を用いた測距部の一構成例を示した概略図である。 ＴＯＦ法に基づく方式を用いた測距部の一構成例を示した概略図である。 状態判定部による入力操作部の状態判定の一例を説明するための説明図であって、入力操作部が投影面近傍に存在しない状態を示す。 状態判定部による入力操作部の状態判定の一例を説明するための説明図であって、入力操作部が投影面近傍に存在する状態を示す。 状態判定装置で実行される状態判定処理の一例を示すフローチャートである。 図６Ａの状態判定処理におけるデプスマップ生成処理の一例を示すフローチャートである。 輝度値と測距誤差の関係を示す図である。 輝度値とデータ信頼度の関係を示す図である。 デプスマップ生成部による状態判定用デプスマップの生成手順を説明するための説明図である。 本願の第２実施形態に係る電子黒板装置の一例を示す斜視図である。 本願の第３実施形態に係るデジタルサイネージ装置の一例を示す斜視図である。

（第１実施形態）
以下に、本願の第１実施形態に係る画像投影システム（インタラクティブ投影システム）の一実施形態を、図面を参照しながら説明する。図１、図２に示すように、本実施形態の画像投影システム１００は、状態判定装置（物体検出装置の一例）３０を有する画像投影装置（画像表示装置の一例）１と、画像管理装置２とを備えて構成される。本実施形態の画像投影システム１００では、画像管理装置２から入力される画像信号に基づいて、画像投影装置１が所定の投影面３に対して画像投影を行う。

画像投影装置１は、その正面（前面）が投影面３に対向するように配置される。本実施形態では専用スクリーンの一面を投影面３としているが、ホワイトボードのボード面、壁面等を投影面３として利用することもできる。本実施形態では、投影面３の横方向（水平方向）をＸ方向、投影面３の縦方向（鉛直方向）をＹ方向、Ｘ方向及びＹ方向と直交する方向であって投影面３と画像投影装置１が対向する方向をＺ方向とする。

画像投影装置１の操作者（ユーザ）は、入力操作部４として指を用いて、投影面３の近傍において指す動作を行う、ないしは投影面３にタッチ（接触）する動作を行うことで、投影面３に投射された投影画像に対して入力操作を行う。なお、入力操作部４が操作者の指に限定されることはなく、ペン、指し棒等を入力操作部４とすることもできる。画像投影装置１では、入力操作部４を状態検出の対象物体として、その位置、形状、動き等の状態検出（情報検出）を行い、状態検出結果に対応した画像操作処理を行うことで、インタラクティブな操作機能を実現する。

画像管理装置２は、複数の画像情報を保持しており、操作者の指示に基づいて投影対象画像の画像情報等を画像投影装置１に送信する。画像管理装置２としては、所定のプログラムがインストールされているパーソナルコンピュータ（ＰＣ）、タブレット端末等を用いることができる。

画像投影装置１と画像管理装置２とは、専用ケーブル、ＵＳＢ（Universal Serial Bus）ケーブルなどの汎用ケーブル５を介して、双方向に通信可能に接続されている。なお、画像管理装置２と画像投影装置１とは、既知の無線通信プロトコルに従った無線通信により、双方向に通信可能に接続することもできる。また、画像管理装置２がＵＳＢメモリやＳＤカードなどの着脱可能な記録媒体のインタフェースを有している場合は、該記録媒体に格納されている画像を投影対象画像とすることができる。

本実施形態の画像投影装置１は、いわゆるインタラクティブなプロジェクタ装置であり、図２に示されるように、測距部１０及び制御部２０を有する状態判定装置３０と、投射部４０とを備えて構成される。これらは、筐体１ａ（図１参照）内に、一体に収納されているが、別体に構成することもできる。

投射部４０は、画像の光学像を投影面３の所定の投影領域３ａに投影表示する機能を有している。画像管理装置２から画像投影装置１に画像情報を入力することで、投射部４０によって様々な画像を投影することができる。

投射部４０は、図３に示すように、光源４１、波長フィルター４２、フライアイレンズ４３、ダイクロイックミラー４４Ｒ，４４Ｇ，４４Ｂ、全反射ミラー４５、コリメータレンズ４６Ｒ，４６Ｇ，４６Ｂ、空間光変調素子４７Ｒ，４７Ｇ，４７Ｂ、ダイクロイックプリズム４８、投射レンズ４９を備えて構成される。投射部４０は、投射制御部５０に接続され、投射制御部５０によって動作が制御される。投射制御部５０は、画像投影装置１に設けられたＣＰＵ、ＲＡＭ、ＲＯＭ等を備えた情報処理装置で構成することができる。

ランプ光源等の光源４１からの光は、波長フィルター４２で赤外光（ＩＲ）や紫外光（ＵＶ）等の不要な光成分が除去された後、フライアイレンズ４３に入射する。フライアイレンズ４３を通過した光は、ダイクロイックミラー４４Ｒ，４４Ｇ，４４Ｂに入射し、それぞれ、赤（Ｒ光）、緑（Ｇ光）、青（Ｂ光）の各色成分に分離される。各色成分に分離された光（Ｒ光、Ｇ光、Ｂ光）はコリメータレンズ４６Ｒ，４６Ｇ，４６Ｂでそれぞれ平行光に変換された後、空間光変調素子４７Ｒ，４７Ｇ，４７Ｂに入射する。

空間光変調素子４７Ｒ，４７Ｇ，４７Ｂは、例えば、画像信号に応じて変調する透過型の液晶表示装置であり、透過した光が空間的に変調される。空間的に変調された各色成分の光（Ｒ光、Ｇ光、Ｂ光）は、ダイクロイックプリズム４８で合成され、投射レンズ４９により投射される。投射部４０は、このような構成を有することで、画像の光学像を投影面３に投影表示する。

なお、投射部４０の構成は上述の構成に限定されることはなく、空間変調素子としてＤＭＤ（Digital Micromirror Device）や反射型の液晶表示素子を用いることもできる。また、光源４１も、ランプ光源に限定されることはなく、ＬＥＤ光源やＬＤ源を用いることもできる。

状態判定装置３０では、測距部１０から所定の視野内について、測距部１０が取得した距離情報（デプスマップ）に基づいて、制御部２０により対象物体の基準物体に対する状態を検出する。本実施形態では、対象物体である入力操作部４を入力状態検出対象物として、基準物体である投影面３に対する位置、形状、動き等に基づいて、入力操作の状態検出を行う。そのため、本実施形態の状態判定装置３０は、入力操作検出装置でもある。

測距部１０は、測定対象物体に向けた視野を有し、視野内の各部の３次元座標を測定する機能を有している。測定した３次元座標に基づいて、視野内のデプスマップを取得する。本実施形態では投影面３及び入力操作部４が、測距部１０の測定対象物体となる。

測距方式としては、例えば、測定対象物体に基準パターンを投影し、撮影画像におけるパターン形状から三次元座標を得るパターン投影法に基づく方式、視点の異なる２枚以上の撮影画像の視差から測定対象物体の三次元座標を得るステレオ法に基づく方式、光の飛行時間から測定対象物体までの距離を測定するTime-of-Flight（ＴＯＦ）法に基づく方式などを用いることができる。以下、図４Ａ〜図４Ｃを用いて、各方式を用いた測距部１０（測距部１０Ａ，１０Ｂ，１０Ｃ）の例を説明する。このような測距部１０Ａ，１０Ｂ，１０Ｃを用いることで、部品点数が少なく、低コストで三次元形状測定を行うことができる。

図４Ａは、パターン投影法に基づく方式を用いた測距部１０Ａ（１０）の一構成例を示した概略図である。図４Ａに示す測距部１０Ａは、測定対象物体に基準となる所定のパターンを投影する投影部１１と、パターンが投影された測定対象物体を撮像する撮像部１２と、撮像された測定対象物体の撮影画像から三次元座標を計算する三次元座標計算部１３とを備え、さらに、投影部１１及び撮像部１２に対して露光条件を設定する露光条件制御部１４と、露光条件が記憶された露光条件記憶部１５とを備えている。投影部１１は、所定の視野範囲にパターンを投影し、投影部１１と撮像部１２は、所定の距離だけ離間している。なお、露光条件とは、撮像部１２により撮像された撮影画像の輝度値が適切な値となるように設定する条件（パラメータ）のことである。具体的には、撮像部１２が撮像動作を行う際のフレームレート、露光時間、露光する回数、撮像部１２の感度、投影部１１が投影するパターンの輝度等である。

露光条件記憶部１５には、デプスマップ取得の過程で得られる輝度画像において、背景物体（基準物体の一例）の輝度がこの背景物体の測距に適した輝度値となるための第一の露光条件と、注目物体（対象物体の一例）の輝度がこの注目物体の測距に適した輝度値となるための第二の露光条件と、が予め記憶されている。露光条件制御部１４は、露光条件記憶部１５から第一の露光条件と、第二の露光条件と、を取得する。

また、背景物体や注目物体といった測定対象物体に適した第一、第二の露光条件の設定値が設定された設定値テーブルを露光条件記憶部１５に記憶しておき、使用条件や使用目的に対応して適宜の設定値を使用する構成とすることもできる。なお、各露光条件が露光条件記憶部１５からの取得に限定されることはなく、画像管理装置２や他のＰＣ等を介してその都度、露光条件を設定するように構成することもできる。

投影部１１は、例えば、光源と、パターンを形成するマスクが設けられた投影光学系等で構成することができる。光源として、近赤外光を発する光源を用いることが望ましいが、これに限定されることはない。撮像部１２は、例えば、撮像光学系、ＣＣＤイメージセンサ、ＣＭＯＳ等の撮像素子で構成することができる。三次元座標計算部１３、露光条件制御部１４は、画像投影装置１に設けられたＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等のメモリ、その他を備えた情報処理装置で構成することができる。露光条件記憶部１５は、情報処理装置のメモリ内に設けることができる。

上述のような構成の測距部１０Ａでは、露光条件制御部１４により各露光条件の設定値が与えられ、各設定値に基づき投影部１１が測定対象物体にパターンを投影し、撮像部１２が撮影画像を撮像する。撮像画像に基づいて、三次元座標計算部１３が三次元座標を計算し、測定対象物体の測距を行う。

図４Ｂは、ステレオ法に基づく方式を用いた測距部１０Ｂ（１０）の一構成例を示した概略図である。図４Ｂに示す測距部１０Ｂは、測定対象物体を撮像する２台以上の撮像部１２と、撮像された測定対象物体の２枚以上の撮影画像から三次元座標を計算する三次元座標計算部１３とを備え、さらに、撮像部１２に対して露光条件を設定する露光条件制御部１４と、露光条件が記憶された露光条件記憶部１５とを備えている。ここでは、複数の撮像部１２はそれぞれ異なる視野を有しており、撮像される撮影画像はそれぞれ視点が異なる（視差を有する）ものとなっている。

図４Ｂにおける撮像部１２、露光条件制御部１４、露光条件記憶部１５は、図４Ａの測距部１０Ａにおける対応する構成と同様の構成とすることができる。

上述のような構成の測距部１０Ｂでは、露光条件制御部１４により各露光条件の設定値が与えられ、各設定値に基づき複数の撮像部１２が測定対象物体の撮影画像を撮像する。複数の撮像画像の視差に基づいて、三次元座標計算部１３が三次元座標を計算し、測定対象物体の測距を行う。

図４Ｃは、ＴＯＦ法に基づく方式を用いた測距部１０Ｃ（１０）の一構成例を示した概略図である。図４Ｃに示す測距部１０Ｃは、測定対象物体に照明光を照射する照明部１６と、照明光が照射された測定対象物体からの反射光を受光する受光部１７と、照明光と反射光の時間差から光の飛行時間を求め、測定対象物体までの距離を計算する三次元座標計算部１３とを備え、さらに、照明部１６及び受光部１７に対して露光条件を設定する露光条件制御部１４と、露光条件が記憶された露光条件記憶部１５とを備えている。

照明部１６は、例えば、光源、照射光学系等で構成することができる。光源は、近赤外光を発する光源が望ましいが、これに限定されることはない。受光部１７は、例えば、撮像光学系、ＣＣＤイメージセンサ、ＣＭＯＳ等の撮像素子で構成することができる。図４Ｃの測距部１０において、露光条件とは、受光部１７より出力される出力信号における輝度値が適切な値となるように設定する条件（パラメータ）のことである。具体的には、受光部１７が受光動作を行う際のフレームレート、受光時間、受光する回数、受光部１７の感度、照明部１６により照射される照明光の輝度等である。また、第一、第二の露光条件を画像管理装置２からその都度設定することもできる。

上述のような構成の測距部１０Ｃでは、露光条件制御部１４により各露光条件の設定値が与えられ、各設定値に基づき照明部１６が測定対象物体に照明光を照射し、測定対象物体からの反射光を受光部１７が受光する。照明光と反射光との位相差に基づいて、三次元座標計算部１３が三次元座標を計算し、測定対象物体の測距を行う。

制御部２０は、測距部１０で取得した距離情報（デプスマップ）に基づいて、対象物体としての注目物体の状態を検出する。制御部２０は、画像投影装置１に設けられたＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等のメモリ、その他を備えた情報処理装置で構成することができる。

次に、図２を用いて、制御部２０の機能を説明する。図２に示すように、制御部２０は、デプスマップ記憶部２１、信頼性判定部２２、デプスマップ生成部２３、状態判定部２４を備えて構成される。

デプスマップ記憶部２１は、測距部１０により取得したデプスマップを記憶する機能を有する。第１実施形態では、背景物体に適した第一の露光条件で測距部１０が取得したデプスマップが第一のデプスマップ（第一の距離情報）としてデプスマップ記憶部２１に記憶されている。また、注目物体に適した第二の露光条件で測距部１０が取得した第二のデプスマップ（第二の距離情報）や閾値等の各種パラメータ等も記憶する。本実施形態では背景物体とは、図１に示したように画像投影が行われる投影面３であり、専用スクリーンが利用されている。また、注目物体とは、投影画像に対して入力操作を行う操作者の指からなる入力操作部４である。

信頼性判定部２２は、測距部１０で取得した第二のデプスマップにおける背景物体に関する値の信頼性を判定する機能を有する。例えば、測距部１０による第二のデプスマップ取得の過程で得られる輝度画像の輝度値に基づき、背景物体に関する各画素の測距値データのデータ信頼度を判定する方法などが挙げられる。

デプスマップ生成部２３は、注目物体に適した第二の露光条件で測距部１０が取得した第二のデプスマップを、信頼性判定部２２の判定結果に基づき補完する機能を有する。これは、状態判定部２４において、信頼性が高いと判定された部位は、第二のデプスマップの値で状態判定を行い、信頼性が低いと判定された部位は、第一のデプスマップの値で状態判定を行わせるためである。すなわち、デプスマップ生成部２３は、信頼性判定部２２での判定結果においてデータ信頼度が低いと判定された部位を、デプスマップ記憶部２１に格納された第一のデプスマップの測距値データで補完する。これにより、測距値データの信頼性が高い新たな状態判定用デプスマップが生成される。

状態判定部２４は、デプスマップ生成部２３で生成された第二のデプスマップや状態判定用デプスマップに基づき、背景物体に対する注目物体の状態判定を行う。具体的には、状態判定部２４は、投影面３に対する入力操作部４の位置情報、形状情報、動き等について判定を行う。

例えば、入力操作部４と背景物体である投影面３の距離が、所定の閾値を下回った場合を入力操作部４が投影面３と接触状態であると定義する。この定義を基準として、投影領域３ａへの操作の入力情報を検出する。更にこの入力情報を、画像情報を管理する画像管理装置２を通じて投射部４０に反映させることで、入力情報を投影画像にインタラクティブに反映するインタラクティブ画像投射システムを実現することができる。

図５Ａ、図５Ｂに、状態判定部２４での入力操作部４の状態判定の一例を具体的に示す。状態判定装置３０では、測距部１０での測距結果に基づいて、背景物体である投影面３の検出面Ｎを基準として、所定距離離れた位置に状態検出境界Ｍを設定している。また、入力操作部４である指の背面（手前側の面）を、測距部１０による入力操作部４の検出面Ｌとしている。

図５Ｂに示すように、入力操作部４の検出面Ｌが、状態検出境界Ｍと投影面３の検出面Ｎの間の領域αに存在する場合、入力操作部４が投影面３近傍に存在すると判定することができる。一方、図５Ａに示すように、入力操作部４の検出面Ｌが状態判定装置３０から見て、状態検出境界Ｍより手前側（状態検出境界Ｍと状態判定装置３０の間の領域β）に存在する場合、入力操作部４が投影面３近傍に存在しないと判定することができる。

このような状態判定の違いを入力操作の違いとして考える。例えば、図５Ｂのような状態を操作者が投影面３にタッチし、投影画像の操作を行おうとしていると判定し、投射部４０での画像投影に反映させる。これにより、入力操作部４による入力操作情報を投影画像に反映することができる。

ここで、前述のように投影面３と入力操作部４のいずれかにおいて、反射率の違い等による測距の誤差が大きい条件でのデプスマップ取得を行うと、状態判定装置３０での状態判定の判定ミスが生じ易い。しかしながら、本願に係る第１実施形態の状態判定装置３０では、背景物体である投影面３に好適な第一の露光条件を用いて第一のデプスマップを取得し、注目物体である入力操作部４に好適な第二の露光条件を用いて第二のデプスマップを取得している。そして、第一のデプスマップで第二のデプスマップを補間した上で、入力操作部４の状態判定を行っている。したがって、状態判定を高精度に行うことができる。

以下、状態判定装置３０で行われる状態判定処理（状態判定方法）の一例を、図６Ａ、図６Ｂのフローチャートを参照しながら説明する。なお、状態判定処理は、デプスマップに基づいて、操作者の指等の入力操作部４を検出して、投影面３に対する位置、形状、動き等からその状態、すなわち入力操作部４からの入力操作情報を検出するものであるため、状態判定処理は、入力操作検出処理でもある。

状態判定処理は、画像投影システム１００において、画像管理装置２から入力される画像信号に基づいて、画像投影装置１が所定の投影面３に対して画像投影を行っているときに、随時行われる。

画像投影装置１の電源オンや操作メニューの選択等によって状態判定処理の開始が指示されると、まず、制御部２０において、背景物体である投影面３に対する第一のデプスマップが取得済みか否かを判定する（ステップＳ１００）。デプスマップ記憶部２１に第一のデプスマップが既に記憶されており、取得済み（Ｙｅｓ）である場合は、ステップＳ１２０に進み、取得済みでない（Ｎｏ）場合は、ステップＳ１１０に進む。

ステップＳ１１０〜Ｓ１１２は、入力操作部４が存在しない状態でのデプスマップ、すなわち背景物体である投影面３に対する第一のデプスマップを予め取得し記憶するステップである。いわゆる初期化処理であり、以降のリアルタイムでの注目物体（入力操作部４）の状態検出を行うための事前処理である。そのため、状態判定処理の開始が指示された直後に行われることが好ましく、測距部１０の視野内に背景物体以外の物体が存在しない時間タイミングで処理されることが望ましい。なお、三次元情報を利用するため、背景物体の形状は、平面形状に限定されず、段差のある物体や湾曲した物体であっても適用可能である。

まず、ステップＳ１１０では、測距部１０の露光条件制御部１４が露光条件記憶部１５等から背景物体に適した第一の露光条件を読み出し、測距部１０の各部に設定する。背景物体として利用される物体は一般的に専用スクリーンやホワイトボードなどであり、本実施形態でも専用スクリーンの投影面３を背景物体としている。そのため、好適な露光条件を比較的予測し易い。そのため、本ステップで、露光条件記憶部１５に予め記憶した（又はその都度設定した）好適な第一の露光条件を読み出して設定をすることで、背景物体に対して適した測距を実現することができる。

次に、ステップＳ１１１では、測距部１０が、視野内に背景物体のみが存在する状態で、ステップＳ１１０で設定した第一の露光条件を用いてデプスマップを取得する。取得されたデプスマップは、第一のデプスマップとして、デプスマップ記憶部２１に記憶する（ステップＳ１１２）。その後、ステップＳ１２０に進む。

以上のステップＳ１１０〜Ｓ１１２の処理は、状態判定装置３０と投影面３の相対位置条件が変わらない場合は繰り返す必要がない。そのため、一回目の状態判定処理が終了した後に、再度状態判定処理が開始された場合は、ステップＳ１１０〜Ｓ１１２の処理をスキップして、ステップＳ１２０から処理を行えばよい。

ステップＳ１２０〜Ｓ１２１は、測距部１０によって注目物体である入力操作部４に適した第二の露光条件でデプスマップを取得するステップである。ところで、背景物体となる投影面３と注目物体となる入力操作部４は、測定光に対する反射率が異なることが一般的である。本実施形態のように、投影面３として専用スクリーンやホワイトボードを用いた場合、入力操作部４である操作者の指と比較して、専用スクリーンやホワイトボードは反射率が高い材料で構成されることが多い。

このように測定対象象物体において、測定光に対する反射率が異なる場合、測距部１０が同じ露光条件をもってデプスマップ取得を行うとすると、それぞれの測定対象物体に対して好適な露光条件とならない。すなわち、反射率が高い物体に適した露光条件で反射率が低い物体を撮像すると、デプスマップ取得の過程で得られる輝度画像において、反射率が低い物体の輝度値は小さくなる。その結果、距離測定の誤差（測距誤差）が大きくなる。これにより、入力操作部４の状態検出の精度が低下する。

図７に、輝度値と測距誤差の関係をグラフで示した。この図７に示すように、輝度値が小さくなるほど、測距部１０による測距誤差は大きくなる傾向を持つのが一般的である。このような特性も持つ測距部１０において、測定光に対する反射率が異なる複数の測定対象物体に対して、同じ露光条件でデプスマップ取得を行うと、相対的に反射率の高い物体に対しては、輝度値が大きくなるため誤差の小さい高精度な測距を行える。しかし、反射率の低い物体に対しては誤差の大きい測距を行うことになる。すなわち、背景物体と注目物体の両者において両立して高精度な測距を行うことができない。

そこで、本願に係る第１実施形態では、反射率の違いを考慮して、測距部１０において、背景物体に好適な第一の露光条件と、注目物体に好適な第二の露光条件とを使い分けることで、高精度な測距を可能としている。したがって、ステップＳ１２０では、露光条件制御部１４は、第一の露光条件と異なる第二の露光条件を露光条件記憶部１５等から読み出し、測距部１０の各部に設定する。これにより注目物体に適した露光条件でデプスマップ取得を行うことができる。

本実施形態において注目物体として利用される入力操作部４は、例えば操作者の指や手である。人体を測距部１０による測定対象物体とする場合は、好適な露光条件を比較的予測し易い。そのため、本ステップで、露光条件記憶部１５に予め記憶した（又はその都度設定した）好適な第二の露光条件を読み出して設定をすることで、注目物体に対して適した測距を実現することができる。本実施形態では、背景物体となる専用スクリーンの投影面３が、入力操作部４となる操作者の指と比較して、反射率が高いとしている。それぞれに対して好適な露光条件とするために、入力操作部４の測距時の第二の露光条件は、投影面３の測距時の第一の露光条件に対して、投影部１１が投影するパターンの輝度や照明部１６により照射される照明光の輝度を高くする、撮像部１２の感度や受光部１７の感度を高くする等の設定を行っている。

次に、ステップＳ１２１では、測距部１０によりステップＳ１２０で設定した第二の露光条件を用いて、視野内に注目物体が存在する状態のデプスマップを取得する。以降リアルタイムでの処理が求められるため、例えば３０ｆｐｓ以上の所定のフレームレートでのデプスマップ取得が随時行われる。

ここで、インタラクティブな画像投影装置１の動作速度（検出速度）を考えた場合、背景物体のみが存在するときに視野内の距離情報を取得する初期化時には、比較的低いフレームレートでの動作が許容される。これに対して、注目物体の状態検出時、すなわち注目物体が存在する状態で視野内の距離情報を取得するときには、比較的高いフレームレートでの動作が求められる。このようなシステム動作速度の制約を考慮して、背景物体に適した第一の露光条件で視野内の距離情報を取得する際のフレームレートよりも、注目物体に適した第二の露光条件で視野内の距離情報を取得する際のフレームレートを高くすることが好ましい。ただし、フレームレートを高くすると、設定可能な露光時間が短くなるため、デプスマップ取得の過程で得られる輝度画像の輝度値を適切な値とし、高い測距精度を得るためには、投影部１１が投影するパターンの輝度や照明部１６により照射される照明光の輝度を高くする、撮像部１２の感度や受光部１７の感度を高くする等の設定を行う必要がある。そこで、状態検出時の第二の露光条件では、フレームレートを比較的高くし、これに対応して、投影部１１が投影するパターンの輝度や照明部１６により照射される照明光の輝度を高くする、撮像部１２の感度や受光部１７の感度を高くする等の設定を行うことで、注目物体に適した露光条件を保ちつつ、状態検出速度を向上させる。また、初期化時の第一の露光条件では、フレームレートを比較的低くし、これに対応して投影部１１が投影するパターンの輝度や照明部１６により照射される照明光の輝度を低くする、撮像部１２の感度や受光部１７の感度を低くする等の設定を行うことで、背景物体に適した露光条件を保ちつつ、ノイズを低減することができる。また、システム動作速度に余裕があるので、複数回の測距信号を平均化することで、高精度な測距値データを取得することができる。

次に、ステップＳ１２２〜Ｓ１２３は、第二のデプスマップの信頼性を判定し、判定結果に応じて補完するステップである。ステップＳ１２２では、信頼性判定部２２が、注目物体に適した第二の露光条件で取得した第二のデプスマップにおいて、信頼性の低い測距値データが存在するかの判定を、測距値データの各画素の輝度値に基づいて行う。

先に図７を用いて説明したように、輝度値が小さい領域では、いわゆるＳ／Ｎ比が低下する領域であり、測距誤差が大きくなる。一方、輝度値が必要以上に大きい領域は輝度の飽和が生じ易く、仮に輝度飽和が生じた場合、精度の低い測距値データを出力する可能性がある。これらの現象が生じる領域は測距値データの信頼性が低く、高精度な測距を実現する上では避けることが望ましい。

図８は、このような測距時の輝度値と測定値データのデータ信頼度の関係を示したグラフである。測距時の輝度値は、測距値データのデータ信頼度が所定値以上となるある所定範囲内に収まっていることが望ましい。図８の例では、輝度値がＩａ〜Ｉｂの範囲にあるときに測距可能であると定義している。輝度値がＩａ〜Ｉｂ以外の範囲にあるときは、データ信頼度が低いと判定する。

このように、ＣＣＤイメージセンサ等の撮像素子の出力信号における輝度値に基づいて、信頼性判定部２２がデータ信頼度を判定することで、追加の構成部品を必要とすることなく、簡易にデータ信頼度の判定を行うことができる。なお、測距値データのデータ信頼度の判定は、ここで示した手法に限定されることはない。例えば、出力された測距値データを用いて、周辺画素の測距値データとの一致度から判定することもできるし、測距範囲及び測定対象物体に応じて、予め定めた測距値範囲に含まれているか否かにより判定することもできる。

このステップＳ１２２で、第二のデプスマップに信頼性の低い測距値データが存在しない（Ｎｏ）と判定された場合、ステップＳ１３０の処理に進む。一方、信頼性の低い測距値データが存在する（Ｙｅｓ）と判定された場合、ステップＳ１２３の処理に進む。

ステップＳ１２３では、デプスマップ生成部２３が、第二のデプスマップの信頼性の低い測距値データを第一のデプスマップの測距値データで補完し、新たに状態判定用デプスマップを生成する。図９を用いて、具体的な処理について説明する。ここでは、前述したように、投影面３の反射率が入力操作部４の反射率よりも高いため、入力操作部４の測距時の第二の露光条件は、投影面３の測距時の第一の露光条件に対して、投影部１１が投影するパターンの輝度や照明部１６により照射される照明光の輝度を高くする、撮像部１２の感度や受光部１７の感度を高くする等の設定を行っている。

図９に示す（１−１）は、第一の露光条件でデプスマップを取得する様子を示し、（１−２）は、そのときの測距部１０の視野内の一部の輝度画像６０ａを示し、（１−３）は、第一のデプスマップ７０ａを示している。視野内には背景物体である投影面３のみが存在し、投影面３に好適な第一の露光条件で測距を行っている。そのため、輝度画像６０ａ中の各画素の輝度値は一様に測距可能範囲Ｉａ〜Ｉｂの輝度値（測定可能領域６１ａ）となっている。また、第一のデプスマップ７０ａ中の各画素（領域７１ａ）の測距値は、一様な測距値データが得られていることを示している。

図９に示す（２−１）は、第二の露光条件でデプスマップを取得する様子を示し、（２−２）は、そのときの視野内の一部の輝度画像６０ｂを示し、（２−３）は、取得された第二のデプスマップ７０ｂを示している。視野内には背景物体である投影面３と入力操作部４ある操作者の指が存在している。この場合、入力操作部４に好適な第二の露光条件で測距を行っているため、輝度画像６０ｂ中の入力操作部４に対応する部分の輝度値は測距可能範囲の輝度値（Ｉａ〜Ｉｂ）となる（測定可能領域６１ｂ）。これに対して、投影面３に対応する部分の輝度値は飽和領域の輝度値（＞Ｉｂ）となることがある（飽和領域６１ｂ’）。このような第二のデプスマップ７０ｂでは、入力操作部４に対応する部分（領域７１ｂ；格子状の網掛け部分）は適切に測距ができているのに対し、投影面３に対応する部分（領域７１ｂ’；黒塗り部分）はデータ信頼度が低い測距値データとなる。

この第二のデプスマップ７０ｂを用いて、状態判定を行うと、飽和領域７１ｂ’部分で状態判定の誤認識が生じ易い。例えば、投影面３が正しい測距値データとして出力されず、状態検出境界Ｍより手前の測距値データが出力された場合、その部分がタッチ部と判定される。そのため、操作者の意図しないタイミングやタッチ位置でのタッチ動作が認識されてしまう。

これに対し、本願に係る第１実施形態では、第二のデプスマップ７０ｂのデータ信頼度が低い領域７１ｂ’の測定値データを、第一の露光条件で取得した第一のデプスマップ７０ａの測定値データで補完して補完領域７１ｃとし、図９の（３）に示すような状態判定用デプスマップ７０ｂ’を生成する。このような処理を行うことで、背景物体と注目物体の両者のデプスマップを好適な露光条件で測定された値で生成することができ、認識精度の高い状態検出を実現することができる。

なお、本実施形態では背景物体となる投影面３が、入力操作部４となる操作者の指と比較して、反射率が高い場合を説明した。しかしながら、本願がこれに限定されることはなく、投影面３の反射率が入力操作部４の反射率が低い場合でも、同様な考えの下にデプスマップ生成を行うことで、反射率が高い場合と同様の作用効果を得ることができる。状態判定用デプスマップ生成が終了したら、ステップＳ１３０に進む。

ステップＳ１３０では、補完された状態判定用デプスマップを利用して、図５Ａ、図５Ｂを用いて説明したような手順で注目物体の背景物体に対する状態検出を行う。より具体的には、投影画像に対して入力操作を行う指の位置や動きを取得し、その入力操作に関する情報を状態判定部２４で解析する。

以下、状態判定部２４による注目物体の状態検出動作の一具体例を、図６Ｂのフローチャートを参照しながら説明する。まず、状態判定部２４は、デプスマップ記憶部２１から、背景物体に関する第一のデプスマップを取得する（ステップＳ１３１）。次に、状態判定部２４は、入力操作部４（操作者の指）が視野内に存在している状態でリアルタイムに随時取得され、補完がされた状態検出用デプスマップと、第一のデプスマップとの差分を取る（ステップＳ１３２）。すなわち、測距部１０の視野内に指がある場合とない場合のデプスマップの差分であるので、背景物体となる投影面３の距離情報（基準距離）は相殺され、背景物体を基準とした指部分の距離情報（対象距離）のみが算出される。これを差分デプスマップと呼ぶ。

状態判定部２４は、差分デプスマップから指形状を、適宜の画像処理によって抽出し、入力操作を行う指先位置を推定する（ステップＳ１３３）。推定した指先位置の差分距離情報（投影面３を基準としたときの距離情報）を、差分デプスマップから求めることにより、指先位置が投影面３に接触しているか否かを判定する（ステップＳ１３４）。ここで差分した距離情報がゼロであれば指先位置は投影面３に接触していることになる。なお、測距部１０の測距誤差や指の厚み等も考慮して、例えば差分距離情報が２０ｍｍ以下であれば、接触しているとするなどの条件判定することが望ましい。また、これにより、投影面３に接触していなくとも、投影面３に近接していれば接触しているとみなすこともでき、実用的である。

指先が接触している（Ｙｅｓ）と判定されれば、所望の入力操作に関する情報を検出する（ステップＳ１３５）。入力操作としては、例えば、その指先位置に投影されている投影画像の指示に従い、アイコンをクリックする入力動作であったり、指先が接触しつつ移動している間は投影画像上に文字を書く入力動作であったりする。指先が接触していない（Ｎｏ）と判定されれば、ステップＳ１３５の処理をスキップする。以上により、注目物体の状態検出処理が終了し、図６Ａのフローチャートの状態判定処理に戻り、ステップＳ１４０に進む。

ステップＳ１４０では、注目物体の状態検出で検出した入力操作情報を実行すべく、画像情報を管理する画像管理装置２に入力操作情報を伝達（指示）する。画像管理装置２が、この入力操作情報を投射部４０に伝達することで、投影画像に入力操作情報が反映される。これにより、インタラクティブな操作機能を実現することができる。その後、ステップＳ１５０に進む。なお、ステップＳ１３０の注目物体の状態検出において、入力操作情報が検出されなかった場合は、ステップＳ１４０の処理は行われず、ステップＳ１５０に進む。

ステップＳ１５０で、インタラクティブ画像投影処理が終了か否かを判定し、終了の場合は（Ｙｅｓ）、状態判定処理を終了し、引き続きインタラクティブ処理が実行されている場合は（Ｎｏ）、ステップＳ１２１に戻り、入力操作部４の状態判定を続行する。

以上、第１実施形態では、状態判定装置３０により、投影面３に適した第一の露光条件で測距部１０が取得した第一のデプスマップと、入力操作部４に適した第二の露光条件で測距部１０が取得した第二のデプスマップと、に基づいて、入力操作部４の投影面３に対する状態判定を高精度に行うことができる。よって、このような状態判定装置３０を有する画像投影装置１を備えた画像投影システム１００では、投影面３に投影された投影画像上での入力操作部４による入力操作の状態検出を高精度に行うことができ、投影画像への入力操作情報の反映を適切に行うことができる。これにより、優れたインタラクティブ操作機能を実現することができる。

（第２実施形態）
次に、本願の第２実施形態に係る状態判定装置を備えた電子黒板装置について、図１０を参照しながら説明する。図１０に示すように、第２実施形態に係る電子黒板装置２００は、各種メニューやコマンド実行結果が表示される映写パネル２０１及び座標入力ユニットを収納したパネル部２０２と、コントローラ及びプロジェクタユニットを収納した収納部と、パネル部２０２及び収納部を所定の高さで支持するスタンドと、コンピュータ、スキャナ、プリンタ、ビデオプレイヤ等を収納した機器収納部２０３とからなる基本構成を備えている(特開２００２−２７８７００号公報参照)。このような基本構成に加えて、本願の第２実施形態に係る電子黒板装置２００は、映写パネル２０１に表示される画像に対する操作者（ユーザ）の入力操作を検出するための状態判定装置３０Ａを備えている。この状態判定装置３０Ａは、機器収納部２０３等に格納されており、映写パネル２０１の画面（以下、「電子黒板画面」という）が投影面３となっている。この投影面３の下方より、入力操作部４としての操作者の指やペンを検出する。状態判定装置３０Ａとしては、例えば、前述の第１実施形態の状態判定装置３０と同様の構成のものを用いることができる。

電子黒板装置２００が、ジェスチャ認識に対応している場合、状態判定装置３０Ａによって入力操作部４の位置及び動きを認識することで、諸画像の拡大、縮小、ページ送りなどの動作を検出し、電子黒板画面への入力操作とする。また、電子黒板装置２００が、電子黒板画面へのタッチ機能を搭載している場合、入力操作部４の挙動を状態判定装置３０Ａにて追跡し、入力操作部４が電子黒板画面と接触状態か非接触状態かを検出することで電子黒板画面への入力を検出する。更に上記入力情報を、画像を管理するコンピュータに出力することで、入力操作情報を電子黒板画面への出力画像に反映する。

第２実施例の電子黒板装置２００でも、状態判定装置３０が、背景物体である電子黒板画面に好適な第一の露光条件で取得した第一のデプスマップで、注目物体である入力操作部４に好適な第２の露光条件を用いて取得した第二のデプスマップを補完する。これにより、入力操作部４の入力操作を高精度に検出して、電子黒板装置２００の優れたインタラクティブ操作機能を実現することができる。

（第３実施形態）
次に、本願の第３実施形態に係る状態判定装置を備えたデジタルサイネージ装置について、図１１を参照しながら説明する。図１１に示すように、本願の第３実施形態に係るデジタルサイネージ装置３００は、広告画像等が表示されるディスプレイ３０１と、プロジェクタ本体３０２と、状態判定装置３０Ｂとを備えて構成される。

本実施形態では、ディスプレイ３０１のガラス面が投影面３となる。画像は、投影面３の後方からプロジェクタ本体３０２によりリアプロジェクションされている。状態判定装置３０Ｂは投影面３の前方であって下方に設置されており、ディスプレイ３０１の画面の下方より入力操作部４としての操作者の指等を検出する。状態判定装置３０Ｂとしては、例えば、前述の第１実施形態の状態判定装置３０と同様の構成のものを用いることができる。

デジタルサイネージ装置３００が、ジェスチャ認識に対応している場合、状態判定装置３０Ｂによって入力操作部４の位置及び動きを認識することで、諸画像の拡大、縮小、ページ送りなどの動作を検出し、画面への入力操作とする。また、デジタルサイネージ装置３００が、画面へのタッチ機能を搭載している場合、入力操作部４の挙動を状態判定装置３０Ｂにて追跡し、入力操作部４がガラス面と接触状態か非接触状態かを検出することで、デジタルサイネージ装置３００への入力を検出する。更に上記入力情報を、画像を管理するコンピュータに出力することで、入力操作情報を画面への出力画像に反映する。

第３実施例のデジタルサイネージ装置３００でも、状態判定装置３０Ｂが、背景物体である投影面３に好適な第一の露光条件で取得した第一のデプスマップで、注目物体である入力操作部４に好適な第２の露光条件を用いて取得した第二のデプスマップを補完する。これにより、入力操作部４の入力操作を高精度に検出して、デジタルサイネージ装置３００の優れたインタラクティブ操作機能を実現することができる。

なお、各実施形態では、物体検出装置として、注目物体の状態を判定する状態判定装置或いは、入力操作部による入力操作を検出する入力操作検出装置に適用した例を説明したが、物体検出装置がこれらに限定されることない。例えば、所定の撮像領域内の物体や、所定の監視領域内への侵入物体等を抽出する物体抽出装置にも適用することができる。また、状態判定装置や入力操作検出装置が上記各実施形態に限定されることもない。また、このような物体検出装置を備えた画像表示装置として、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置に適用した例を説明したが、画像表示装置もこれらに限定されることはない。インタラクティブ機能を有する適宜の装置に適用することができる。

以上、本発明の物体検出装置及び物体検出装置を備えた画像表示装置を各実施形態に基づき説明してきたが、具体的な構成については各実施形態に限られるものではなく、本発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。また、前記構成部材の数、位置、形状等は各実施形態に限定されることはなく、本発明を実施する上で好適な数、位置、形状等にすることができる。

１ 画像投影装置（画像表示装置） ３ 投影面（基準物体）
４ 入力操作部（対象物体） １０，１０Ａ，１０Ｂ，１０Ｃ 測距部
３０，３０Ａ，３０Ｂ 状態判定装置（物体検出装置）
２００ 電子黒板装置（画像表示装置）
３００ デジタルサイネージ装置（画像表示装置）

特開２０１３−６１５５２号公報 特開２００７−１２２５０８号公報

Claims (11)

1. 測距部を有し、該測距部から所定の視野内について距離情報を取得する物体検出装置であって、
   前記測距部が前記視野内についての距離情報を取得する際の条件を制御する制御部を備え、
   前記制御部は、前記視野内に存在する基準物体に適した第一の条件で前記視野内について第１の距離情報を取得し、前記視野内に存在する対象物体に適した第二の条件で前記視野内について第二の距離情報を取得するよう前記測距部を制御し、
   前記測距部における基準位置から前記基準物体までの基準距離を前記第１の距離情報に基づいて求め、前記測距部における基準位置から前記対象物体までの対象距離を前記第２の距離情報から求め、
   前記基準距離と前記対象距離とに基づき、前記基準物体に対する前記対象物体の状態を検出すること
   を特徴とする物体検出装置。
2. 測距部を有し、該測距部から所定の視野内について距離情報を取得する物体検出装置であって、
   前記測距部が前記視野内についての距離情報を取得する際の条件を制御する制御部を備え、
   前記制御部は、前記視野内に存在する基準物体に適した第１の条件で前記視野内について第１の距離情報を取得し、前記視野内に存在する対象物体に適した第２の条件で前記視野内について第二の距離情報を取得するよう前記測距部を制御し、
   前記第二の距離情報における前記基準物体に関する値の信頼性を判断し、
   信頼性が高いと判断した場合は、前記測距部における基準位置から前記基準物体までの基準距離及び前記測距部における基準位置から前記対象物体までの対象距離を前記第２の距離情報から求め、
   信頼性が低いと判断した場合は、前記測距部における基準位置から前記基準物体までの基準距離を前記第一の距離情報に基づいて求め、前記測距部における基準位置から前記対象物体までの対象距離を前記第二の距離情報から求め、
   前記基準距離と前記対象距離とに基づき、前記基準物体に対する前記対象物体の状態を検出すること
   を特徴とする物体検出装置。
3. 前記信頼性の判断は、前記測距部が前記第二の距離情報を取得する際の受光光量に基づいて行うこと
   を特徴とする請求項２に記載の物体検出装置。
4. 前記第１の条件、及び前記第２の条件は、前記測距部における露光量であり、
   前記制御部は、前記第一の条件を前記基準物体の反射率に基づいて設定し、前記第二の条件を前記対象物体の反射率に基づいて設定すること
   を特徴とする請求項１〜３のいずれか一項に記載の物体検出装置。
5. 前記制御部は、前記第一の距離情報を取得する際の前記測距部のフレームレートよりも、前記第二の距離情報を取得する際の前記測距部のフレームレートを高く設定すること
   を特徴とする請求項１〜４のいずれか一項に記載の物体検出装置。
6. 前記測距部は、測定対象物体に所定の基準パターンを投影し、撮影画像に基づいて三次元座標を得るパターン投影法に基づく方式を用いて前記距離情報を取得すること
   を特徴とする請求項１〜５のいずれか一項に記載の物体検出装置。
7. 前記測距部は、光源から発された光の飛行時間から測定対象物体までの距離を測定するタイムオブフライト法に基づく方式を用いて前記距離情報を取得すること
   を特徴とする請求項１〜５のいずれか一項に記載の物体検出装置。
8. 前記測距部は、視点の異なる２枚以上の撮影画像の視差に基づいて三次元座標を得るステレオ法に基づく方式を用いて前記距離情報を取得すること
   を特徴とする請求項１〜５のいずれか一項に記載の物体検出装置。
9. 前記物体検出装置が、前記基準物体に対する前記対象物体の状態判定を行う状態判定装置、前記基準物体に対する入力操作を行う入力操作部としての前記対象物体の状態を検出する入力操作検出装置、及び前記基準物体から所定の範囲内に存在する前記対象物体を抽出する物体抽出装置のいずれかであること
   を特徴とする請求項１〜８のいずれか一項に記載の物体検出装置。
10. 請求項１〜９のいずれか一項に記載の物体検出装置を備えたこと
    を特徴とする画像表示装置。
11. 前記画像表示装置が、画像投影装置、電子黒板装置、及びデジタルサイネージ装置のいずれかであること
    を特徴とする請求項１０に記載の画像表示装置。