JP2010113568A - 動作検出装置及びそれを用いた操作システム - Google Patents
動作検出装置及びそれを用いた操作システム Download PDFInfo
- Publication number
- JP2010113568A JP2010113568A JP2008286287A JP2008286287A JP2010113568A JP 2010113568 A JP2010113568 A JP 2010113568A JP 2008286287 A JP2008286287 A JP 2008286287A JP 2008286287 A JP2008286287 A JP 2008286287A JP 2010113568 A JP2010113568 A JP 2010113568A
- Authority
- JP
- Japan
- Prior art keywords
- image
- complementary
- unit
- user
- motion detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】投影画像を遮って生じる影の位置情報に基づいてユーザ動作を検出する動作検出装置及びそれを用いた操作システムにおいて、ユーザが影により隠された部分についての必要な情報を取得可能にする技術を提供する。
【解決手段】画像表示部と投影部を用意し、投影部から画像表示部に画像を投影する。ユーザは手で投影画像を遮って影を生じさせ、動作検出部がユーザ動作を検出する。その際に補完画像作成部は補完画像を作成し、影の領域に出力する。補完画像としては投影画像の色を異ならせた画像や、ユーザ動作に応じた形状のカーソルを出力できるため、操作性を向上させることができる。
【選択図】図1
【解決手段】画像表示部と投影部を用意し、投影部から画像表示部に画像を投影する。ユーザは手で投影画像を遮って影を生じさせ、動作検出部がユーザ動作を検出する。その際に補完画像作成部は補完画像を作成し、影の領域に出力する。補完画像としては投影画像の色を異ならせた画像や、ユーザ動作に応じた形状のカーソルを出力できるため、操作性を向上させることができる。
【選択図】図1
Description
本発明は、投影画像をユーザが遮断して生じる影の位置情報に基づいてユーザ動作を検出する動作検出装置、及びそれを用いた操作システムに関する。
従来、カーナビゲーション装置を操作する方法として、接触型と遠隔型の2種類があった。接触型とは例えば特開2002−328030号公報(特許文献1)のように、タッチパネル式の画面に触れたり、画面付近に配置されたボタンを操作したりして装置を操作する方法である。しかしカーナビゲーション装置の画面はダッシュボード付近に設置されていることが多いため、接触型の場合、ユーザが運転席から身を乗り出したり、手を遠くに伸ばしたりする必要があった。遠隔型とは例えば特開2008−135917号公報(特許文献2)のように、リモコンを利用して装置を操作する方法である。しかし遠隔型の場合、まず手元のリモコンを操作し、次に画面を見て操作結果を確認するといった手順が必要であり、注意が分散してしまっていた。
一方、特開2004−168264号公報(特許文献3)に記載されているカーナビゲーション装置は、ユーザの手の形状や動き(ハンドパターン)を撮影し、スイッチ操作情報を検出している。しかしこの方法では画面から離れた位置で手を動かすため、地図上の位置を直接指示することができず、細かな操作ができない。
特開2002−328030号公報
特開2008−135917号公報
特開2004−168264号公報
上述の方法の不都合を解消するために、ユーザの手などの影を用いた遠隔操作が考えられる。すなわち、プロジェクタがスクリーンに光を投影してナビゲーション画面を表示すると、ユーザが手を動かして投影される画像を遮ってスクリーンに影を作り、影の形状や動きで操作を行う。そして装置は影の形状や動きに基づいて操作内容を認識する。
この方法によれば、手の影を用いて遠隔操作ができるので、ユーザは画面に触れるために運転席から身を乗り出したり、手を遠くに伸ばしたりする必要が無い。また、リモコンを用いずに画面を見ながら操作できるので、画面とリモコンの間で注意が分散する恐れが無い。さらに、例えば手の指先の影を用いて画面上の位置を直接指示し、細かな操作を行うことが可能である。
手などの影を用いた遠隔操作方法には上記のような利点を有するが、画面上に影が生じることが原因でユーザが得られる情報量が低下するという課題がある。例えば、ユーザは影の下に隠れた部分を視認することができない。また、影のうちどの部分が操作ポイントであるかユーザに分かりにくい場合がある。つまり、画面上に影が大きく表示されていると、ユーザが思っている操作ポイントと動作検出装置が認識した操作ポイントの位置がズレて、ユーザの意図した通りの反応をしない可能性がある。
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、投影画像をユーザが遮断して生じる影の位置情報に基づいてユーザ動作を検出する動作検出装置、及びそれを用いた操作システムにおいて、影の領域にユーザの操作性を向上するための情報を表示する技術を提供することである。
上記目的を達成するために本発明では、以下の構成の動作検出装置を採用する。すなわち、画像表示部と、前記画像表示部に画像を投影する投影部と、前記画像表示部を撮影する撮影部と、前記投影画像が遮断されて前記画像表示部に生じた遮断領域を検出し、当該遮断領域の位置情報に基づいてユーザ動作を検出する動作検出部と、前記遮断領域に画像を出力する補完画像出力部とを備えることを特徴とする動作検出装置である。
このように、投影部とは別に補完画像出力部を備える構成を取ることにより、補完画像出力部が遮断領域(ユーザの手などの影)に補完画像として、ユーザの操作性を向上させるための情報を出力することができる。
補完画像としては様々な画像を使用することが可能である。例えば補完画像として、遮断領域の画像を投影時とは異なる色に変えたものを出力することができる。異なる色の補完画像として例えば、遮断領域の画像の明度を最初の投影時よりも低下させたものを使用できる。
あるいは、投影部がカラー画像を投影している時に、補完画像として単色の画像を使用することができる。単色の画像としては、投影した画像をRGBの三刺激値で表した時のいずれか一つの刺激値のみを表示したものや、投影したカラー画像をモノクロ画像に変換したものが考えられる。
このように、補完画像として投影画像とは異なる色の画像を出力するように構成された本発明によれば、ユーザは遮断された部分に何が表示されているかを視認しながら遠隔操作を行うことが可能であり、操作性が向上する。また、出力する補完画像の色を異ならせることにより、ユーザはどこに影があるかを見失うことなく操作できる。
本発明における補完画像出力部は、遮断領域にユーザ動作に応じた形状のアイコンを出力することができる。例えば補完画像として、ユーザの操作ポイントを示すアイコン(カーソル)を出力することができる。このようにカーソルを出力することによって、ユーザは影のどの部分が操作ポイントであるかを正確に認識でき、操作性が向上する。
更に、カーソルを出力するに当たっては、操作ポイントでユーザが実行可能な操作を知らせるようにカーソルの形状を変化させて出力することもできる。このようにカーソルの形状を変化させることによってユーザが様々な動作をスムーズに行えるようになり、操作性が向上する。
ところで、補完画像を出力する際には、遮断領域と正確に位置を合わせることが必要である。そこで本発明においては、投影画像の中に、画像での位置を特定するための基準マーカを少なくとも1箇所設けることができる。これにより、補完画像を出力する際に基準マーカの位置に基づいて出力位置を詳細に調整することができる。
また、補完画像出力部は補完画像を出力するに当たって、遮断領域のみに出力することもできるし、遮断領域を含む画像表示部全体に出力することも可能である。
本発明における画像表示部としてはスクリーンを、補完画像出力部としてプロジェクタを使用して、補完画像をスクリーンに投影することによって表示させることができる。その際補完画像出力用のプロジェクタは、ユーザから見て投影部と同じ側に設置しても良く、スクリーンの背面側に設置しても良い。背面側に設置した場合、補完画像を投影する角度を調整することにより、投影画像と補完画像のズレを修正しやすくなる。
あるいは、画像表示部としてディスプレイ装置を使用し、補完画像出力部から電気的な信号を出力することによって補完画像を表示させることができる。ディスプレイを使用することにより、補完画像の出力位置を細かく調整することができる。
本発明は、動作検出装置と、動作検出装置が検出したユーザ動作に応じた処理を実行させる情報処理部とを備える操作システムとして実現することができる。さらに、この操作装置を車両に搭載してカーナビゲーション装置として実現することも可能である。
本発明によれば、投影画像をユーザが遮断して生じる影の領域に、ユーザの操作性を向上するための情報を表示することが可能となる。
以下に図面を参照して、本発明の好適な実施の形態を例示的に詳しく説明する。各実施形態においては動作検出装置とカーナビゲーション装置からなる操作システムが車両に搭載され、ユーザ(運転者)は手で投影画像を遮って生じた影により操作を行う。
<影による操作方法>
まず、図14,図15を用いて手の影による操作方法を説明する。
まず、図14,図15を用いて手の影による操作方法を説明する。
図14は装置全体の構成を示す図である。プロジェクタ1は情報処理部5が作成した投影画像をスクリーン2に投影する。ユーザは手8を動かして投影画像を遮ることにより、スクリーン2に影9を生じさせる。ここで、カメラ3はユーザの手と重ならない位置からスクリーン2を撮影している。動作検出部4はこの撮影画像を分析して影の位置情報を取得し、ユーザ動作を検出する。情報処理部5はユーザ動作に基づいてユーザの要求する操作内容を認識し、次に表示する画像を作成する。
続いて、図15を用いて動作検出部4が撮影画像からユーザ動作を検出する方法を説明する。動作検出部4は影検出部41、パターン記憶部42、パターン比較部43を含む。まず影検出部41は撮影画像中の明度のコントラストに基づいて、影の領域の位置情報を検出する。パターン記憶部42は記憶装置であり、検出した影が手などの影であるかどうかや、手などの影であればどのような動作をしているかを認識するための画像パターンを保存している。そこで、パターン比較部43は、影検出部41が検出した影とパターン記憶部42が保存している画像パターンを比較し、手などの影であるかどうか、及び、どのような動作をしているかを認識する。こうして検出されたユーザ動作は情報処理部5によって利用される。
<実施形態1>
実施形態1として、遮断された部分を、投影画像とは異なる色にした補完画像を出力する操作システムについて説明する。
実施形態1として、遮断された部分を、投影画像とは異なる色にした補完画像を出力する操作システムについて説明する。
(操作システムの構成)
図1に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。プロジェクタ1は、情報処理部5が作成した画像を光により投影するもので、本発明における投影部に当たる。スクリーン2は、プロジェクタ1から投影された画像を表示する領域であり、本発明における画像表示部に当たる。カメラ3はスクリーン2を撮影するもので、本発明における撮影部に当たる。カメラ3を設置する際は、プロジェクタ1から一定の角度を置くことにより、ユーザの手が映り込まないようにすることが好ましい。
図1に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。プロジェクタ1は、情報処理部5が作成した画像を光により投影するもので、本発明における投影部に当たる。スクリーン2は、プロジェクタ1から投影された画像を表示する領域であり、本発明における画像表示部に当たる。カメラ3はスクリーン2を撮影するもので、本発明における撮影部に当たる。カメラ3を設置する際は、プロジェクタ1から一定の角度を置くことにより、ユーザの手が映り込まないようにすることが好ましい。
ここで、図示したようにユーザが投影画像を手8で遮ることによって、スクリーン2の上に影9(本発明における遮断領域)が生じさせることができる。
動作検出部4は、上で図14,図15を用いて説明した方法により、カメラ3による撮影画像から影の領域とユーザ動作を検出する。
情報処理部5は、動作検出部4が検出した影の領域に出力する補完画像を作成する。補完プロジェクタ6は作成した補完画像をスクリーン2に投影する。なお、補完プロジェクタ6は、本発明における補完画像出力部にあたる。
情報処理部5はまた、動作検出部4が検出したユーザ動作に基づいてユーザの意図する操作内容を認識し、その操作内容に応じてユーザに次に提示する画像を作成し、プロジェクタ1から投影する。
なお、動作検出部4及び情報処理部5を構成するに当たっては、それぞれ専用の回路によって実現されても良いし、不図示のメモリに格納されたプログラムを、不図示のCPUが実行することにより実現されても良い。
(処理フロー)
以下、図2のフローチャートを参照しつつ、本実施形態の処理フローを説明する。必要に応じて図3(a)〜(c)に示したスクリーンの状態遷移図を参照する。
以下、図2のフローチャートを参照しつつ、本実施形態の処理フローを説明する。必要に応じて図3(a)〜(c)に示したスクリーンの状態遷移図を参照する。
まずステップS201では、プロジェクタ1がスクリーン2に向けて、図3(a)に示したような地図を通常の色の画像で投影する。ステップS202では、ユーザは手を動かして投影画像を遮り、目的地である「病院」の上に指先の影が来るようにして選択操作を行う。この状態を図3(b)に示す。このとき、手の影の下になった部分、例えば駐車場の位置はユーザから視認することができなくなっている。
ステップS203では、カメラ3がスクリーン2を撮影する。ステップS204では、動作検出部4が、撮影した画像から影の領域の位置情報を検出する。動作検出部4は更に、影の位置情報に基づいてユーザ動作を検出する。ここでは影として検出されたのは図3(b)に示した人差し指を伸ばした手の形状であり、ユーザ動作として検出されたのは地図上から病院を選択するという動作である。
ステップS205では、情報処理部5が、影の位置情報に基づいて補完画像の出力位置を決定し、先に投影した画像の明度を低下させた補完画像を作成する。ステップS206では、補完プロジェクタ6がスクリーン2に補完画像を投影する。この状態を図3(c)に示す。ここでは明度が低い状態を点線により表現している。図3(c)に示すように、図3(b)で手の影に隠れていた領域が視認できるようになっている。また投影画像と補完画像の明度が異なっているため、ユーザは影の領域を判別可能であり、操作する上で支障はない。
以上が画像の投影から補完画像出力までの一連の処理となる。続いてステップS207で、情報処理部5は病院を目的地として設定してナビゲーションを開始する。引き続きユーザに提示すべき画面があれば作成し、ステップS201に戻って作成した画像を投影する。
このようにステップS201に戻って処理フローを進めてステップS204に至り、影の位置情報を検出する時は、図3(c)のように既に補完画像が出力されている状態の撮影画像から検出することになる。そのような場合であっても、補完画像の明度は投影画像
よりも低くなっているため、明度のコントラストを利用して影の位置情報を検出することができる。更に、先に投影した補完画像の位置情報を情報処理部5から取得して、影検出の精度を上げることも可能である。
よりも低くなっているため、明度のコントラストを利用して影の位置情報を検出することができる。更に、先に投影した補完画像の位置情報を情報処理部5から取得して、影検出の精度を上げることも可能である。
(変形例)
以上の処理フローでは影の領域のみに補完画像を出力するようにしていたが、これよりも広い範囲に補完画像を出力しても良い。範囲としては例えばスクリーン全体にすることも可能である。
以上の処理フローでは影の領域のみに補完画像を出力するようにしていたが、これよりも広い範囲に補完画像を出力しても良い。範囲としては例えばスクリーン全体にすることも可能である。
図4に、スクリーン全体に補完画像を出力する場合の、投影画像及び補完画像の例を示す。図4(a)は、プロジェクタから投影されるカラー画像である。図4(b)は、補完プロジェクタから投影される補完画像である。この補完画像は投影画像をモノクロ画像に変換したものである。通常は両方の画像がスクリーン上で重なって表示されるため、ユーザはカラー画像が表示されていると認識する。ここでユーザが手などを動かして投影画像を遮ると、その領域には補完画像、すなわちモノクロ画像しか投影されない。
この変形例は、投影画像と補完画像の色を様々な組み合わせで利用することができる。上述したように投影画像がカラー画像で補完画像がモノクロ画像となる組合せのほか、投影画像に明度を低下させる処理を施して補完画像とすることもできる。モノクロ画像としては白黒の画像でも良いし、他の単色画像を用いても良い。
また、投影画像を色のRGBの三刺激値で表現した時に、プロジェクタからはR成分とG成分を、補完プロジェクタからはB成分を出力することもできる。こうした場合、投影画像と補完画像が重なっている領域では通常の色で画像が表示され、投影画像が遮断された領域ではB成分のみが表示される。なお、投影画像と補完画像に振り分ける色成分の組み合わせはこれに限定されないし、表色系はRGB表色系に限られるものではない。
(ユーザが得られる効果)
以上の様に本実施形態の操作システムによれば、ユーザは手の影を用いて操作を行う際に、遮断領域の下の情報を投影画像とは異なる色の補完画像として取得することができる。この補完画像により、ユーザは遮断領域に何があるかを視認することができ、適切に操作を行うことが可能になる。なお、投影画像と補完画像の色が異なっているために、ユーザはどこが影の領域であるかを把握することができる。
以上の様に本実施形態の操作システムによれば、ユーザは手の影を用いて操作を行う際に、遮断領域の下の情報を投影画像とは異なる色の補完画像として取得することができる。この補完画像により、ユーザは遮断領域に何があるかを視認することができ、適切に操作を行うことが可能になる。なお、投影画像と補完画像の色が異なっているために、ユーザはどこが影の領域であるかを把握することができる。
<実施形態2>
実施形態2として、ユーザ動作に応じた形状のアイコンを補完画像として出力する操作システムについて説明する。
実施形態2として、ユーザ動作に応じた形状のアイコンを補完画像として出力する操作システムについて説明する。
なお、本実施形態における操作システムの構成は、図1を用いて説明した実施形態1の操作システムと基本的に同様である。ただし、後述するように動作検出部4及び情報処理部5での処理内容は実施形態1と異なる。
(処理フロー)
以下、図を参照しつつ、本実施形態の処理フローを説明する。ここで説明するのは、スクリーン上の位置指定というユーザ動作に応じた補完画像として、ユーザの操作ポイントを知らせるカーソルを出力する処理である。さらに、オブジェクト選択というユーザ動作に応じてカーソルの形状を変化させる処理についても説明する。なお本実施形態では、動作検出部はユーザの手の影の第一関節の部分を操作ポイントとして認識する。そして、第一関節が対象オブジェクト上に置かれた時に、そのオブジェクトの選択動作を検出する。
以下、図を参照しつつ、本実施形態の処理フローを説明する。ここで説明するのは、スクリーン上の位置指定というユーザ動作に応じた補完画像として、ユーザの操作ポイントを知らせるカーソルを出力する処理である。さらに、オブジェクト選択というユーザ動作に応じてカーソルの形状を変化させる処理についても説明する。なお本実施形態では、動作検出部はユーザの手の影の第一関節の部分を操作ポイントとして認識する。そして、第一関節が対象オブジェクト上に置かれた時に、そのオブジェクトの選択動作を検出する。
まず、図5に示したスクリーンの画像を用いて、補完画像が出力されない例を示す。ユーザは、スクリーンに表示された地図から「デパート」を指定して選択しようとしている。このときユーザは影の爪先の部分(A点)をデパートの上に置くことで指定し、選択する意図を示している。しかし上に述べたように、動作検出部は第一関節の部分(B点)の位置に基づいてオブジェクトの選択動作を検出している。そのため、ユーザの意図に反してデパートへのナビゲーションは行われない結果になる。
続いて図6のフローチャートを参照しつつ、本実施形態の処理フローを説明する。必要に応じて図7(a),(b)に示したスクリーンの状態遷移図を参照する。
まずステップS601では、動作検出部4が、影の領域を検出し、指の第一関節の位置情報に基づいてユーザの操作ポイントを検出する。
ステップS602では、情報処理部5が、操作ポイントが目的地として選択可能なオブジェクト上に置かれているかどうかを判断する。置かれていなければステップS603に進み、操作ポイントを示す通常のカーソルを出力するよう設定する。本実施形態では星型のカーソルを用いる。一方、置かれていた場合はステップS604に進み、出力するカーソルとして旗の形状を設定する。
ステップS605では、補完プロジェクタ6が、先に設定したカーソルを補完画像として出力する。図7(a)に、ステップS603で設定した通常のカーソルを投影した状態を示す。ここでは、操作ポイントに星型のカーソルが投影されており、ユーザはこれを見ながら選択を続けることができる。また図7(b)に、ステップS604で設定した選択可能なオブジェクトのカーソルを投影した状態を示す。図示したように、操作ポイントに旗の形状をしたカーソルが表示されているので、ユーザはこのカーソルを見て選択可能なオブジェクトであると判断可能である。
(変形例)
続いて、図8を用いてユーザ動作及びアイコンが異なる変形例を説明する。この変形例は、スクリーンに表示された地図をユーザがスクロールさせる時の処理である。ユーザは、図8(a)に示したように、手を広げた状態でスクリーン上に影を生じさせる。続いてその手をスクロールさせたい方向に動かして操作内容を伝える。動作検出部はこの操作を検出する。そして情報処理部は、地図がスクロール中であることを示し、スクロール方向を表すために、補完画像として図8(b)に示したような矢印型のアイコンを出力する。
続いて、図8を用いてユーザ動作及びアイコンが異なる変形例を説明する。この変形例は、スクリーンに表示された地図をユーザがスクロールさせる時の処理である。ユーザは、図8(a)に示したように、手を広げた状態でスクリーン上に影を生じさせる。続いてその手をスクロールさせたい方向に動かして操作内容を伝える。動作検出部はこの操作を検出する。そして情報処理部は、地図がスクロール中であることを示し、スクロール方向を表すために、補完画像として図8(b)に示したような矢印型のアイコンを出力する。
なお、上述したように、補完画像としてアイコンを単独で出力することも可能であるが、実施形態1に示したような補完画像と組み合わせて使うこともできる。すなわち、投影画像と色を異ならせた補完画像に加えて、ユーザ動作に応じた形状のアイコンを出力することにより、ユーザは今スクリーン上のどの位置を操作しているのかがより明確に理解できるようになる。
(ユーザが得られる効果)
本実施形態の操作システムによれば、ユーザが手の影を用いて操作を行う際に補完画像として操作ポイントを示すカーソルを投影することによって操作対象を明確にでき、操作性を向上できる。また、アイコンの形状をユーザ動作に応じて変化させることも可能であり、更に操作性を向上させることができる。
本実施形態の操作システムによれば、ユーザが手の影を用いて操作を行う際に補完画像として操作ポイントを示すカーソルを投影することによって操作対象を明確にでき、操作性を向上できる。また、アイコンの形状をユーザ動作に応じて変化させることも可能であり、更に操作性を向上させることができる。
<実施形態3>
実施形態3として、投影画像に予め基準マーカを投影しておき、補完画像を出力する際に基準マーカを用いて位置を調節する操作システムについて説明する。
実施形態3として、投影画像に予め基準マーカを投影しておき、補完画像を出力する際に基準マーカを用いて位置を調節する操作システムについて説明する。
(操作システムの構成)
図9に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。実施形態1との違いは、投影画像の中に基準マーカ7が設けられている点である。この例では基準マーカは4隅に其々1つ、合計4つ設けられている。動作検出部4は、カメラ3が撮影した画像から基準マーカの位置情報を取得する。
図9に示したブロック図を参照しつつ、本実施形態の操作システムの構成を説明する。実施形態1との違いは、投影画像の中に基準マーカ7が設けられている点である。この例では基準マーカは4隅に其々1つ、合計4つ設けられている。動作検出部4は、カメラ3が撮影した画像から基準マーカの位置情報を取得する。
(基準マーカを用いた処理フロー)
基準マーカを使用して補完画像の出力位置を調整する時の処理フローを説明する。必要に応じて図10のフローチャート及び図11(a)〜(d)を参照する。投影画像を図11(a)に示す。この投影画像はカラー画像であり、4隅に基準マーカが設けられている。補完画像を図11(b)に示す。この補完画像は投影画像をモノクロ化した画像であり、スクリーン全体(影の領域だけではなく)に投影されている(図中ではモノクロ化を点線で表現している)。従って、ユーザが手で投影画像を遮ると、遮断領域をモノクロ化した画像が補完画像として表示されることになる。
基準マーカを使用して補完画像の出力位置を調整する時の処理フローを説明する。必要に応じて図10のフローチャート及び図11(a)〜(d)を参照する。投影画像を図11(a)に示す。この投影画像はカラー画像であり、4隅に基準マーカが設けられている。補完画像を図11(b)に示す。この補完画像は投影画像をモノクロ化した画像であり、スクリーン全体(影の領域だけではなく)に投影されている(図中ではモノクロ化を点線で表現している)。従って、ユーザが手で投影画像を遮ると、遮断領域をモノクロ化した画像が補完画像として表示されることになる。
まずステップS1001では、情報処理部5が図11(a)に示した投影画像を作成する。ステップS1002では、プロジェクタ1がスクリーン2に向けて画像を投影する。本来意図されているのは、投影画像がそのままスクリーンに表示される状態である。しかしここでは、図11(c)にスクリーンの様子を示したように、車両内の振動などが原因で投影位置が右にズレてしまっている。カメラ3はこのズレた状態のスクリーンを撮影する。
ステップS1003では、動作検出部4が撮影画像から基準マーカの位置情報を検出する。ステップS1004では、情報処理部5が補完画像を作成する。このとき、投影画像のズレを考慮せずに図11(b)の補完画像をそのまま投影してしまうと、図11(d)に示したように投影画像と補完画像が重ならず、ユーザの混乱を招くことになる。更にここでは図示していないが、投影画像と重なる部分にもモノクロの補完画像が出力されているため、画像が重なった部分が非常に見にくくなってしまう。さらに、ユーザが手で投影画像を遮ると、遮られた部分と異なるモノクロ画像が投影画像として出力されてしまう。そこで、情報処理部5は基準マーカの位置情報に基づいて補完画像を修正する。続いてステップS1005では、補完プロジェクタが修正済みの補完画像を出力する。
(ユーザが得られる効果)
本実施形態の操作システムによれば、画像を投影する際にズレが生じた場合であっても、基準マーカの位置情報に基づいて適切な補完画像の作成を行うことが可能となり、ユーザにとって視認しやすい画像を用いて操作を続行することができる。
本実施形態の操作システムによれば、画像を投影する際にズレが生じた場合であっても、基準マーカの位置情報に基づいて適切な補完画像の作成を行うことが可能となり、ユーザにとって視認しやすい画像を用いて操作を続行することができる。
なお、投影した画像と撮影した画像からズレを認識するに当たっては、基準マーカを用いる方法に代えて、あるいは基準マーカとともに、双方の画像をブロックマッチング等により比較しても良い。
<画像表示部の変形例>
以上の実施形態では画像表示部としてスクリーンを使用していたが、これに代えてディスプレイ装置を使用することもできる。この場合、投影部としては影を用いて操作する都合上プロジェクタを用いるが、補完画像を表示させる時には電気的な信号をディスプレイに出力して表示させる。このような操作システムによれば、補完画像をプロジェクタによって投影するよりも高い精度で位置決めして出力することが可能となり、投影画像のひずみやズレに柔軟に対応できる。また、プロジェクタの場合は光路に他の物体が入らないように、装置の配置位置に注意しなければならず、設計上の制約になる可能性があるが、デ
ィスプレイ装置を用いればその必要はない。
以上の実施形態では画像表示部としてスクリーンを使用していたが、これに代えてディスプレイ装置を使用することもできる。この場合、投影部としては影を用いて操作する都合上プロジェクタを用いるが、補完画像を表示させる時には電気的な信号をディスプレイに出力して表示させる。このような操作システムによれば、補完画像をプロジェクタによって投影するよりも高い精度で位置決めして出力することが可能となり、投影画像のひずみやズレに柔軟に対応できる。また、プロジェクタの場合は光路に他の物体が入らないように、装置の配置位置に注意しなければならず、設計上の制約になる可能性があるが、デ
ィスプレイ装置を用いればその必要はない。
<補完画像出力部設置場所の変形例>
上で述べたような補完画像を出力する範囲の変形例においては、投影画像と補完画像の出力位置を合わせる必要がある。出力位置にズレがあるとユーザの視認性が低下する恐れがあるからである。ここで、上の実施形態で述べたようにスクリーンに対してユーザ側に2つのプロジェクタを設置した場合、投影する角度によってはズレが大きくなる可能性がある。この状態について図12を用いて説明する。プロジェクタ1はスクリーンに向かって右側からカラーの投影画像を投影するが、スクリーンの右端までの距離が左端までの距離よりも短いために、図示したように画像の右辺が左辺よりも短くなり、歪みが生じる。同様に、補完プロジェクタ6は向って左側からモノクロの補完画像を投影するので、投影画像とは左右逆の歪みが生じる。その結果、投影画像と補完画像を合致させることができなくなる。
上で述べたような補完画像を出力する範囲の変形例においては、投影画像と補完画像の出力位置を合わせる必要がある。出力位置にズレがあるとユーザの視認性が低下する恐れがあるからである。ここで、上の実施形態で述べたようにスクリーンに対してユーザ側に2つのプロジェクタを設置した場合、投影する角度によってはズレが大きくなる可能性がある。この状態について図12を用いて説明する。プロジェクタ1はスクリーンに向かって右側からカラーの投影画像を投影するが、スクリーンの右端までの距離が左端までの距離よりも短いために、図示したように画像の右辺が左辺よりも短くなり、歪みが生じる。同様に、補完プロジェクタ6は向って左側からモノクロの補完画像を投影するので、投影画像とは左右逆の歪みが生じる。その結果、投影画像と補完画像を合致させることができなくなる。
この歪みに対処するには、情報処理部が歪みの程度を計算し、投影画像や補完画像を修正することによっても可能である。ただしその場合演算量が大きくなりCPUに負荷がかかってしまう。そこで、図13に示したように、補完プロジェクタ6をスクリーン2を挟んでプロジェクタ1と反対側に設置し、スクリーンと光路がなす角度が同じになるよう調節する対処法が考えられる。これにより、投影画像と補完画像は同程度の歪みを生じることになり、出力位置を適切に修正できる。
<本発明の適用範囲>
以上の実施形態では車両に搭載されたカーナビゲーション装置を制御する場合を例として説明した。ただし本発明の適用範囲はこれに限定されるものではなく、例えばエアコンやオーディオなど、ユーザの指示に応じて機能を発揮するような各種の装置の制御についても使用できる。
以上の実施形態では車両に搭載されたカーナビゲーション装置を制御する場合を例として説明した。ただし本発明の適用範囲はこれに限定されるものではなく、例えばエアコンやオーディオなど、ユーザの指示に応じて機能を発揮するような各種の装置の制御についても使用できる。
また、本発明の動作検出装置及び操作システムは車両に搭載されるとは限らず、例えば家屋に設置して家電装置などに適用することも可能である。
1 プロジェクタ
2 スクリーン
3 カメラ
4 動作検出部
5 情報処理部
6 補完プロジェクタ
7 基準マーカ
2 スクリーン
3 カメラ
4 動作検出部
5 情報処理部
6 補完プロジェクタ
7 基準マーカ
Claims (12)
- 画像表示部と、
前記画像表示部に画像を投影する投影部と、
前記画像表示部を撮影する撮影部と、
前記投影画像が遮断されて前記画像表示部に生じた遮断領域を検出し、当該遮断領域の位置情報に基づいてユーザ動作を検出する動作検出部と、
前記遮断領域に画像を出力する補完画像出力部と
を備えることを特徴とする動作検出装置。 - 前記補完画像出力部は、遮断された部分の画像を、前記投影画像とは異なる色で出力する
ことを特徴とする請求項1に記載の動作検出装置。 - 前記補完画像出力部は、遮断された部分の画像を、明度を低下させて出力する
ことを特徴とする請求項2に記載の動作検出装置。 - 前記投影部はカラー画像を投影し、
前記補完画像出力部は単色画像を出力する
ことを特徴とする請求項2に記載の動作検出装置。 - 前記補完画像出力部は、動作検出部によって検出されたユーザ動作に応じた形状のアイコンを出力する
ことを特徴とする請求項1〜4のいずれか1項に記載の動作検出装置。 - 前記補完画像出力部は、ユーザが画像表示部上で座標を指定する動作に応じて、当該座標に前記アイコンを出力する
ことを特徴とする請求項5に記載の動作検出装置。 - 前記投影画像の中には、画像での位置を特定するための基準マーカが少なくとも1箇所設けられており、
前記動作検出部は、前記撮影画像から基準マーカの位置を検出し、
前記補完画像出力部は、検出した基準マーカの位置に基づいて画像を出力する位置を決定する
ことを特徴とする請求項1〜6のいずれか1項に記載の動作検出装置。 - 前記画像表示部はスクリーンであり、
前記補完画像出力部は前記スクリーンに画像を投影する
ことを特徴とする請求項1〜7のいずれか1項に記載の動作検出装置。 - 前記補完画像出力部は前記スクリーンを挟んで前記投影部と反対側に位置しており、前記投影した画像と前記補完画像出力部が投影する画像の間にひずみが生じない方向に設置されている
ことを特徴とする請求項8に記載の動作検出装置。 - 前記画像表示部はディスプレイ装置であり、
前記補完画像出力部は前記画像表示部に電気的な信号を出力して画像を表示させる
ことを特徴とする請求項1〜7のいずれか1項に記載の動作検出装置。 - 請求項1〜10のいずれか1項に記載の動作検出装置と、
ユーザ動作に応じた処理を実行する情報処理部と
を備えることを特徴とする操作システム。 - 前記操作システムは車両に搭載されており、
前記情報処理部はカーナビゲーション装置の制御を行う
ことを特徴とする請求項11に記載の操作システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008286287A JP2010113568A (ja) | 2008-11-07 | 2008-11-07 | 動作検出装置及びそれを用いた操作システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008286287A JP2010113568A (ja) | 2008-11-07 | 2008-11-07 | 動作検出装置及びそれを用いた操作システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010113568A true JP2010113568A (ja) | 2010-05-20 |
Family
ID=42302079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008286287A Withdrawn JP2010113568A (ja) | 2008-11-07 | 2008-11-07 | 動作検出装置及びそれを用いた操作システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010113568A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013171490A (ja) * | 2012-02-22 | 2013-09-02 | Tokyo Denki Univ | タッチ位置入力装置及びタッチ位置入力方法 |
JP2014170511A (ja) * | 2013-03-05 | 2014-09-18 | Ricoh Co Ltd | システム、画像投影装置、情報処理装置、情報処理方法およびプログラム |
WO2016199415A1 (ja) * | 2015-06-12 | 2016-12-15 | 日本電気株式会社 | 情報入力装置および照合システム |
CN113419630A (zh) * | 2021-06-28 | 2021-09-21 | 西北工业大学 | 一种基于投影ar的自适应遮挡消除方法 |
CN114189605A (zh) * | 2021-11-02 | 2022-03-15 | 联想(北京)有限公司 | 一种处理方法及装置 |
US11480863B2 (en) * | 2018-07-31 | 2022-10-25 | Seiko Epson Corporation | Projector that lowers visibility of base image, projection system and projection method |
-
2008
- 2008-11-07 JP JP2008286287A patent/JP2010113568A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013171490A (ja) * | 2012-02-22 | 2013-09-02 | Tokyo Denki Univ | タッチ位置入力装置及びタッチ位置入力方法 |
JP2014170511A (ja) * | 2013-03-05 | 2014-09-18 | Ricoh Co Ltd | システム、画像投影装置、情報処理装置、情報処理方法およびプログラム |
WO2016199415A1 (ja) * | 2015-06-12 | 2016-12-15 | 日本電気株式会社 | 情報入力装置および照合システム |
US11480863B2 (en) * | 2018-07-31 | 2022-10-25 | Seiko Epson Corporation | Projector that lowers visibility of base image, projection system and projection method |
CN113419630A (zh) * | 2021-06-28 | 2021-09-21 | 西北工业大学 | 一种基于投影ar的自适应遮挡消除方法 |
CN113419630B (zh) * | 2021-06-28 | 2022-12-13 | 西北工业大学 | 一种基于投影ar的自适应遮挡消除方法 |
CN114189605A (zh) * | 2021-11-02 | 2022-03-15 | 联想(北京)有限公司 | 一种处理方法及装置 |
CN114189605B (zh) * | 2021-11-02 | 2023-10-27 | 联想(北京)有限公司 | 一种处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10191594B2 (en) | Projection-type video display device | |
US8085243B2 (en) | Input device and its method | |
JP6064319B2 (ja) | プロジェクター、及び、プロジェクターの制御方法 | |
US9519379B2 (en) | Display device, control method of display device, and non-transitory computer-readable medium | |
JP5849560B2 (ja) | 表示装置、プロジェクター、及び、表示方法 | |
JP6088127B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP6141596B2 (ja) | 表示装置、表示システム及び表示装置のデータ供給方法 | |
US10037120B2 (en) | Image supply device, image display system, method of controlling image supply device, image display device, and recording medium | |
US9324295B2 (en) | Display device and method of controlling display device | |
JP5874401B2 (ja) | 表示装置、プロジェクター、表示システム及びデバイスの切替方法 | |
US10025400B2 (en) | Display device and display control method | |
JP2010113568A (ja) | 動作検出装置及びそれを用いた操作システム | |
CN107817924B (zh) | 显示装置和显示装置的控制方法 | |
JP2010117917A (ja) | 動作検出装置および操作システム | |
JP6064321B2 (ja) | 表示装置、及び、表示制御方法 | |
JP2009031981A (ja) | インタフェース装置、インタフェース方法及びインタフェースプログラム | |
JP6816402B2 (ja) | 表示装置および表示装置の制御方法 | |
JP6117470B2 (ja) | 表示装置、プロジェクター、画像表示方法及び表示システム | |
JP6269801B2 (ja) | プロジェクター、及び、プロジェクターの制御方法 | |
JP2012181721A (ja) | 位置入力装置、プロジェクター、プロジェクターの制御方法、及び、表示システム | |
JP6296144B2 (ja) | 表示装置、及び、表示制御方法 | |
JP6314177B2 (ja) | 投射型映像表示装置 | |
KR101315298B1 (ko) | 카메라로 촬영된 영상에서의 osd 표시 제어방법 및 장치, 모니터에서의 osd 표시 제어방법 및 장치 | |
US20180246618A1 (en) | Projector and method for controlling projector | |
JP2013195659A (ja) | 表示装置、及び、表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120110 |