JP2008033049A - 対象物指示装置 - Google Patents

Abstract

【課題】対象物を画像で認識し、認識結果を基に予め指示画像として保存されている画像を選択し、選択した画像を対象物に投影する。
【解決手段】対象物１０の像は投射光学系４を通して光路分岐素子３によって反射され、集光レンズ５を通して撮像素子６上に結像される。ＣＰＵ１０５は撮像された対象物の形状情報と、対象物情報保存部１０４内に保存されている形状や色情報とを比較して対象物を認識する。対象物指示装置１００は、認識結果を基に指示画像保存部１０４内に保存されている指示画像を選択し、指示画像が対象物上に投影される。
【選択図】図１

Description

本発明は、任意の対象物に対して能動的に付加情報を投射する対象物指示装置に関する。

従来から、教室、映画館、会議室、展示場、家庭のシアタールームなど様々な場所で画像投影装置が用いられている。また、その用途はユーザーが入力した画像を拡大投影して、その画像を多人数で見るというように、受動的な機能のみを持つ画像投影装置が大半である。

近年、新たな機能として、画像投影装置がスクリーンに投影した画像を装置自身が撮像して、その画像に対して付加情報を加えた画像を新たに投影するという機能がある。

例えば、特許文献１では、表示情報記憶部に記憶されている表示情報を投影表示部で任意の投射表示面に投射表示し、投射表示面には、基準点もしくは識別コードが形成され、それを認識することで画像投影装置は投影表示の位置合わせと表示情報の選択を行う。また、距離測定部で投射表示面までの距離を測定し、倍率調整部で表示情報の表示寸法を自動で実寸に設定することができる。この画像投影装置を用いることにより、工事現場での図面データを迅速に扱うことができ、また取り付け位置等の状況を容易に把握できる。

また、特許文献２では、電子化された表示情報を紙などの投射表示面に実寸で投影し、紙に筆記用具で注釈や修正を追加記入するように、表示情報に対してユーザーによって投射表示面に追加記入された内容を電子化し、その電子化した追記記入情報を表示情報とともに投影する。これにより、紙に投影した閲覧内容に追記記入し、その内容を改めて電子化するという煩わしい作業が省略される。

特開２００５−２７５３２７号公報 特開２００５−２７５３２６号公報 特開２００５−３１８６５２号公報 特開２００６−３１４９３号公報

上記した画像投影装置では、識別コードを読み取って表示情報を選択し、実寸で表示しているが、対象物に識別コードを形成することが難しい場合がある。例えば、料理の際に材料（対象物）を切るが、正確な寸法で切ることは難しく、またペンでマークすることもできず、目分量で切らざるを得ない。さらに、対象物に識別コードを形成するのも難しい。

このような場合に、画像投影装置の機能として、画像投影装置が対象物を認識して、事前に保存された画像であるマーキングのラインを投影するという能動的な機能があれば、ユーザーは対象物に物理的変化を加えることなく、正確に対象物を切ることができる。

本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、対象物を画像で認識し、認識結果を基に予め指示画像として保存されている画像を選択し、その選択した画像を対象物に投影するという一連の流れを能動的に行う機能を有し、対象物に物理的変化を加えることなくユーザーの補助手段となる対象物指示装置を提案することにある。

すなわち、請求項１の目的は、対象物指示装置が対象物を認識し、あらかじめ対象物指示装置内に保存されている指示画像を対象物へ投影して、対象物に物理的変化を加えずに使用者へ補助手段を提供することにある。

請求項２の目的は、対象物の寸法を認識して、指示画像を実寸化して投影することにある。

請求項３の目的は、対象物の形状を認識して、補正された指示画像を投影することにある。

請求項４の目的は、対象物の色を認識して、補正された指示画像を投影することにある。

請求項５の目的は、ユーザーインターフェースに音声認識機能を用いることで、使用者と対象物指示装置とのやりとりを円滑に進めることにある。

請求項６の目的は、ユーザーインターフェースに指令一覧画像と指令一覧画像のセンシング機能を用いることで、使用者と対象物指示装置とのやりとりを円滑に進めることにある。

請求項７の目的は、指示画像を裁断する場所の目印とすることで、使用者が正確に裁断できることにある。

請求項８の目的は、指示画像をフォーマットとすることで、フォーマットを印刷することなく、正確に文面を書くことができ、また、指示画像を書面に記入する内容とすることで、使用者が描きたい絵画や文面を模写して正確に書くことができることにある。

請求項９の目的は、指示画像を商品の取り扱い説明内容とすることで、商品上に記載できない説明内容を投影することができ、ユーザーが商品の構成を容易に理解できることにある。

請求項１０の目的は、指示画像を読み仮名もしくは訳語とすることで、書面文を容易に読むことができることにある。

請求項１１の目的は、対象物指示装置に指示画像を演算して求める演算機能を持たせることで、あらかじめ指示画像保存部に指示画像を保存していなくても、指示画像を投影することができることにある。

請求項１２の目的は、対象物指示装置が情報通信機器に搭載されており、前記情報通信機器内のデータ通信機能によって対象物指示装置が指示画像を受信することで、あらかじめ指示画像保存部に指示画像を保存していなくても、指示画像を投影することができることにある。

請求項１３の目的は、対象物指示装置が外部記憶装置の接続機能を有し、対象物指示装置は前記外部記憶装置内に保存されている指示画像を投影することで、あらかじめ指示画像保存部に指示画像を保存していなくても、指示画像を投影することができることにある。

本発明は、対象物を撮像する撮像手段と、前記撮像された対象物を認識処理する認識処理手段と、前記対象物上に表示する指示画像を保存する指示画像保存手段と、前記認識処理手段の認識結果を基に、前記指示画像保存手段に保存されている指示画像を選択する指示画像選択手段と、前記選択された指示画像を前記対象物に投影する投影手段とを有することを最も主要な特徴とする。

請求項１：対象物指示装置が対象物を認識し、あらかじめ対象物指示装置内に保存されている指示画像を対象物へ投影して、対象物に物理的変化を加えずに使用者へ補助手段を提供することができる。

請求項２：対象物の寸法を認識して、指示画像を実寸化して投影することができる。

請求項３：対象物の形状を認識して、補正された指示画像を投影することができる。

請求項４：対象物の色を認識して、補正された指示画像を投影することができる。

請求項５：ユーザーインターフェースに音声認識機能を用いることで、使用者と対象物指示装置とのやりとりを円滑に進めることができる。

請求項６：ユーザーインターフェースに指令一覧画像と指令一覧画像のセンシング機能を用いることで、使用者と対象物指示装置とのやりとりを円滑に進めることができる。

請求項７：指示画像を裁断する場所の目印とすることで、使用者が正確に裁断できる。

請求項８：指示画像をフォーマットとすることで、フォーマットを印刷することなく、正確に文面を書くことができ、また、指示画像を書面に記入する内容とすることで、使用者が描きたい絵画や文面を模写して正確に書くことができる。

請求項９：指示画像を商品の取り扱い説明内容とすることで、商品上に記載できない説明内容を投影することができ、ユーザーが商品の構成を容易に理解できる。

請求項１０：指示画像を読み仮名もしくは訳語とすることで、書面文を容易に読むことができる。

請求項１１：対象物指示装置に指示画像を演算して求める演算機能を持たせることで、あらかじめ指示画像保存部に指示画像を保存しておかなくても、指示画像を投影することができる。

請求項１２：対象物指示装置が情報通信機器に搭載されており、前記情報通信機器内のデータ通信機能によって対象物指示装置が指示画像を受信することで、あらかじめ指示画像保存部に指示画像を保存していなくても、指示画像を投影することができる。

請求項１３：対象物指示装置が外部記憶装置の接続機能を有し、対象物指示装置は前記外部記憶装置内に保存されている指示画像を投影することで、あらかじめ指示画像保存部に指示画像を保存していなくても、指示画像を投影することができる。

以下、発明の実施の形態について図面により詳細に説明する。

実施例１：
実施例１は、料理におけるマーキングに係る実施例であり、以下、図１から図１１を用いて説明する。

図１は、実施例１の対象物指示装置１００の構成を示す。対象物指示装置１００は、対象物に指示画像を投影する画像投影部１０１と、対象物を撮像する撮像部１０２と、指示画像を保存する指示画像保存部１０３と、対象物に関する情報を保存する対象物情報保存部１０４と、対象物の形状情報の認識処理、指示画像の選択、補正情報の生成、実寸化計算、音声認識、演算処理などを行うＣＰＵ１０５とから構成されている。

画像投影部１０１は、光源ユニット１、空間光変調装置２、投射光学系４から構成されている。画像投影部１０１では、ＣＰＵ１０５により指示された画像を対象物１０上に投影する。撮像部１０２は、集光レンズ５、撮像素子６から構成されている。対象物１０の像は投射光学系４を通して光路分岐素子３によって反射され、集光レンズ５を通して撮像素子６上に結像される。

利用状況イメージ：
上記した構成の対象物指示装置をキッチンに設置した場合の具体例を以下に示す。なお、図２６は、対象物指示装置の処理手順のフローチャートである。

図２は、対象物指示装置１００をキッチンの天井に設置した例を示す。使用者は対象物となる食材２００（この場合、ケーキ）をあらかじめ指示された設置位置範囲２０１内に設置する。このとき、設置位置範囲２０１は、対象物指示装置１００が投射表示により指示しても良いし、カウンター３００上にマーキングすることにより指示しても良い。設置された対象物は、対象物指示装置１００の撮像部１０２で撮像され（ステップ２０）、ＣＰＵ１０５は、撮像された対象物の形状情報と、対象物情報保存部１０４内に保存されているケーキの形状や色情報とを比較して、対象物がケーキであることを認識する（ステップ２１、２２）。この場合、使用場所がキッチンと限定されているので、対象物は食材であり、認識処理や対象物保存情報は食材用にカスタマイズされていて、これにより認識処理を高速に処理できる。また、丸いケーキと認識した認識結果を基に、ＣＰＵ１０５内の指示画像選択部は、指示画像保存部１０３内に保存されている指示画像２０２（指示線（８等分線））を選択し（ステップ２３）、図３に示すように、画像投影部１０１によって対象物であるケーキ上に投影する（ステップ２８）。

使用者が望む等分数が上記のものと異なる場合には、例えば６等分であれば、使用者が「ロク」と発声することにより、ＣＰＵ１０５内の音声認識手段で認識され、６等分であるという情報がＣＰＵ１０５内の指示画像選択部に送られ、指示画像保存部１０４内に保存されている６等分の指示画像（等分線）が選択され、空間光変調装置２によりその画像が形成され、対象物に投射される（ステップ２８）。

形状補正（ステップ２５）：
対象物を認識する際に、対象物の正確な場所も同時に認識することにより、指示画像（等分線）の歪みを計算することが可能となり、ＣＰＵ１０５内の形状情報補正機能によってその歪みを補正した指示画像を対象物上に投影することができる。例えば、特許文献３のように、指示画像を任意の形状に補正して対象物上に画像を投影することも可能である。

また、図４のように丸いケーキの一部が欠けていると、ＣＰＵ１０５が認識したケーキの画像２００は、対象物情報保存部１０４に保存されているケーキの形状情報と異なる。この場合、画像認識処理によって図４の画像２００をケーキと認識できれば、ＣＰＵ１０５内の形状補正機能により、図５のように欠けたケーキに対して使用者の所望の等分線２０３（図５では６等分）に補正した指示画像を投影することができる。

色補正（ステップ２５）：
指示画像保存部１０３に保存されている指示画像の色と、ＣＰＵ１０５が認識した対象物の色が同じである場合には、対象物指示装置１００が対象物に指示画像を投影した際に色が重なり、指示画像が見にくくなる。例えば、図３の対象物２００がチョコレートケーキで、指示線２０２が茶色の場合である。これを回避するために、ＣＰＵ１０５内にある色情報補正機能によって認識部１０２が認識した対象物の色と指示画像保存部１０３内に保存されている指示画像の色を比較し、色情報を補正して空間光変調装置２によって画像を形成し、投影される。

この時、対象物の色と指示画像の色を比較する基準として、それぞれ２５６階調の色相、彩度、明度を基準にし、ＣＰＵ１０５で色の判別を行う。３指標の誤差が平均して３パーセント以内であれば同色とみなし、ＣＰＵ１０５内の色補正機能によって、明度を１０パーセント中心にシフトさせた色を指示画像として補正し、画像投影部１０１によって投影することができる。

実寸投影（ステップ２７）：
対象物に等分線を表示するだけでなく、対象物を決まった大きさで切断したい場合がある。例えば、ケーキを５ｃｍ角に正確に切る場合である。この時、対象物指示装置１００は、ＣＰＵ１０５がケーキを認識する際に対象物からケーキまでの距離を測定する（ステップ２９）。図６に示すように、対象物指示装置内にレーザー距離センサー７が搭載されており、特許文献１のように、レーザー距離センサー７を用いて三角測量で対象物とケーキまでの距離を求める。そして、撮像素子６で撮像したケーキの大きさと三角測量で求めた距離からケーキの実寸の大きさを計算する。これによって、図７に示すように認識した対象物が５ｃｍ角以上の大きさであれば、ケーキ上に５ｃｍ角の線２０４を実寸で表示することができる。

また、指示画像保存部１０３に投影されている画像を実寸投影するか否かを判別するために、使用者が「実寸」と言えば、音声認識機能によって実寸で表示できる。

インターフェースに指令一覧画像投影：
また、本発明は指令一覧画像を投影して、それをセンシングする機能を持たせることで、ユーザーインターフェースを容易にすることができる。図８、図９に示すように、対象物指示装置１００は使用者に対する指令一覧画像４００を常時投影している。そして、対象物指示装置１００には指令一覧画像４００を認識するセンサー８が備えられている。

使用者が対象物指示装置１００から投影された指令一覧画像４００に書かれている文字もしくはボタン、例えば「レシピ１」を指で押すと、認識センサー８は指を障害物と認識し、その障害物を感知することで、使用者が「レシピ１」の指令をしたとＣＰＵ１０５内の認識情報処理部は認識する。これは、例えば、特許文献４などに記載のバーチャルキーボードシステムと同じ機構である。

仮に「レシピ１」の内容の始まりが、「この位置に人参を置く」であれば、図１０に示すように、「人参をこの位置に置いてください」と指令一覧画像の横に表示され、人参を置く位置には線が投影されている。そして、撮像素子６が対象物を撮像し、人参が置かれているかどうかをＣＰＵ内の認識情報処理部が判別する。人参が置かれていることが判別できたら、図１１のように「人参をライン上に切ってください」と指令一覧画像の横に表示され、対象物に対して指示画像としてマーキングラインが投影される。

また、対象物上に指示画像を実寸で表示する有無を尋ねる「実寸」コマンドが指令一覧画像内に表示され、使用者は「実寸」を指で押せば、実寸で指示画像を投影することができる。

このように、キッチン用にカスタマイズされた指令一覧画像と指示画像を指示画像保存部１０３に保存しておき、画像投影部１０１で投影することで料理のガイダンスをすることができ、一人でも上手に料理ができる。

ＣＰＵ１０５内の演算処理機能を持つと、認識した画像の表面積を求め、面積の分割線もしくは等間隔線を投影することができる。これにより、指示画像として等分線や実寸等間隔線を指示画像保存部１０３に保存しなくとも、自動的に演算し、画像形成部で表示することができる。

実施例２：
実施例２は、書類のフォーマットに係る実施例である。

利用状況イメージ：
図１の対象物指示装置を書面に対して投影した場合の具体例を以下に示す。図１２は、小型の対象物指示装置１１０を机上３０１に設置した実施例２を示す。実施例２は、実施例１の天井に設置する対象物指示装置１００よりも、その設置位置を自由に変えることができ、利便性が向上する。図２６は、対象物指示装置の処理手順のフローチャートである。

使用者は対象物となる書面２１０をあらかじめ指示されている設置位置範囲２０１内に設置する。このとき、設置位置範囲は、対象物指示装置１００が投射表示により指示しても良いし、机上３０１上にマーキングにより指示しても良い。設置された対象物は、対象物指示装置の撮像部１０２で撮像され、ＣＰＵ１０５は撮像された対象物の形状情報と、対象物情報保存部１０４内に保存されている書面の形状や色情報とを比較して、対象物が書面であることを認識する。この場合、対象物は書面であり、画像認識処理や対象物保存情報は書面用にカスタマイズされていて、これにより認識処理を高速に処理できる。また、書面２１０と認識した認識結果を基に、ＣＰＵ１０５内の指示画像選択部は、指示画像保存部１０３内に保存されているフォーマット２１１を選択し、図１３に示すように、画像投影部１０１によって対象物である書面２１０に投影する。ただし、フォーマットでも、例えば男性用・女性用のフォーマットや、子供用・大人用のフォーマット、職種別のフォーマットなど種々ある。そのような場合、使用者は所望のフォーマット「大人」と発声することにより、ＣＰＵ１０５内の音声認識手段で認識され、「大人」という情報がＣＰＵ１０５内の指示画像選択部に送られ、指示画像保存部１０３に保存されている大人用のフォーマットの指示画像が選択され、空間光変調装置２によりその画像が形成され、対象物に投射される。

このように、フォーマットを印刷する手間が省け、しかも、男女や職種、年齢などによって書類のフォーマットが異なっても柔軟に対応することができる。また、投影することで照明の代わりにもなる。

本発明の対象物指示装置において、指示画像はフォーマットだけではなく、使用者が表示させたい文書や画像でもよい。

例えば、「リンゴ」の絵を書面上に描きたいとき、撮像部１０２で書面２１０を撮像し、ＣＰＵ１０５内の認識情報処理部で書面を認識すると、指示画像選択部で指示画像「リンゴ」の絵を選択し、画像投影部１０１で指示画像を投影する。これにより、使用者が「リンゴ」の絵をなぞったり、色を塗ったりすることで、正確に絵を描くことができる。

形状補正：
実施例１と同様にして、対象物を認識する際に、対象物の正確な場所も同時に認識することにより、指示画像（等分線）の歪み具合を計算することが可能となり、ＣＰＵ１０５内の形状情報補正機能によってその歪みを補正した指示画像を対象物上に投影することができる。

色補正：
指示画像保存部１０３に保存されている指示画像の色と、ＣＰＵ１０５が認識した対象物の色が同じである場合には、対象物指示装置１００が対象物に指示画像を投影した際に色が重なり、指示画像が見にくくなる。例えば、図１３の書面２１０が赤色で、指示線２１１が赤色の場合である。これを回避するために、ＣＰＵ１０５内にある色情報補正機能によって、認識した対象物の色と指示画像保存部１０３内に保存されている指示画像の色を比較し、色情報を補正して空間光変調装置２によって画像を形成し、投影される。

この時、対象物の色と指示画像の色を比較する基準として、実施例１と同様にして、それぞれ２５６階調の色相、彩度、明度を基準にし、ＣＰＵ１０５で色の判別を行う。３指標の誤差が平均して３パーセント以内であれば同色とみなし、ＣＰＵ１０５内の色補正機能によって、明度を１０パーセント中心にシフトさせた色を指示画像として補正し、画像投影部１０１によって投影することができる。

また、書面２１０の色によって、指示画像に保存されている色と、指示画像を書面に投影した際の画像の色が異なる場合がある。この場合も同様にして、色情報補正機能によって、指示画像と同等の色合いとなるように補正して、書面上に投影することができる。

実寸投影：
書面の大きさに関わらず、使用者が所望の大きさのフォーマットで投影したい場合がある。例えば、書面の大きさに関わらず、書面上にＡ４サイズのフォーマットを投影する場合である。この場合は、対象物指示装置１００はＣＰＵ１０５によって書面を認識する際に、対象物指示装置１００から書面までの距離を測定する。測定した距離から書面上にＡ４のフォーマットを実寸で投影することができる。

インターフェースに指令一覧画像投影：
また、本発明は指令一覧画像を投影して、それをセンシングする機能を持たせることで、ユーザーインターフェースを容易にすることができる。図１４に示すように、対象物指示装置１００は使用者に対する指令一覧画像４１０を常時投影し、使用者が対象物指示装置１００から投影された指令一覧画像４１０に書かれている文字もしくはボタン、例えば「男性」を指で押すと、認識センサー８は指を障害物と認識し、その障害物を感知することで、使用者が「男性」を指令したことを、ＣＰＵ１０５内の認識情報処理部が認識する。

仮に「男性」の内容の始まりが、「このフォーマットに従って記入する」であれば、図１５に示すように「このフォーマットに従って記入してください」と指令一覧画像の横に表示され、男性用フォーマットが投影される。

そして、「次へ」を押すと指令一覧画像の横に表示され、新たなフォーマット画像が投影され、継続して記入することができる。このように、書面用にカスタマイズされた指令一覧画像と指示画像を指示画像保存部１０３内に保存しておき、画像投影部１０１でフォーマットを投影することで、使用者は容易に書面文を記入していくことができる。

その他の構成：
使用者が書面２１０に記入する際に、対象物指示装置１１０が書面に対して横もしくは上にあると、使用者は対象物指示装置１１０からの投射光を手で遮ってしまう可能性がある。この場合、図１６に示すように、透明の机台３０２の裏に対象物指示装置１１０を設置し、書面２１０に対して裏から投影する。これにより、使用者は対象物指示装置１１０からの投射光を遮ることなく、書面２１０に記入することが可能となる。

実施例３：
実施例３は、商品の取り扱い説明に係る実施例である。図２６は、対象物指示装置の処理手順のフローチャートである。

利用状況イメージ：
図１の対象物指示装置を商品に対して投影した場合の具体例を以下に示す。図１７に示すように、使用者は対象物指示装置１００を対象物であるテレビ２２０に向けて指示画像を投影できるように設置する。このとき、設置位置範囲は、対象物指示装置１００が投射表示範囲内であればよい。設置されたテレビ２２０は、対象物指示装置１００の撮像部１０２で撮像され、ＣＰＵ１０５は、撮像された対象物の形状情報と、対象物情報保存部１０４内に保存されているテレビの形状や色情報とを比較し、対象物がテレビであることを認識する。この場合、画像認識処理や対象物保存情報はテレビ用にカスタマイズされていて、これにより認識処理を高速に処理できる。また、テレビとそれぞれの部位を認識した認識結果を基に、図１８に示すように、ＣＰＵ内の指示画像選択部は指示画像保存部１０３内に保存されている指示画像２２１を選択し、画像投影部１０１によってテレビ２２０上に投影する。

このように、テレビに各部位の名前や、端子名などが投影されるようになっており、使用者はそれを見ながら、配線や部位の組み立てを行うことができる。テレビのみだけではなく、パソコンやプラモデルなど組み立てる際に、複雑な製品に関して、組み立て手順や部位の説明をガイダンスすることもできる。

形状補正：
実施例１、２と同様に、対象物を認識する際に、対象物の正確な場所も同時に認識することにより、指示画像（等分線）の歪みを計算することが可能となり、ＣＰＵ１０５内の形状情報補正機能によってその歪みを補正した指示画像を対象物上に投影することができる。

色補正：
指示画像保存部１０３に保存されている指示画像の色と、ＣＰＵ１０５によって認識した対象物の色が同じである場合には、対象物指示装置１００が対象物に指示画像を投影した際に色が重なり、指示画像が見にくくなる。例えば、図１８においてテレビが黒色で、矢印の指示線が黒色の場合である。これを回避するために、ＣＰＵ１０５内にある色情報補正機能によって、認識した対象物の色と指示画像保存部１０３内に保存されている指示画像の色を比較し、色情報を補正して空間光変調装置２によって画像を形成し、投影される。

この時、対象物の色と指示画像の色を比較する基準として、実施例１、２と同様に、それぞれ２５６階調の色相、彩度、明度を基準にし、ＣＰＵ１０５で色の判別を行う。３指標の誤差が平均して３パーセント以内であれば同色とみなし、ＣＰＵ１０５内の色補正機能によって、明度を１０パーセント中心にシフトさせた色を指示画像として補正し、画像投影部１０１によって投影することができる。

インターフェースに指令一覧画像投影：
本実施例では指令一覧画像を投影して、それをセンシングする機能を持たせることで、ユーザーインターフェースを容易にすることができる。図１９に示すように、対象物指示装置１００はパソコン一式２２２をＣＰＵ１０５で認識すると、使用者に対する指令一覧画像４２０を常時投影する。使用者が対象物指示装置１００から投影された指令一覧画像４２０に書かれている文字もしくはボタン、例えば「パソコン組み立て」（図２０）を指で押すと、認識センサー８は指を障害物と認識し、その障害物の感知することで、使用者が「パソコン組み立て」の指令をしたとＣＰＵ１０５内の認識情報処理部が認識する。センサー８がそれを認識し、認識情報処理部で判別して、「指定の２点をケーブルでつなげてください」と指令一覧画像の横に投影され、ＡとＢへマーキングが投影される。

このように、パソコン組み立て用にカスタマイズされた指令一覧画像と指示画像を指示画像保存部１０３内に保存しておき、それを投影することで、使用者は容易にパソコンの組み立てを行うことができる。

実施例４：
実施例４は、書面上の訳語に係る実施例である。図２６は、対象物指示装置の処理手順のフローチャートである。

利用状況イメージ：
図１の対象物指示装置を書面上の文字に対して投影した場合の具体例を以下に示す。図２１に示すように、使用者は対象物となる書面２３０に対象物指示装置１００から指示画像を投影できるように設置する。設置位置範囲は、対象物指示装置１００が投射表示により示しても良いし、机上３０１上にマーキングされていても良い。設置された対象物は、対象物指示装置の撮像部１０２で撮像され、ＣＰＵ１０５は、撮像された対象物の形状情報と、対象物情報保存部１０４内に保存されている文字の形状とを比較し、対象物の文字を認識する。この場合、対象物は文字であり、認識アルゴリズムや対象物保存情報は文字用にカスタマイズされていて、これにより認識処理を高速に処理できる。また、文字と認識された認識結果を基に、対象物指示装置１００内の指示画像選択部は指示画像保存部１０３内に保存されている図２２に示す、読み仮名、あるいは訳語を書面上に投影する。また、日本語、中国語、フランス語など多様な言語を選択できるように、使用者は「日本語」と発声することにより、ＣＰＵ１０５内の音声認識手段で認識され、日本語という情報がＣＰＵ１０５内の指示画像選択部に送られ、指示画像保存手段内に保存されている日本語訳が指示画像として選択され、空間光変調装置２によりその画像が形成され、対象物に投射される。

このように、読み仮名、もしくは訳語を投影できることで、使用者は容易に書面文を読むことができる。また、投影することで照明の代わりにもなる。

形状補正：
実施例１〜３と同様に、対象物を認識する際に、対象物の正確な場所も同時に認識することにより、指示画像（等分線）の歪み具合を計算することが可能となり、ＣＰＵ１０５内の形状情報補正機能によってその歪みを補正した指示画像を対象物上に投影することができる。

色補正：
指示画像保存部１０３に保存されている指示画像の色と、ＣＰＵ１０５によって認識した対象物の色が同じである場合には、対象物指示装置１００が対象物に指示画像を投影した際に色が重なり、指示画像が見にくくなる。例えば、図２２において書面２１０が赤色で、指示画像２３２が赤色の場合である。これを回避するために、ＣＰＵ１０５内にある色情報補正機能によって、認識した対象物の色と指示画像保存部内に保存されている指示画像の色を比較し、色情報を補正して空間光変調装置２によって画像を形成し、投影される。

この時、対象物の色と指示画像の色を比較する基準として、実施例１〜３と同様にして、それぞれ２５６階調の色相、彩度、明度を基準にし、ＣＰＵ１０５で色の判別を行う。３指標の誤差が平均して３パーセント以内であれば同色とみなし、ＣＰＵ１０５内の色補正機能によって、明度を１０パーセント中心にシフトさせた色を指示画像として補正し、画像投影部１０１によって投影することができる。

また、書面２１０の色によって、指示画像に保存されている色と、指示画像を書面に投影した際の画像の色が異なる場合がある。この場合も同様にして、色情報補正機能によって、指示画像と同等の色合いとなるように補正して、書面上に投影することができる。

インターフェースに指令一覧画像投影：
また、本実施例では指令一覧画像を投影して、それをセンシングする機能を持たせることで、ユーザーインターフェースを容易にすることができる。図２３に示すように、対象物指示装置１００は書面上の文字を認識すると、使用者に対する指令一覧画像４００を常時投影している。使用者が対象物指示装置１００から投影された指令一覧画像４００に書かれている文字もしくはボタン、例えば「単語」を指で押すと、認識センサー８は指を障害物と認識し、その障害物の感知することで、使用者が「単語」の指令をしたとＣＰＵ１０５内の認識情報処理部は認識する。そして、光源ユニット１から見て、空間光変調装置２の最も左上の方向の単語に訳語が表示される。そして、「次へ」を押すと、右方向に単語の訳語が表示される。

このように、書面上の文字の読み仮名、あるいは訳語用にカスタマイズされた指令一覧画像と指示画像を対象物指示装置１００内に保存しておき、読み仮名、あるいは訳語を投影することで、使用者は容易に書面を読むことができる。

ＣＰＵ１０５内の演算処理機能によって、認識した文字から読み仮名、あるいは訳語を導き出し、それを投影することができる。これによって、指示画像にあらかじめ読み仮名、訳語の情報を保存しておかなくても、対象物指示装置が自動的に演算し、画像投影部で表示することができる。

その他の構成：
図２４に示すように、携帯電話１２０などのモバイル機器に対象物指示装置１００を搭載することにより、汎用品として利用することができ、使用者が容易に持ち歩くことができる。また、対象物指示装置１００を携帯電話やパソコンなどの情報通信機器に搭載すれば、情報通信機器がもつインターネット回線を利用して、対象物指示装置は指示画像を受信することができ、それを投影することも可能である。

また、図２５に示すように、対象物指示装置１００にはコネクタ１０６が備えられており、外部の記憶メモリ１０７との接続が可能で、コネクタ１０６に接続すれば、記憶メモリ１０７からの指示画像を読み出せるようになっている。これにより、食材用や書面フォーマット用、取り扱い説明用、訳語用ごとに外部記憶メモリを用意して接続するだけでよく、指示画像保存部に指示画像を逐次保存、消去をする手間を省くことができる。

実施例１の対象物指示装置の第１の構成を示す。 対象物指示装置をキッチンの天井に設置した例を示す。 対象物指示装置が指示線を対象物であるケーキ上に投影した図である。 丸いケーキの一部が欠けている例を示す。 欠けたケーキに、補正した指示画像を投影する例を示す。 実施例１の対象物指示装置の第２の構成を示す。 ケーキ上に実寸で線分を表示する例を示す。 実施例１の対象物指示装置の第３の構成を示す。 指令一覧画像を常時投影する実施例１の例を示す。 図９の続きの図である。 図９の続きの図である。 小型の対象物指示装置を机上に設置した実施例２の構成例を示す。 対象物指示装置がフォーマットを書面に投影する例を示す。 指令一覧画像を常時投影する実施例２の例を示す。 図１４の続きの図である。 対象物指示装置の他の設置例を示す。 対象物指示装置を商品に対して投影する実施例３を示す。 指示画像をテレビ上に投影する例を示す。 指令一覧画像を常時投影する実施例３の例を示す。 図１９の続きの図である。 対象物指示装置を書面上の文字に対して投影する実施例４を示す。 読み仮名や訳語を書面上に投影する例を示す。 指令一覧画像を常時投影する実施例４の例を示す。 モバイル機器に対象物指示装置を搭載する他の構成例を示す。 対象物指示装置と外部記憶メモリを接続する構成例を示す。 実施例１〜４の対象物指示装置の処理手順のフローチャートである。

符号の説明

１ 光源ユニット
２ 空間光変調装置
３ 光路分岐素子
４ 投射光学系
５ 集光レンズ
６ 撮像素子
１０ 対象物
１００ 対象物指示装置
１０１ 画像投影部
１０２ 撮像部
１０３ 指示画像保存部
１０４ 対象物情報保存部
１０５ ＣＰＵ

Claims (13)

1. 対象物を撮像する撮像手段と、前記撮像された対象物を認識処理する認識処理手段と、前記対象物上に表示する指示画像を保存する指示画像保存手段と、前記認識処理手段の認識結果を基に、前記指示画像保存手段に保存されている指示画像を選択する指示画像選択手段と、前記選択された指示画像を前記対象物に投影する投影手段とを有することを特徴とする対象物指示装置。
2. 前記対象物の寸法を認識する実寸化手段を有し、前記対象物上に実寸化された指示画像を投影することを特徴とする請求項１記載の対象物指示装置。
3. 前記対象物に関する形状情報を保存する保存手段を有し、前記認識処理手段は、前記対象物の形状情報を認識する形状認識機能を有し、前記形状認識機能により認識された対象物の形状情報と、前記保存手段に保存されている対象物の形状情報とを比較することにより、前記指示画像の形状を補正する補正情報生成手段を有し、前記補正情報生成手段により補正された指示画像を投影することを特徴とする請求項１記載の対象物指示装置。
4. 前記対象物に関する色情報を保存する保存手段を有し、前記認識処理手段は、前記対象物の色情報を認識する色認識機能を有し、前記色認識機能により認識された対象物の色情報と、前記保存手段に保存されている対象物の色情報とを比較することにより、前記指示画像の色を補正する補正情報生成手段を有し、前記補正情報生成手段により補正された指示画像を投影することを特徴とする請求項１記載の対象物指示装置。
5. 前記認識処理手段は、音声認識機能を有することを特徴とする請求項１記載の対象物指示装置。
6. 前記投影手段は、指令一覧画像を投影する機能を有し、前記投影された指令一覧画像上の障害物の有無を識別する識別機能を有することを特徴とする請求項１記載の対象物指示装置。
7. 前記指示画像は、前記対象物を切断する場所の目印であることを特徴とする請求項１乃至４のいずれか１項に記載の対象物指示装置。
8. 前記指示画像は、書面のフォーマット、もしくは記入する内容であることを特徴とする請求項１乃至４のいずれか１項に記載の対象物指示装置。
9. 前記指示画像は、商品の取り扱い説明内容であることを特徴とする請求項１乃至４のいずれか１項に記載の対象物指示装置。
10. 前記指示画像は、読み仮名もしくは訳語であることを特徴とする請求項１乃至４のいずれか１項に記載の対象物指示装置。
11. 前記指示画像を計算する演算処理機能を有し、前記演算処理機能によって得られた指示画像を投影することを特徴とする請求項１乃至４のいずれか１項に記載の対象物指示装置。
12. 請求項１乃至１１のいずれか１項に記載の対象物指示装置が情報通信機器に搭載され、前記情報通信機器内のデータ通信機能によって指示画像を受信し、前記指示画像を投影することを特徴とする対象物指示装置。
13. 請求項１乃至１１のいずれか１項に記載の対象物指示装置と外部記憶装置との接続機能を有し、前記外部記憶装置内に保存されている指示画像を投影することを特徴とする対象物指示装置。

Images