JP2006071726A - 重畳型画像観察装置 - Google Patents

Abstract

【課題】被写体を実視野で観察しながら重畳的に、高効率に情報を表示できる重畳型画像観察装置を提供すること。
【解決手段】撮像された被写体１１０を画像認識により特定する画像認識部１０５と、特定された被写体１１０に関する被写体情報を所定の表示画角Ｂで表示する電子情報表示部１０１と、表示画角Ｂから１０°を減じた角度よりも小さい撮像画角Ａで被写体１１０を撮像する撮像部１０４と、電子情報表示部１０１に表示された被写体情報を被写体１１０の実視野に重畳的に表示する半透過光学素子１０２と有する。
【選択図】 図１

Description

本発明は、重畳型画像観察装置に関し、特に被写体を実視野で観察しながら重畳的に情報を表示する重畳型画像観察装置に関する。

従来、外部景色の映像と仮想映像とを重畳して表示するシースルー型のヘッドマウントディスプレイが提案されている（例えば、特許文献１参照。）。ここで、現実映像と仮想映像との間に位置的な関連付けを行なう必要がある。このため、特許文献１の構成では、公知の画像処理方法を行い、撮影した映像に含まれる所定の物体の位置を検出している。

特開平１１−１４２７８４号公報

シースルー型のヘッドマウントディスプレイの使用者が、実視野に重畳して認識する情報には種々の種類がある。例えば、使用者は、実視野内の一部の映像に基づいて、被写体に関する個々の商品情報を知りたいときがある。

従来技術のヘッドマウントディスプレイは、重畳表示される情報の種類に関わらず、一定の撮像画角で外部景色の被写体を撮像している。このため、画像処理に必要な被写体情報が欠落している場合がある。この結果、画像処理を効率的に行なうことができずに問題である。

本発明は、上記課題に鑑みてなされたものであって、被写体を実視野で観察しながら重畳的に、高効率に情報を表示できる重畳型画像観察装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮像された被写体を画像認識により特定する画像認識部と、特定された被写体に関する被写体情報を所定の表示画角で表示する電子情報表示部と、表示画角から１０°を減じた角度よりも小さい撮像画角で被写体を撮像する撮像部と、電子情報表示部に表示された被写体情報を被写体の実視野に重畳的に表示する半透過光学素子とを有することを特徴とする重畳型画像観察装置を提供できる。

また、本発明の好ましい態様によれば、撮像部は、変倍光学系を備えることが望ましい。さらに、本発明の好ましい態様によれば、撮像部は、固定焦点の光学系を備えることが望ましい。

本発明によれば、撮像部は、表示画角から１０°を減じた角度よりも小さい撮像画角で被写体を撮像する。そして、画像認識部は、撮像された被写体を画像認識により特定する。これにより、より狭い範囲の密な被写体情報に基づいて画像認識を行なうことができる。このため、画像認識部は、高効率に被写体を特定できる。この結果、被写体を実視野で観察しながら重畳的に、高効率に情報を表示できる重畳型画像観察装置を提供できる。

以下に、本発明に係る重畳型画像観察装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本発明の実施例１に係る重畳型画像観察装置１００の概略構成を示す図である。使用者ＯＢＳは、重畳型画像観察装置１００を用いて被写体１１０を観察する。被写体１１０は、家屋１１０ｂと、植物１１０ｃと、人物１１０ｄとから成る。また、人物１１０ｄは、ネクタイ１１０ａを着用している。重畳型画像観察装置１００は、撮像部１０４と、電子情報表示部１０１と、半透過光学素子１０２とを有する。撮像部１０４として、小型カメラを用いることができる。電子情報表示部１０１として、液晶表示パネルや有機ＥＬパネルを用いることができる。また、半透過光学素子１０２は、ホログラム素子を用いることができる。

図２−１、図２−２は、重畳型画像観察装置１００の斜視図である。半透過光学素子１０２は、被写体１１０からの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された被写体１１０に関する被写体情報を被写体１１０の実視野に重畳的に表示する。

図３−１は、重畳型画像観察装置１００を上面から見た構成を示す。図３−２は、重畳型画像観察装置１００の断面構成を示す。図３−３は、重畳型画像観察装置１００を底面から見た構成を示す。図３−１、図３−３に示すように、重畳型画像観察装置１００は、被写体１１０（不図示）を撮像画角Ａで撮像する。なお、撮像部１０４の詳細なレンズ構成は後述する。

一般に人間の水平方向の視野角度は、略１５０°である。このうち、人間が一括して被写体を認識できる水平方向の視野角度は、略４０°〜５０°である。さらに、人間が注視したときの水平方向の視野角度は、略１０°以下である。このように、図１において、使用者ＯＢＳが重畳型画像観察装置１００を用いて被写体１１０を見ているときに、その水平方向の視野角は、種々の値に変化する。このため、本実施例では、視野角を定義するために表示画角Ｂを用いる。表示画角Ｂは、電子情報表示部１０１から射出した光のうち、半透過光学素子１０２で使用者ＯＢＳの方向へ反射される光の水平方向の拡がり角である。使用者ＯＢＳは、重畳型画像観察装置１００の半透過光学素子１０２を透過して、被写体１１０を観察している。このため、図１では、使用者ＯＢＳが表示画角Ｂで被写体１１０を観察する範囲を矩形の枠で囲って示す。画角の角度の単位は、全て「度（°）」である。

また、図３−２に示すように、使用者ＯＢＳは、半透過光学素子１０２を透過して被写体１１０（不図示）を実視野で観察する。同時に、電子情報表示部１０１に表示された被写体情報の像は、半透過光学素子１０２により使用者ＯＢＳの方向へ反射される。これにより、使用者ＯＢＳは、被写体１１０を実視野で観察しつつ、重畳して被写体情報を認識できる。

図４は、撮像部１０４のレンズ構成を示す図である。撮像部１０４は変倍光学系を有している。変倍光学系は、被写体側（不図示）から順に、直角プリズムＰと、負の屈折力を有するレンズＬ１と、正の屈折力を有するレンズＬ２と、撮像素子１３０とから構成されている。撮像素子１３０は、２次元ＣＣＤ等を用いることができる。なお、図４では、レンズＬ１、Ｌ２をそれぞれ単レンズで示している。しかし、これに限られず、レンズＬ１、Ｌ２を複数のレンズからなるレンズ群で構成しても良い。また、各レンズのパワー配置も図４に示したものに限られず、変倍できる構成であれば良い。図４の（ａ）、（ｂ）は、広角端（Ｗｉｄｅ）側から望遠端（Ｔｅｌｅ）側へのレンズ移動軌跡を示す。

図５は、撮像画角Ａと表示画角Ｂとの関係を示す。図５において、縦軸（ｚ軸）は撮像部１０４の光軸に沿った方向、横軸（ｘ軸）は使用者ＯＢＳから見て水平方向をそれぞれ示す。また、理解の容易のため、撮像画角Ａの原点と、表示画角Ｂの原点とを一致させる。図５において、撮像画角Ａは、表示画角Ｂから１０°を減じた角度よりも小さい。即ち、２つの画角Ａ、Ｂは次式（１）を満足する。

Ａ−Ｂ＜−１０° ・・・（１）
ここで、電子情報表示部１０１の表示画角Ｂは一定の値である。これに対して、撮像部１０４の撮像画角Ａは、変倍光学系により上記式（１）を満足する範囲で可変である。

図６は、重畳型画像観察装置１００の機能ブロック図である。撮像部１０４は、上述の変倍光学系により上記式（１）を満足する範囲で可変な倍率で被写体１１０を撮影する。画像認識部１０５は、撮像された被写体１１０を画像認識により特定する。使用者ＯＢＳは、予め複数のアプリケーション・プログラムのいずれか１つを選択する。このアプリケーション・プログラムは、インターネット等を介して重畳型画像観察装置１００へダウンロードされる。また、アプリケーション・プログラムは、重畳型画像観察装置１００内のＲＯＭ（不図示）に格納しておいても良い。例えば、重畳型画像観察装置１００内のＲＯＭは、商品情報プログラムを格納している。商品情報プログラムは、被写体１１０のうちの人物１１０ｄが着用している服、ネクタイ等のブランド名、種類、真贋情報等を検索するアプリケーションである。ここで、使用者ＯＢＳが、被写体１１０のうちの人物１１０ｄが着用しているネクタイ１１０ａに関する被写体（商品）情報を知りたいときを考える。

このとき、使用者ＯＢＳは、商品情報プログラムを選択する。そして、使用者ＯＢＳは、視野内に表示されている十字状のターゲットポイント１２０をネクタイ１１０ａの部分へ移動する。ターゲットポイント１２０の移動は、重畳型画像観察装置１００の操作ボタン（不図示）を用いる。撮像部１０４は、変倍光学系を望遠端側に変倍（ズーム）する。これにより、撮像部１０４は、ターゲットポイント１２０近傍の狭い撮像画角Ａによりネクタイ１１０ａの詳細な画像を撮像できる。

図６において、画像認識部１０５は、例えば、撮像したネクタイ１１０ａの画像をパターンマッチング処理する。パターンマッチングは、公知の画像処理法を用いる。これにより、画像認識部１０５は、撮像した画像を特定する。変倍制御部１０３は、撮像部１０４の変倍光学系の撮像倍率を望遠端側へ制御する。また、被写体情報データベース１０６は、被写体１１０の情報、例えばネクタイ１１０ａに関する商品情報が格納されている。なお、本実施例では、重畳型画像観察装置１００が被写体情報データベース１０６を備えている。しかしながら、被写体情報データベース１０６は、これに限られず、重畳型画像観察装置１００とは異なる別個のデータベースとしても良い。このときは、重畳型画像観察装置１００と、被写体情報データベース１０６とは、ＰＨＳ回線、携帯電話回線、有線ＬＡＮ、無線ＬＡＮ、赤外線通信等のデータ転送を行なえるように構成する。

画像認識部１０５は、被写体情報データベース１０６から特定された被写体１１０に関する情報を取得する。電子情報表示部１０１は、取得された被写体１１０の情報を表示する。半透過光学素子１０２は、被写体１１０からの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された被写体１１０に関する被写体情報を被写体１１０の実視野に重畳的に表示する。実視野に重畳的に表示される情報は、文字情報に限られない。例えば、静止画、動画などの映像情報を重畳的に表示できる。また、アイコン、天気記号、地理記号等の記号を重畳的に表示してもよい。

図７は、本実施例の情報表示の手順を示すフローチャートである。ステップＳ５０１において、使用者ＯＢＳは商品情報プログラムを選択する。ステップＳ５０２において、撮像部１０４は、選択された商品情報プログラムに従った撮像画角Ａ（＜Ｂ−１０）で被写体１１０を撮像する。ステップＳ５０３において、画像認識部１０５は、撮像された被写体１１０の画像に基づいてパターンマッチング処理を行なう。ステップ５０４において、使用者ＯＢＳが所望した領域の画像が特定できたか、否かが判断される。判断結果が偽（Ｎｏ）のとき、ステップＳ５０５へ進む。撮像した範囲の画像で画像認識できないときは、さらに狭い範囲の密な画像を撮像する必要がある。このため、ステップＳ５０５において、変倍制御部１０３は撮像部１０４の変倍光学系を所定ステップ量だけ望遠端側へ変倍する。そして、ステップ５０２へ戻り、撮像部１０４は、再度、被写体１１０を撮像する。

また、ステップＳ５０４の判断結果が真（Ｙｅｓ）のときは、ステップＳ５０６へ進む。ステップＳ５０６において、画像認識部１０５は、被写体情報データベース１０６から特定された被写体、この例ではネクタイ１１０ａの情報を取得する。ステップＳ５０７において、電子情報表示部１０１は、被写体情報、即ちネクタイ１１０ａのブランド名、種類、真贋情報等を表示する。半透過光学素子１０２は、ネクタイ１１０ａの実視野に重畳して、ネクタイ１１０ａの被写体情報を表示する。

このように、使用者ＯＢＳが被写体１１０のうちの一部の画像領域の密な情報を知りたいときは、画像認識が完了するまで、上記式（１）を満足する範囲内で望遠端側への変倍を逐次行なう。そして、画像認識が完了した状態で、変倍動作が終了する。そして、上述のように、被写体情報が取得される。

図８は、実施例２に係る重畳型画像観察装置２００の機能ブロックを示す図である。上記実施例１では、撮像部１０４は変倍光学系を備えている。これに対して、本実施例では、撮像部１０４は、固定焦点の光学系を備えている点が異なる。上記実施例１と同一の部分には、同一の符号を付し重複する説明は省略する。

撮像部１０４は、固定の撮像画角Ａで被写体１１０を撮像する。撮像画角Ａは、表示画角Ｂから１０°を減じた角度よりも小さい。本実施例によれば、撮像部１０４は、被写体１１０のうちの所定の画像領域、例えばネクタイ１１０ａ近傍の密な領域を撮像する。これにより、ネクタイ１１０ａに関するパターンマッチングを効率良く、かつ高精度に行なうことができる。このため、画像認識部１０５は、短時間で画像、即ちネクタイ１１０ａを特定できる。この結果、ネクタイ１１０ａに関するブランド名、真贋情報等を迅速、かつ簡便に、実視野に重畳して表示できる。

以上説明したように、表示画角Ｂに対して撮像画角Ａを上記式（１）を満足する範囲内にすることで、効率良く画像認識できる。そして、使用者ＯＢＳが所望する情報を実視野に重畳して表示できる。また、表示される被写体情報は、画像認識で得られた情報を全て表示しても良い。さらに、取得された情報のうち、使用者ＯＢＳが操作ボタン（不図示）で選択した情報を表示しても良い。加えて、実視野内に表示される被写体情報の位置は、画像認識された被写体、例えばネクタイ１１０ａ近傍に表示することが望ましい。これにより、実視野の画像と、その画像に関する情報とが使用者ＯＢＳにわかりやすく重畳表示される。この結果、重畳型画像観察装置１００は、教育分野、訓練分野、バーチャルリアリティ分野においても適用できる。なお、本実施例では、表示画角Ｂを一定にして、撮像画角Ａを可変としている。しかしながら、これに限られず、撮像画角Ａと表示画角Ｂとを可変とする構成、及び撮像画角Ａを固定とし表示画角Ｂを可変とする構成でも良い。

さらに、上記各実施例では、使用者が重畳型画像観察装置１００を手で把持して携帯電話のように使用する例を説明している。しかしながら、本発明は、携帯電話形状の重畳型画像観察装置１００に限られず、例えば公知のヘッドマウントディスプレイに上述した重畳型画像観察装置１００の機能を持たせても良い。このように、本発明は、その趣旨を逸脱しない範囲で、適宜変形が可能である。

以上のように、本発明に係る重畳型画像観察装置は、被写体を実視野で観察しながら重畳的に、高効率に情報を表示するときに有用である。

実施例１に係る重畳型画像観察装置の概略構成図である。 重畳型画像観察装置の斜視構成図である。 重畳型画像観察装置の他の斜視構成図である。 重畳型画像観察装置の上面図である。 重畳型画像観察装置の断面図である。 重畳型画像観察装置の底面図である。 実施例１の撮像部のレンズ構成を示す図である。 実施例１の撮像画角と表示画角とを説明する図である。 実施例１の重畳型画像観察装置の機能ブロック図である。 実施例１の情報表示の手順を示すフローチャートである。 実施例２の重畳型画像観察装置の機能ブロック図である。

符号の説明

１００ 重畳型画像観察装置
１０１ 電子情報表示部
１０２ 半透過光学素子
１０３ 変倍制御部
１０４ 撮像部
１０５ 画像認識部
１０６ 被写体情報データベース
１１０ 被写体
１１０ａ ネクタイ
１１０ｂ 家屋
１１０ｃ 植物
１１０ｄ 人物
Ａ 撮像画角
Ｂ 表示画角

Claims (3)

1. 撮像された被写体を画像認識により特定する画像認識部と、
   特定された前記被写体に関する被写体情報を所定の表示画角で表示する電子情報表示部と、
   前記表示画角から１０°を減じた角度よりも小さい撮像画角で前記被写体を撮像する撮像部と、
   前記電子情報表示部に表示された前記被写体情報を前記被写体の実視野に重畳的に表示する半透過光学素子とを有することを特徴とする重畳型画像観察装置。
2. 前記撮像部は、変倍光学系を備えることを特徴とする請求項１に記載の重畳型画像観察装置。
3. 前記撮像部は、固定焦点の光学系を備えることを特徴とする請求項１に記載の重畳型画像観察装置。
   
   

Images