JP2006071707A - 重畳型画像観察装置 - Google Patents

Abstract

【課題】被写体を実視野で観察しながら重畳的に、高効率に情報を表示できる重畳型画像観察装置を提供すること。
【解決手段】可変な撮像画角Ａで被写体１１０を撮像する撮像部１０４と、撮像された被写体１１０を画像認識により特定する画像認識部１０５と、特定された被写体１１０に関する被写体情報を表示する電子情報表示部１０１と、電子情報表示部１０１に表示された被写体情報を被写体１１０の実視野に表示画角Ｂの範囲で重畳的に表示する半透過光学素子１０１とを有する。
【選択図】 図１

Description

本発明は、重畳型画像観察装置に関し、特に被写体を実視野で観察しながら重畳的に情報を表示する重畳型画像観察装置に関する。

従来、外部景色の映像と仮想映像とを重畳して表示するシースルー型のヘッドマウントディスプレイが提案されている（例えば、特許文献１参照。）。ここで、現実映像と仮想映像との間に位置的な関連付けを行なう必要がある。このため、特許文献１の構成では、公知の画像処理方法を行い、撮影した映像に含まれる所定の物体の位置を検出している。

特開平１１−１４２７８４号公報

シースルー型のヘッドマウントディスプレイの使用者が、実視野に重畳して認識する情報には種々の種類がある。例えば、使用者は、実視野の全体の映像に基づいて、現在位置情報等のナビゲーション情報を知りたいときがある。また、使用者は、実視野内の一部の映像に基づいて、被写体に関する個々の商品情報を知りたいときもある。

従来技術のヘッドマウントディスプレイは、重畳表示される情報の種類に関わらず、一定の撮像画角で外部景色の被写体を撮像している。このため、画像処理に必要な被写体情報が欠落している場合がある。これとは反対に、不必要に過剰な被写体情報に対して画像処理を行なっている場合もある。いずれの場合も、画像処理を効率的に行なうことができずに問題である。

本発明は、上記課題に鑑みてなされたものであって、被写体を実視野で観察しながら重畳的に、高効率に情報を表示できる重畳型画像観察装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明によれば、可変な倍率で被写体を撮像する撮像部と、撮像された前記被写体を画像認識により特定する画像認識部と、特定された前記被写体に関する被写体情報を表示する電子情報表示部と、前記電子情報表示部に表示された前記被写体情報を前記被写体の実視野に表示画角の範囲で重畳的に表示する半透過光学素子とを有することを特徴とする重畳型画像観察装置を提供できる。

また、本発明の好ましい態様によれば、前記撮像部は、変倍光学系を有し、前記画像認識部は、前記変倍光学系を所定ステップ量だけ変倍させるごとに前記被写体の画像認識を行なうことが望ましい。

本発明によれば、撮像部は可変な倍率で被写体を撮像する。そして、画像認識部は、撮像された被写体を画像認識により特定する。このとき、撮像部が、可変な倍率のうち広角端側で撮像すると、より広い画角で被写体を撮像できる。これにより、より広い範囲の被写体情報に基づいて画像認識を行なうことができる。これに対して、撮像部が、可変な倍率のうち望遠端側で撮像すると、より狭い画角で被写体を撮像できる。これにより、より狭い範囲の密な被写体情報に基づいて画像認識を行なうことができる。このため、画像認識部は、状況に応じて高効率に被写体を特定できる。この結果、被写体を実視野で観察しながら重畳的に、高効率に情報を表示できる重畳型画像観察装置を提供できる。

以下に、本発明に係る重畳型画像観察装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

図１は、本発明の実施例１に係る重畳型画像観察装置１００の概略構成を示す図である。使用者ＯＢＳは、重畳型画像観察装置１００を用いて被写体１１０を観察する。被写体１１０は、家屋１１０ｂと、植物１１０ｃと、人物１１０ｄとから成る。また、人物１１０ｄは、ネクタイ１１０ａを着用している。重畳型画像観察装置１００は、撮像部１０４と、電子情報表示部１０１と、半透過光学素子１０２とを有する。撮像部１０４として、小型カメラを用いることができる。電子情報表示部１０１として、液晶表示パネルや有機ＥＬパネルを用いることができる。また、半透過光学素子１０２は、ホログラム素子を用いることができる。

図２−１、図２−２は、重畳型画像観察装置１００の斜視図である。半透過光学素子１０２は、被写体１１０（不図示）からの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された被写体１１０に関する被写体情報を被写体１１０の実視野に重畳的に表示する。

図３−１は、重畳型画像観察装置１００を上面から見た構成を示す。図３−２は、重畳型画像観察装置１００の断面構成を示す。図３−３は、重畳型画像観察装置１００を底面から見た構成を示す。図３−１、図３−３に示すように、重畳型画像観察装置１００は、被写体１１０（不図示）を撮像画角Ａで撮像する。なお、撮像部１０４の詳細なレンズ構成は後述する。

一般に人間の水平方向の視野角は、略１５０°である。このうち、人間が一括して被写体を認識できる水平方向の視野角は、略４０°〜５０°である。さらに、人間が注視したときの水平方向の視野角は、略１０°以下である。このように、図１において、使用者ＯＢＳが重畳型画像観察装置１００を用いて被写体１１０を見ているときに、その水平方向の視野角は種々の値に変化する。このため、本実施例では、視野角を定義するために表示画角Ｂを用いる。表示画角Ｂは、電子情報表示部１０１から射出した光のうち、半透過光学素子１０２で使用者ＯＢＳの方向へ反射される光の水平方向の拡がり角である。使用者ＯＢＳは、重畳型画像観察装置１００の半透過光学素子１０２を透過して、被写体１１０を観察している。このため、図１では、使用者ＯＢＳが表示画角Ｂで被写体１１０を観察する範囲を矩形の枠で囲って示す。なお、画角の角度の単位は全て「度（°）」である。

また、図３−２に示すように、使用者ＯＢＳは、半透過光学素子１０２を透過して被写体１１０（不図示）を実視野で観察する。同時に、電子情報表示部１０１に表示された被写体情報の像は、半透過光学素子１０２により使用者ＯＢＳの方向へ反射される。これにより、使用者ＯＢＳは、被写体１１０を実視野で観察しつつ、重畳して被写体情報を認識できる。

図４は、撮像部１０４のレンズ構成を示す図である。撮像部１０４は変倍光学系を有している。変倍光学系は、被写体側（不図示）から順に、直角プリズムＰと、負の屈折力を有するレンズＬ１と、正の屈折力を有するレンズＬ２と、撮像素子１３０とから構成されている。撮像素子１３０は、２次元ＣＣＤ等を用いることができる。なお、図４では、レンズＬ１、Ｌ２をそれぞれ単レンズで示している。しかし、これに限られず、レンズＬ１、Ｌ２を複数のレンズからなるレンズ群で構成しても良い。また、各レンズのパワー配置も図４に示したものに限られず、変倍できる構成であれば良い。図４の（ａ）、（ｂ）は、広角端（Ｗｉｄｅ）側から望遠端（Ｔｅｌｅ）側へのレンズ移動軌跡を示す。例えば、撮像画角Ａの初期値は、表示画角Ｂと一致させておく。撮像部１０４が望遠端側へ変倍すると、撮像画角Ａは表示画角Ｂよりも小さくなる。また、撮像部１０４が広角端側へ変倍すると、撮像画角Ａは表示画角Ｂよりも大きくなる。

まず、図５に基づいて重畳型画像観察装置１００の構成を説明する。その後、詳細な手順を図６、図７、図８を参照して説明する。図５は、重畳型画像観察装置１００の機能ブロック図である。撮像部１０４は、上述の変倍光学系により可変な倍率で被写体１１０を撮影する。画像認識部１０５は、撮像された被写体１１０を画像認識により特定する。使用者ＯＢＳは、予め複数のアプリケーション・プログラムのいずれか１つを選択する。このアプリケーション・プログラムは、インターネット等を介して重畳型画像観察装置１００へダウンロードされる。また、アプリケーション・プログラムは、重畳型画像観察装置１００内のＲＯＭ（不図示）に格納しておいても良い。例えば、重畳型画像観察装置１００内のＲＯＭは、２つのアプリケーション・プログラムを格納している。１つは、使用者ＯＢＳが居る現在位置を求めるためのナビゲーションプログラムである。他方は、被写体１１０のうちの人物１１０ｄが着用している服、ネクタイ等のブランド名、種類、真贋情報等を検索する商品情報プログラムである。ここで、使用者ＯＢＳが、被写体１１０のうちの人物１１０ｄが着用しているネクタイ１１０ａに関する被写体情報を知りたいときを考える。

図５において、画像認識部１０５は、例えば、撮像したネクタイ１１０ａの画像をパターンマッチング処理する。パターンマッチングは、公知の画像処理方法を用いる。これにより、画像認識部１０５は、撮像した画像を特定する。変倍制御部１０３は、撮像部１０４の変倍光学系の撮像倍率を制御する。また、被写体情報データベース１０６は、被写体１１０の情報、例えばネクタイ１１０ａに関する商品情報が格納されている。なお、本実施例では、重畳型画像観察装置１００が被写体情報データベース１０６を備えている。しかしながら、被写体情報データベース１０６は、これに限られず、重畳型画像観察装置１００とは異なる別個のデータベースとしても良い。このときは、重畳型画像観察装置１００と、被写体情報データベース１０６とは、ＰＨＳ回線、携帯電話回線、有線ＬＡＮ、無線ＬＡＮ、赤外線通信等のデータ転送を行なえるように構成する。

画像認識部１０５は、被写体情報データベース１０６から特定された被写体１１０に関する情報を取得する。電子情報表示部１０１は、取得された被写体１１０の情報を表示する。半透過光学素子１０２は、被写体１１０からの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された被写体１１０に関する被写体情報を被写体１１０の実視野に重畳的に表示する。実視野に重畳的に表示される情報は、文字情報に限られない。例えば、静止画、動画などの映像情報を重畳的に表示できる。また、アイコン、天気記号、地理記号等の記号を重畳的に表示してもよい。

次に、撮像部１０４の撮像画角Ａと電子情報表示部１０１の表示画角Ｂとの関係を説明する。図６は、撮像部１０４が望遠端側の状態で被写体１１０を撮像しているときの概略構成を示す。電子情報表示部１０１の表示画角Ｂは一定である。これに対して、撮像部１０４の撮像画角Ａは可変である。使用者ＯＢＳが被写体１１０のうちの一部の領域に関する情報、例えばネクタイ１１０ａに関する情報を知りたいときを考える。このとき、使用者ＯＢＳは、商品情報プログラムを選択する。そして、使用者ＯＢＳは、視野内に表示されている十字状のターゲットポイント１２０をネクタイ１１０ａの部分へ移動する。ターゲットポイント１２０の移動は、重畳型画像観察装置１００の操作ボタン（不図示）を用いる。撮像部１０４は、変倍光学系を望遠端側に変倍（ズーム）する。これにより、撮像部１０４は、ターゲットポイント１２０近傍の狭い撮像画角Ａｔによりネクタイ１１０ａの詳細な画像を撮像できる。

図８は、本実施例の情報表示の手順を示すフローチャートである。ステップＳ５０１において、使用者ＯＢＳは所望のアプリケーションを選択する。ステップＳ５０２において、撮像部１０４は、選択されたアプリケーションに従った撮像画角Ａで被写体１１０を撮像する。ステップＳ５０３において、画像認識部１０５は、撮像された被写体１１０の画像に基づいてパターンマッチング処理を行なう。ステップ５０４において、使用者ＯＢＳが所望した領域の画像が特定できたか、否かが判断される。判断結果が偽（Ｎｏ）のとき、ステップＳ５０５へ進む。ステップＳ５０５において、変倍制御部１０３は撮像部１０４の変倍光学系を所定ステップ量だけ変倍する。撮像した範囲の画像に基づいて画像認識できないときは、さらに狭い範囲の密な画像を撮像する必要がある。このため、商品情報プログラムが選択されているときは、変倍光学系は、望遠端側へ変倍される。そして、ステップ５０２へ戻り、撮像部１０４は、再度、被写体１１０を撮像する。

また、ステップＳ５０４の判断結果が真（Ｙｅｓ）のときは、ステップＳ５０６へ進む。ステップＳ５０６において、画像認識部１０５は、被写体情報データベース１０６から特定された被写体、この例ではネクタイ１１０ａの情報を取得する。ステップＳ５０７において、電子情報表示部１０１は、被写体情報、即ちネクタイ１１０ａのブランド名、種類、真贋等を表示する。半透過光学素子１０２は、ネクタイ１１０ａの実視野に重畳して、ネクタイ１１０ａの情報を表示する。

このように、使用者ＯＢＳが被写体１１０のうちの一部の画像領域の密な情報を知りたいときは、画像認識が完了するまで、望遠端側への変倍を逐次行なう。次に、画像認識が完了した状態で、変倍動作が終了する。そして、上述のように、被写体情報が取得される。

これとは反対に、例えば、使用者ＯＢＳが被写体１１０の風景（植物１１０ｃ）、地形、建築物（家屋１１０ｂ）、高層ビル等のランドマークに基づいて現在位置を知りたいときを考える。このとき、使用者ＯＢＳは、ナビゲーションプログラムを選択する。また、図７に示すように、撮像部１０４は、変倍光学系を広角端側に変倍（ズーム）する。これにより、撮像部１０４は、被写体１１０の全体の広い撮像画角Ａｗにわたって画像を撮像できる。

そして、図８のステップＳ５０５において、変倍制御部１０３は撮像部１０４の変倍光学系を所定ステップ量だけ変倍する。ナビゲーションプログラムが選択されているときは、撮像した範囲の画像に基づいて画像認識できないと、さらに広い範囲の画像を撮像する必要がある。このため、変倍光学系は、広角端側へ変倍される。他の手順は、上述したものと同一である。このように、使用者ＯＢＳが被写体１１０のうちの広い画像領域、例えば全体の画像領域の情報を知りたいときは、画像認識が完了するまで、広角端側への変倍を逐次行なう。次に、画像認識が完了した状態で、変倍動作が終了する。そして、上述のように、被写体情報が取得される。このように、変倍しながら、画像認識を行なうことで、画像認識が完了するまでの収束時間を高速化できる。

以上説明したように、表示画角Ｂに対して撮像画角Ａを可変とすることで、状況に応じて効率良く画像認識できる。そして、使用者ＯＢＳが所望する情報を実視野に重畳して表示できる。また、表示される被写体情報は、画像認識で得られた情報を全て表示しても良い。さらに、取得された情報のうち、使用者ＯＢＳが操作ボタン（不図示）で選択した情報を表示しても良い。加えて、実視野内に表示される被写体情報の位置は、画像認識された被写体、例えばネクタイ１１０ａ近傍に表示することが望ましい。これにより、実視野の画像と、その画像に関する情報とが使用者ＯＢＳにわかりやすく重畳表示される。この結果、重畳型画像観察装置１００は、教育分野、訓練分野、バーチャルリアリティ分野においても適用できる。なお、本実施例では、表示画角Ｂを一定にして、撮像画角Ａを可変としている。しかしながら、これに限られず、撮像画角Ａと表示画角Ｂとを可変とする構成、及び撮像画角Ａを固定とし表示画角Ｂを可変とする構成でも良い。

さらに、本実施例では、使用者が重畳型画像観察装置１００を手で把持して携帯電話のように使用する例を説明している。しかしながら、本発明は、携帯電話形状の重畳型画像観察装置１００に限られず、例えば公知のヘッドマウントディスプレイに上述した重畳型画像観察装置１００の機能を持たせても良い。このように、本発明は、その趣旨を逸脱しない範囲で、適宜変形が可能である。

以上のように、本発明に係る重畳型画像観察装置は、被写体を実視野で観察しながら重畳的に、高効率に情報を表示するときに有用である。

実施例１に係る重畳型画像観察装置の概略構成図である。 重畳型画像観察装置の斜視構成図である。 重畳型画像観察装置の他の斜視構成図である。 重畳型画像観察装置の上面図である。 重畳型画像観察装置の断面図である。 重畳型画像観察装置の底面図である。 実施例１の撮像部のレンズ構成を示す図である。 実施例１の重畳型画像観察装置の機能ブロック図である。 実施例１における望遠端側の撮像画角を説明する図である。 実施例１における広角端側の撮像画角を説明する図である。 実施例１の情報表示の手順を示すフローチャートである。

符号の説明

１００ 重畳型画像観察装置
１０１ 電子情報表示部
１０２ 半透過光学素子
１０３ 変倍制御部
１０４ 撮像部
１０５ 画像認識部
１０６ 被写体情報データベース
１１０ 被写体
１１０ａ ネクタイ
１１０ｂ 家屋
１１０ｃ 植物
１１０ｄ 人物
Ａ 撮像画角
Ｂ 表示画角

Claims (2)

1. 可変な撮像画角で被写体を撮像する撮像部と、
   撮像された前記被写体を画像認識により特定する画像認識部と、
   特定された前記被写体に関する被写体情報を表示する電子情報表示部と、
   前記電子情報表示部に表示された前記被写体情報を前記被写体の実視野に表示画角の範囲で重畳的に表示する半透過光学素子とを有することを特徴とする重畳型画像観察装置。
2. 前記撮像部は、変倍光学系を有し、
   前記画像認識部は、前記変倍光学系を所定ステップ量だけ変倍させるごとに前記被写体の画像認識を行なうことを特徴とする請求項１に記載の重畳型画像観察装置。
   
   

Images