JP2015057659A - 表示装置、表示方法、プログラム - Google Patents
表示装置、表示方法、プログラム Download PDFInfo
- Publication number
- JP2015057659A JP2015057659A JP2014217073A JP2014217073A JP2015057659A JP 2015057659 A JP2015057659 A JP 2015057659A JP 2014217073 A JP2014217073 A JP 2014217073A JP 2014217073 A JP2014217073 A JP 2014217073A JP 2015057659 A JP2015057659 A JP 2015057659A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- unit
- imaging
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【解決手段】ユーザが眼鏡型もしくは頭部装着型の装着ユニットを装着することで、目の前方に位置する表示手段を視認する状態となるようにする。表示手段は外景に重ねて視認される画像を表示する。制御手段は、表示手段に、外景に重なって外景の一部を強調する強調表示画像を表示させることでユーザの視覚能力を補助したり拡大した状態とする。
【選択図】図1
Description
そこで本発明では、ユーザの視覚の補助や拡張を実現することを目的とする。さらには、視覚の補助や拡張を実現する表示動作や撮像動作の制御に関して、外界の状況(周囲の環境、被写体、日時、場所等)に応じて、的確な動作制御が行われるようにする。
また、前記外景を撮影する撮影手段と、前記撮影手段により撮影された撮影画像から対象物を検出する画像処理手段と、を備え、前記対象選択手段は、予め設定された条件に従って、前記画像処理手段により検出された対象物から前記強調対象物を選択する。
また、前記対象選択手段は、前記表示装置の現在位置に基づいて、前記画像処理手段により検出された対象物から前記強調対象物を選択する。
また、前記制御手段は、前記表示手段により前記外景の少なくとも一部を隠す画像を表示させる。
また、前記制御手段の制御により前記表示手段によって前記外景の少なくとも一部を隠すように表示される画像は、当該画像により隠される前記外景の一部を強調した画像である。
また、前記制御手段の制御により前記表示手段によって前記外景の一部に重なって表示される画像は、当該画像に重なる前記外景の一部を装飾する画像である。
また、前記制御手段は、前記強調表示画像を拡大表示することで、前記強調表示画像が強調して表示されるように前記表示手段を制御する。
また、前記外景の光は前記表示手段を透過して前記画像の光とともに前記表示装置を装着したユーザーの眼に入射する。
本発明のプログラムは、表示手段に外景に重ねて視認される画像を表示させる処理と、前記表示手段に、前記外景に重なって前記外景の一部を強調する強調表示画像を表示させる処理とを、頭部装着型の表示装置の制御手段に実行させるプログラムである。
これはユーザにとっては、通常に視認する前方の光景を、本発明の表示装置を介して見ることになるが、するとこの場合、ユーザは表示手段に映し出された画像を通常の視覚風景として見ることになる。ここで、表示手段に映し出す画像の態様を、周囲環境状態や被写体の状況など、外界の状況に応じて変化させると、ユーザの視覚能力を補助したり拡張した状態とすることができる。
例えば望遠画像を表示させれば、ユーザが通常では見えない遠方の光景が見える。また本や新聞を見ているときに、表示手段でそれらの文字の拡大表示や輝度やコントラストの調整を行えば、例えば暗い状況でも、読みやすい状態とできる。
即ち、外界情報に応じて撮像手段や表示手段の動作を制御し、表示される撮像画像の態様を制御することで、ユーザにとって快適或いはおもしろみのある視覚状況を作り出すことができる。
[1.撮像表示装置の外観例]
[2.撮像表示装置の構成例]
[3.表示例]
[4.外界情報の検出]
[5.各種動作例]
[6.実施の形態の効果、変形例及び拡張例]
実施の形態として、図1に眼鏡型ディスプレイカメラとした撮像表示装置1の外観例を示す。撮像表示装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置1は、図1のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部2、2が配置される構成とされている。この表示部2には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部2がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが設けられる。発光部4aは例えばLED(Light Emitting Diode)により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ5aが設けられる。
また右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイクロホン6a,6bが配置される。
またイヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために1つ設けられるのみでもよい。またマイクロホンも、マイクロホン6a,6bのうちの一方でもよい。さらには、撮像表示装置1としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部4aを設けない構成も考えられる。
図2に撮像表示装置1の内部構成例を示す。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置1の全体を制御する制御部とされる。
このシステムコントローラ10は外界の状況に基づいて、撮像表示装置1内の各部の制御を行う。つまり外界の状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するように外界の状況を判定する外界状況判定機能10aと、外界状況判定機能10aの判定結果に従って各部に制御指示を行う動作制御機能10bを有することになる。
撮像部3は、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部11のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部11は、固体撮像素子及び撮像信号処理部15における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整(例えば特定波長帯域をカットするような撮像)なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部11は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号は表示画像処理部12に供給される。表示画像処理部12は、例えばいわゆるビデオプロセッサとされ、供給された撮像信号に対して各種表示処理を実行できる部位とされる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また表示画像処理部12は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、画像内の一部をハイライト表示(強調表示)させる画像処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。つまり撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
表示制御部14は、システムコントローラ10の指示に基づいて、表示画像処理部12の処理動作や表示駆動部13の動作を制御する。即ち表示画像処理部12に対しては、上記の各種処理を実行させる。また表示駆動部13に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
なお以下では、表示部2を透明もしくは半透明とする「スルー状態」に対して、表示部2で画像表示を行っている動作(及びその状態)を「モニタ表示」(「モニタ表示状態」)と言うこととする。
音声入力部6は、図1に示したマイクロホン6a,6bと、そのマイクロホン6a,6bで得られた音声信号を処理するマイクアンプ部を有して成る。
音声信号処理部16は、例えばA/D変換器、デジタルシグナルプロセッサ、D/A変換器などからなり、音声入力部6から供給される音声信号をデジタルデータに変換して、システムコントローラ10の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声信号をアナログ信号に変換して音声出力部5に供給する。なお、音声信号処理部16は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部5は、図1に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路を有する。
この音声入力部6、音声信号処理部16,音声出力部5により、ユーザは外部音声を当該撮像表示装置1を介して聞くことができる。
なお、音声出力部5は、いわゆる骨伝導スピーカとして構成されても良い。
音声合成部27から出力された音声信号は、音声信号処理部16で処理されて音声出力部5に供給され、ユーザに対して音声出力される。
この音声合成部27は、例えば後述する読み上げ音声の音声信号を発生させることになる。
照明部4における発光部4aが図1に示したように前方に対する照明を行うものとして取り付けられていることで、照明部4はユーザの視界方向に対する照明動作を行うことになる。
撮像対象センサ20は、撮像部3での撮像動作の被写体となっている撮像対象に関する情報を検出するセンサである。例えば当該撮像表示装置1から撮像対象までの距離の情報を検出する測距センサが想定される。
また、焦電センサなどの赤外線センサのように、撮像対象が発する赤外線の特定の波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮像対象が人や動物などの生体であるか否かの検出が可能となる。
さらに、各種UV(Ultra Violet)センサのように、撮像対象が発する紫外線の特定の波長などの情報やエネルギーを検出するセンサも想定される。この場合、例えば撮像対象が蛍光物質や蛍光体であるか否かの検出や、日焼け対策に必要な外界の紫外線量の検出が可能となる。
日時計数部22は、いわゆる時計部として、日時(年月日時分秒)を計数し、現在日時情報を出力する。
画像解析部17は、撮像部3,撮像信号処理部15により得られた撮像画像について画像解析を行う。即ち被写体としての画像を解析し、撮像画像に含まれる被写体の情報を得る。
またインターネット等のネットワークに接続された端末装置、サーバ装置なども通信対象の外部機器として想定される。
さらには、ICチップを内蔵した非接触通信ICカード、QRコード(登録商標)等の二次元バーコード、ホログラムメモリなどを外部機器とし、通信部26はこれらの外部機器から情報を読み取る構成とすることも考えられる。
さらには他の撮像表示装置1も外部機器として想定される。
通信部26は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでも良い。
システムコントローラ10は外界状況判定機能10aの処理により、取得した外界情報に応じて、動作制御機能10bの処理により、撮像動作や表示動作に関する制御を行う。即ちシステムコントローラ10は撮像制御部11に指示して撮像部3や撮像信号処理部15の動作を制御し、また表示制御部14に指示して表示画像処理部12や表示駆動部13の動作を制御する。
システムコントローラ10が、取得した外界情報に応じて撮像動作や表示動作に関する制御を行うことは、結果として表示部2における多様な表示態様としてユーザに認識される。図3から図11により、各種の表示態様を例示する。
図3(a)は表示部2がスルー状態となっている場合を示しているとする。つまり、表示部2は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部2を介して見ている状態である。
図3(b)は、モニタ表示状態として、撮像部3で撮像した画像が表示部2に表示された状態である。例えば図3(a)の状態で撮像部3,撮像信号処理部15,表示画像処理部12,表示駆動部13が動作し、これらの部位が撮像画像を通常に表示部2に表示した状態である。この場合の表示部2に表示される撮像画像(通常撮像画像)は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
図示しないが、逆にシステムコントローラ10が撮像制御部11を介して撮像部3に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部2に表示されることになる。なお、望遠−広角の制御は、撮像部3におけるズームレンズの駆動制御の他、撮像信号処理部15での信号処理でも可能である。
図4(b)は、いわゆる広角ズームとした状態である。即ち近距離の焦点位置状態でズーム撮像を行い、例えば新聞等の文字がユーザに拡大されるように表示部2に表示されている状態である。
このときにシステムコントローラ10が、表示制御部14を介して表示画像処理部12に対して画像拡大処理を指示することで、図5(b)のような拡大画像が表示部2に表示されることになる。
このような場合に、システムコントローラ10は撮像制御部11(撮像部3,撮像信号処理部15)に対して撮像感度を上げることを指示したり、表示制御部14(表示画像処理部12、表示駆動部13)に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図6(b)のように、よりはっきりした画像を表示部2に表示させることができる。なお、照明部4に照明動作を実行させることも、このような表示を行う場合に好適となる。
このときにシステムコントローラ10が、撮像制御部11(撮像部3,撮像信号処理部15)に対して赤外線撮像感度の上昇を指示することで、図7(b)のように赤外線撮像画像が表示部2に表示され、暗い部屋で子供の寝顔などを確認できる。
システムコントローラ10が、撮像制御部11(撮像部3,撮像信号処理部15)に対して紫外線撮像感度の上昇を指示することで、図8(b)のように紫外光成分を表した撮像画像が表示部2に表示される。
システムコントローラ10が表示制御部14(表示画像処理部12、表示駆動部13)に対して分割表示及び分割画面での拡大表示を指示することにより、図9(b)のような画像を表示部2に表示させることができる。即ち表示部2の画面上を領域AR1、AR2に分割し、領域AR1はスルー状態又は通常画像表示とし、領域AR2には拡大画像とした例である。
また図9(c)は他の分割表示の例を示しており、この場合は表示部2の画面上を領域AR1、AR2、AR3,AR4に分割するとともに、各領域には、所定時間間隔で撮像画像の1フレームを抽出して表示させている。例えば表示画像処理部12に、撮像画像信号において0.5秒間隔で1フレームを抽出させ、抽出したフレームの画像を領域AR1→AR2→AR3→AR4→AR1→AR2・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部2で分割表示により実行した例である。
システムコントローラ10は、例えばCCDセンサ又はCMOSセンサ上で日陰部分に相当する領域の画素について撮像感度を向上させたり表示輝度を向上させ、一方、日なた部分に相当する領域の画素について撮像感度を低下させたり表示輝度を低下させることで、図10(b)のように日なた/日陰の影響が低減された画像が表示される。
画像内で、鳥が検知される場合に、その鳥の部分をハイライト表示させることで、ユーザが対象を見失いにくいようにした表示を実現できる。
ハイライト画像処理としては、画像内で注目部分のみを輝度を上げたり、注目部分以外の輝度を下げたり、注目部分をカラー表示で注目部分以外をモノクロ表示とするなどの手法が考えられる。また注目部分に注目枠やカーソル、ポインタマーク等、何らかのキャラクタ画像を表示させることで画像内の特定部分を強調しても良い。
例えば、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示(高フレームレートでの撮像画像や低フレームレートでの撮像画像の表示)、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特定波長帯域をカットした画像の表示、モザイク画像/輝度反転画像/ソフトフォーカス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェクト表示、スロー表示、コマ送り表示、これらの各種の撮像画像表示を組み合わせた分割表示、スルー状態と撮像画像を組み合わせた分割表示、ストロボ表示、撮像画像の1フレームの表示を継続させる静止画表示など、非常に多様な表示態様が想定される。
上述したように本例の撮像表示装置1は、外界情報を取得するための構成として周囲環境センサ19、撮像対象センサ20、GPS受信部21、日時計数部22、画像解析部17、及び通信部26を有する。
照度センサによっては、撮像表示装置1の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を判別する情報を得ることができる。
これらの周囲環境センサ19により、撮像表示装置1は周囲の明るさや戸外の場合の気象状況などを判定できるため、システムコントローラ10は、これらを外界情報として用いて、周囲の明るさや気象状況に適した撮像動作、表示動作を実行制御できる。
撮像対象までの距離を検出することで、システムコントローラ10は、距離に応じた撮像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知することで、撮像対象に応じた撮像動作、表示動作を実行制御できる。
また撮像表示装置1に地図データベースを内蔵していなくても、通信部26を介して例えばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報なども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ10は、現在位置や現在地点の近辺の地理的条件や施設などに応じた撮像動作、表示動作を実行制御できる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機器としては、パーソナルコンピュータ、AV(Audio-Visual)機器、携帯電話機、PDA、ICカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形状が該当する被写体が含まれているか否かにより判別可能である。
また画像解析部17による画像解析によれば、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
なお画像解析部17で文字認識を行った場合、システムコントローラ10は、その認識した文字をテキストデータとして音声合成部27に供給することができる。
従って、画像解析部17は、撮像画像内に或る人物の顔が含まれているときに、その画像を解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ10が参照できる記録媒体として、例えばHDD(Hard Disk Drive)やフラッシュメモリなどを搭載し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人の情報を取得できる。或いは、撮像表示装置1に人物データベースを内蔵していなくても、通信部26を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴データとともに人物データベースに登録しておけば、或る人物に出会ったとき(撮像されたとき)に、システムコントローラ10は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されていれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
例えば上述したように撮像表示装置1から送信した緯度・経度、或いは個人特徴データなどに応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得することができる。
また外部機器から施設の利用情報、施設内での撮像禁止/許可情報、案内情報などを取得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルにおいてネットワークデバイスとして識別される機器の種別や機器ID等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像データ、外部機器で受信している画像データなどを取得することができる。
例えば周囲環境センサ19で得られた湿度等の情報と、通信部26で受信された天候情報を組み合わせ、より正確に現在の天候を判別することもできる。
またGPS受信部21と通信部26の動作により取得した現在場所に関する情報と、画像解析部17で得られる情報により、現在位置や撮像対象の状況をより正確に判別することもできる。
本実施の形態の撮像表示装置1は、以上のように周囲環境センサ19、撮像対象センサ20、GPS受信部21、日時計数部22、画像解析部17、通信部26で取得される外界情報により、システムコントローラ10が周囲の状況や撮像対象の状況などを判別し、それに応じて撮像動作や表示動作を制御することで、ユーザの視覚の補助や拡張を実現するものである。
このためのシステムコントローラ10の制御に基づく各種動作例を説明していく。
ステップF101は、システムコントローラ10が表示制御部14に対して表示部2をスルー状態とする制御処理を示している。例えば撮像表示装置1が電源オンとされた初期段階では、システムコントローラ10はステップF101で表示部2をスルー状態に制御する。
表示部2をスルー状態にしている期間は、システムコントローラ10はステップF102でモニタ表示状態の開始のトリガが発生したか否かを確認している。図2では示していないが、例えばユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うことでモニタ表示状態を開始させるトリガの発生と判断すればよい。但し、後に例を述べるが、外界情報に応じてモニタ表示状態を開始させるトリガの発生と判断することもできる。
この処理により、例えば図3(a)のスルー状態から例えば図3(b)の通常撮像画像のモニタ表示状態となる。
ステップF104での画像制御のトリガの発生とは、外界状況判定機能10aによって判定された外界状況(周囲や被写体の状況、現在日時、現在位置の状況等)により、モニタ表示の表示画像態様の変更を行うとシステムコントローラ10自身が判断することを意味している。
またステップF105でのモニタ表示の終了のトリガの発生とは、例えばユーザが所定の操作子によりモニタ表示状態を終了させる操作を行った場合とすればよいが、ステップF102のモニタ表示開始のトリガと同様、このモニタ表示の終了のトリガも、検知された外界情報に応じてトリガ発生と判断する場合もある。
ステップF106で表示態様に関しての制御を行った後も、ステップF104,F105のトリガ発生の監視を行う。
そしてこの処理においては、ステップF104での画像制御トリガの判断による表示態様制御を行うが、このトリガ発生判断と制御内容の具体例について、図13以降で説明していく。
図13のステップF201は、システムコントローラ10が周囲環境センサ19と画像解析部17の一方又は両方の情報を監視する処理を示している。ここでは周囲環境センサ19が照度センサであり、また画像解析部17は画像から周囲の明るさを解析する処理を行っているものとする。
システムコントローラ10は周囲環境センサ19と画像解析部17の一方又は両方からの情報に基づいて、現在、周囲が暗い状況であるか否か、或いは明るすぎる状況であるか否か判別する。例えば検出照度を数値化し、検出照度がxルクス以下であれば暗い状況、検出照度がyルクス以上であれば明るすぎる状況と判断する。
そしてステップF205で、現在の周囲の照度(暗さ)に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により快適に周囲を視認できる調整値を求める。
このステップF204,F205の処理により、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、この場合は撮像部13の撮像感度の調整、撮像信号処理部15もしくは表示画像処理部12に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部2での表示画像の画質が調整され、周囲が暗くとも、ユーザは表示部2での表示画像により周囲を視認しやすい状態となる。例えば周囲が暗くて表示部2の表示画像が図6(a)のようになっている状況から、図6(b)のような見やすい状態に切り換えられる。
なお、このように周囲が暗い状況と判断した場合は、システムコントローラ10は照明部4に照明を実行させる制御を行っても良い。
そしてステップF207で、現在の周囲の照度に応じた調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが撮像画像により快適に周囲を視認できる調整値を求める。この場合、明るすぎる状況で、ユーザがまぶしい感じを受けている場合であるため、撮像感度を低下させたり、表示輝度を低下させる調整値を求めることになる。
このステップF206,F207の処理により、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、この場合も撮像部13の撮像感度の調整、撮像信号処理部15もしくは表示画像処理部12に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部2での表示画像の画質が調整され、周囲が明るすぎても、ユーザは表示部2での表示画像により周囲をまぶしさを感じずに視認できる状態となる。
図14(a)のステップF301は、システムコントローラ10が周囲環境センサ19からの検出情報と通信部26による受信情報の一方又は両方の情報を監視する処理を示している。周囲環境センサ19としては温度センサ、湿度センサ、気圧センサ等が想定される。また通信部26では、例えばネットワークサーバ等から逐次気象情報が受信されるものとする。
システムコントローラ10は、例えば周囲環境センサ19で得られる気圧、湿度、気温から周囲の天候状況を判別できる。また通信部26で受信される気象情報でも天候状況を判別できる。なお、ネットワークサーバから天候状況を受信するためには、システムコントローラ10は逐次GPS受信部21で得られる現在位置情報をネットワークサーバに対して送信するようにし、その現在位置に該当する地域の気象情報をネットワークサーバから受信するようにするとよい。
周囲環境センサ19の検出情報、又は通信部26の受信情報により、システムコントローラ10は周囲の天候状況を判断できるが、この両方の情報を用いれば、より正確に天候状況を判断できることにもなる。
このステップF303,F304の処理により、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、この場合は撮像部13の撮像感度の調整、撮像信号処理部15もしくは表示画像処理部12に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部2での表示画像の画質が天候状況に応じた画質に調整され、ユーザは表示部2での表示画像により周囲を視認しやすい状態となる。
なお、天候によってはシステムコントローラ10は照明部4に照明を実行させる制御を行っても良い。
また、ここでは周囲環境センサ19又は通信部26の受信情報により天候判断を行うとしたが、画像解析部17で雨の画像を認識することで、雨が降り出したことや雨が止んだこと、雷が発生したことなども正確に検知できるようになる。
図14(b)のステップF310は、システムコントローラ10が周囲環境センサ19の情報を監視する処理を示している。ここでは周囲環境センサ19が照度センサであるとする。
システムコントローラ10は周囲環境センサ19の検出情報に基づいて、現在、周囲が暗い状況であるか否か判別する。例えば検出照度を数値化し、検出照度がxルクス以下であれば暗い状況と判断する。
このステップF313の処理により、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、この場合は暗視機能をオンとする制御を行うことになる。即ちシステムコントローラ10は撮像制御部11に、撮像部13の赤外線撮像感度を上昇させる指示を行う。
この処理により、暗視機能が発揮され、例えば図7(a)のように暗くて見えない状況において、図7(b)のような赤外線感度上昇撮像の画像が表示部2に表示されることになり、ユーザは暗い場所で周囲を視認できる。
なお、周囲が暗い状況であるか否かの検知は、また画像解析部17での画像解析でも可能である。例えば撮像画像全体の輝度が非常に低くなったときに、周囲が暗状態になったとして暗視機能オンの画像制御トリガの発生と判断しても良い。
図15のステップF401は、システムコントローラ10が撮像対象センサ20からの検出情報と画像解析部17からの情報の一方又は両方を監視する処理を示している。撮像対象センサ20としては例えば測距センサが想定される。また画像解析部17は撮像画像の解析により、被写体までの距離を算出するものとする。
即ちシステムコントローラ10は、これらの情報に基づいて、ユーザが見ている対象(撮像対象)が遠方であるか、手元などの近傍であるかを判別する。
また例えばユーザが近くの風景を見ている場合や、手元の新聞等を見ている場合などであって、撮像対象が近傍であると判断される場合は、システムコントローラ10はステップF403からF406に進んで、ズームアップ(広角ズーム)表示への切換の画像制御トリガの発生と判別する。そしてステップF407で撮像対象までの距離に応じて適切なズーム倍率を算出する。
これにより表示部2では、ユーザが見ようとしている光景に応じて図3(c)のような望遠画像や、図4(b)のような広角ズーム画像が表示されることになる。
なお、ここでは望遠/広角のズーム動作制御を行う例としたが、撮像対象までの距離に応じて、焦点位置を変更させる制御を行ったり、画像の拡大/縮小動作を実行させるような制御動作も考えられる。
図16のステップF501は、システムコントローラ10が撮像対象センサ20からの検出情報と画像解析部17からの情報を監視する処理を示している。撮像対象センサ20は測距センサであるとする。また画像解析部17は撮像画像の解析により、被写体に文字が含まれているか否かを検出するものとする。
システムコントローラ10は、これらの情報に基づいて、ユーザが見ている対象(撮像対象)が近傍であって、それが新聞や書籍など文字を含むものであるか否かを判別する。つまり手元の新聞を読んでいるような状況であるか否かを判断する。
そしてステップF504で、現在の新聞、書籍を読む場合に適した調整値を算出する。例えば表示輝度、コントラスト、シャープネス、撮像感度等の調整値として、ユーザが新聞等を快適に読める調整値を求める。
このステップF503,F504の処理により、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、この場合は撮像部13の撮像感度の調整、撮像信号処理部15もしくは表示画像処理部12に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部2での表示画像の画質が調整され、例えば図6(b)のような文字を読みやすい表示が実行される。
また、画像解析の際に書籍や新聞の形状を認識することを、ステップF503に進む条件に加えても良い。
また、撮像対象が新聞等であると判断した場合は、システムコントローラ10は照明部4に照明を実行させる制御を行っても良い。
また、画質調整ではなく、例えば表示画像処理部12に拡大処理を実行させて、図4(b)のような拡大画像を表示させ、ユーザに文字を読みやすい画像を提供することも考えられる。
すると音声合成部27では、撮像画像に含まれる文字の読み上げ音声としての音声信号が生成される。システムコントローラ10は、この読み上げ音声を音声出力部5から出力させる。
このようにすると、ユーザは新聞等を見るだけで、その読み上げ音声を聞くことができるようになる。
図17のステップF601は、システムコントローラ10が日時計数部22で計数されている現在日時時刻をチェックする処理を示している。システムコントローラ10は、現在時刻に基づいて、時間帯を判断する。例えば早朝、朝方、日中、夕方、夜間という時間帯を判別する。例えば4時〜7時を早朝、7時〜9時を朝方、9時〜17時を日中、17時〜19時を夕方、19時〜4時を夜間などとする。
また、この時間帯毎の時刻の区切りの基準は、月日の判断により変更するとよい。例えば月日によって日の出時間、日没時間の違いを考慮して、上記各時間帯としての判断時刻を変化させる。例えば早朝とする時間帯を夏期は4時〜7時、冬期を6時〜8時とするなどである。
例えば早朝とされる時刻になった時点では、ステップF603からF607に進み、早朝用の撮像動作/表示動作の画像制御トリガの発生と判別する。
また朝方とされる時刻になったときは、ステップF604からF608に進み、朝方用の撮像動作/表示動作の画像制御トリガの発生と判別する。
また日中とされる時刻になったときは、ステップF605からF609に進み、日中用の撮像動作/表示動作の画像制御トリガの発生と判別する。
また夕方とされる時刻になったときは、ステップF606からF610に進み、夕方用の撮像動作/表示動作の画像制御トリガの発生と判別する。
また夜間とされる時刻になったときは、ステップF611に進み、夜間用の撮像動作/表示動作の画像制御トリガの発生と判別する。
この処理により、時間帯に応じたイメージの画像がユーザに提供される。例えば早朝では柔らかい画質の画像、日中はコントラストの強いはっきりした画像、夕方はセピア色のような画質の画像、夜間はくすんだ画質の画像などである。このように時間帯毎のユーザの気分に合わせたようなおもしろみのある画像提供を実現できる。
もちろん、時間帯毎の明るさに応じて画質を調整し、視認性を向上させるという画質調整も考えられる。
なお、時間帯とともに、天候状況、屋内/屋外の別を判断して、状況に好適な画質調整を行うことも考えられる。
また、時間帯ではなく日時情報から季節を判断して、季節に応じた画質調整を行うことも考えられる。例えば表示画像において、夏は青色成分を強調させ、秋は赤色成分を強調させ、冬は白色成分を強調させ、春は緑/ピンク系統を強調させるなどとして、季節感のある画像提供を行うことなどである。
図18(a)のステップF701は、システムコントローラ10がGPS受信部21で得られる現在位置の緯度・経度の情報を通信部26からネットワークサーバ或いは地図データベース搭載機器に送信し、送信先において現在地点の情報を検索してもらい、その現在地点の情報を受信する動作を示している。なお撮像表示装置1内に地図データベースが保持されていれば、システムコントローラ10は、GPS受信部21からの緯度・経度に基づいて、地図データベースから現在地点の情報を検索することができる。
このステップF703で画像制御トリガの発生と判断されることで、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、撮像制御部11や表示制御部14に対して所定の画像処理の指示を行う。
この場合の画像処理制御としては、次のような例が考えられる。
また現在位置がコンサート会場、寄席、演芸場、スポーツ競技場などであれば、撮像対象のステージまでの距離に応じて、システムコントローラ10は撮像制御部11に対して望遠撮像動作を指示することが考えられる。現在位置情報としてステージ等の撮像対象までの距離までもが判別できれば、それに応じて望遠倍率を設定すればよいし、撮像対象までの距離を撮像対象センサ20(測距センサ)により検出して望遠倍率を設定すればよい。また、望遠動作ではなく、撮像信号処理部15又は表示画像処理部12に画像拡大処理を指示してもよい。
また現在位置が海岸、山などであれば、システムコントローラ10は撮像制御部11に対して紫外線感度向上撮像を指示し、例えば図8(b)のような画像を表示させ、ユーザに紫外線の量を認識させるような表示を実行させることが考えられる。
また、取得された現在地点の情報に基づいて、地名、撮像している施設・店舗等の名称などをキャラクタ画像や文字で重畳表示させたり、宣伝情報、施設の案内情報、周辺の注意情報などを表示部2に表示させるように制御することも考えられる。
図18(b)の処理は、現在、撮像部3において赤外線感度向上撮像を実行している場合にステップF710からF711に進む。
ステップF711では、システムコントローラ10がGPS受信部21で得られる現在位置の緯度・経度の情報を通信部26からネットワークサーバ或いは地図データベース搭載機器に送信し、送信先において現在地点の情報を検索してもらい、その現在地点の情報を受信する。なお撮像表示装置1内に地図データベースが保持されていれば、システムコントローラ10は、GPS受信部21からの緯度・経度に基づいて、地図データベースから現在地点の情報を検索する処理となる。
そして禁止すべき場所であると判断したら、ステップF712からF713に進み、システムコントローラ10は、赤外線感度向上撮像の終了の画像制御トリガの発生と判断する。
このステップF713で画像制御トリガの発生と判断されることで、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、撮像制御部11に対して赤外線感度向上撮像の終了の指示を行う。
このように、場所に応じて赤外線感度向上撮像が実行できなくすることで、赤外線感度上昇撮像などの特殊撮像機能の悪用防止に有効である。
図19(a)のステップF801は、システムコントローラ10が画像解析部17からの情報を監視する処理を示している。画像解析部17は撮像画像の解析により、被写体に特定の対象が含まれているか否かを検出するものとする。
画像解析結果として、特定の対象が撮像されていると検出された場合は、システムコントローラ10はステップF802からF803に進み画像制御トリガの発生と判断する。
このステップF803で画像制御トリガの発生と判断されることで、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、撮像制御部11や表示制御部14に対して所定の画像処理の指示を行う。
この場合の画像処理制御としては、次のような例が考えられる。
また猫を特定の対象とすれば、猫が好きなユーザが、通常に生活している中で、猫が視界に入ったときに、それが表示画像上で強調されることで、猫を認識し易くできる。
また特定の対象を人物した場合、撮像画像内で人物が検出されることで、画像内の人物の部分をハイライト表示等で強調させたり、拡大表示、ズーム表示等を実行させるように表示画像処理部12や撮像信号処理部15、或いは撮像部3の動作を指示することが考えられる。
また人物や動物、或いは建造物などの特定の対象において、その特定の対象のみが表示され、人物等の特定の対象の周囲の光景は全て塗りつぶされるような画像を表示させるようにしてもよい。
逆に、特定の対象として人物を検知したら、その人物のみが画像内で消されるような画像処理を実行させることも考えられる。例えば自然風景内で人物や車などの人工的なものを排除(マスキング)した画像を表示させるなどである。この場合、マスキングしようとする特定対象の周囲の画素からの補間処理で、特定対象の画素部分を埋めるような処理を行っても良い。
また人物等の特定対象についてはモザイク表示などの画像エフェクトを加えることも考えられる。
図19(b)のステップF810は、システムコントローラ10が画像解析部17からの情報を監視する処理を示している。画像解析部17は撮像画像の解析により、被写体において素早い動きが発生しているか否かを検出する。例えば各撮像フレームでの差分から動きの素早さを判定する。
画像解析結果として、被写体の素早い動きが検出された場合は、システムコントローラ10はステップF811からF812に進み、ストロボ表示の画像制御トリガの発生と判断する。
このステップF812で画像制御トリガの発生と判断されることで、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、表示制御部14に対して図9(c)のような表示を実行させるように画像処理の指示を行う。
この処理によれば、例えばスポーツ観戦中に、選手の素早い動きがあったときに、ユーザはその動きをストロボ表示で確認できることになる。
図20(a)のステップF901は、システムコントローラ10が画像解析部17からの情報を監視する処理を示している。画像解析部17は撮像画像の解析により、被写体において人物の顔が含まれているかを判別し、また人物が顔が含まれていた場合、その顔の画像から個人特徴データを生成する。個人特徴データとは、例えば上述したように目の中心と鼻との距離ENと目の間隔の距離Edの比(Ed/EN)や、目の中心と口との距離EMと目の間隔の距離Edの比(Ed/EM)である。
例えばシスムコントローラ10は個人特徴データを通信部26からネットワークサーバ或いは人物データベース搭載機器に送信し、送信先において人物情報を検索してもらい、その検索結果を受信する。或いは撮像表示装置1内に人物データベースが保持されていれば、システムコントローラ10は、個人特徴データに基づいて人物データベースを検索することができる。
外部装置もしくはシステムコントローラ10自身による検索結果として、特定の人物の人物情報が検索できたら、処理をステップF904からF905に進め、人物情報表示の画像制御トリガの発生と判断する。
このステップF905で画像制御トリガの発生と判断されることで、システムコントローラ10の図12の処理はステップF104からF106に進むことになり、表示制御部14に対して、例えば検索された人物情報を重畳表示させるように指示する。
この処理によれば、例えば道行く人の中で、ユーザが過去に会った人、或いは有名人などで、人物データベースに登録されている人がいた場合に、表示部2にはその人物の画像とともに情報(氏名や所属、過去に出会った場所など、人物データベースに登録されていた情報)が表示されることになり、ユーザは人物を正確に認識できる。
図20(b)のステップF910は、システムコントローラ10が画像解析部17からの情報を監視する処理を示している。画像解析部17は撮像画像の解析により、撮像画像内で、日照状況によって明るい領域、暗い領域が発生しているか否かを検出する。
画像解析結果として、画像上に日なた/日陰による差が生じていると判別された場合は、システムコントローラ10はステップF911からF912に進み、画像制御トリガの発生と判断する。
なお、日照による影響ではなく、家屋や施設内での照明等の影響で部分的な明暗の差が大きく生じているような場合や、画像が部分的に不鮮明となるような場合に、画面内の部分的な輝度調整、撮像感度調整、コントラスト調整などを実行させることも想定される。
また図14(a)のように天候による調整が必要と判断した場合にモニタ表示開始のトリガ発生と判別してもよい。すると特定の天候の場合にモニタ表示機能が発揮される。
図14(b)のように周囲が暗状態と判断した場合にモニタ表示開始のトリガ発生と判別すれば、暗状態において自動的にモニタ表示機能を発揮できる。
図15のように、撮像対象が遠方或いは近傍となったときにモニタ表示開始のトリガ発生と判別してもよい。
図16のように、近傍で文字を含む画像を検知したときにモニタ表示開始のトリガ発生と判別してもよい。
図17のように時間帯に応じてモニタ表示開始のトリガ発生と判別してもよい。
図18(a)のように現在位置が所定の場所となったときにモニタ表示開始のトリガ発生と判別しても良い。すると特定の場所や施設の種別においてモニタ表示機能を発揮させるようにすることができる。
図19(a)のように特定の対象が存在したときにモニタ表示開始のトリガ発生と判別しても良い。
図19(b)のように撮像対象の素早い動きを検出したときにモニタ表示開始のトリガ発生と判別しても良い。
図20(a)のように特定の人物を検出したときにモニタ表示開始のトリガ発生と判別してもよい。
図20(b)のように画像内での明暗の分布が生じている場合にモニタ表示開始のトリガ発生と判別してもよい。
これらのようにモニタ表示開始のトリガ発生と判別し、図12のステップF103に進むようにすれば、ユーザはスルー状態で撮像表示装置1を装着していれば、特に操作をせずに、状況に応じてモニタ表示が実行され、かつその状況に応じた画像を見ることができる。
例えば図13の処理例では、周囲が暗いこと、或いは明るすぎることを検出しているが、暗くもなく、また明るすぎることもないような状況のときに、モニタ表示終了のトリガ発生と判別して、スルー状態に戻すようにしてもよい。
また図14(a)では天候による調整が必要か否かを判断しているが、特に調整が必要ないと判断されたときに、モニタ表示終了のトリガ発生と判別し、スルー状態に戻しても良い。
図14(b)のように周囲が暗状態か否かを判断し、暗状態でなければモニタ表示終了のトリガ発生と判別し、スルー状態に戻しても良い。
図15のように、撮像対象が遠方或いは近傍となったかを判断した場合に、撮像対象が遠方でも近傍でもないと判断されたら、モニタ表示終了のトリガ発生と判別しスルー状態に戻してもよい。
図16のように、近傍で文字を含む画像を検知する場合に、それが検知されなくなったらモニタ表示終了のトリガ発生と判別しスルー状態に戻してもよい。
図17のように時間帯、月日、季節等に応じてモニタ表示終了のトリガ発生と判別してもよい。
図18(a)のように現在位置が所定の場所となったときにモニタ表示終了のトリガ発生と判別しても良い。すると特定の場所や施設の種別において撮像及びモニタ表示機能を停止させるようにすることができる。
図18(b)のように赤外線感度向上撮像を停止させる場合においてステップF713でモニタ表示終了のトリガ発生と判別し、スルー状態に戻してもよい。
図19(a)のように特定の対象が存在したときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。例えば特定の対象について撮像/モニタ表示を禁止する場合である。
或いは、特定の対象が存在しないと判別されたときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。
図19(b)のように撮像対象の素早い動きを検出している場合に、素早い動きが検出されなくなったらモニタ表示終了のトリガ発生と判別しスルー状態に戻しても良い。
図20(a)のように特定の人物を検出したときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。特定の人物に対して撮像/モニタ表示を禁止する例である。
或いは、特定の人物が画像内に存在しなくなったと判別されたときにモニタ表示終了のトリガ発生と判別してスルー状態に戻しても良い。
図20(b)のように画像内での明暗の分布を検出している場合に、撮像対象において明暗の差がなくなったらモニタ表示終了のトリガ発生と判別し、スルー状態に戻してもよい。
これらのようにモニタ表示終了のトリガ発生と判別し、図12のステップF101に戻るようにすれば、ユーザにとってモニタ表示の必要性が低下した、或いは必要性が無くなった状況、さらにはモニタ表示機能を禁止させたい状況において、自動的にスルー状態とすることができる。
以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された撮像部3で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示部2で表示させるが、この場合に、外界状況として周囲の明るさ、天候、被写体の状況、被写体自体の認識、被写体の動き、場所、日時などの情報に基づいて撮像動作又は表示動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができる。
また撮像部3の撮像動作や撮像信号処理部15、表示画像処理部12の信号処理に対する制御による表示態様の変更は、外界状況に基づいて行われるため、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示部2は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットが装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の撮像表示装置1の利点を有効に活用できる。
例えば撮像部3で撮像した画像信号を記録するストレージ部や、他の機器に送信する送信部を設けてもよい。
さらには、表示部2で表示させる画像のソースとして、撮像部3に加えて、外部機器から映像を入力する入力部や受信部を設けても良い。
また、撮像表示装置1として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の表示装置は、ユーザの視界方向を撮像するとともに、ユーザの眼前で表示を行いことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
Claims (12)
- 頭部装着型の表示装置であって、
外景に重ねて視認される画像を表示する表示手段と、
前記表示手段により、前記外景に重なって前記外景の一部を強調する強調表示画像を表示させる制御手段と、
を備えた表示装置。 - 前記表示装置を装着したユーザーにより視認可能な前記外景において強調対象物を選択する対象選択手段を備え、
前記制御手段は、前記対象選択手段により選択された前記強調対象物を強調する前記強調表示画像を表示させる
請求項1に記載の表示装置。 - 前記外景を撮影する撮影手段と、
前記撮影手段により撮影された撮影画像から対象物を検出する画像処理手段と、
を備え、
前記対象選択手段は、予め設定された条件に従って、前記画像処理手段により検出された対象物から前記強調対象物を選択する
請求項2に記載の表示装置。 - 前記対象選択手段は、前記表示装置の現在位置に基づいて、前記画像処理手段により検出された対象物から前記強調対象物を選択する
請求項3に記載の表示装置。 - 前記制御手段は、前記表示手段により前記外景の少なくとも一部を隠す画像を表示させる
請求項1乃至請求項4のいずれかに記載の表示装置。 - 前記制御手段の制御により前記表示手段によって前記外景の少なくとも一部を隠すように表示される画像は、当該画像により隠される前記外景の一部を強調した画像である
請求項5に記載の表示装置。 - 前記制御手段の制御により前記表示手段によって前記外景の一部に重なって表示される画像は、当該画像に重なる前記外景の一部を装飾する画像である
請求項1乃至請求項6のいずれかに記載の表示装置。 - 前記制御手段は、前記強調表示画像以外の輝度を低下させることで、前記強調表示画像が強調して表示されるように前記表示手段を制御する
請求項1に記載の表示装置。 - 前記制御手段は、前記強調表示画像を拡大表示することで、前記強調表示画像が強調して表示されるように前記表示手段を制御する
請求項1に記載の表示装置。 - 前記外景の光は前記表示手段を透過して前記画像の光とともに前記表示装置を装着したユーザーの眼に入射する
請求項1乃至請求項9のいずれかに記載の表示装置。 - 頭部装着型の表示装置の表示方法であって、
外景に重ねて視認される画像を表示するとともに、
前記外景に重なって前記外景の一部を強調する強調表示画像を表示する
表示方法。 - 表示手段に外景に重ねて視認される画像を表示させる処理と、
前記表示手段に、前記外景に重なって前記外景の一部を強調する強調表示画像を表示させる処理とを、
頭部装着型の表示装置の制御手段に実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014217073A JP6137113B2 (ja) | 2014-10-24 | 2014-10-24 | 表示装置、表示方法、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014217073A JP6137113B2 (ja) | 2014-10-24 | 2014-10-24 | 表示装置、表示方法、プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013081983A Division JP2013174898A (ja) | 2013-04-10 | 2013-04-10 | 撮像表示装置、撮像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015057659A true JP2015057659A (ja) | 2015-03-26 |
JP6137113B2 JP6137113B2 (ja) | 2017-05-31 |
Family
ID=52815740
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014217073A Active JP6137113B2 (ja) | 2014-10-24 | 2014-10-24 | 表示装置、表示方法、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6137113B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106548765A (zh) * | 2017-01-12 | 2017-03-29 | 广东欧珀移动通信有限公司 | 屏幕亮度调节方法和装置 |
JP2017111724A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | 配管用ヘッドマウントディスプレイ |
KR101810039B1 (ko) * | 2015-12-31 | 2018-01-18 | 홍익대학교 산학협력단 | 보조 시각 시스템 |
WO2018220694A1 (ja) * | 2017-05-30 | 2018-12-06 | ソフトバンク株式会社 | 映像処理装置、映像処理方法、およびプログラム |
WO2019003360A1 (ja) * | 2017-06-28 | 2019-01-03 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
JP2019185077A (ja) * | 2018-03-31 | 2019-10-24 | Nl技研株式会社 | 認知支援システム、認知支援装置、および認知支援サーバ |
JP2021005397A (ja) * | 2016-06-02 | 2021-01-14 | タレス ディフェンス アンド セキュリティー, インコーポレイテッドThales Defense & Security, Inc. | 拡張ダイナミックレンジを備えた小型のビジョン慣性ナビゲーションシステム |
US11128909B2 (en) | 2017-08-09 | 2021-09-21 | Samsung Electronics Co., Ltd. | Image processing method and device therefor |
CN113556712A (zh) * | 2020-04-24 | 2021-10-26 | 精工爱普生株式会社 | 定位系统、便携终端和记录介质 |
US11160688B2 (en) | 2016-11-10 | 2021-11-02 | Samsung Electronics Co., Ltd. | Visual aid display device and method of operating the same |
JP7474363B1 (ja) | 2023-04-21 | 2024-04-24 | レノボ・シンガポール・プライベート・リミテッド | 情報処理システム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07333522A (ja) * | 1994-06-08 | 1995-12-22 | Olympus Optical Co Ltd | 顕微鏡画像遠隔観察装置 |
JP2001074493A (ja) * | 1999-09-06 | 2001-03-23 | Nissan Motor Co Ltd | 装着型情報端末装置 |
JP2002230698A (ja) * | 2001-01-30 | 2002-08-16 | Clarion Co Ltd | 車両周囲画像表示方法及び車両周囲画像表示装置 |
JP2005037181A (ja) * | 2003-07-17 | 2005-02-10 | Pioneer Electronic Corp | ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法 |
JP2005157317A (ja) * | 2003-10-28 | 2005-06-16 | Semiconductor Energy Lab Co Ltd | 表示装置及び通信システム |
JP2005346177A (ja) * | 2004-05-31 | 2005-12-15 | Nissan Motor Co Ltd | 車両用情報提示装置 |
JP2006139124A (ja) * | 2004-11-12 | 2006-06-01 | Konica Minolta Photo Imaging Inc | ヘッドマウントディスプレイ |
JP2006171302A (ja) * | 2004-12-15 | 2006-06-29 | Konica Minolta Photo Imaging Inc | 映像表示装置及び情報提供システム |
-
2014
- 2014-10-24 JP JP2014217073A patent/JP6137113B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07333522A (ja) * | 1994-06-08 | 1995-12-22 | Olympus Optical Co Ltd | 顕微鏡画像遠隔観察装置 |
JP2001074493A (ja) * | 1999-09-06 | 2001-03-23 | Nissan Motor Co Ltd | 装着型情報端末装置 |
JP2002230698A (ja) * | 2001-01-30 | 2002-08-16 | Clarion Co Ltd | 車両周囲画像表示方法及び車両周囲画像表示装置 |
JP2005037181A (ja) * | 2003-07-17 | 2005-02-10 | Pioneer Electronic Corp | ナビゲーション装置、サーバ装置、ナビゲーションシステム、及びナビゲーション方法 |
JP2005157317A (ja) * | 2003-10-28 | 2005-06-16 | Semiconductor Energy Lab Co Ltd | 表示装置及び通信システム |
JP2005346177A (ja) * | 2004-05-31 | 2005-12-15 | Nissan Motor Co Ltd | 車両用情報提示装置 |
JP2006139124A (ja) * | 2004-11-12 | 2006-06-01 | Konica Minolta Photo Imaging Inc | ヘッドマウントディスプレイ |
JP2006171302A (ja) * | 2004-12-15 | 2006-06-29 | Konica Minolta Photo Imaging Inc | 映像表示装置及び情報提供システム |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017111724A (ja) * | 2015-12-18 | 2017-06-22 | 株式会社ブリリアントサービス | 配管用ヘッドマウントディスプレイ |
KR101810039B1 (ko) * | 2015-12-31 | 2018-01-18 | 홍익대학교 산학협력단 | 보조 시각 시스템 |
JP2021005397A (ja) * | 2016-06-02 | 2021-01-14 | タレス ディフェンス アンド セキュリティー, インコーポレイテッドThales Defense & Security, Inc. | 拡張ダイナミックレンジを備えた小型のビジョン慣性ナビゲーションシステム |
US11160688B2 (en) | 2016-11-10 | 2021-11-02 | Samsung Electronics Co., Ltd. | Visual aid display device and method of operating the same |
CN106548765A (zh) * | 2017-01-12 | 2017-03-29 | 广东欧珀移动通信有限公司 | 屏幕亮度调节方法和装置 |
JPWO2018220694A1 (ja) * | 2017-05-30 | 2020-04-02 | ソフトバンク株式会社 | 映像処理装置、映像処理方法、およびプログラム |
WO2018220694A1 (ja) * | 2017-05-30 | 2018-12-06 | ソフトバンク株式会社 | 映像処理装置、映像処理方法、およびプログラム |
JPWO2019003360A1 (ja) * | 2017-06-28 | 2020-04-16 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
WO2019003360A1 (ja) * | 2017-06-28 | 2019-01-03 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
US11335044B2 (en) | 2017-06-28 | 2022-05-17 | Optim Corporation | Display system of a wearable terminal, display method of the wearable terminal, and program |
US11128909B2 (en) | 2017-08-09 | 2021-09-21 | Samsung Electronics Co., Ltd. | Image processing method and device therefor |
JP2019185077A (ja) * | 2018-03-31 | 2019-10-24 | Nl技研株式会社 | 認知支援システム、認知支援装置、および認知支援サーバ |
CN113556712A (zh) * | 2020-04-24 | 2021-10-26 | 精工爱普生株式会社 | 定位系统、便携终端和记录介质 |
CN113556712B (zh) * | 2020-04-24 | 2023-12-01 | 精工爱普生株式会社 | 定位系统、便携终端和记录介质 |
JP7474363B1 (ja) | 2023-04-21 | 2024-04-24 | レノボ・シンガポール・プライベート・リミテッド | 情報処理システム |
Also Published As
Publication number | Publication date |
---|---|
JP6137113B2 (ja) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6137113B2 (ja) | 表示装置、表示方法、プログラム | |
JP5017989B2 (ja) | 撮像装置、撮像方法 | |
JP5119636B2 (ja) | 表示装置、表示方法 | |
JP2008083289A (ja) | 撮像表示装置、撮像表示方法 | |
JP5228307B2 (ja) | 表示装置、表示方法 | |
EP1914998B1 (en) | Imaging display apparatus and method | |
JP2013174898A (ja) | 撮像表示装置、撮像表示方法 | |
JP5664677B2 (ja) | 撮像表示装置、撮像表示方法 | |
JP2013083994A (ja) | 表示装置、表示方法 | |
JP5971298B2 (ja) | 表示装置、表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160301 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170417 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6137113 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |