JP2005165778A - 頭部装着型表示装置、及びその制御方法 - Google Patents

頭部装着型表示装置、及びその制御方法 Download PDF

Info

Publication number
JP2005165778A
JP2005165778A JP2003405036A JP2003405036A JP2005165778A JP 2005165778 A JP2005165778 A JP 2005165778A JP 2003405036 A JP2003405036 A JP 2003405036A JP 2003405036 A JP2003405036 A JP 2003405036A JP 2005165778 A JP2005165778 A JP 2005165778A
Authority
JP
Japan
Prior art keywords
image
edge
display device
head
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003405036A
Other languages
English (en)
Inventor
Junichi Hoshi
淳一 星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003405036A priority Critical patent/JP2005165778A/ja
Publication of JP2005165778A publication Critical patent/JP2005165778A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】 野外などで歩行時に頭部に装着しても、装着者に対する安全性を確保する為の技術を提供すること。
【解決手段】 画像処理回路１２は撮像画像からエッジ画像を生成し、歩行障害度判定回路１４はエッジ画像中の各エッジにおいて、撮像画像の周辺位置から略中心位置に向かうエッジ、もしくは撮像画像において略垂直方向に向かうエッジを検出し、現実画像情報作成回路１５は検出したエッジを構成する画素の画素値を、検出していないエッジを構成する画素の画素値と異ならせることで、検出したエッジを明示的に通知する為の画像を生成し、表示画像作成回路７はこの画像と表示元画像配信回路１６からの観賞用の画像とを合成する。
【選択図】 図１

Description

本発明は、頭部装着装置、及びその制御方法に関するものである。
情報化社会を迎えた現在においては、ＩＴ技術やユビキタスコンピューティングが広く展開されつつ有る。携帯可能なモバイル機器や、着用可能なウェアラブル機器の中でも、ＡＶ機能を実現するそれは重要な地位を占めつつある。
その中には、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）なるものがある。ＨＭＤとは、頭部に装着した際に装着者の両眼の眼前に映像を提供するものであり、より具体的には、提供する映像を液晶表示装置などに表示させ、表示した画像を光学系を用いてこの画像を装着者の眼前の投影面に導くものである。
ＨＭＤは投影面上に表示する色の彩度を向上させる為に、外部から迷光が入らないように密閉型としている（例えば特許文献１を参照）。
また近年、従来の密閉型とは異なり、透過型あるいは半透過型のグラス（眼鏡）タイプのものも開発されつつある。即ち、透明あるいは半透明な材質を眼鏡のように両眼の前に配置し、そこに比較的小さな画像を投影するものである。こちらは上記密閉型のＨＭＤとは異なり、どちらかと言うと目の前に広がる現実画像を主に両眼に入れるようにしたもので、比較的小さな画像の表示はどちらかと言うと副次的である（例えば特許文献２を参照）。
特開平６−７８２４８号公報 特表平９−５０３５９４
しかし、前述のＨＭＤやグラスタイプには、以下に示すような問題点が存在する。
１） ＨＭＤは密閉的であるために、外部の状態が分からない
２） ＨＭＤは屋外で使用するには危険である
３） ＨＭＤは歩行して使用する事ができない
４） グラスタイプは透明、半透明であるため、画像（色）の品質、再現性が低い
５） グラスタイプは大きな画像を表示する事が苦手
６） グラスタイプは映画上映等、快楽な時間を享受できる上質なコンテンツ向きではない
色の再現性を向上させようとすれば、前述のように迷光が入らないようにする必要が有る。すると密閉的となり、外部の状況が全く分からない視界を失った状態となる。
その結果、現状ではＨＭＤを付けたまま屋外で活動する事には、大きな危険が伴う。また健常者が盲目で歩行する事には生理的な反応（例えばノックダウン）を伴い、長期の歩行が困難である。従ってＨＭＤ装着歩行には、何らかの現実画像（の要素）が必要である。それに対して、グラスタイプは本来現状の眼鏡に近いため、歩行が容易である。
しかし視界の少なくとも一部は透明または半透明であるため、そこに投影表示する画像の品質は低下する。また雑誌等で紹介されている構成例を見ると、グラスの一部に情報を表示するのが主流であり、グラスの中心、主要面には表示しないようである。これは広視野で大きな画像を表示するのには、不向きである事を示している。
また前述した画像（色）品質の低下、大型画面が苦手という特性から、グラスタイプは、快楽な時間を享受するために作成された映画やゲームといった作品、コンテンツ向きではない。
本発明は以上の問題に鑑みてなされたものであり、野外などで歩行時に頭部に装着しても、装着者に対する安全性を確保する為の技術を提供することを目的とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置は以下の構成を備える。
即ち、外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置であって、
現実空間の画像を撮像する撮像手段と、
前記撮像手段による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する第１の生成手段と、
前記エッジ画像中の各エッジにおいて、前記撮像画像の周辺位置から略中心位置に向かうエッジ、もしくは、前記撮像画像において略垂直方向に向かうエッジを検出する検出手段と、
前記エッジ画像において前記検出手段が検出したエッジを構成する画素の画素値を、前記検出手段が検出していないエッジを構成する画素の画素値と異ならせることで、前記検出手段が検出したエッジを明示的に通知する為の画像を生成する第２の生成手段と、
前記第２の生成手段が生成した画像を前記表示手段に表示させる表示制御手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置は以下の構成を備える。
即ち、外部から入力された音声を再生する再生手段を有する頭部装着型表示装置であって、
現実空間における音の発生源から発せられる音を前記頭部装着型表示装置上の異なる２点以上で収集する収集手段と、
前記収集手段によって異なる２点以上で収集された音声信号を用いて、音の発生源の前記頭部装着型表示装置からの相対的な位置を求める計算手段と、
前記計算手段が求めた位置と前記頭部装着型表示装置の位置との相対関係に応じて、前記発生源からの音声信号を前記再生手段により再生する場合の音量を制御する制御手段と、
前記制御手段による制御後の音量でもって前記発生源からの音声を再生するための音声を前記再生手段に再生させる再生制御手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置は以下の構成を備える。
即ち、外部から入力された入力画像を表示する表示手段と、外部から入力された音声を再生する再生手段とを有する頭部装着型表示装置であって、
現実空間における音の発生源から発せられる音を前記頭部装着型表示装置上の異なる２点以上で収集する収集手段と、
前記収集手段によって異なる２点以上で収集された音声信号を用いて、音の発生源の前記頭部装着型表示装置からの相対的な位置を求める相対位置計算手段と、
現実空間の画像を撮像する撮像手段と、
前記撮像手段による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する第１の生成手段と、
前記エッジ画像中のオブジェクトを検出し、当該オブジェクトの前記エッジ画像上における座標位置、及び前記オブジェクトの種別を識別する第１の処理手段と、
前記相対位置計算手段が求めた発生源の位置を前記撮像画像上に投影した位置と前記第１の処理手段で求めたオブジェクトの座標位置とを参照し、前記撮像画像上のオブジェクトの座標位置、当該オブジェクトの種別、前記発生源から前記収集手段が収集した音声信号とを関連づける第２の処理手段と、
オブジェクトの前記撮像画像上の座標位置、当該オブジェクトの種別、前記発生源から前記収集手段が収集した音声信号に基づいて、前記撮像画像上のオブジェクトに対する障害度、及び当該オブジェクトの座標位置、種別に関連づけられた音声信号に対する障害度を決定する決定手段と、
前記収集手段が収集した各音声信号を前記再生手段により再生する場合の音量を、前記障害度に応じて制御する制御手段と、
前記制御手段による制御後の音量でもって前記発生源からの音声を再生するための音声を前記再生手段に再生させる再生制御手段と、
オブジェクトのエッジを構成する画素の画素値を、前記障害度に応じて異ならせた画像を生成する第２の生成手段と、
前記第２の生成手段が生成した画像を前記表示手段に表示させる表示制御手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置は以下の構成を備える。
即ち、外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置であって、
現実空間の画像を撮像する撮像手段と、
前記撮像手段による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する生成手段と、
前記エッジ画像中のオブジェクトを検出し、当該オブジェクトの座標位置を求めると共に、種別を識別する識別手段と、
前記識別手段が識別した各オブジェクトについて、対応する障害度が予め設定されている場合にはその障害度の総和を計算する計算手段と、
前記計算手段が計算した総和が所定の閾値以上である場合には、前記撮像手段による単位時間あたりの撮像フレーム数を増加させるよう、前記撮像手段を制御する制御手段と、
前記エッジ画像中の各オブジェクトの位置に、予めオブジェクトの種別毎に設定されたシンボル画像を配置した画像を生成する生成手段と、
前記生成手段が生成した画像を前記表示手段に表示させる表示制御手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置は以下の構成を備える。
即ち、外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置であって、
現実空間の画像を撮像する撮像手段と、
前記撮像画像中のオブジェクトを検出し、当該オブジェクトの座標位置を求めると共に、種別を識別する識別手段と、
前記識別手段が識別した各オブジェクトに対応する障害度に基づいて、前記入力画像と前記撮像画像との合成比率を求める計算手段と、
前記入力画像と前記撮像画像とを、前記計算手段が求めた合成比率に応じて合成し、合成後の画像を前記表示手段に表示させる表示制御手段と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置の制御方法は以下の構成を備える。
即ち、外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置の制御方法であって、
現実空間の画像を撮像する撮像工程と、
前記撮像工程による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する第１の生成工程と、
前記エッジ画像中の各エッジにおいて、前記撮像画像の周辺位置から略中心位置に向かうエッジ、もしくは、前記撮像画像において略垂直方向に向かうエッジを検出する検出工程と、
前記エッジ画像において前記検出工程が検出したエッジを構成する画素の画素値を、前記検出工程で検出していないエッジを構成する画素の画素値と異ならせることで、前記検出工程で検出したエッジを明示的に通知する為の画像を生成する第２の生成工程と、
前記第２の生成工程で生成した画像を前記表示手段に表示させる表示制御工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置の制御方法は以下の構成を備える。
即ち、外部から入力された音声を再生する再生手段を有する頭部装着型表示装置の制御方法であって、
現実空間における音の発生源から発せられる音を前記頭部装着型表示装置上の異なる２点以上で収集する収集工程と、
前記収集工程で異なる２点以上で収集された音声信号を用いて、音の発生源の前記頭部装着型表示装置からの相対的な位置を求める計算工程と、
前記計算工程で求めた位置と前記頭部装着型表示装置の位置との相対関係に応じて、前記発生源からの音声信号を前記再生手段により再生する場合の音量を制御する制御工程と、
前記制御工程による制御後の音量でもって前記発生源からの音声を再生するための音声を前記再生手段に再生させる再生制御工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置の制御方法は以下の構成を備える。
即ち、外部から入力された入力画像を表示する表示手段と、外部から入力された音声を再生する再生手段とを有する頭部装着型表示装置の制御方法であって、
現実空間における音の発生源から発せられる音を前記頭部装着型表示装置上の異なる２点以上で収集する収集工程と、
前記収集工程で異なる２点以上で収集された音声信号を用いて、音の発生源の前記頭部装着型表示装置からの相対的な位置を求める相対位置計算工程と、
現実空間の画像を撮像する撮像工程と、
前記撮像工程による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する第１の生成工程と、
前記エッジ画像中のオブジェクトを検出し、当該オブジェクトの前記エッジ画像上における座標位置、及び前記オブジェクトの種別を識別する第１の処理工程と、
前記相対位置計算工程で求めた発生源の位置を前記撮像画像上に投影した位置と前記第１の処理工程で求めたオブジェクトの座標位置とを参照し、前記撮像画像上のオブジェクトの座標位置、当該オブジェクトの種別、前記発生源から前記収集工程で収集した音声信号とを関連づける第２の処理工程と、
オブジェクトの前記撮像画像上の座標位置、当該オブジェクトの種別、前記発生源から前記収集工程で収集した音声信号に基づいて、前記撮像画像上のオブジェクトに対する障害度、及び当該オブジェクトの座標位置、種別に関連づけられた音声信号に対する障害度を決定する決定工程と、
前記収集工程で収集した各音声信号を前記再生手段により再生する場合の音量を、前記障害度に応じて制御する制御工程と、
前記制御工程による制御後の音量でもって前記発生源からの音声を再生するための音声を前記再生手段に再生させる再生制御工程と、
オブジェクトのエッジを構成する画素の画素値を、前記障害度に応じて異ならせた画像を生成する第２の生成工程と、
前記第２の生成工程で生成した画像を前記表示手段に表示させる表示制御工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置の制御方法は以下の構成を備える。
即ち、外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置であって、
現実空間の画像を撮像手段により撮像する撮像工程と、
前記撮像手段による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する生成工程と、
前記エッジ画像中のオブジェクトを検出し、当該オブジェクトの座標位置を求めると共に、種別を識別する識別工程と、
前記識別工程で識別した各オブジェクトについて、対応する障害度が予め設定されている場合にはその障害度の総和を計算する計算工程と、
前記計算工程で計算した総和が所定の閾値以上である場合には、前記撮像手段による単位時間あたりの撮像フレーム数を増加させるよう、前記撮像手段を制御する制御工程と、
前記エッジ画像中の各オブジェクトの位置に、予めオブジェクトの種別毎に設定されたシンボル画像を配置した画像を生成する生成工程と、
前記生成工程で生成した画像を前記表示手段に表示させる表示制御工程と
を備えることを特徴とする。
本発明の目的を達成するために、例えば本発明の頭部装着型表示装置の制御方法は以下の構成を備える。
即ち、外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置の制御方法であって、
現実空間の画像を撮像する撮像工程と、
前記撮像画像中のオブジェクトを検出し、当該オブジェクトの座標位置を求めると共に、種別を識別する識別工程と、
前記識別工程で識別した各オブジェクトに対応する障害度に基づいて、前記入力画像と前記撮像画像との合成比率を求める計算工程と、
前記入力画像と前記撮像画像とを、前記計算工程で求めた合成比率に応じて合成し、合成後の画像を前記表示手段に表示させる表示制御工程と
を備えることを特徴とする。
本発明の構成により、野外などで歩行時に頭部に装着しても、装着者に対する安全性を確保することができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
［第１の実施形態］
図７は、本実施形態に係る頭部装着型表示装置として用いるビデオシースルー型のＨＭＤの外観図である。
７１はＨＭＤ全体を示している。７２はＨＭＤ７１を耳に掛けるためのツルである。７３は後述する各処理を行うための電気回路を収納するためのボディである。７４は口径１／２のＳＸＧＡカラーカメラであり、２ｍ先で半径３．５ｍの範囲が撮像可能な広角カメラである。７５ａ、７５ｂはステレオマイクで、夫々の位置から外界の音を収集するためのものである。７６ａ、７６ｂはＶＧＡクラスのＬＣＤ（液晶表示装置）で、夫々はＨＭＤ７１を頭部に装着した装着者の右目、左目に供給すべき画像を表示するものであり、表示した画像は後述する光学系により観察者の右目、左目に提示される。７７ａ、７７ｂは夫々、ＬＣＤ７６ａ、７６ｂで表示され、出射された画像光が、２ｍ先の仮想画面で大きさ５２型（半径０．６６ｍ）の画面に結像するための光学系である。
ＬＣＤ７６ａ、７６ｂが表示する表示画面の中心は、ＨＭＤ７１の装着者が注視する視界の中心（前方方向、歩行方向）、即ちカメラ７４が撮像する方向と一致するように各部が設計されている。
７８はイヤホンであり、左右のツル７２に各々１つづつ付いている。
図１は、上記ボディ７３内に収納されている電気回路の機能構成を示すブロック図である。
１１は上記カメラ７４により撮像された動画像（各フレームが現実空間の画像）を信号として受け、後段の画像処理回路１２に出力するための画像入力回路である。
１２は画像処理回路で、画像入力回路１１から入力した画像に対して周知のエッジ強調処理を行い、エッジ強調後の画像から、エッジ部分のみを抽出した画像（エッジ画像）を生成する。
エッジ画像の生成処理については周知の技術であるので簡単に説明すると、エッジ強調処理が施された撮像画像の各画素について画素値を２回微分し、２回微分値と所定の閾値との大小比較を行い、２回微分値が所定の閾値以上となる画素には１，それ以外の画素には０を割り当て、１を割り当てた画素を白で、０を割り当てた画素を黒で表示した画像を生成する。これにより、エッジ部分を白、非エッジ部分を黒で表現した画像が生成されることになる。なお、エッジを検出するための方法はこれに限定されるものではない。
１３は歩行関係要素検出回路であって、画像処理回路１２により生成されたエッジ画像を受け、エッジ画像中の各エッジのうち全てのエッジを後述の処理対象とするよう、後段の歩行障害度判定回路１４に指示すると共に、このエッジ画像を出力する。
１４は歩行障害度判定回路であって、画像処理回路１２により生成されたエッジ画像を受け、エッジ画像中の各エッジのうち、以下の何れかの条件を満たすエッジ部分を特定する。
（条件１） エッジ画像において周辺部分から中心部に向かうエッジ
（条件２） エッジ画像において垂直方向に向かうエッジ
これらの条件に従ったエッジの例を図１２に示す。同図において１２００はエッジ画像であり、１２０１はこのエッジ画像における中心位置を示す。１２０２〜１２０４はエッジ画像において周辺部分から中心位置１２０１（厳密に中心位置でなくても良い）に向かうエッジを示しており、１２０５、１２０６はエッジ画像において垂直方向（厳密に垂直方向でなくても良い）に向かうエッジを示している。
なお、（条件１）を満たすエッジの検出方法については、例えば、エッジ画像１２００内で位置１２０１を通る直線を全て設定し、そして各エッジ毎に、エッジを構成する画素がある直線上に所定の割合以上位置する場合には、このエッジは（条件１）を満たすエッジあると判断する処理を行う。
また（条件２）を満たすエッジの検出方法については、例えば、エッジを構成する各画素の水平方向の座標値の差が所定値以下である場合には、このエッジは（条件２）を満たすエッジあると判断する。
このようにして、上記（条件１）もしくは（条件２）を満たすエッジを特定する。なお、この特定する方法については上記処理に限定するものではなく、どのような方法を用いても良い。
以下、上記（条件１）もしくは（条件２）を満たすエッジの集合を第１のエッジ群（単位集合を含む）、上記（条件１）、（条件２）の何れも満たさないエッジの集合を第２のエッジ群（単位集合を含む）と呼称する。
１５は現実画像情報作成回路であって、エッジ画像において第１のエッジ群に含まれる各エッジ部分を構成する画素の色を緑に、第２のエッジ群に含まれる各エッジ部分を構成する画素の色を赤に設定する。これにより、第１のエッジ群に含まれる各エッジは緑で表現され、第２のエッジ群に含まれる各エッジは赤で表現されたエッジ画像（以下、第２のエッジ画像）を生成することができる。
なお、第１のエッジ群、第２のエッジ群の色はこれに限定するものではないが、第２のエッジ群につては著しく装着者に通知する必要があるので、赤や黄色など、視覚的に分かり易い色であることが好適である。
ここで、第１のエッジ群とは、歩道や車道など視界中心（無限遠）へ繋がるものと、電柱や看板等、地面から直立しているものを示すものである。そして第２のエッジ群とは、前記第１のエッジ群を除いた、人物や動物、自動車等、主に歩行に障害となると考えられるものである。後者は可動であるため、歩行に際しては注意がより必要である。
生成した第２のエッジ画像は、後段の表示画像作成回路１７に出力する。
１６は表示元画像配信回路であって、外部の放送局から無線によってリアルタイムに配信される動画像（観賞用）をフレーム毎に受信し、後段の表示画像作成回路１７に出力する。なお、表示元画像配信回路１６は各フレームにより構成される動画像を表示画像作成回路１７に出力するだけでなく、同様に配信される音声情報を図７に示すイヤホン７８に出力する処理をも行う。
なお、表示元画像配信回路１６が画像情報や音声情報を得る形態は、無線による外部からの受信に限定するものではなく、赤外線などの光媒体により伝送される情報を受信するようにしても良いし、例えば半導体や磁気記録媒体、光記憶媒体などの記憶媒体に記録された情報を読み出すようにしても良い。
表示画像作成回路１７は、現実画像情報作成回路１５から出力される第２のエッジ画像と、表示元画像配信回路１６から出力される各フレームの画像とを受け、これを合成した画像（合成画像）を作成し、後段の画像出力回路１８に出力する。ここで表示画像作成回路１７は、第２のエッジ画像における赤のエッジと緑のエッジとが合成画像上で埋没しないように、これらエッジ部分を構成する画素の画素値（彩度やコントラスト）を調整する。例えば、第２のエッジ群に含まれる各エッジを構成する画素の彩度、コントラストを最大にする。
なお、第１のエッジ群、第２のエッジ群を合成画像上にて明示的にするには以上のように、色でもって行う以外にも、例えば点滅させるなどの方法を採っても良いし、その方法は特に限定するものではない。
また、合成画像を生成する際に、合成画像上の上記観賞用の画像のサイズや配置位置などは特に限定するものではないが、合成画像上において少なくとも第２のエッジ群については明示的に表示されているようにする。
１８は画像出力回路で、表示画像作成回路１７から出力された合成画像を、ＬＣＤ７６ａ、７６ｂに出力する。
以上説明した各部により構成される電気回路により、ＨＭＤ７１を装着した装着者の眼前には、外部から配信されてくる映像と共に、外界において装着した装着者に通知すべきエッジ情報を合成画像上で明示的にすることができる。これによりＨＭＤ７１を装着した装着者が歩行している場合に、外部から配信されてくる映像を見る際に、装着者が歩行中に障害となるべきものを通知することができ、より安全に歩行しながらの映像鑑賞を行うことができる。
なお、本実施形態では、エッジの向く方向で歩行に障害を与える要素で有るか無いかを決定しているが、それ以外に、エッジの取り囲む面積あるいはエッジの長さ等で、障害を与える度合いを判定する事もできる。
又本実施形態に係るＨＭＤ７１の各部の性能については上記説明に限定されるものではない。
［第２の実施形態］
本実施形態に係るＨＭＤは、ＨＭＤを装着している装着者の位置と、外界での音の発生源の位置との距離に基づいて、ＨＭＤを用いて映像や音声を鑑賞している装着者に、この発生源が装着者の歩行に障害を与える要素である場合に通知する。
なお、本実施形態に係るＨＭＤは、ボディ７３内に収納されている電気回路のみが第１の実施形態とは異なる。
図２は、上記ボディ７３内に収納されている本実施形態に係る電気回路の機能構成を示すブロック図である。
２１は音声入力回路で、マイク７５ａ、７５ｂ夫々から収集された音声信号を後段の音声処理回路２２に出力するためのものである。
２２は音声処理回路であり、マイク７５ａ、７５ｂ夫々から入力された音声信号を用いて、周知のスペクトル分解を行い、音声を生じる発生源に特有のスペクトルを発見することによって発生源の位置の推定を行う。
具体的には先ず、マイク７５ａ、７５ｂから入力された夫々の音声信号において、同一音と推定される音（同じ種別の音、例えば犬の鳴き声など）を上記スペクトル分解処理により特定する。マイク７５ａからの音声信号と、マイク７５ｂからの音声信号とでは、同じ音を示す信号の位置は異なる。これは音の発生源から発せられた音は左右のマイクに時間差を持って到達することに起因する。
よって、マイク７５ａ、７５ｂから入力した夫々の音声信号が示す音の強度Ｉｒ、Ｉｌと、夫々の音声信号における上記同一音の時間差Δｔを計算する。
一般に図８に示す如く、所定位置で計測される音の強度は、音の発生源からの距離の二乗に比例し、時間差は左のマイクと左のマイクからの発生源までの距離の差に比例する。これを利用して、発生源の位置を求める（推定する）。
先ず、図９に示すように座標系を設定する。即ち、カメラ７４の位置を原点とし、夫々直交する３軸を図９に示す如くｘ、ｙ、ｚ軸とする座標系を設定する。この場合、発生源の位置（ｘ０，ｙ０，ｚ０）は以下の式を用いて算術的に求めることができる。

Ｌｌ＝√（（ｘ０＋ａ）２＋ｙ０２） ：発生源−左マイク７５ｂ間距離
Ｌｒ＝√（（ｘ０−ａ）２＋ｙ０２） ：発生源−右マイク７５ａ間距離
ａ：左右マイク間の距離

Ｉｌ＝Ｉ０／Ｌｌ２ ：左マイクの特定波長の音強度
Ｉｒ＝Ｉ０／Ｌｒ２ ：右マイクの特定波長の音強度
Ｉ０：未知定数

Ｌｌ−Ｌｒ＝ｖ＊Δｔ
ｖ：音速
Δｔ：時間差

また、ｚ０は０としている。
従って音声処理回路２２は、以上の式に従って音の発生源の位置を求める処理を行う。求めた発生源の位置（ｘ０，ｙ０，ｚ０）を示すデータは後段の歩行関係要素検出回路２３に出力する。
２３は歩行関係要素検出回路で、（ｘ０，ｙ０，ｚ０）のデータを受け、このデータが以下の２つの条件を満たしているか否かを判断する。
（条件３） ｘ０の値が±２ｍ以内
（条件４） ｙ０の値が求める毎に小さくなっている（近づいている）
そして（ｘ０，ｙ０，ｚ０）がこの２つの条件を満たしている場合、歩行関係要素検出回路２３は、この発生源は、装着者の歩行に関係する要素であると判断する。このようにして、歩行関係要素検出回路２３は、マイク７５ａ、７５ｂ夫々からの音声信号に基づいて求められる１つ以上の発生源の位置の夫々について、装着者の歩行に関係する要素であるか否かを判断する。なお、（条件３）については２ｍという数値に限定するものではなく、ＨＭＤ７１の近傍を示す数値であればよい。
そして歩行関係要素検出回路２３は、装着者の歩行に関係する要素であると判断した音の発生源のｘ０，ｙ０，そして音量（音の強度）Ｉｒ、Ｉｌ、そして前回求めたｙ０の値と今回求めたｙ０の値との差分（−ｄｙ０／ｄｔ）をデータとして後段の歩行障害度判定回路２４に出力する。
２４は歩行障害度判定回路で、歩行関係要素検出回路２３から出力されたデータを受け取り、このデータを参照して、マイク７５ａ、７５ｂが収集した音をイヤホン７８に出力する場合の音量（出力音量）を決定する処理を行う。この出力音量は以下の条件に基づいて大小が制御される。
（条件５） ｙ０の値が小さいほど、出力音量を大きくする（要は、発生源の位置がＨＭＤ７１に近いほど、出力音量を大きくする）
（条件６） Ｉｒ、Ｉｌの平均もしくはそのいずれか一方など、Ｉｒ、Ｉｌから得られる音量の値が大きいほど、出力音量を大きくする
（条件７） ｄｙ０／ｄｔの値が大きいほど、出力音量を大きくする
２５は現実音声情報作成回路で、装着者の歩行に関係する要素であると判断した発生源からの音を、歩行障害度判定回路２４により制御された音量でもって再生するための音声信号を作成する。
２６は再生元音声配信回路であって、外部の放送局から無線によってリアルタイムに配信される音声信号を受信し、後段の再生音声作成回路２７に出力する。
なお、再生元音声配信回路２６が音声情報を得る形態は、無線による外部からの受信に限定するものではなく、例えば半導体や磁気記録媒体などの記憶媒体に記録された情報を読み出すようにしても良い。
２７は再生音声作成回路で、現実音声情報作成回路２５から出力される音声信号と、再生元音声配信回路２６から出力される音声信号を単純加算した音声信号を作成する。より具体的には、マイク７５ａからの音声信号と再生元音声配信回路２６から出力される音声信号を単純加算し、マイク７５ｂからの音声信号と再生元音声配信回路２６から出力される音声信号を単純加算する。即ち、左右のイヤホン７８に出力すべき音声信号を作成する。
この単純加算後の音声信号により、観賞用として再生元音声配信回路２６から入力される音声と共に、外界において歩行に障害となりうる発生源からの音を通知することができる。また、外界において歩行に障害となりうる発生源からの音は、ＨＭＤ７１との位置関係や、接近スピード、発生源からの音の音量に応じて音量を変化させて通知するので、装着者はこの音量に応じて、歩行に障害となりうる存在を知ることができる。
そして再生音声作成回路２７は、作成した音声信号を後段の音声出力回路２８に出力する。
２８は音声出力回路で、再生音声作成回路２７が作成した音声信号を夫々、左右のイヤホン７８に出力する。
以上の説明により、本実施形態によれば、ＨＭＤ７１を装着した装着者が歩行している場合に、外部から配信されてくる映像を見る際に、装着者が歩行中に障害となるべきものを通知することができ、より安全に歩行しながらの映像鑑賞を行うことができる。
また、視力に障害があったり、聴力に障害がある装着者に対しても、同様に通知を行う事ができる。
尚本実施形態ではマイクの数は２つとしたが、２つ以上を用いても良くその場合にはより発生源の位置の推定精度が向上する。
［第３の実施形態］
本実施形態に係るＨＭＤは、ボディ７３内に収納されている電気回路のみが第１の実施形態とは異なる。
図３は、上記ボディ７３内に収納されている本実施形態に係る電気回路の機能構成を示すブロック図である。同図において、画像入力回路３１、現実画像情報作成回路３５、表示元画像配信回路３６、表示画像作成回路３７、画像出力回路３８は、図１に示した画像入力回路１１、現実画像情報作成回路１５、表示元画像配信回路１６、表示画像作成回路１７、画像出力回路１８と同じものであり、音声入力回路４１、音声処理回路４２、現実音声情報作成回路４５、再生元音声配信回路４６、再生音声作成回路４７、音声出力回路４８は、図１に示した音声入力回路２１、音声処理回路２２、現実音声情報作成回路２５、再生元音声配信回路２６、再生音声作成回路２７、音声出力回路２８と同じである。
従って、以下、画像処理回路３２、歩行関係要素検出回路３３、歩行障害度判定回路３４が行う処理について説明する。
先ず画像処理回路３２は第１の実施形態と同様に、画像入力回路３１から入力した画像に対して周知のエッジ強調処理を行い、エッジ強調後の画像から、エッジ部分のみを抽出した画像（エッジ画像）を生成する。そしてこのエッジ画像に含まれる各オブジェクトの抽出処理を行う。ここでオブジェクトとは、例えば人、犬、猫、車などである。また、画像からのオブジェクトの抽出処理については周知の技術であるので、ここでの説明は省略する。
そして画像処理回路３２は、検出したオブジェクトが人やペット、自動車などのうち何れであるかを識別すると共に、検出した各オブジェクトの画像上の位置をも求める。オブジェクトの識別については、例えば予め人、犬、猫、車などのオブジェクト画像を保持しておき、検出したオブジェクトとの相関を求めることで、検出したオブジェクトが何であるかを識別することができる。なお、この識別処理についても周知の技術であるので、ここでの説明は省略する。
歩行関係要素検出回路３３は、画像処理回路３２によって抽出されたオブジェクトと、音声処理回路４２が特定した各発生源との関連づけの処理を行う。即ち、特定した各発生源がどのオブジェクトであるのかを特定する処理を行う。尚、以下の計算で用いる各記号の意味するところは図６に示す。
先ず、ＨＭＤ７１から発生源までの距離ｒ０を以下の式に従って求める。
ｒ０＝√（ｘ０２＋ｙ０２） ｒ０：音声要素までの距離
次に、求めた発生源の位置（ｘ０，ｙ０，ｚ０）が現実空間の画像上のどの位置にあるのかを求める。これは、カメラ７４の画角などを用いて、現実空間中の１点の位置を所望の平面に投影する周知の技術により成されるものである。
より具体的には、カメラ７４の画角をθ＝（θｘ、不明。θｚ）とすると、現実空間の画像での発生源の位置は（θｘ×ｒ０、θｚ×ｒ０）として求めることができる。
このようにして、音声情報と画像情報とを用いて、各発生源が現実空間の画像上のどの位置にあるものであるかを求めることができる。そして求めた各位置と、画像処理回路３２が検出した各オブジェクトの画像上の位置とを比較し、最も近いもの同士を対応付けて記憶する。これにより、各発生源が、現実空間の画像上のどのオブジェクトであるかを対応付けることができる。
この対応付けて記憶する形態は特に限定しないが、例えば図１３に示す如く、「現実空間の画像上の犬のオブジェクトの座標位置」と「このオブジェクトが犬であることを示すデータ」と「犬の鳴き声の音声信号」とを関連づけて記憶する、というように、「オブジェクトの現実空間の画像上の座標位置」と「このオブジェクトの種別」と「このオブジェクトの音声信号」とを関連づけて記憶するようにしても良い。本実施形態ではこの記憶形態を採用する。図１３は、対応付けて記憶する為のリストの構成例を示す図である。
次に歩行関係要素検出回路３３は、対応付けた夫々を、装着者の歩行に関係する要素であるか否かを以下の３つの条件に従って判断する。
（条件８） θｘ×ｒ０の値が±２ｍ以内である
（条件９） オブジェクトが人やペット、自動車など、現実空間中を移動するものである
（条件１０） 発生源からの音が、現実空間中を移動するものによる音である
（条件８）を満たすか否かについては、図１３に示したリストを参照して各オブジェクトの座標位置を参照し、ｘ座標値であるθｘ×ｒ０が±２ｍ以内を示すものであるか否かを判断することにより成される。
（条件９）を満たすか否かについては、予め人やペット、自動車など、現実空間中を移動するものを示すデータを歩行関係要素検出回路３３は保持しておき、これらのうちの何れかに、図１３に示したリスト中のオブジェクトの種別が該当するか否かを判断することにより成される。
（条件１０）を満たすか否かについては、予め人やペット、自動車など、現実空間中を移動するものから発せられる音声信号のスペクトル等の特徴量を歩行関係要素検出回路３３に保持しておき、そしてこれらのうちの何れかに、図１３に示したリスト中の音声信号の音声処理回路４２によるスペクトル解析結果が該当しているか否か（相関があるか否か）を判断することにより成される。
歩行障害度判定回路３４は、図１３に示したリストのうち、上記（条件８）から（条件１０）全てを満たすオブジェクトについて、以下説明する障害度を設定する。ここで障害度の設定方法については、本実施形態では、
・ 自動車には最大の障害度を割り振る
・ 人はペットよりも高い障害度を割り振る
というようにして、オブジェクトの種別に応じて、オブジェクトに障害度を設定すると共に、及びこのオブジェクトの座標位置、種別に関連づけられた音声信号にも障害度を設定する。
現実画像情報作成回路３５は、エッジ画像中の各オブジェクトを構成するエッジを、オブジェクトに対して設定された障害度に応じた色でもって表現した画像を生成する。即ち、障害度が高いオブジェクトのエッジほど、より目立つ色（例えば赤や黄色）を配色する。また、第１の実施形態でも説明したように、色以外の手段でもって通知するようにしても良い。
現実音声情報作成回路４５は、音声入力回路４１から入力した音声を、歩行障害度判定回路２４により設定された障害度に応じた音量でもって再生するための音声信号を作成する。即ち、障害度が大きい音声ほど、大きい音で再生され、障害度が小さい音声ほど、小さい音で再生されるような音声信号を作成する。
以上の説明により、本実施形態によって、映像及び音声を鑑賞している場合であっても、画像情報、及び音声情報として、歩行に障害のある対象を通知することができる。
なお、本実施形態では撮像カメラが撮像する画像から各要素の奥行き（ｙ）情報を得ることは不可能であるが、公知の電磁波レーダー法、光レーダー法、アクティブソナー法等を組み合わせる事によって前記要素の奥行き情報をも知る事が可能であり、更に画像上のオブジェクトと、発生源との対応精度が向上する。
またｚは０に仮定しているが、これも３つ以上のマイクをＨＭＤに搭載する事で求めることができる。これによっても同様に、更に画像上のオブジェクトと、発生源との対応精度が向上する。
［第４の実施形態］
本実施形態に係るＨＭＤは、ボディ７３内に収納されている電気回路のみが第１の実施形態とは異なる。
図４は、上記ボディ７３内に収納されている本実施形態に係る電気回路の機能構成を示す図である。
５０はタイミングジェネレータ（ＴＧ）回路であり、カメラ７４にその動作タイミングを決定するクロック信号を供給している。
画像処理回路５２は、第３の実施形態における画像処理回路３２と同様に、エッジ画像を生成し、エッジ画像に含まれる各オブジェクトの抽出処理を行い、検出したオブジェクトが人やペット、自動車などのうち何れであるかを識別する。また、エッジ画像上における各オブジェクトの座標位置をも求める。
歩行関係要素検出回路５３は、検出した各オブジェクトのうち、装着者の歩行に関係する要素としてのオブジェクトを選択する。この「歩行に関係する要素」については予め歩行関係要素検出回路５３が保持しているものとする。
５９は、要素障害度対応リストで、歩行に関係する要素に対応する障害度が予めテーブル形式で登録されている。例えば、オブジェクトが自動車の場合には、障害度を高く（障害度が示す数値を大きく）設定しておき、オブジェクトが人の場合には自動車の場合よりも低く（障害度が示す数値を小さく）設定する。従って、このテーブルを参照することにより、検出したオブジェクトに対する障害度がどの程度であるかを得ることができる。
歩行障害度判定回路５４は、エッジ画像から抽出された各オブジェクトに対する障害度が要素障害度対応リスト５９に登録されていれば、その障害度が示す値を得、得た夫々の障害度が示す数値の和を計算し、計算した総和が所定の閾値を越えている場合には、カメラ７４の撮像速度を通常は１フレーム／秒であるところを、３０フレーム／秒となるように、ＴＧ回路５０からクロック信号をカメラ７４に発生させるよう、ＴＧ回路５０を制御する。即ち、単位時間あたりの撮像フレーム数を増加させるようにする。カメラ７４の通常の単位時間あたりの撮像フレーム数、及び増加させる単位時間あたりの撮像フレーム数は上記数値に限定するものではない。
これにより、カメラ７４により撮像された画像中に、障害度の高いオブジェクトが多く含まれている程、外界からの危険が高い確率で装着者に災いすると推定されるので、その場合にはカメラ７４の単位時間あたりの撮像フレーム数を増加させて、より詳細な外界の画像を提供するようにする。
６０は要素シンボル対応テーブルで、各オブジェクトの種別に応じたシンボル画像が登録されている。例えば、犬のオブジェクトには「●」のシンボル画像が、「人」のオブジェクトには「▲」のシンボル画像が登録されている。なお、このシンボル画像は、対応するオブジェクトに対する障害度に応じて、色やサイズなどが異なるようにしている。即ち、障害度の高いオブジェクトのシンボル画像ほど、目立つようにしている。そのためには、例えばサイズを他のシンボル画像よりも大きくしたり、色を赤や黄色など目立つ色にしたり、点滅させるようにしたりする。
このようにして、シンボル画像でもって、障害度の高いオブジェクトを分かり易く示している。
よって歩行障害度判定回路５４は、エッジ画像中の各オブジェクトに対応するシンボル画像を要素シンボル対応テーブル６０から読み出して、エッジ画像と共に後段の現実画像情報作成回路５５に出力する。
現実画像情報作成回路５５は、エッジ画像上に表示されているオブジェクトの位置に、このオブジェクトに対応するシンボル画像を配置した画像を作成する。図１１は、現実画像情報作成回路５５が作成した画像の一例を示す図である。
同図において１１１が現実画像情報作成回路５５が作成した画像であって、１１３は歩道を示すエッジ、１１２ａ、１１２ｂ、１１２ｃは人物のオブジェクトに対応するシンボル画像、１１４ａ、１１４ｂ、１１４ｃは植え込みのオブジェクトに対応するシンボル画像、１１５は自転車のオブジェクトに対応するシンボル画像、１１６は犬のオブジェクトに対応するシンボル画像である。
そして表示画像作成回路５７は、第１の実施形態における表示元画像配信回路１６と同様にして表示元画像配信回路５６から入力される各フレームの画像を受け、この画像を現実画像情報作成回路５５から出力される画像と合成した画像（合成画像）を作成し、後段の画像出力回路５８に出力する。
画像出力回路５８は、表示画像作成回路５７から出力された合成画像を、ＬＣＤ７６ａ、７６ｂに出力する。
表示元画像配信回路５６、表示画像作成回路５７、画像出力回路５８の夫々が行う処理については、第１の実施形態と同じである。
以上の説明により、本実施形態によって、歩行に障害となる要素の障害度を、シンボル画像の大小という比較的簡単な手段でもって表現した画像を装着者に提供することができるので、装着者はそのような要素を比較的簡単に識別することができる。
また、本実施形態では、撮像画像中に障害度の高いオブジェクトが多く含まれているような場合には単位時間あたりの撮像フレーム数を増加させるので、より品質の高い動画像でもって、障害度の高いオブジェクトを装着者に認識させることができる。
なお、本実施形態の技術の本質を第２の実施形態に適用することも可能である。即ち、マイク７５ａ、７５ｂで収集した音をそのまま出力するのではなく、音の発生源の種類に応じた音（もしくは発生源の種類を発声する音声）でもって通知するようにしても良い。その場合、要素シンボル対応テーブル６０には、各発生源の種別に応じたシンボル音声データを登録しておく。
［第５の実施形態］
人間の眼は約１８０度の視野角を有するのに対して、注視する際に見る領域とは、２ｍ先で５２型（半径０．６６ｍ）程度である（平面角換算で３７度）。しかしカメラ７４の画角は表示するＬＣＤのそれと比べると、数段大きくなるのが通常である。
即ち、撮像された画像全体について歩行に障害となる要素を抽出しても、注視する際に見る領域は画像全体ではないので、処理に無駄があることになる。
本実施形態では、この点を考慮して、歩行に障害となる要素を抽出するものである。尚本実施形態に係るＨＭＤは第１の実施形態と同じものを用いる。
カメラ７４は横２４８０画素、縦１９２０画素、画角１０６度、２ｍ先で半径２．６ｍの範囲が撮像可能な広角カラーカメラであるとする。またＬＣＤ７６ａ、７６ｂは１２４０画素×９６０画素のＬＣＤである。ＬＣＤ７６ａ、７６ｂが表示する画像は、光学系７７ａ、７７ｂにより２ｍ先で大きさ５２型（半径０．６６ｍ）の仮想画面を形成する。
また、例えば外部から入力する観賞用の映像は通常ＶＧＡクラス（６４０画素×４８０画素）の解像度であるので、周知の補間技術により補間して、ＬＣＤ７６ａ、７６ｂに表示している。
また本実施形態では、図１０に示すようにカメラ７４で撮像した現実画像１０１のうちＬＣＤ７６ａ、７６ｂに表示する領域は、１０２で示した領域である。領域１０２の大きさは、ＬＣＤ７６ａ、７６ｂが表示する大きさと同一（半径０．６６ｍ）である。
本実施形態ではカメラ７４から撮像された現実画像のうち、図１０に示すように、中央部分の領域１０２内を処理の対象とする。
これにより、ボディ７３内の各電気回路を小型化、省電力化することができる。
なお、歩行に障害となる要素の検出処理までの処理を撮像画像全体について行うようにしても良い。
［第６の実施形態］
第５の実施形態では、撮像画像のサイズに比べて、歩行に障害となる要素の検出処理の対象領域は小さいので、例えば装着者の横方向（撮像画像では水平方向）から速い速度で接近してきた対象については、この対象を歩行に障害となる要素として検出する処理が間に合わないことがある。
本実施形態では、この点を鑑みたものである。本実施形態に係るＨＭＤ及びボディ７３内の電気回路の構成については第１の実施形態と同じであるが、歩行障害度判定回路１４が行う処理、現実画像情報作成回路１５が行う処理は第１の実施形態で説明した処理に加えて以下の処理が加わったものとなる。また、本実施形態では、画像処理回路は、エッジ画像におけるオブジェクト検出をも行うものとする。オブジェクト検出処理については上述の通りである。
現実空間において速度ｖで移動する対象の座標を（ｘ、ｙ、ｚ）とする。但しカメラ７４による撮像だけではｘ、ｙ、ｚは当然求まるはずもなく、求まるのは角度（θｘ、不明、θｚ）だけである。ここでθｘ＝ｘ／ｒ、θｙ＝ｙ／ｒ、θｚ＝ｚ／ｒ、ｒ＝√（ｘ２＋ｙ２＋ｚ２）である。
速度ｖ＝（ｄｘ／ｄｔ、ｄｙ／ｄｔ、ｄｚ／ｄｔ）を求めるには、その角速度ｄθｘ／ｄｔ、ｄθｚ／ｄｔを用いて以下の式
ｄｘ／ｄｔ＝ｒ＊ｄθｘ／ｄｔ
ｄｚ／ｄｔ＝ｒ＊ｄθｚ／ｄｔ
から求めなければならない。ここでｒは撮像からは求まらない、対象までの距離である。ここには２つの問題点があり、
１） 速度ｄｙ／ｄｔはθｙが不明なため、求まらない
２） 距離ｒは撮像からは求まらない
である。
１）の問題は、現実画像の各フレームで接近する対象（オブジェクト）を確実に抽出できれば、フレーム間の大きさａを比較することで、速度ｄｙ／ｄｔの検出は可能である。但し、ｙ方向から猛スピードで接近する対象は撮像画像の中央に入るため、必ずしも速度の計算が必要な訳ではない。
また２）の問題も、例えば前述したように音声情報等からも入手できるため、不可能ではない。
しかし本実施形態ではこのような事は考慮せず、ｄｘ／ｄｔ、ｄｚ／ｄｔを求めるための上記式を用いて、単純に
１） 角速度ｄθｘ／ｄｔあるいはｄθｚ／ｄｔが予め決められた閾値を越えたオブジェクト
２） 接近するオブジェクト（前回のフレームでのオブジェクトの大きさよりも今回のフレームにおけるオブジェクトの大きさが大きくなっているようなオブジェクト）
の検出を行うことで、このオブジェクトを歩行に障害となる要素として検出する。このような処理は歩行障害度判定回路１４が行う。
そして、このような条件に該当するオブジェクトを検知した場合には現実画像情報作成回路１５は、例えば、今回のフレームの合成画像と前回のフレームの合成画像とで、このオブジェクトの位置の移動距離、方向を求め、この移動距離、方向を示す矢印を視覚的に分かり易い色（赤や黄色等）でもって合成画像上に表示するようにしても良い。またこの矢印の表示方法については視覚的に分かり易いものであれば良いため、特に限定するものではない。
以上の処理は、撮像画像全体（実際にはエッジ画像全体）に対して行うものである。
また伏せて、音声情報でもって、このようなオブジェクトの存在を通知するようにしても良い。
このように、本実施形態によれば、撮像画像全体（実際にはエッジ画像全体）に対して歩行に障害となる要素の検出処理を行い、速い速度でもって移動する対象については移動方向などの情報を合成画像上に表示するので、装着者は、このようなオブジェクトの存在が分かり易くなり、より安全となる。
［第７の実施形態］
本実施形態に係るＨＭＤは、ボディ７３内に収納されている電気回路のみが第１の実施形態とは異なる。
図５は、上記ボディ７３内に収納されている本実施形態に係る電気回路の機能構成を示す図である。
画像入力回路６１は第１の実施形態に係る画像入力回路と同様に、カメラ７４からの撮像画像を入力し、後段の画像処理回路６２に出力する。
画像処理回路６２は、第３の実施形態に係る画像処理回路と同様に、画像入力回路６１から入力した画像に対して周知のエッジ強調処理を行い、エッジ強調後の画像から、エッジ部分のみを抽出した画像（エッジ画像）を生成する。そしてこのエッジ画像に含まれる各オブジェクトの抽出処理を行う。ここでオブジェクトとは、例えば人、犬、猫、車などである。また、画像からのオブジェクトの抽出処理については周知の技術であるので、ここでの説明は省略する。
歩行関係要素検出回路６３は、各オブジェクトについて障害度を求める。各オブジェクト毎の障害度を求める方法については、第３の実施形態以降で説明した処理のうち何れを用いても良い。なお、各オブジェクト毎の障害度を求める為の方法として上記説明に従った方法を採用する場合、上記説明の方法を実現する構成が歩行関係要素検出回路６３内に構成されているものとする。
歩行障害度判定回路６４は、得られた各オブジェクトの障害度を参照し、最大の値を有する障害度を検索する。そして検索した最大値を有する障害度のデータを後段の表示画像作成回路６７に出力する。
現実画像情報作成回路６５は、カメラ７４からの撮像画像を明度調整、必要であるならばコントラスト調整を行って後段の表示画像作成回路６７に出力する。
表示画像作成回路６７は、歩行障害度判定回路６４から出力された障害度のデータを参照し、表示元画像配信回路６６からの画像と、現実画像情報作成回路６５からの画像との合成比率α（０≦α≦１）を求める。
この合成比率αは、障害度が示す値が大きければ大きいほど、αの値を大きくし、逆に障害度が示す値が小さければ小さいほど、αの値を小さくする。そしてこのような規則に基づいて求めたαの値を用いて、表示元画像配信回路６６からの画像と、現実画像情報作成回路６５からの画像とを合成比率αでもって合成した画像を生成する。
ここで、表示元画像配信回路６６からの画像をＩｉ、現実画像情報作成回路６５からの画像をＩｒ、合成画像をＩｄとすると、合成画像が以下の式に従って求められる。
Ｉｄ＝Ｉｒ×α＋Ｉｉ×（１−α）
即ち、画像Ｉｒを構成する各画素の明度をα倍し、画像Ｉｉを構成する各画素の明度を（１−α）倍だけする。なお画像Ｉｒ、画像Ｉｉを構成する各画素にα値（透明度）を設けた場合には、合成式は以下の式に従う。
Ｉｄ＝Ｉｒ×（１−α）＋Ｉｉ×α
即ち、画像Ｉｒを構成する各画素のα値を（１−α）倍し、画像Ｉｉを構成する各画素のα値をα倍だけする。なお合成にはこのほかにも考えられ、これに限定するものではない。また合成の式もこれに限定するものではない。
これにより、障害度が低い場合には、外部から供給される観賞用の画像を楽しめ、障害度が高い場合には、優先して現実画像が表示されるので、安心して観賞用の画像を楽しむ事ができる。
なお、本実施形態では合成画像αを求めるために参照した障害度は、各オブジェクトについて求めた障害度のうち最大の値を採用したが、これに限定するものではなく、求めた全ての障害度の平均値を用いても良いし、総和値を用いても良い。但し、歩行障害度が大きい要素に関しては無視する事は出来ない。
また本実施形態を含めた上記実施形態の構成を適宜組み合わせることで、音声情報と画像情報でもって装着者の歩行に障害となる対象を通知する様々な方法が考えられる。
また本実施形態を含めた上記実施形態において、あるパラメータｐ（例えば障害度）の大小関係に応じてもう一つのパラメータｑ（例えば合成比率）の大小を制御する場合、ｐとｑとの関係は比例関係であっても良いし、非線形な関係であっても良く、その関係は特に限定するものではない。
また上記実施形態においてボディ７３内の電気回路構成として示した各部をプログラムによって実現しても良い。即ち、ボディ７３内にＣＰＵ、メモリを搭載し、このメモリにこのプログラムを格納し、このプログラムをＣＰＵが実行することにより、上記実施形態においてボディ７３内の電気回路構成として示した各部の機能をＣＰＵが実現することに ［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
なり、上記実施形態と同様の効果を奏する。
ボディ７３内に収納されている本発明の第１の実施形態に係る電気回路の機能構成を示すブロック図である。 ボディ７３内に収納されている本発明の第２の実施形態に係る電気回路の機能構成を示すブロック図である。 ボディ７３内に収納されている本発明の第３の実施形態に係る電気回路の機能構成を示すブロック図である。 ボディ７３内に収納されている本発明の第４の実施形態に係る電気回路の機能構成を示す図である。 ボディ７３内に収納されている本本発明の第７の実施形態に係る電気回路の機能構成を示す図である。 特定した各発生源がどのオブジェクトであるのかを特定する処理において計算する際に用いる各記号の意味するところを示す図である。 本発明の第１の実施形態に係る頭部装着型表示装置として用いるビデオシースルー型のＨＭＤの外観図である。 所定位置で計測される音の強度、時間差を説明する図である。 所定位置で計測される音の強度、時間差を求める為の座標系を示す図である。 ＬＣＤ７６ａ、７６ｂに表示する領域を説明する図である。 現実画像情報作成回路５５が作成した画像の一例を示す図である。 （条件１）、（条件２）に従ったエッジの例を示す図である。 対応付けて記憶する為のリストの構成例を示す図である。

Claims (16)

  1. 外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置であって、
    現実空間の画像を撮像する撮像手段と、
    前記撮像手段による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する第１の生成手段と、
    前記エッジ画像中の各エッジにおいて、前記撮像画像の周辺位置から略中心位置に向かうエッジ、もしくは、前記撮像画像において略垂直方向に向かうエッジを検出する検出手段と、
    前記エッジ画像において前記検出手段が検出したエッジを構成する画素の画素値を、前記検出手段が検出していないエッジを構成する画素の画素値と異ならせることで、前記検出手段が検出したエッジを明示的に通知する為の画像を生成する第２の生成手段と、
    前記第２の生成手段が生成した画像を前記表示手段に表示させる表示制御手段と
    を備えることを特徴とする頭部装着型表示装置。
  2. 前記第２の生成手段は、前記検出手段が検出したエッジを構成する画素の画素値を、視覚的に分かり易い色を示す画素値に設定することを特徴とする請求項１に記載の頭部装着型表示装置。
  3. 外部から入力された音声を再生する再生手段を有する頭部装着型表示装置であって、
    現実空間における音の発生源から発せられる音を前記頭部装着型表示装置上の異なる２点以上で収集する収集手段と、
    前記収集手段によって異なる２点以上で収集された音声信号を用いて、音の発生源の前記頭部装着型表示装置からの相対的な位置を求める計算手段と、
    前記計算手段が求めた位置と前記頭部装着型表示装置の位置との相対関係に応じて、前記発生源からの音声信号を前記再生手段により再生する場合の音量を制御する制御手段と、
    前記制御手段による制御後の音量でもって前記発生源からの音声を再生するための音声を前記再生手段に再生させる再生制御手段と
    を備えることを特徴とする頭部装着型表示装置。
  4. 前記計算手段は、前記収集手段による２つの音声信号において、同一発生源からの音の時間差、当該２つの音声信号の強度に基づいて前記発生源の位置を求めることを特徴とする請求項３に記載の頭部装着型表示装置。
  5. 前記制御手段は、前記計算手段が求めた位置が前記頭部装着型表示装置に近いほど前記音量を大きくし、前記音声信号に基づいた音量が大きいほど前記音量を大きくし、前記計算手段が求めた位置と前回前記計算手段が求めた位置との差分が大きいほど前記音量を大きくすることを特徴とする請求項３に記載の頭部装着型表示装置。
  6. 外部から入力された入力画像を表示する表示手段と、外部から入力された音声を再生する再生手段とを有する頭部装着型表示装置であって、
    現実空間における音の発生源から発せられる音を前記頭部装着型表示装置上の異なる２点以上で収集する収集手段と、
    前記収集手段によって異なる２点以上で収集された音声信号を用いて、音の発生源の前記頭部装着型表示装置からの相対的な位置を求める相対位置計算手段と、
    現実空間の画像を撮像する撮像手段と、
    前記撮像手段による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する第１の生成手段と、
    前記エッジ画像中のオブジェクトを検出し、当該オブジェクトの前記エッジ画像上における座標位置、及び前記オブジェクトの種別を識別する第１の処理手段と、
    前記相対位置計算手段が求めた発生源の位置を前記撮像画像上に投影した位置と前記第１の処理手段で求めたオブジェクトの座標位置とを参照し、前記撮像画像上のオブジェクトの座標位置、当該オブジェクトの種別、前記発生源から前記収集手段が収集した音声信号とを関連づける第２の処理手段と、
    オブジェクトの前記撮像画像上の座標位置、当該オブジェクトの種別、前記発生源から前記収集手段が収集した音声信号に基づいて、前記撮像画像上のオブジェクトに対する障害度、及び当該オブジェクトの座標位置、種別に関連づけられた音声信号に対する障害度を決定する決定手段と、
    前記収集手段が収集した各音声信号を前記再生手段により再生する場合の音量を、前記障害度に応じて制御する制御手段と、
    前記制御手段による制御後の音量でもって前記発生源からの音声を再生するための音声を前記再生手段に再生させる再生制御手段と、
    オブジェクトのエッジを構成する画素の画素値を、前記障害度に応じて異ならせた画像を生成する第２の生成手段と、
    前記第２の生成手段が生成した画像を前記表示手段に表示させる表示制御手段と
    を備えることを特徴とする頭部装着型表示装置。
  7. 外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置であって、
    現実空間の画像を撮像する撮像手段と、
    前記撮像手段による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する生成手段と、
    前記エッジ画像中のオブジェクトを検出し、当該オブジェクトの座標位置を求めると共に、種別を識別する識別手段と、
    前記識別手段が識別した各オブジェクトについて、対応する障害度が予め設定されている場合にはその障害度の総和を計算する計算手段と、
    前記計算手段が計算した総和が所定の閾値以上である場合には、前記撮像手段による単位時間あたりの撮像フレーム数を増加させるよう、前記撮像手段を制御する制御手段と、
    前記エッジ画像中の各オブジェクトの位置に、予めオブジェクトの種別毎に設定されたシンボル画像を配置した画像を生成する生成手段と、
    前記生成手段が生成した画像を前記表示手段に表示させる表示制御手段と
    を備えることを特徴とする頭部装着型表示装置。
  8. 前記シンボル画像は、対応するオブジェクトに対する障害度に応じて、色もしくはサイズのうち少なくとも１つが異なることを特徴とする請求項７に記載の頭部装着型表示装置。
  9. 外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置であって、
    現実空間の画像を撮像する撮像手段と、
    前記撮像画像中のオブジェクトを検出し、当該オブジェクトの座標位置を求めると共に、種別を識別する識別手段と、
    前記識別手段が識別した各オブジェクトに対応する障害度に基づいて、前記入力画像と前記撮像画像との合成比率を求める計算手段と、
    前記入力画像と前記撮像画像とを、前記計算手段が求めた合成比率に応じて合成し、合成後の画像を前記表示手段に表示させる表示制御手段と
    を備えることを特徴とする頭部装着型表示装置。
  10. 外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置の制御方法であって、
    現実空間の画像を撮像する撮像工程と、
    前記撮像工程による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する第１の生成工程と、
    前記エッジ画像中の各エッジにおいて、前記撮像画像の周辺位置から略中心位置に向かうエッジ、もしくは、前記撮像画像において略垂直方向に向かうエッジを検出する検出工程と、
    前記エッジ画像において前記検出工程が検出したエッジを構成する画素の画素値を、前記検出工程で検出していないエッジを構成する画素の画素値と異ならせることで、前記検出工程で検出したエッジを明示的に通知する為の画像を生成する第２の生成工程と、
    前記第２の生成工程で生成した画像を前記表示手段に表示させる表示制御工程と
    を備えることを特徴とする頭部装着型表示装置の制御方法。
  11. 外部から入力された音声を再生する再生手段を有する頭部装着型表示装置の制御方法であって、
    現実空間における音の発生源から発せられる音を前記頭部装着型表示装置上の異なる２点以上で収集する収集工程と、
    前記収集工程で異なる２点以上で収集された音声信号を用いて、音の発生源の前記頭部装着型表示装置からの相対的な位置を求める計算工程と、
    前記計算工程で求めた位置と前記頭部装着型表示装置の位置との相対関係に応じて、前記発生源からの音声信号を前記再生手段により再生する場合の音量を制御する制御工程と、
    前記制御工程による制御後の音量でもって前記発生源からの音声を再生するための音声を前記再生手段に再生させる再生制御工程と
    を備えることを特徴とする頭部装着型表示装置の制御方法。
  12. 外部から入力された入力画像を表示する表示手段と、外部から入力された音声を再生する再生手段とを有する頭部装着型表示装置の制御方法であって、
    現実空間における音の発生源から発せられる音を前記頭部装着型表示装置上の異なる２点以上で収集する収集工程と、
    前記収集工程で異なる２点以上で収集された音声信号を用いて、音の発生源の前記頭部装着型表示装置からの相対的な位置を求める相対位置計算工程と、
    現実空間の画像を撮像する撮像工程と、
    前記撮像工程による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する第１の生成工程と、
    前記エッジ画像中のオブジェクトを検出し、当該オブジェクトの前記エッジ画像上における座標位置、及び前記オブジェクトの種別を識別する第１の処理工程と、
    前記相対位置計算工程で求めた発生源の位置を前記撮像画像上に投影した位置と前記第１の処理工程で求めたオブジェクトの座標位置とを参照し、前記撮像画像上のオブジェクトの座標位置、当該オブジェクトの種別、前記発生源から前記収集工程で収集した音声信号とを関連づける第２の処理工程と、
    オブジェクトの前記撮像画像上の座標位置、当該オブジェクトの種別、前記発生源から前記収集工程で収集した音声信号に基づいて、前記撮像画像上のオブジェクトに対する障害度、及び当該オブジェクトの座標位置、種別に関連づけられた音声信号に対する障害度を決定する決定工程と、
    前記収集工程で収集した各音声信号を前記再生手段により再生する場合の音量を、前記障害度に応じて制御する制御工程と、
    前記制御工程による制御後の音量でもって前記発生源からの音声を再生するための音声を前記再生手段に再生させる再生制御工程と、
    オブジェクトのエッジを構成する画素の画素値を、前記障害度に応じて異ならせた画像を生成する第２の生成工程と、
    前記第２の生成工程で生成した画像を前記表示手段に表示させる表示制御工程と
    を備えることを特徴とする頭部装着型表示装置の制御方法。
  13. 外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置であって、
    現実空間の画像を撮像手段により撮像する撮像工程と、
    前記撮像手段による撮像画像におけるエッジ部分と非エッジ部分とを異なる画素値でもって表現したエッジ画像を生成する生成工程と、
    前記エッジ画像中のオブジェクトを検出し、当該オブジェクトの座標位置を求めると共に、種別を識別する識別工程と、
    前記識別工程で識別した各オブジェクトについて、対応する障害度が予め設定されている場合にはその障害度の総和を計算する計算工程と、
    前記計算工程で計算した総和が所定の閾値以上である場合には、前記撮像手段による単位時間あたりの撮像フレーム数を増加させるよう、前記撮像手段を制御する制御工程と、
    前記エッジ画像中の各オブジェクトの位置に、予めオブジェクトの種別毎に設定されたシンボル画像を配置した画像を生成する生成工程と、
    前記生成工程で生成した画像を前記表示手段に表示させる表示制御工程と
    を備えることを特徴とする頭部装着型表示装置の制御方法。
  14. 外部から入力された入力画像を表示する表示手段を有する頭部装着型表示装置の制御方法であって、
    現実空間の画像を撮像する撮像工程と、
    前記撮像画像中のオブジェクトを検出し、当該オブジェクトの座標位置を求めると共に、種別を識別する識別工程と、
    前記識別工程で識別した各オブジェクトに対応する障害度に基づいて、前記入力画像と前記撮像画像との合成比率を求める計算工程と、
    前記入力画像と前記撮像画像とを、前記計算工程で求めた合成比率に応じて合成し、合成後の画像を前記表示手段に表示させる表示制御工程と
    を備えることを特徴とする頭部装着型表示装置の制御方法。
  15. 頭部装着型表示装置に請求項１０乃至１４に記載の制御方法を実行させることを特徴とするプログラム。
  16. 請求項１５に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
JP2003405036A 2003-12-03 2003-12-03 頭部装着型表示装置、及びその制御方法 Withdrawn JP2005165778A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003405036A JP2005165778A (ja) 2003-12-03 2003-12-03 頭部装着型表示装置、及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003405036A JP2005165778A (ja) 2003-12-03 2003-12-03 頭部装着型表示装置、及びその制御方法

Publications (1)

Publication Number Publication Date
JP2005165778A true JP2005165778A (ja) 2005-06-23

Family

ID=34727852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003405036A Withdrawn JP2005165778A (ja) 2003-12-03 2003-12-03 頭部装着型表示装置、及びその制御方法

Country Status (1)

Country Link
JP (1) JP2005165778A (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153909A (ja) * 2004-11-25 2006-06-15 Olympus Corp 携帯情報端末装置
JP2007256915A (ja) * 2006-02-22 2007-10-04 Konica Minolta Holdings Inc 映像表示装置、及び映像表示方法
JP2008033219A (ja) * 2006-07-27 2008-02-14 Korea Electronics Telecommun 混合現実環境用のフェイスマウントディスプレイ装置
JP2011163776A (ja) * 2010-02-04 2011-08-25 Ono Sokki Co Ltd 音源モニタリング装置
WO2013111267A1 (ja) * 2012-01-24 2013-08-01 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
WO2013135940A1 (en) 2012-03-12 2013-09-19 Nokia Corporation Audio source processing
JP2014014090A (ja) * 2013-08-02 2014-01-23 Yupiteru Corp 車両用警報装置及びプログラム
JP2016033764A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2016114892A (ja) * 2014-12-17 2016-06-23 Ｎｅｃソリューションイノベータ株式会社 視界制御装置、視界制御システム、視界制御方法、及び、視界制御プログラム
JP2016186786A (ja) * 2015-01-21 2016-10-27 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 画像及びオーディオデータに基づいた危険の検出及び警告用のウェアラブルスマート装置
JP2017068086A (ja) * 2015-09-30 2017-04-06 東芝情報システム株式会社 画像情報表示システム及び画像情報表示方法
JPWO2017077660A1 (ja) * 2015-11-06 2017-11-02 株式会社三和機工 体感型仮想現実空間システム
JP2018010657A (ja) * 2013-06-08 2018-01-18 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法
WO2018084227A1 (ja) * 2016-11-02 2018-05-11 シャープ株式会社 端末装置、動作方法及びプログラム
WO2018105552A1 (ja) * 2016-12-09 2018-06-14 株式会社ソニー・インタラクティブエンタテインメント 音声制御装置、音声制御方法及びプログラム
JP2018099523A (ja) * 2013-09-30 2018-06-28 株式会社ソニー・インタラクティブエンタテインメント 物理オブジェクトの画像をフェードアウトする方法
WO2020129422A1 (ja) * 2018-12-20 2020-06-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JPWO2019225192A1 (ja) * 2018-05-24 2021-07-01 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP7348261B2 (ja) 2011-10-28 2023-09-20 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153909A (ja) * 2004-11-25 2006-06-15 Olympus Corp 携帯情報端末装置
JP2007256915A (ja) * 2006-02-22 2007-10-04 Konica Minolta Holdings Inc 映像表示装置、及び映像表示方法
JP2008033219A (ja) * 2006-07-27 2008-02-14 Korea Electronics Telecommun 混合現実環境用のフェイスマウントディスプレイ装置
JP2011163776A (ja) * 2010-02-04 2011-08-25 Ono Sokki Co Ltd 音源モニタリング装置
JP7348261B2 (ja) 2011-10-28 2023-09-20 マジック リープ， インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
WO2013111267A1 (ja) * 2012-01-24 2013-08-01 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
EP2825898A4 (en) * 2012-03-12 2015-12-09 Nokia Technologies Oy TREATMENT OF A SOUND SOURCE
WO2013135940A1 (en) 2012-03-12 2013-09-19 Nokia Corporation Audio source processing
JP2018010657A (ja) * 2013-06-08 2018-01-18 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法
JP2014014090A (ja) * 2013-08-02 2014-01-23 Yupiteru Corp 車両用警報装置及びプログラム
US10532284B2 (en) 2013-09-30 2020-01-14 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP2018099523A (ja) * 2013-09-30 2018-06-28 株式会社ソニー・インタラクティブエンタテインメント 物理オブジェクトの画像をフェードアウトする方法
JP2016033764A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
US10114610B2 (en) 2014-07-31 2018-10-30 Seiko Epson Corporation Display device, method of controlling display device, and program
JP2016114892A (ja) * 2014-12-17 2016-06-23 Ｎｅｃソリューションイノベータ株式会社 視界制御装置、視界制御システム、視界制御方法、及び、視界制御プログラム
JP2016186786A (ja) * 2015-01-21 2016-10-27 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 画像及びオーディオデータに基づいた危険の検出及び警告用のウェアラブルスマート装置
JP2017068086A (ja) * 2015-09-30 2017-04-06 東芝情報システム株式会社 画像情報表示システム及び画像情報表示方法
JPWO2017077660A1 (ja) * 2015-11-06 2017-11-02 株式会社三和機工 体感型仮想現実空間システム
WO2018084227A1 (ja) * 2016-11-02 2018-05-11 シャープ株式会社 端末装置、動作方法及びプログラム
JPWO2018105552A1 (ja) * 2016-12-09 2019-06-24 株式会社ソニー・インタラクティブエンタテインメント 音声制御装置、音声制御方法及びプログラム
WO2018105552A1 (ja) * 2016-12-09 2018-06-14 株式会社ソニー・インタラクティブエンタテインメント 音声制御装置、音声制御方法及びプログラム
US10691405B2 (en) 2016-12-09 2020-06-23 Sony Interactive Entertainment Inc. Sound control apparatus, sound control method, and program
JPWO2019225192A1 (ja) * 2018-05-24 2021-07-01 ソニーグループ株式会社 情報処理装置及び情報処理方法
US11665460B2 (en) 2018-05-24 2023-05-30 Sony Group Corporation Information processing device and information processing method
WO2020129422A1 (ja) * 2018-12-20 2020-06-25 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN113196228A (zh) * 2018-12-20 2021-07-30 索尼集团公司 信息处理装置、信息处理方法和程序
JPWO2020129422A1 (ja) * 2018-12-20 2021-11-11 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
US11900729B2 (en) Eyewear including sign language to speech translation
JP2005165778A (ja) 頭部装着型表示装置、及びその制御方法
US10712998B2 (en) Information processing device, information processing method, and program
US9927948B2 (en) Image display apparatus and image display method
JP6030582B2 (ja) 視覚障害を有する個人のための光学装置
US8963956B2 (en) Location based skins for mixed reality displays
JP6770536B2 (ja) 仮想画像生成システムにおけるテキストをより効率的に表示するための技法
WO2016051775A1 (en) Head mounted display device adapted to the environment
US11314323B2 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
JP2008096868A (ja) 撮像表示装置、撮像表示方法
JP6492673B2 (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
US20210375301A1 (en) Eyewear including diarization
US11783582B2 (en) Blindness assist glasses
US11830494B2 (en) Wearable speech input-based vision to audio interpreter
EP4164565A1 (en) Blind assist eyewear with geometric hazard detection
JP2016212345A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
KR100917100B1 (ko) 입체 영상 디스플레이 장치 및 그 입체 영상 디스플레이장치에서의 표시부 위치 조절 방법
JP6500382B2 (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
JP2019020738A (ja) 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US20220148253A1 (en) Image rendering system and method
US11803058B1 (en) Blind assist glasses with remote assistance
US20230168522A1 (en) Eyewear with direction of sound arrival detection
US20220342222A1 (en) Eyewear having a projector with heat sink shields
US20230319476A1 (en) Eyewear with audio source separation using pose trackers
CN116774836A (zh) 一种气流产生方法、装置及电子设备

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070206