JP2008067218A - 撮像表示装置、撮像表示方法 - Google Patents
撮像表示装置、撮像表示方法 Download PDFInfo
- Publication number
- JP2008067218A JP2008067218A JP2006244685A JP2006244685A JP2008067218A JP 2008067218 A JP2008067218 A JP 2008067218A JP 2006244685 A JP2006244685 A JP 2006244685A JP 2006244685 A JP2006244685 A JP 2006244685A JP 2008067218 A JP2008067218 A JP 2008067218A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- user
- display
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
- Liquid Crystal Display Device Control (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【解決手段】ユーザが例えば眼鏡型もしくは頭部装着型の装着ユニットにより撮像表示装置を装着することで、目の前方に位置する表示手段を視認する状態となるようにする。そして撮像手段で撮像された画像を表示手段で表示させることで、ユーザが通常に視認する方向の光景の撮像画像を表示手段で視認できるようにする。そして表示手段に映し出す画像の態様を、ユーザの意志や視力、或いは身体状態などのユーザ状況に応じて変化させることでユーザの視覚能力を補助したり拡大した状態とする。
【選択図】図1
Description
そこで本発明では、ユーザの視力補助や視覚能力の拡張を実現することを目的とする。さらには、視力補助や視覚能力拡張を実現する表示動作や撮像動作の制御に関して、ユーザの状況(意志、視覚状態、身体状況等)に応じて、的確な動作制御が行われるようにする。
また上記制御手段は、上記使用者情報取得手段で取得された情報から、使用者の意志又は状況を判定し、判定結果に基づいて、上記撮像手段又は上記表示手段の動作を制御する。
また上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とを切換可能に構成する。
また上記撮像手段は、撮像素子としてCCDセンサもしくはCMOSセンサを用いて構成する。
また上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサであるとする。
また上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサであるとする。
また上記使用者情報取得手段は、使用者の視覚情報を検出する視覚センサである。
また上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサとする。
また上記使用者情報取得手段は、使用者の生体情報を検出する生体センサであるとする。
また上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとする。
また上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサとする。
また上記使用者情報取得手段は、少なくとも視力情報を入力することのできる入力部として形成されている。
また上記制御手段は、上記撮像手段における望遠撮像から広角撮像の可変制御を行う。
また上記制御手段は、上記撮像手段における焦点制御を行う。
また上記制御手段は、上記撮像手段における撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段におけるフレームレートの可変制御を行う。
また上記制御手段は、上記撮像手段における撮像レンズ系の動作制御を行う。
また上記制御手段は、上記撮像手段における撮像素子で得られる撮像信号の処理を行う撮像信号処理部の動作制御を行う。
また上記制御手段は、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行う。
また上記制御手段は、上記表示手段における表示画像の拡大/縮小の制御を行う。
また上記制御手段は、上記表示手段における画面分割表示の制御を行う。
また上記制御手段は、上記表示手段における表示輝度の制御を行う。
また上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を行う。
また上記被写体方向に対して照明を行う照明手段を更に備え、上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行う。
これはユーザにとっては、通常に視認する前方の光景を、本発明の撮像表示装置を介して見ることになるが、するとこの場合、ユーザは表示手段に映し出された画像を通常の視覚風景として見ることになる。ここで、表示手段に映し出す画像の態様を、ユーザの意志や視力、或いは身体状態などのユーザ状況に応じて変化させると、ユーザの視覚能力を補助したり拡張した状態とすることができる。
例えば望遠画像を表示させれば、ユーザが通常では見えない遠方の光景が見える。また本や新聞を見ているときに、表示手段でそれらの文字の拡大表示を行えば、視力の低いユーザにとって、見やすいものとなる。
即ち、ユーザ状況に応じて撮像手段や表示手段の動作を制御し、表示される撮像画像の態様を制御することで、ユーザにとって快適な視覚状況を作り出すことができる。
また撮像手段又は表示手段の制御による表示態様の変更は、ユーザの動作又は身体の状況の情報から判定されるユーザの意志又は状況に基づいて行うことで、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示手段は、撮像手段による撮像画像を表示させずに透明又は半透明のスルー状態ともできるようにもすることで、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の撮像表示装置の利点を有効に得ることができる。
[1.撮像表示装置の外観例]
[2.撮像表示装置の構成例]
[3.表示例]
[4.ユーザ状況の判定]
[5.各種動作例]
[6.実施の形態の効果、変形例及び拡張例]
実施の形態として、図1に眼鏡型ディスプレイカメラとした撮像表示装置1の外観例を示す。撮像表示装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置1は、図1のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用途右眼用の一対の表示部2、2が配置される構成とされている。この表示部2には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部2がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが設けられる。発光部4aは例えばLED(Light Emitting Diode)により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ5aが設けられる。
また右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイクロホン6a,6bが配置される。
またイヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために1つ設けられるのみでもよい。またマイクロホンも、マイクロホン6a,6bのうちの一方でもよい。さらには、撮像表示装置1としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部4aを設けない構成も考えられる。
図2に撮像表示装置1の内部構成例を示す。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置1の全体を制御する制御部とされる。
このシステムコントローラ10はユーザの状況に基づいて、撮像表示装置1内の各部の制御を行う。つまりユーザの状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するようにユーザの状況を判定するユーザ状況判定機能10aと、ユーザ状況判定機能10aの判定結果に従って各部に制御指示を行う動作制御機能10bを有することになる。
撮像部3は、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部11のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部11は、固体撮像素子及び撮像信号処理部15における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部11は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号は表示画像処理部12に供給される。表示画像処理部12は、例えばいわゆるビデオプロセッサとされ、供給された撮像信号に対して各種表示処理を実行できる部位とされる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また表示画像処理部12は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成や、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成や、生成した画像を撮像画像に合成する処理なども行うことができる。つまり撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
表示制御部14は、システムコントローラ10の指示に基づいて、表示画像処理部12の処理動作や表示駆動部13の動作を制御する。即ち表示画像処理部12に対しては、上記の各種処理を実行させる。また表示駆動部13に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
なお以下では、表示部2を透明もしくは半透明とする「スルー状態」に対して、表示部2で画像表示を行っている動作(及びその状態)を「モニタ表示」(「モニタ表示状態」)と言うこととする。
音声入力部6は、図1に示したマイクロホン6a,6bと、そのマイクロホン6a,6bで得られた音声信号を処理するマイクアンプ部を有して成る。
音声信号処理部16は、例えばA/D変換器、デジタルシグナルプロセッサ、D/A変換器などからなり、音声入力部6から供給される音声信号をデジタルデータに変換して、システムコントローラ10の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声信号をアナログ信号に変換して音声出力部2に供給する。なお、音声信号処理部16は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部5は、図1に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ5aに対するアンプ回路を有する。
この音声入力部6、音声信号処理部16,音声出力部5により、ユーザは外部音声を当該撮像表示装置1を介して聞くことができる。
なお、音声出力部5は、いわゆる骨伝導スピーカとして構成されても良い。
照明部4における発光部4aが図1に示したように前方に対する照明を行うものとして取り付けられていることで、照明部4はユーザの視界方向に対する照明動作を行うことになる。
視覚センサ19は、ユーザの視覚に関する情報を検出する。視覚センサ19は、例えばユーザの視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉など、視覚に関する情報を検知することができるセンサである。
加速度センサ20、及びジャイロ21は、ユーザの動きに応じた信号を出力する。例えば頭部の動き、首の動き、全身の動き、腕部の動き、脚部の動きなどを検出するためのセンサである。
生体センサ22は、ユーザの生体情報を検出する。例えば生体センサ22は、ユーザの心拍情報、脈拍情報、発汗情報、脳波情報、又は皮膚電気反応(GSR)、体温、血圧、呼吸活動情報等を検出するセンサである。これらの生体センサ22の検出信号は、例えばユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態などを判定できる情報となる。
入力部17は、ユーザは手動で情報を入力できる部位として示している。例えば入力部17にはユーザが自分の視力を入力できる操作子が形成される。
システムコントローラ10はユーザ状況判定機能10aの処理により、取得した使用者情報からユーザの意志又は状況を判定する。そしてシステムコントローラ10は判定したユーザの意志又は状況に応じて動作制御機能10bの処理により、撮像動作や表示動作に関する制御を行う。即ちシステムコントローラ10は撮像制御部11に指示して撮像部3や撮像信号処理部15の動作を制御し、また表示制御部14に指示して表示画像処理部12や表示駆動部13の動作を制御する。
システムコントローラ10が、ユーザの意志又は状況に応じて撮像動作や表示動作に関する制御を行うことは、結果として表示部2における多様な表示態様としてユーザに認識される。図3から図9により、各種の表示態様を例示する。
図3(a)は表示部2がスルー状態となっている場合を示しているとする。つまり、表示部2は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部2を介して見ている状態である。
図3(b)は、モニタ表示状態として、撮像部3で撮像した画像が表示部2に表示された状態である。例えば図3(a)の状態で撮像部3,撮像信号処理部15,表示画像処理部12,表示駆動部13が動作し、これらの部位が撮像画像を通常に表示部2に表示した状態である。この場合の表示部2に表示される撮像画像(通常撮像画像)は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。
図示しないが、逆にシステムコントローラ10が撮像制御部11を介して撮像部3に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部2に表示されることになる。なお、望遠−広角の制御は、撮像部3におけるズームレンズの駆動制御の他、撮像信号処理部15での信号処理でも可能である。
図4(b)は、いわゆる広角ズームとした状態である。即ち近距離の焦点位置状態でズーム撮像を行い、例えば新聞等の文字がユーザに拡大されるように表示部2に表示されている状態である。
このときにシステムコントローラ10が、表示制御部14を介して表示画像処理部12に対して画像拡大処理を指示することで、図5(b)のような拡大画像が表示部2に表示されることになる。
このような場合に、システムコントローラ10は撮像制御部11(撮像部3,撮像信号処理部15)に対して撮像感度を上げることを指示したり、表示制御部14(表示画像処理部12、表示駆動部13)に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図6(b)のように、よりはっきりした画像を表示部2に表示させることができる。なお、照明部4に照明動作を実行させることも、このような表示を行う場合に好適となる。
このときにシステムコントローラ10が、撮像制御部11(撮像部3,撮像信号処理部15)に対して赤外線撮像感度の上昇を指示することで、図7(b)のように赤外線撮像画像が表示部2に表示され、暗い部屋で子供の寝顔などを確認できる。
システムコントローラ10が、撮像制御部11(撮像部3,撮像信号処理部15)に対して紫外線撮像感度の上昇を指示することで、図8(b)のように紫外光成分を表した撮像画像が表示部2に表示される。
システムコントローラ10が表示制御部14(表示画像処理部12、表示駆動部13)に対して分割表示及び分割画面での拡大表示を指示することにより、図9(b)のような画像を表示部2に表示させることができる。即ち表示部2の画面上を領域AR1、AR2に分割し、領域AR1はスルー状態又は通常画像表示とし、領域AR2には拡大画像とした例である。
また図9(c)は他の分割表示の例を示しており、この場合は表示部2の画面上を領域AR1、AR2、AR3,AR4に分割するとともに、各領域には、所定時間間隔で撮像画像の1フレームを抽出して表示させている。例えば表示画像処理部12に、撮像画像信号において0.5秒間隔で1フレームを抽出させ、抽出したフレームの画像を領域AR1→AR2→AR3→AR4→AR1→AR2・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部2で分割表示により実行した例である。
例えば、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示(高フレームレートでの撮像など)、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、モザイク画像/輝度反転画像/ソフトフォーカス画像/画面内の一部のハイライト表示画像/画像全体の色の雰囲気の可変などの画像エフェクト表示、スロー表示、コマ送り表示、これらの各種の撮像画像表示を組み合わせた分割表示、スルー状態と撮像画像を組み合わせた分割表示、ストロボ表示、撮像画像の1フレームの表示を継続させる静止画表示など、非常に多様な表示態様が想定される。
上述したように本例の撮像表示装置1は、使用者情報を取得するための構成として、視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22、及び入力部17を有する。
或いは視覚センサ19は、表示部2の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
またシステムコントローラ10は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、撮像表示装置1に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大/縮小制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみモニタ表示の動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが3回まばたきをすることを、所定の操作入力と判定するなどである。
加速度センサ20やジャイロ21の配置位置にもよるが、加速度センサ20やジャイロ21によって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図1のような眼鏡型の撮像表示装置1の内部に取り付けられた場合、つまり加速度センサ20及びジャイロ21がユーザの頭部の動きを検出するものとされた場合は、加速度センサ20の情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロ21はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ10はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に2回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ20及びジャイロ21によっては、ユーザが静止状態(非歩行状態)であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサ20やジャイロ21が、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
また撮像表示装置1をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ10は、ユーザが撮像表示装置1を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが撮像表示装置1を装着したことを検知したら、電源オン状態とすることや、逆にユーザが撮像表示装置1の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサ22による検出情報は、ユーザの個人認証(装着者個人の識別)にも利用できる。
なお生体センサ22は、例えば眼鏡型の撮像表示装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、撮像表示装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
本実施の形態の撮像表示装置1は、以上のように視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22、入力部17から検出されるユーザの情報に応じて、システムコントローラ10が撮像動作や表示動作を制御することで、表示部2においてユーザの意志や状況に応じた表示を実行し、これによってユーザの視覚の補助や拡張を実現するものである。
このためのシステムコントローラ10の制御に基づく各種動作例を説明していく。
ステップF101は、システムコントローラ10が表示制御部14に対して表示部2をスルー状態とする制御処理を示している。例えば撮像表示装置1が電源オンとされた初期段階では、システムコントローラ10はステップF101で表示部2をスルー状態に制御する。
表示部2をスルー状態にしている期間は、システムコントローラ10はステップF102でモニタ表示状態の開始のトリガが発生したか否かを確認している。ここではモニタ表示状態を開始させるトリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、モニタ表示を開始させるとシステムコントローラ10自身が判断することを意味している。ユーザの操作、ユーザの意識的な動作(操作と認識される動作)、又はユーザの無意識な動作や状態(ユーザ個人の認識も含む)によって、システムコントローラ10はモニタ表示の開始トリガの有無を判断する。具体例は後述する。
この処理により、例えば図3(a)のスルー状態から例えば図3(b)の通常撮像画像のモニタ表示状態となる。
画像制御のトリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、モニタ表示の表示画像態様の変更を行うとシステムコントローラ10自身が判断することを意味している。またモニタ表示の終了のトリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、モニタ表示を終了してスルー状態への切り換えを行うとシステムコントローラ10自身が判断することを意味している。ユーザの操作、ユーザの意識的な動作(操作と認識される動作)、又はユーザの無意識な動作や状態(ユーザの身体状況やユーザ個人の認識など)によって、システムコントローラ10はモニタ表示の終了トリガの有無を判断する。これらについても具体例は後述する。
ステップF106で表示態様に関しての制御を行った後も、ステップF104,F105のトリガ発生の監視を行う。
そしてこの処理においては、モニタ表示開始トリガの判断によるモニタ表示の開始制御、画像制御トリガの判断による表示態様制御、及びモニタ表示終了トリガの判断によるモニタ表示を停止させてスルー状態とする制御を行うが、これらのトリガ判断と制御内容の具体例について、図11以降で説明していく。
図11から図19は、システムコントローラ10のユーザ状況判定機能10aとしての処理例を示しており、これらは動作制御機能10bによる上記図10の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ10が図10の処理を実行している期間中に、図11〜図19のような検知処理が定期的に割込処理としてに行われればよいものである。これら図11〜図19のような処理のプログラムは、図10の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
図11(a)(b)は、ユーザの挙動をモニタ表示開始の操作として検知する例である。
図11(a)のステップF200では、システムコントローラ10が加速度センサ20、又はジャイロ21からの検出情報(加速度信号、角速度信号)を監視する処理を示している。
例えば首を縦に2回振る、左右に1往復振る、首を1周回す・・など、特定の動作を、ユーザがモニタ表示を求める操作であると設定されているとする。システムコントローラ10は、加速度センサ20又はジャイロ21(又はその両方)からの検出情報により、そのようなモニタ表示開始の意志を示す特定の動作に相当する動作があったと判別した場合は、処理をステップF201からF202に進め、撮像信号のモニタ表示開始のトリガ発生と判別する。
このようにステップF202でモニタ表示開始のトリガ発生と判別することにより、上記図10の処理はステップF102からF103に進むことになり、システムコントローラ10は表示部2において撮像画像の表示を開始する制御を実行することになる。
なお加速度センサ20又はジャイロ21からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えばジャンプする、手を振る、腕をゆらす、足をゆらすなど、他にも各種考えられる。
システムコントローラ10はステップF210で、視覚センサ19からの情報を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
例えばまばたきを3回連続して行うという特定の動作を、ユーザがモニタ表示を求める操作であると設定されているとすると、システムコントローラ10は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検知したら、処理をステップF211からF212に進め、撮像信号のモニタ表示開始のトリガ発生と判別する。
ステップF212でモニタ表示開始のトリガ発生と判別することにより、上記図10の処理はステップF102からF103に進むことになり、システムコントローラ10は表示部2において撮像画像の表示を開始する制御を実行することになる。
なお視覚センサ19からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えば眼球を回す、眼球を左右又は上下に2往復させるなど、他にも各種考えられる。
例えばスルー状態からモニタ表示状態に切り換えることに関しては、操作スイッチを設け、その操作スイッチの操作に応じて実行するようにしてもよい。
また、ユーザが入力部17から視力情報を入力した場合は、それをモニタ表示開始のトリガとするようにしてもよい。
従って、システムコントローラ10は、撮像表示装置1が或るユーザ装着された際に個人認証を行い、特定のユーザを認識した場合に、それをモニタ表示開始のトリガと判別し、モニタ表示状態とするように制御することができる。
また例えば撮像表示装置1による機能を特定のユーザのみしか使用できないようにしたい場合には、モニタ表示の開始トリガと判別する条件に、このような個人認証を加えればよい。
図12(a)は、ユーザの視線の動きによりズーム制御を行う例である。
システムコントローラ10は図12(a)のステップF300で、視覚センサ19からの情報を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
ここで、システムコントローラ10は、ユーザの視線方向が下方に移動したことを検知したら、ステップF301からF302に進め、ズームアップ(広角ズーム)表示への切換トリガの発生と判別する。
ステップF302で広角ズームへの切換トリガ発生と判別することにより、上記図10の処理はステップF104からF106に進むことになり、システムコントローラ10は撮像制御部11にズームアップ動作を指示する。これにより、表示部2では、例えば図4(b)のような表示が行われる。
ユーザの視線が下方に向くときは、新聞や書籍を読んだり、目の前の非常に近い位置を見ようとしているときであるため、このようにズームアップされることで、特に近視或いは老眼のユーザにとって好適な表示となる。
システムコントローラ10は図12(b)のステップF310で、視覚センサ19からの情報を解析し、ユーザの眼の焦点距離や視線方向を検出する。またステップF311でシステムコントローラ10は加速度センサ20、ジャイロ21からの検出情報(加速度信号、角速度信号)を監視し、ユーザの首の動きを判別する。
そしてシステムコントローラ10はステップF312,F313で、焦点距離及び首の向きの検出結果から、ユーザが近傍を見る状態にあるか、遠方を見る状態にあるかを判別する。
またシステムコントローラ10は、ユーザが遠方を見ていると判別したらステップF313からF315に進んで、望遠ズーム表示への切換トリガの発生と判別する。そしてステップF316で、その際の焦点距離とユーザの首(頭部)の向きから適切なズーム倍率を算出する。
このステップF314,F316、もしくはステップF315、F316の処理が行われることで、システムコントローラ10の図10の処理はステップF104からF106に進むことになり、撮像制御部11に計算した倍率でのズーム動作を指示する。
これにより表示部2では、ユーザが見ようとしている光景に応じて図4(b)のようなズームアップ画像や、図3(c)のような望遠画像が表示されることになる。
またこのような制御は、遠視と近視の両方を補助するような機能ともなる。
システムコントローラ10は、入力部17から視力情報が入力されたら、処理を図13(a)のステップF400からF401に進め、視力に応じた表示への切換トリガの発生と判別する。そしてステップF402で、視力の値に応じた倍率を計算する。
このステップF401,F402の処理が行われることで、システムコントローラ10の図10の処理はステップF104からF106に進むことになり、表示画像処理部12に対して計算した倍率での拡大表示を指示する。この処理により、表示部2では、ユーザの視力に応じた拡大画像が表示されることになる。
なお、システムコントローラ10は例えば内部メモリに、ユーザの眼底パターンと視力情報を対応させて予め登録しておき、眼底パターン検出でユーザ特定し、それをトリガとして、その視力に応じた拡大画像表示を行うようにしても良い。
システムコントローラ10は図13(b)のステップF410で、加速度センサ20、ジャイロ21からの検出情報(加速度信号、角速度信号)を監視し、ユーザの動きを判別する。例えば歩行していない静止状態であるか否かを判別する。またステップF411でシステムコントローラ10は視覚センサ19からの情報を解析し、ユーザの眼の焦点距離や瞳孔の開き具合、眼の細め方(まぶたの状態)を検出する。
そしてシステムコントローラ10は、ユーザが静止状態で、近距離を見ている、或いはまぶたを細めていると判断した場合は、処理をステップF412からF413に進め、老眼等の対応の表示のトリガ発生と判別する。
このステップF413でトリガ発生とされることで、システムコントローラ10の図10の処理はステップF104からF106に進むことになり、この場合は撮像部13の撮像感度の向上や、撮像信号処理部15もしくは表示画像処理部12に対して輝度上昇、コントラスト上昇、輪郭強調(シャープネス強調)などの処理を指示する。この処理により、表示部2では、図6(b)のように、はっきりした画像を表示させる。これにより老眼のユーザや、或いは暗い場所にいるユーザが例えば新聞等を読む場合の視覚補助となる。
なお、この場合に、さらに図4(b)に示したように画像拡大表示を行うようにすることも想定される。
また瞳孔の開き具合から暗い状況と判断した場合は、更にシステムコントローラ10は照明部4に照明を実行させる制御を行っても良い。
システムコントローラ10は図14のステップF420で、視覚センサ19からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況(単位時間あたりのまばたき回数など)を検出する。
またステップF421で、生体センサ22からの脳波、心拍数、発汗量、血圧などの情報をチェックする。
システムコントローラ10は、これらの視覚センサ19や生体センサ22からの情報に基づいて、表示部2の表示画像に対してユーザが快適な状態であるか不快な状態であるか否かを判断する。
そしてシステムコントローラ10は、ユーザの画像感知状況が快適ではないと判断した場合は、処理をステップF422からF423に進め、画像の調整制御のトリガ発生と判別する。その場合ステップF424で、ユーザの状況に応じて快適と考えられる調整値、例えば表示輝度、コントラスト、シャープネス、撮像感度等、照明の明るさなどの調整値を算出する。
このステップF423,F424の処理により、システムコントローラ10の図10の処理はステップF104からF106に進むことになり、この場合は撮像部13の撮像感度の調整、撮像信号処理部15もしくは表示画像処理部12に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部2での表示画像の画質が調整され、ユーザにとって快適な表示画像となる。また暗い状況と判断した場合は、システムコントローラ10は照明部4に照明を実行させる制御を行っても良い。
例えばユーザの視力状況や、周囲の明るさ、更には眼の疲れなどによって、ユーザの視覚感知状況が不快な状態になったときに、このような処理が行われることで、快適な視覚状況を提供できる。例えば暗くて見にくい場合には、はっきり見えるような画像を提供し、また眼が疲れてきたような場合は、柔らかな画質の画像とすることなどである。
システムコントローラ10はステップF500で、加速度センサ20、ジャイロ21からの検出情報(加速度信号、角速度信号)を監視し、ステップF501でユーザの頭部の動きを判定する。例えばここでは、後ろに2回頭部を傾ける動作があったか、又は前に2回頭部を傾ける動作があったか、又は2回左に首を振る動作があったかを判定する。
後ろに2回頭部を傾ける動作を検出した場合、システムコントローラ10は処理をステップF502からF505に進め、望遠倍率2倍への画像切換のトリガ発生と判別する。
この場合、システムコントローラ10の図10の処理はステップF104からF106に進むことになり、撮像制御部11に倍率2倍のズーム動作を指示する。これにより表示部2では、図3(c)のような2倍の望遠倍率の画像が表示されることになる。
もちろん首の挙動以外にも、ジャンプなど身体全体の挙動や、手、腕、脚部の動きを、それぞれ所定の操作と判定するようにしてもよい。
またユーザの挙動に応じては、ズーム制御ではなく、図5(b)のような画像の拡大や、画像縮小の制御、撮像感度の制御、撮像フレームレートの切換、図7(b)のような赤外線感度向上表示の制御、図8(b)のような紫外線感度向上表示の制御、図9(b)の分割表示の制御、図9(c)のようなストロボ表示の制御など、他の制御を行うようにしても良い。
システムコントローラ10は図16のステップF600で、視覚センサ19からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきを検出する。またステップF601でシステムコントローラ10は加速度センサ20、ジャイロ21からの検出情報(加速度信号、角速度信号)を監視し、ユーザの首の動きや全身の動作(静止(非歩行状態)しているか否か)を判別する。
そしてシステムコントローラ10は、ステップF602では、ユーザが静止状態で下向きであり、さらに周囲が暗い状況であり、その上で例えばまばたき3回という特定の挙動を行ったか否かを判別する。
即ち加速度センサ20、ジャイロ21からの検出情報で、ユーザが首を下方に向けて静止しているという状況を判定し、また瞳孔の開き具合から暗い状況であるかを判定する。そしてこれらの条件が満たされている上で、ユーザがまばたきを3回を連続して行ったか否かを判定する。
ユーザが首を下方に向けて静止し、かつ周囲が暗い状況であるというのは、例えば薄暗い部屋で読書を行っているような状況である。このようなときにユーザは意識的な操作としてまばたきを3回行ったことが、ユーザは明るく見やすい画像を求めていると判断する。そこで、そのような状況でまばたき3回を検知したら、システムコントローラ10はステップF603に進み、画像の調整制御のトリガ発生と判別する。
このステップF603の処理により、システムコントローラ10の図10の処理はステップF104からF106に進むことになり、この場合は撮像部13の撮像感度の上昇、撮像信号処理部15もしくは表示画像処理部12に対して輝度増大、コントラスト強調、シャープネス強調などの処理を指示する。またシステムコントローラ10は照明部4に照明を実行させる制御を行っても良い。
するとユーザにとって快適な状況で画像を見ることができるようになる。
また、ここではユーザのまばたきという操作を、ユーザの状況や周囲環境の条件が満たされた限りは有効とするものであるが、これは、ユーザが無意識に操作に該当する挙動を行ってしまったような場合でも、むやみに画像が変化されないような処理として有効である。
図17(a)において、システムコントローラ10はステップF700で、加速度センサ20、ジャイロ21からの検出情報(加速度信号、角速度信号)を監視し、ユーザの首の動きや全身の動作などを判別する。
またステップF701で、生体センサ22からの脳波、心拍数、発汗量、血圧などの情報をチェックする。システムコントローラ10は、生体センサ22からの情報に基づいて、ユーザが緊張又は興奮状態にあるか否かを判断する。
そしてシステムコントローラ10は、ユーザが赤外線撮像を指示する特定の挙動(例えば首を2回振るなど)を行ったことを検知したら、処理をステップF702からF703に進め、このときユーザが緊張又は興奮状態にあるか否かを判定する。
緊張又は興奮状態ではないと判断したら、ユーザの挙動を、有効な操作とし、ステップF704に進んで、赤外線感度上昇撮像のトリガ発生と判断する。
このステップF704の処理により、システムコントローラ10の図10の処理はステップF104からF106に進むことになり、この場合は撮像部3の赤外線撮像感度の上昇を指示する。これにより図7(b)のような画像が表示部2に表示されることになる。
一方、ステップF703でユーザが緊張又は興奮状態と判断した場合は、赤外線感度上昇撮像のトリガが発生したとは判断しないものとしている。つまりユーザの挙動による操作を無効とする。
このように、ユーザの身体状況を条件に入れた上で、挙動による操作の有効性を判断する例も考えられる。例えば、赤外線感度上昇撮像などの特殊撮像機能が悪用されるような事態の防止に有効である。
図17(b)において、システムコントローラ10はステップF710で、加速度センサ20、ジャイロ21からの検出情報(加速度信号、角速度信号)を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ10は、ユーザが紫外線撮像を指示する特定の挙動を行ったことを検知したら、処理をステップF711からF712に進め、紫外線感度上昇撮像のトリガ発生と判断する。
このステップF712の処理により、システムコントローラ10の図10の処理はステップF104からF106に進むことになり、この場合は撮像部3の紫外線撮像感度の上昇を指示する。これにより図8(b)のような画像が表示部2に表示されることになる。
また、以上のように画像制御のトリガに応じて表示部2の表示態様を切り換える際には、図9(b)のように表示部2の画面上でスルー状態もしくは通常撮像画像の領域AR1を残し、一部の領域AR2において、異なる態様の画像の表示を行うようにしてもよい。もちろん逆に広い領域AR1において、画像制御トリガに応じた画像を表示してもよいし、画面上を等分割して、通常撮像画像と、画像制御トリガに応じた画像を表示してもよい。
図18(a)は、ユーザが意識的な挙動によりモニタ表示を終了させる処理例である。
図18(a)において、システムコントローラ10はステップF800で、加速度センサ20、ジャイロ21からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ10は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップF801からF802に進め、撮像画像のモニタ表示の終了トリガ発生と判断する。
このステップF802の処理により、システムコントローラ10の図10の処理はステップF105からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。これにより表示部2は図3(a)のようなスルー状態に戻る。
システムコントローラ10は図18(b)のステップF810で、視覚センサ19からの情報を解析する。例えばまばたきを3回連続して行うという特定の動作を、ユーザがモニタ表示の終了を求める操作であると設定されているとすると、システムコントローラ10は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検知したら、処理をステップF811からF812に進め、撮像信号のモニタ表示終了のトリガ発生と判別する。
このステップF812の処理により、システムコントローラ10の図10の処理はステップF105からF101に進み、表示制御部14にスルー状態への切換を指示する。これにより表示部2は図3(a)のようなスルー状態に戻る。
もちろん、スルー状態に戻すというユーザの意志を表す挙動は、他にも各種考えられる。
図19(a)において、システムコントローラ10はステップF900で、加速度センサ20、ジャイロ21からの検出情報を監視し、ユーザの全身の動作を判別する。特にユーザが静止状態を保っているか、或いは歩行状態又は走行状態となったかを検知する。
そしてシステムコントローラ10は、ユーザが歩行又は走行を開始したと判断した場合は、処理をステップF901からF902に進め、撮像画像のモニタ表示の終了トリガ発生と判断する。
このステップF902の処理により、システムコントローラ10の図10の処理はステップF105からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。これにより表示部2は図3(a)のようなスルー状態に戻る。
なお、ここではスルー状態に戻すとして説明したが、例えば歩行又は走行状態においては、スルー状態と同様のモニタ表示として、図3(b)のような通常撮像画像の表示に切り換えるようにしてもよい。
図19(b)において、システムコントローラ10はステップF910で、生体センサ22からの情報、例えば脳波、心拍数、発汗量、血圧などの情報をチェックする。システムコントローラ10は、生体センサ22からの情報に基づいて、ユーザが緊張又は興奮状態にあるか否かを判断する。
そして、赤外線感度上昇撮像を実行中である場合は、ステップF911からF912に進み、ユーザが緊張又は興奮状態にあるか否かを判定する。
緊張又は興奮状態ではないと判断した場合は、そのまま赤外線感度上昇撮像を続行許可するが、ユーザが緊張又は興奮状態であると判断した場合は、ステップF913に進み、その時点で撮像画像のモニタ表示の終了トリガ発生と判断する。
このステップF913の処理により、システムコントローラ10の図10の処理はステップF105からF101に進むことになり、この場合は表示制御部14にスルー状態への切換を指示する。つまり赤外線感度上昇撮像のモニタ表示が終了され、表示部2はスルー状態に戻る。
なお、この場合も、スルー状態に戻すとして説明したが、例えば赤外線感度上昇撮像を終了させて通常撮像画像の表示に切り換えるようにしてもよい。
以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された撮像部3で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示部2で表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいて撮像動作又は表示動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができる。
また撮像部3の撮像動作や撮像信号処理部15、表示画像処理部12の信号処理に対する制御による表示態様の変更は、ユーザの動作又は身体の状況の情報から判定されるユーザの意志又は状況に基づいて行うことで、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示部2は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットが装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の撮像表示装置1の利点を有効に活用できる。
例えば撮像部3で撮像した画像信号を記録するストレージ部や、他の機器に送信する送信部を設けてもよい。
さらには、表示部2で表示させる画像のソースとして、撮像部3に加えて、外部機器から映像を入力する入力部や受信部を設けても良い。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、音声出力部5から出力させるようにすることも考えられる。
また、撮像表示画像1として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の撮像表示装置は、ユーザの視界方向を撮像するとともに、ユーザの眼前で表示を行うことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。
Claims (29)
- 使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、
上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段と、
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、
上記使用者情報取得手段で取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御手段と、
を備えることを特徴とする撮像表示装置。 - 上記制御手段は、上記使用者情報取得手段で取得された情報から、使用者の意志又は状況を判定し、判定結果に基づいて、上記撮像手段又は上記表示手段の動作を制御することを特徴とする請求項1に記載の撮像表示装置。
- 上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とを切換可能であることを特徴とする請求項1に記載の撮像表示装置。
- 上記撮像手段は、撮像素子としてCCDセンサもしくはCMOSセンサを用いて構成されていることを特徴とする請求項1に記載の撮像表示装置。
- 上記使用者情報取得手段は、加速度、角速度、又は振動を検出するセンサであることを特徴とする請求項1に記載の撮像表示装置。
- 上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサであることを特徴とする請求項1に記載の撮像表示装置。
- 上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサであることを特徴とする請求項1に記載の撮像表示装置。
- 上記使用者情報取得手段は、使用者の視覚情報を検出する視覚センサであることを特徴とする請求項1に記載の撮像表示装置。
- 上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサとされていることを特徴とする請求項1に記載の撮像表示装置。
- 上記使用者情報取得手段は、使用者の生体情報を検出する生体センサであることを特徴とする請求項1に記載の撮像表示装置。
- 上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとされていることを特徴とする請求項1に記載の撮像表示装置。
- 上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサとされていることを特徴とする請求項1に記載の撮像表示装置。
- 上記使用者情報取得手段は、少なくとも視力情報を入力することのできる入力部として形成されていることを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記撮像手段における撮像動作のオン/オフの制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記撮像手段における望遠撮像から広角撮像の可変制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記撮像手段における焦点制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記撮像手段における撮像感度の可変制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記撮像手段におけるフレームレートの可変制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記撮像手段における撮像レンズ系の動作制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記撮像手段における撮像素子で得られる撮像信号の処理を行う撮像信号処理部の動作制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とが切換可能とされるとともに、
上記制御手段は、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行うことを特徴とする請求項1に記載の撮像表示装置。 - 上記制御手段は、上記表示手段における表示画像の拡大/縮小の制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記表示手段における画面分割表示の制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記表示手段における表示輝度の制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記制御手段は、上記表示手段で表示させる画像信号の信号処理の制御を行うことを特徴とする請求項1に記載の撮像表示装置。
- 上記被写体方向に対して照明を行う照明手段を更に備え、
上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行うことを特徴とする請求項1に記載の撮像表示装置。 - 使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され上記撮像手段で撮像された画像の表示を行う表示手段とを備えた撮像表示装置の撮像表示方法として、
使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
上記使用者情報取得ステップで取得された情報に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御ステップと、
を備えることを特徴とする撮像表示方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006244685A JP4961914B2 (ja) | 2006-09-08 | 2006-09-08 | 撮像表示装置、撮像表示方法 |
US11/843,284 US7855743B2 (en) | 2006-09-08 | 2007-08-22 | Image capturing and displaying apparatus and image capturing and displaying method |
EP08021752A EP2048875A3 (en) | 2006-09-08 | 2007-09-05 | Image capturing and displaying apparatus and image capturing and displaying method |
EP07017418A EP1898634A3 (en) | 2006-09-08 | 2007-09-05 | Image capturing and displaying apparatus and image capturing and displaying method |
CN 200710153620 CN101141567B (zh) | 2006-09-08 | 2007-09-07 | 图像获取和显示设备以及图像获取和显示方法 |
CN2009101268115A CN101520690B (zh) | 2006-09-08 | 2007-09-07 | 图像获取和显示设备以及图像获取和显示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006244685A JP4961914B2 (ja) | 2006-09-08 | 2006-09-08 | 撮像表示装置、撮像表示方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008067218A true JP2008067218A (ja) | 2008-03-21 |
JP2008067218A5 JP2008067218A5 (ja) | 2009-10-01 |
JP4961914B2 JP4961914B2 (ja) | 2012-06-27 |
Family
ID=39193289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006244685A Active JP4961914B2 (ja) | 2006-09-08 | 2006-09-08 | 撮像表示装置、撮像表示方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4961914B2 (ja) |
CN (2) | CN101520690B (ja) |
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010232962A (ja) * | 2009-03-27 | 2010-10-14 | Casio Computer Co Ltd | 撮影装置、撮像方法、及びプログラム |
WO2012132289A1 (ja) * | 2011-03-25 | 2012-10-04 | パナソニック株式会社 | 表示装置 |
JP2013506218A (ja) * | 2009-10-01 | 2013-02-21 | オラワークス・インコーポレイテッド | 端末の動きまたは姿勢に基づいてビジュアルサーチを行うための方法、端末およびコンピュータ読取可能な記録媒体 |
JP5273323B1 (ja) * | 2013-03-13 | 2013-08-28 | パナソニック株式会社 | ヘッドマウントディスプレイ装置 |
JP2013200325A (ja) * | 2012-03-23 | 2013-10-03 | Sony Corp | ヘッドマウントディスプレイ |
WO2014017200A1 (ja) | 2012-07-25 | 2014-01-30 | ソニー株式会社 | 情報処理装置及びプログラム |
JP2014509534A (ja) * | 2011-03-18 | 2014-04-21 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハー | 調整可能な視野を有する眼鏡デバイス及び方法 |
JP2014095903A (ja) * | 2013-11-20 | 2014-05-22 | Sony Corp | 頭部装着型ディスプレイにおける画像表示方法 |
KR20140066848A (ko) * | 2012-11-22 | 2014-06-02 | 경북대학교 산학협력단 | 얼굴 검출 장치 및 얼굴 검출 방법 |
JP2014155207A (ja) * | 2013-02-14 | 2014-08-25 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2014534655A (ja) * | 2011-08-30 | 2014-12-18 | マイクロソフト コーポレーション | 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ |
WO2014203440A1 (ja) * | 2013-06-19 | 2014-12-24 | パナソニックIpマネジメント株式会社 | 画像表示装置および画像表示方法 |
KR20150028084A (ko) * | 2013-09-05 | 2015-03-13 | 엘지전자 주식회사 | 디스플레이장치 및 디스플레이장치의 동작방법 |
JP2015099184A (ja) * | 2013-11-18 | 2015-05-28 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
WO2015098253A1 (ja) * | 2013-12-26 | 2015-07-02 | 株式会社ニコン | 電子機器 |
JP2015192697A (ja) * | 2014-03-31 | 2015-11-05 | ソニー株式会社 | 制御装置および制御方法、並びに撮影制御システム |
KR20160000741A (ko) * | 2014-06-25 | 2016-01-05 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
US9311752B2 (en) | 2010-04-08 | 2016-04-12 | Sony Corporation | Image displaying method for a head-mounted type display unit |
JP2016122244A (ja) * | 2014-12-24 | 2016-07-07 | セイコーエプソン株式会社 | 電子機器、表示装置、及び、電子機器の制御方法 |
WO2016139976A1 (ja) * | 2015-03-02 | 2016-09-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2017094800A1 (ja) * | 2015-11-30 | 2017-06-08 | 株式会社ニコン | 表示装置、表示プログラムおよび表示方法 |
JP2017102618A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社ニコン | 表示装置および表示プログラム |
JP2017120550A (ja) * | 2015-12-28 | 2017-07-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2017224141A (ja) * | 2016-06-15 | 2017-12-21 | 株式会社Nttドコモ | 情報表示装置 |
JP2018022442A (ja) * | 2016-08-05 | 2018-02-08 | 株式会社コーエーテクモゲームス | 演出処理プログラム及び情報処理装置 |
US9916691B2 (en) | 2013-02-14 | 2018-03-13 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
JPWO2018011892A1 (ja) * | 2016-07-12 | 2018-09-06 | 三菱電機株式会社 | 機器制御システム |
WO2019087996A1 (ja) * | 2017-10-30 | 2019-05-09 | ピクシーダストテクノロジーズ株式会社 | 網膜投影装置、網膜投影システム |
JP2020016869A (ja) * | 2018-07-27 | 2020-01-30 | 伸也 佐藤 | デジタル式望遠メガネ |
JP2021513154A (ja) * | 2018-01-31 | 2021-05-20 | 株式会社ソニー・インタラクティブエンタテインメント | 視標追跡システムの画像調整 |
JP2021089351A (ja) * | 2019-12-03 | 2021-06-10 | キヤノン株式会社 | 頭部装着システム及び情報処理装置 |
JP2021090518A (ja) * | 2019-12-09 | 2021-06-17 | 株式会社辰巳菱機 | 通報装置 |
JP2022502798A (ja) * | 2018-09-24 | 2022-01-11 | アイダプティック, インク.Eyedaptic, Inc. | 電子視覚補助具における自律的ハンズフリー制御の改善 |
JP2023513723A (ja) * | 2020-02-12 | 2023-04-03 | イマジンオプティクス・コーポレイション | 統合irのための光学素子、深度感知のための可視カメラ、およびこれを組み込んだシステム |
US11754844B2 (en) | 2016-09-22 | 2023-09-12 | Magic Leap, Inc. | Augmented reality spectroscopy |
US11852530B2 (en) | 2018-03-21 | 2023-12-26 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
US12066624B2 (en) | 2020-01-06 | 2024-08-20 | Eyeway Vision Ltd. | Eye tracking device and method thereof |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102404494B (zh) * | 2010-09-08 | 2015-03-04 | 联想(北京)有限公司 | 一种电子设备及获取确定区域中图像的方法 |
TWI425498B (zh) * | 2011-05-04 | 2014-02-01 | Au Optronics Corp | 關聯於雙影像應用的影音播放系統及其方法 |
WO2013093906A1 (en) * | 2011-09-19 | 2013-06-27 | Eyesight Mobile Technologies Ltd. | Touch free interface for augmented reality systems |
ES2577022T3 (es) * | 2011-11-03 | 2016-07-12 | Fortuna Urbis S.R.L. | Anteojos |
US20130137076A1 (en) * | 2011-11-30 | 2013-05-30 | Kathryn Stone Perez | Head-mounted display based education and instruction |
CN103258107A (zh) * | 2012-02-17 | 2013-08-21 | 普天信息技术研究院有限公司 | 一种监护方法和监护辅助系统 |
CN103294178A (zh) * | 2012-02-29 | 2013-09-11 | 联想(北京)有限公司 | 一种人机交互控制方法及电子终端 |
CN103369212B (zh) * | 2012-03-28 | 2018-06-05 | 联想(北京)有限公司 | 一种图像采集方法及设备 |
CN104395857A (zh) * | 2012-05-09 | 2015-03-04 | 英特尔公司 | 显示器的部分的基于眼球追踪的选择性强调 |
CN103576315B (zh) * | 2012-07-30 | 2017-03-01 | 联想(北京)有限公司 | 显示装置 |
CN103595984A (zh) * | 2012-08-13 | 2014-02-19 | 辉达公司 | 3d眼镜、3d显示系统及3d显示方法 |
CN103677704B (zh) * | 2012-09-20 | 2018-11-09 | 联想(北京)有限公司 | 显示装置和显示方法 |
CN103713387A (zh) * | 2012-09-29 | 2014-04-09 | 联想(北京)有限公司 | 电子设备和采集方法 |
CN108769883B (zh) * | 2012-12-17 | 2021-09-14 | 联想(北京)有限公司 | 头戴式电子设备和声音采集方法 |
WO2014103732A1 (ja) * | 2012-12-26 | 2014-07-03 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
CN103970258B (zh) * | 2013-01-28 | 2018-08-07 | 联想(北京)有限公司 | 穿戴式电子设备以及显示方法 |
US9661221B2 (en) * | 2013-03-15 | 2017-05-23 | Qualcomm Incorporated | Always-on camera sampling strategies |
CN103501406B (zh) | 2013-09-16 | 2017-04-12 | 北京智谷睿拓技术服务有限公司 | 图像采集系统及图像采集方法 |
CN103499886B (zh) * | 2013-09-30 | 2015-07-08 | 北京智谷睿拓技术服务有限公司 | 成像装置和方法 |
CN103499885B (zh) | 2013-09-30 | 2014-10-08 | 北京智谷睿拓技术服务有限公司 | 成像装置和方法 |
EP3058715B1 (en) * | 2013-10-14 | 2021-09-01 | Third Dot AB | Method of operating a wearable lifelogging device |
CN103558971A (zh) * | 2013-10-29 | 2014-02-05 | 小米科技有限责任公司 | 一种浏览方法、装置及终端设备 |
CN103593051B (zh) * | 2013-11-11 | 2017-02-15 | 百度在线网络技术(北京)有限公司 | 头戴式显示设备 |
CN104238120A (zh) * | 2013-12-04 | 2014-12-24 | 全蕊 | 智能眼镜及控制方法 |
CN110095869B (zh) * | 2013-12-05 | 2021-09-14 | 索尼公司 | 显示设备 |
CN104850217A (zh) * | 2014-02-19 | 2015-08-19 | 联想(北京)有限公司 | 一种人眼动作监测装置、方法及设备 |
CN103823563B (zh) * | 2014-02-28 | 2016-11-09 | 北京云视智通科技有限公司 | 一种头戴式智能显示设备 |
CN103976733A (zh) * | 2014-05-21 | 2014-08-13 | 蓝江涌 | 一种多通道脑电波控制眼镜 |
CN104092935B (zh) * | 2014-06-05 | 2018-06-26 | 西安中兴新软件有限责任公司 | 一种图像拍摄的处理方法和装置 |
CN105511750B (zh) * | 2014-09-26 | 2020-01-31 | 联想(北京)有限公司 | 一种切换方法及电子设备 |
CN104281266B (zh) * | 2014-10-17 | 2017-10-27 | 深圳鼎界科技有限公司 | 头戴式显示设备 |
CN104360737A (zh) * | 2014-11-05 | 2015-02-18 | 深圳市中兴移动通信有限公司 | 调节屏幕色温的方法和装置 |
CN105654894B (zh) * | 2014-11-12 | 2018-01-12 | 西安诺瓦电子科技有限公司 | Led亮色度校正方法 |
US20160140390A1 (en) * | 2014-11-13 | 2016-05-19 | Intel Corporation | Liveness detection using progressive eyelid tracking |
JP6459684B2 (ja) * | 2015-03-23 | 2019-01-30 | カシオ計算機株式会社 | 情報出力装置、情報出力方法及びプログラム |
CN105007424A (zh) * | 2015-07-22 | 2015-10-28 | 深圳市万姓宗祠网络科技股份有限公司 | 一种基于眼球跟踪的自动对焦系统、方法及其可穿戴设备 |
JP6422584B2 (ja) * | 2015-08-06 | 2018-11-14 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
CN105137601B (zh) * | 2015-10-16 | 2017-11-14 | 上海斐讯数据通信技术有限公司 | 一种智能眼镜 |
CN108345384A (zh) * | 2015-11-03 | 2018-07-31 | 安溪县智睿电子商务有限公司 | 一种智能操控装置 |
CN105607256A (zh) * | 2016-01-04 | 2016-05-25 | 深圳市华星光电技术有限公司 | 智能穿戴装置 |
US10908694B2 (en) * | 2016-02-01 | 2021-02-02 | Microsoft Technology Licensing, Llc | Object motion tracking with remote device |
CN105676458A (zh) * | 2016-04-12 | 2016-06-15 | 王鹏 | 可穿戴计算装置及其控制方法以及具有它的可穿戴设备 |
CN107402698A (zh) * | 2016-05-19 | 2017-11-28 | 杨冬源 | 一种图片显示方法 |
JP2017216667A (ja) * | 2016-05-31 | 2017-12-07 | フォーブ インコーポレーテッド | 画像提供システム |
CN106445164A (zh) * | 2016-10-18 | 2017-02-22 | 北京小米移动软件有限公司 | 智能眼镜的调节方法和装置 |
JP6919222B2 (ja) * | 2017-02-27 | 2021-08-18 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
CN106951316B (zh) * | 2017-03-20 | 2021-07-09 | 北京安云世纪科技有限公司 | 虚拟模式与现实模式的切换方法、装置及虚拟现实设备 |
CN108496107A (zh) * | 2017-03-28 | 2018-09-04 | 深圳市柔宇科技有限公司 | 头戴式显示设备及其显示切换方法 |
JP7008424B2 (ja) | 2017-04-10 | 2022-01-25 | 株式会社ジャパンディスプレイ | 表示装置 |
CN108234980A (zh) * | 2017-12-28 | 2018-06-29 | 北京小米移动软件有限公司 | 图像处理方法、装置及存储介质 |
CN108108022B (zh) * | 2018-01-02 | 2021-05-18 | 联想(北京)有限公司 | 一种控制方法及辅助成像装置 |
CN108391049A (zh) * | 2018-02-11 | 2018-08-10 | 广东欧珀移动通信有限公司 | 拍摄控制方法及相关设备 |
CN108536284A (zh) * | 2018-03-14 | 2018-09-14 | 广东欧珀移动通信有限公司 | 图片显示方法及相关设备 |
CN110109256A (zh) | 2019-06-24 | 2019-08-09 | 京东方科技集团股份有限公司 | 眼镜及其控制方法 |
CN110688005A (zh) * | 2019-09-11 | 2020-01-14 | 塔普翊海(上海)智能科技有限公司 | 混合现实的教学环境、教师、教具互动系统及互动方法 |
CN110625625A (zh) * | 2019-09-18 | 2019-12-31 | 天津工业大学 | 一种基于脑电控制的音乐机器人 |
CN112684603B (zh) * | 2019-10-17 | 2023-03-28 | 杭州海康威视数字技术股份有限公司 | 智能眼镜 |
EP4182054A1 (en) | 2020-07-16 | 2023-05-24 | Invacare Corporation | System and method for concentrating gas |
CN116648278A (zh) | 2020-07-16 | 2023-08-25 | 英瓦卡尔公司 | 用于浓缩气体的系统和方法 |
CN113960788B (zh) * | 2020-07-17 | 2023-11-14 | 宇龙计算机通信科技(深圳)有限公司 | 图像显示方法、装置、ar眼镜及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0923451A (ja) * | 1995-07-05 | 1997-01-21 | Sanyo Electric Co Ltd | 感性応答制御装置 |
JPH09211382A (ja) * | 1996-02-07 | 1997-08-15 | Canon Inc | 光学装置 |
JPH10206787A (ja) * | 1997-01-20 | 1998-08-07 | Honda Motor Co Ltd | 車両用ヘッドマウントディスプレイ装置 |
JPH11164186A (ja) * | 1997-11-27 | 1999-06-18 | Fuji Photo Film Co Ltd | 画像記録装置 |
JP2003011722A (ja) * | 2001-06-29 | 2003-01-15 | Toyota Motor Corp | 夜間走行支援装置 |
JP2004172889A (ja) * | 2002-11-19 | 2004-06-17 | Sony Corp | 撮像装置及び方法 |
JP2005045559A (ja) * | 2003-07-22 | 2005-02-17 | Sony Corp | 撮像装置 |
JP2005078045A (ja) * | 2003-09-04 | 2005-03-24 | Pentax Corp | 画像表示機能付き観察用光学機器 |
JP2005234165A (ja) * | 2004-02-19 | 2005-09-02 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2006129288A (ja) * | 2004-10-29 | 2006-05-18 | Konica Minolta Photo Imaging Inc | 映像表示装置 |
JP2006148541A (ja) * | 2004-11-19 | 2006-06-08 | Denso Corp | ナビゲーション装置およびプログラム |
JP2006208997A (ja) * | 2005-01-31 | 2006-08-10 | Konica Minolta Photo Imaging Inc | 映像表示装置及び映像表示システム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5333029A (en) * | 1990-10-12 | 1994-07-26 | Nikon Corporation | Camera capable of detecting eye-gaze |
DE69840547D1 (de) * | 1997-10-30 | 2009-03-26 | Myvu Corp | Schnittstellensystem für brillen |
JP3642336B2 (ja) * | 2003-07-01 | 2005-04-27 | 松下電器産業株式会社 | 目画像撮像装置 |
JP3968522B2 (ja) * | 2003-10-06 | 2007-08-29 | ソニー株式会社 | 記録装置、及び記録方法 |
JP2005318973A (ja) * | 2004-05-07 | 2005-11-17 | Sony Corp | 生体センサ装置、コンテンツ再生方法およびコンテンツ再生装置 |
JP4378636B2 (ja) * | 2005-02-28 | 2009-12-09 | ソニー株式会社 | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
JP2008067219A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 撮像装置、撮像方法 |
-
2006
- 2006-09-08 JP JP2006244685A patent/JP4961914B2/ja active Active
-
2007
- 2007-09-07 CN CN2009101268115A patent/CN101520690B/zh not_active Expired - Fee Related
- 2007-09-07 CN CN 200710153620 patent/CN101141567B/zh not_active Expired - Fee Related
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0923451A (ja) * | 1995-07-05 | 1997-01-21 | Sanyo Electric Co Ltd | 感性応答制御装置 |
JPH09211382A (ja) * | 1996-02-07 | 1997-08-15 | Canon Inc | 光学装置 |
JPH10206787A (ja) * | 1997-01-20 | 1998-08-07 | Honda Motor Co Ltd | 車両用ヘッドマウントディスプレイ装置 |
JPH11164186A (ja) * | 1997-11-27 | 1999-06-18 | Fuji Photo Film Co Ltd | 画像記録装置 |
JP2003011722A (ja) * | 2001-06-29 | 2003-01-15 | Toyota Motor Corp | 夜間走行支援装置 |
JP2004172889A (ja) * | 2002-11-19 | 2004-06-17 | Sony Corp | 撮像装置及び方法 |
JP2005045559A (ja) * | 2003-07-22 | 2005-02-17 | Sony Corp | 撮像装置 |
JP2005078045A (ja) * | 2003-09-04 | 2005-03-24 | Pentax Corp | 画像表示機能付き観察用光学機器 |
JP2005234165A (ja) * | 2004-02-19 | 2005-09-02 | Matsushita Electric Ind Co Ltd | 撮像装置 |
JP2006129288A (ja) * | 2004-10-29 | 2006-05-18 | Konica Minolta Photo Imaging Inc | 映像表示装置 |
JP2006148541A (ja) * | 2004-11-19 | 2006-06-08 | Denso Corp | ナビゲーション装置およびプログラム |
JP2006208997A (ja) * | 2005-01-31 | 2006-08-10 | Konica Minolta Photo Imaging Inc | 映像表示装置及び映像表示システム |
Cited By (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4730569B2 (ja) * | 2009-03-27 | 2011-07-20 | カシオ計算機株式会社 | 撮影装置、撮像方法、及びプログラム |
JP2010232962A (ja) * | 2009-03-27 | 2010-10-14 | Casio Computer Co Ltd | 撮影装置、撮像方法、及びプログラム |
US8363126B2 (en) | 2009-03-27 | 2013-01-29 | Casio Computer Co., Ltd. | Imaging apparatus having a zoom function |
JP2013506218A (ja) * | 2009-10-01 | 2013-02-21 | オラワークス・インコーポレイテッド | 端末の動きまたは姿勢に基づいてビジュアルサーチを行うための方法、端末およびコンピュータ読取可能な記録媒体 |
US9311752B2 (en) | 2010-04-08 | 2016-04-12 | Sony Corporation | Image displaying method for a head-mounted type display unit |
JP2014509534A (ja) * | 2011-03-18 | 2014-04-21 | ゼンソモトリック インストゥルメンツ ゲゼルシャフト ヒューア イノベイティブ ゼンソリック エムベーハー | 調整可能な視野を有する眼鏡デバイス及び方法 |
WO2012132289A1 (ja) * | 2011-03-25 | 2012-10-04 | パナソニック株式会社 | 表示装置 |
JP2014534655A (ja) * | 2011-08-30 | 2014-12-18 | マイクロソフト コーポレーション | 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ |
JP2013200325A (ja) * | 2012-03-23 | 2013-10-03 | Sony Corp | ヘッドマウントディスプレイ |
WO2014017200A1 (ja) | 2012-07-25 | 2014-01-30 | ソニー株式会社 | 情報処理装置及びプログラム |
KR20140066848A (ko) * | 2012-11-22 | 2014-06-02 | 경북대학교 산학협력단 | 얼굴 검출 장치 및 얼굴 검출 방법 |
JP2014155207A (ja) * | 2013-02-14 | 2014-08-25 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US10169925B2 (en) | 2013-02-14 | 2019-01-01 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
US9916691B2 (en) | 2013-02-14 | 2018-03-13 | Seiko Epson Corporation | Head mounted display and control method for head mounted display |
JP5273323B1 (ja) * | 2013-03-13 | 2013-08-28 | パナソニック株式会社 | ヘッドマウントディスプレイ装置 |
WO2014203440A1 (ja) * | 2013-06-19 | 2014-12-24 | パナソニックIpマネジメント株式会社 | 画像表示装置および画像表示方法 |
JPWO2014203440A1 (ja) * | 2013-06-19 | 2017-02-23 | パナソニックIpマネジメント株式会社 | 画像表示装置および画像表示方法 |
JP5967597B2 (ja) * | 2013-06-19 | 2016-08-10 | パナソニックIpマネジメント株式会社 | 画像表示装置および画像表示方法 |
US10606553B2 (en) | 2013-09-05 | 2020-03-31 | Lg Electronics Inc. | Display device and method of operating the same |
KR102083596B1 (ko) * | 2013-09-05 | 2020-03-02 | 엘지전자 주식회사 | 디스플레이장치 및 디스플레이장치의 동작방법 |
KR20150028084A (ko) * | 2013-09-05 | 2015-03-13 | 엘지전자 주식회사 | 디스플레이장치 및 디스플레이장치의 동작방법 |
JP2015099184A (ja) * | 2013-11-18 | 2015-05-28 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
JP2014095903A (ja) * | 2013-11-20 | 2014-05-22 | Sony Corp | 頭部装着型ディスプレイにおける画像表示方法 |
WO2015098253A1 (ja) * | 2013-12-26 | 2015-07-02 | 株式会社ニコン | 電子機器 |
JP2015192697A (ja) * | 2014-03-31 | 2015-11-05 | ソニー株式会社 | 制御装置および制御方法、並びに撮影制御システム |
US10571671B2 (en) | 2014-03-31 | 2020-02-25 | Sony Corporation | Surgical control device, control method, and imaging control system |
KR20160000741A (ko) * | 2014-06-25 | 2016-01-05 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
KR102184272B1 (ko) | 2014-06-25 | 2020-11-30 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
JP2016122244A (ja) * | 2014-12-24 | 2016-07-07 | セイコーエプソン株式会社 | 電子機器、表示装置、及び、電子機器の制御方法 |
WO2016139976A1 (ja) * | 2015-03-02 | 2016-09-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2017102618A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社ニコン | 表示装置および表示プログラム |
WO2017094800A1 (ja) * | 2015-11-30 | 2017-06-08 | 株式会社ニコン | 表示装置、表示プログラムおよび表示方法 |
US10809530B2 (en) | 2015-12-28 | 2020-10-20 | Sony Corporation | Information processing apparatus and information processing method |
JP2017120550A (ja) * | 2015-12-28 | 2017-07-06 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2017224141A (ja) * | 2016-06-15 | 2017-12-21 | 株式会社Nttドコモ | 情報表示装置 |
JPWO2018011892A1 (ja) * | 2016-07-12 | 2018-09-06 | 三菱電機株式会社 | 機器制御システム |
JP2018022442A (ja) * | 2016-08-05 | 2018-02-08 | 株式会社コーエーテクモゲームス | 演出処理プログラム及び情報処理装置 |
US11754844B2 (en) | 2016-09-22 | 2023-09-12 | Magic Leap, Inc. | Augmented reality spectroscopy |
WO2019087996A1 (ja) * | 2017-10-30 | 2019-05-09 | ピクシーダストテクノロジーズ株式会社 | 網膜投影装置、網膜投影システム |
JPWO2019087996A1 (ja) * | 2017-10-30 | 2020-07-27 | ピクシーダストテクノロジーズ株式会社 | 網膜投影装置、網膜投影システム |
JP7001832B2 (ja) | 2018-01-31 | 2022-01-20 | 株式会社ソニー・インタラクティブエンタテインメント | 視標追跡システムの画像調整 |
JP2021513154A (ja) * | 2018-01-31 | 2021-05-20 | 株式会社ソニー・インタラクティブエンタテインメント | 視標追跡システムの画像調整 |
US11852530B2 (en) | 2018-03-21 | 2023-12-26 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
JP2020016869A (ja) * | 2018-07-27 | 2020-01-30 | 伸也 佐藤 | デジタル式望遠メガネ |
JP2022502798A (ja) * | 2018-09-24 | 2022-01-11 | アイダプティック, インク.Eyedaptic, Inc. | 電子視覚補助具における自律的ハンズフリー制御の改善 |
JP2021089351A (ja) * | 2019-12-03 | 2021-06-10 | キヤノン株式会社 | 頭部装着システム及び情報処理装置 |
JP7170277B2 (ja) | 2019-12-09 | 2022-11-14 | 株式会社辰巳菱機 | 通報装置 |
JP2021090518A (ja) * | 2019-12-09 | 2021-06-17 | 株式会社辰巳菱機 | 通報装置 |
US12066624B2 (en) | 2020-01-06 | 2024-08-20 | Eyeway Vision Ltd. | Eye tracking device and method thereof |
JP2023513723A (ja) * | 2020-02-12 | 2023-04-03 | イマジンオプティクス・コーポレイション | 統合irのための光学素子、深度感知のための可視カメラ、およびこれを組み込んだシステム |
US12001088B2 (en) | 2020-02-12 | 2024-06-04 | Meta Platforms Technologies, Llc | Optical elements for integrated IR and visible camera for depth sensing and systems incorporating the same |
Also Published As
Publication number | Publication date |
---|---|
CN101141567B (zh) | 2012-12-05 |
JP4961914B2 (ja) | 2012-06-27 |
CN101141567A (zh) | 2008-03-12 |
CN101520690A (zh) | 2009-09-02 |
CN101520690B (zh) | 2011-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4961914B2 (ja) | 撮像表示装置、撮像表示方法 | |
JP5228305B2 (ja) | 表示装置、表示方法 | |
JP2008067219A (ja) | 撮像装置、撮像方法 | |
JP5309448B2 (ja) | 表示装置、表示方法 | |
JP2013077013A (ja) | 表示装置、表示方法 | |
JP5228307B2 (ja) | 表示装置、表示方法 | |
JP5904246B2 (ja) | 頭部装着型表示装置、表示方法 | |
JP4367663B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
EP2048875A2 (en) | Image capturing and displaying apparatus and image capturing and displaying method | |
EP1924084A2 (en) | Imaging system and method | |
JP2013210643A (ja) | 表示装置、表示方法 | |
JP2008099834A (ja) | 表示装置、表示方法 | |
JP6160654B2 (ja) | 表示装置、表示方法、プログラム | |
CN111886564A (zh) | 信息处理装置、信息处理方法和程序 | |
JP2015149552A (ja) | ウェアラブル型電子機器 | |
WO2019073689A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2008288821A (ja) | 撮像装置、撮像方法 | |
KR20200031098A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
KR100846355B1 (ko) | 두부 장착식 디스플레이 장치의 시력 보조 방법 및 그 두부장착식 디스플레이 장치 | |
WO2006067930A1 (ja) | 映像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080130 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090818 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090818 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110302 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110523 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120228 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120312 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4961914 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |