JP5228307B2 - 表示装置、表示方法 - Google Patents
表示装置、表示方法 Download PDFInfo
- Publication number
- JP5228307B2 JP5228307B2 JP2006281042A JP2006281042A JP5228307B2 JP 5228307 B2 JP5228307 B2 JP 5228307B2 JP 2006281042 A JP2006281042 A JP 2006281042A JP 2006281042 A JP2006281042 A JP 2006281042A JP 5228307 B2 JP5228307 B2 JP 5228307B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image signal
- imaging
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 24
- 238000003384 imaging method Methods 0.000 claims description 284
- 238000012545 processing Methods 0.000 claims description 136
- 238000004891 communication Methods 0.000 claims description 38
- 230000035945 sensitivity Effects 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 17
- 238000010191 image analysis Methods 0.000 claims description 13
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 10
- 238000003331 infrared imaging Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 210000000695 crystalline len Anatomy 0.000 description 28
- 230000006870 function Effects 0.000 description 27
- 230000008859 change Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 15
- 230000004438 eyesight Effects 0.000 description 11
- 210000003128 head Anatomy 0.000 description 10
- 238000005286 illumination Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000000744 eyelid Anatomy 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004297 night vision Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000005281 excited state Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000035900 sweating Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
- H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
- H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
そこで本発明では、ユーザの視覚の補助や拡張を実現することを目的とする。
また上記表示手段において、上記画面領域が分割され、分割された各領域の一方が上記スルー状態、他方が上記表示画像信号による画像表示状態とされる。
また上記表示画像信号は、望遠撮像又は広角撮像により得られた画像信号である。
また上記表示画像信号は、拡大処理又は縮小処理により得られた画像信号である。
また上記表示画像信号は、撮像感度を上昇又は低下させた撮像により得られた画像信号である。
また上記表示画像信号は、赤外線撮像感度を上昇させた撮像により得られた画像信号である。
また上記表示画像信号は、紫外線撮像感度を上昇させた撮像により得られた画像信号である。
そして表示手段の画面領域の一部をスルー状態としたうえで画像信号生成手段で生成された表示画像信号による表示を実行させることで、ユーザはスルー状態の領域により通常の視覚光景が見える状態のまま、表示画像信号の表示により、通常に視認する視覚光景とは異なる光景の画像を見ることができる。例えばスルー状態の領域により前方を見ながら、表示画像信号の表示により、望遠画像、拡大画像、特殊撮像画像、後方の光景の画像などを見ることができる。
つまり、通常の視覚光景と同時に、通常の視覚では見ることのできない光景を見る状態となり、ユーザの視覚能力が拡張された状態となる。
また表示手段は、少なくとも画面領域の一部はスルー状態であるため、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の表示装置の利点を有効に得ることができる。
[1.表示装置の外観例及び外部機器との関連]
[2.表示装置の構成例]
[3.画面上の領域形態]
[4.表示動作例]
[5.動作トリガの例]
[6.実施の形態の効果、変形例及び拡張例]
実施の形態として、図1(a)(b)に眼鏡型ディスプレイとした表示装置1の外観例を示す。表示装置1は、例えば図1(b)のように両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図1(a)のように両耳殻にかけられることでユーザに装着される。
そしてこの表示装置1は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部2、2が配置される構成とされている。この表示部2には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部2がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが設けられる。発光部4aは例えばLED(Light Emitting Diode)により形成される。
また発光部4aを設けない構成も考えられる。
図2(a)(b)に例を示す。図2(a)(b)の例では、前方には撮像レンズ3aは設けられず、後頭部側に位置することになるユニットに撮像レンズ3a及び発光部4aが設けられている。つまりこの場合、撮像レンズ3aは、ユーザが通常では視認できない後方を撮像するものとされる。
また、図示しないが、撮像レンズ3aは、ユーザの上方、左側方、右側方、足下などを被写体方向とするように取り付けられていてもよい。
また、図1,図2では撮像レンズ3aとして1つの撮像機能部を設けるものであるが、複数の撮像レンズ3aを取り付け、複数の撮像機能部を備えるようにしてもよい。
この場合、表示部2の画面上では一部の領域がスルー状態とされ、他の領域に表示画像信号に基づく画像表示が行われる。
ところで内部構成例については後述するが、この表示装置1は、外部機器と通信を行う通信機能(図5で述べる通信部26)を備えることも考えられる。
従って、表示部2において表示する表示画像信号のソースは、撮像レンズ3aを含む撮像機能部だけでなく、通信機能部が想定される。つまり外部機器としての他の撮像装置等から送信された画像信号を、通信機能部で受信し、表示部2に表示させることもできる。
図3(a)は表示装置1を単体で使用する場合であり、この場合、表示装置1が撮像機能を有していることで、撮像された画像信号をソースとして生成した表示画像信号を表示部2に表示させることができる。
また外部の撮像装置70は、表示装置1を用いるユーザ本人が所有する撮像装置であったり、表示装置1のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う公共或いはサービス企業等の撮像装置であって表示装置1と通信可能とされているものなど多様に考えられる。
図4に表示装置1の内部構成例を示す。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、表示装置1の全体を制御する制御部とされる。
このシステムコントローラ10は内部の動作プログラム及び動作トリガ情報発生部16からの動作トリガに基づいて、表示装置1内の各部の制御を行い、表示部2において所要の画像表示を実行させる。
撮像部3は、図1又は図2に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal Oxide Semiconductor)センサアレイとされる。
図1の例の場合は、この撮像部3によってユーザの前方の光景が撮像され、また図2の例の場合は、この撮像部3によってユーザの後方の光景が撮像される。
また、上述したように撮像レンズ3aによる被写体方向を可変できる可動機構が設けられている場合は、撮像制御部11はシステムコントローラ10の指示に基づいて、可動機構の動作を制御して撮像部3における撮像レンズ3aの方向を変化させる。
また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部11のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部11は、固体撮像素子及び撮像信号処理部15における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整(例えば特定波長帯域をカットするような撮像)なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部11は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号は表示画像処理部12に供給される。表示画像処理部12は、例えばいわゆるビデオプロセッサとされ、供給された撮像信号に対して各種表示のための処理を実行できる部位とされる。
例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができる。また表示画像処理部12は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示(強調表示)、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。つまり撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。
表示制御部14は、システムコントローラ10の指示に基づいて、表示画像処理部12の処理動作や表示駆動部13の動作を制御する。即ち表示画像処理部12に対しては、上記の各種処理を実行させる。また表示駆動部13に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
照明部4における発光部4aが図1又は図2に示したように取り付けられていることで、照明部4は撮像レンズ3aによる被写体方向に対する照明動作を行うことになる。
この動作トリガ情報発生部16は、例えばユーザが操作する操作キーや操作ダイヤルとしての操作子と、その操作子の操作を検知する操作検知機構により構成することができる。即ちユーザの手動操作を各種動作の動作トリガ情報とする場合である。動作トリガ情報発生部16は、ユーザの操作情報を動作トリガ情報としてシステムコントローラ10に供給することで、システムコントローラ10はユーザの操作に応じた表示動作制御を行う。
また、動作トリガ情報発生部16は、ユーザ情報(ユーザの視覚状況、身体の挙動、生体状況等の検知情報)を検知したり、外界情報(表示装置の周囲の状況や、場所、日時、被写体の状況などの検知情報)を検知することができる構成としてもよい。例えばシステムコントローラ10がこれらのユーザ情報や外界情報に基づいて、動作トリガ発生の判断を行うようにしてもよい。なお、ユーザ情報や外界情報についての例は後に述べる。
この図5の構成は、図4の構成における撮像機能部位(撮像部3、撮像制御部11、撮像信号処理部15)と、照明部4,照明制御部18を備えず、代わりに通信部26を有する構成とされている。
通信部26は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
この図6の構成は、図4の構成における撮像機能部位(撮像部3、撮像制御部11、撮像信号処理部15)を2系統備えたものである。
即ち撮像部3X、撮像制御部11X、撮像信号処理部15Xによる第1の撮像機能部位と、撮像部3Y、撮像制御部11Y、撮像信号処理部15Yによる第2の撮像機能部位が設けられる。
撮像部3X、3Yは、それぞれが同一の被写体方向で撮像を行うものとされても良いし、それぞれが異なる被写体方向で撮像を行うものとされてもよい。
例えば撮像部3X、3Yは、いずれも前方を撮像するように配置されても良いし、撮像部3Xは前方撮像、撮像部3Yは後方撮像を行うように配置されてもよい。また撮像部3Xは右後方、撮像部3Yは左後方の撮像を行うように配置されてもよいし、撮像部3Xは足下、撮像部3Yは上空の撮像を行うように配置されてもよい。
各撮像機能部位で得られた撮像画像信号は、表示画像処理部12で処理されて表示駆動部13に供給され、表示部2で表示される。
例えば3系統以上の撮像機能部位が設けられることも考えられる。
また1又は複数の撮像機能部位とともに、外部の撮像装置70からの撮像信号を受信する通信部26が設けられる構成も考えられる。
また、撮像機能部位において、撮像部3(撮像レンズ3a)は被写体方向が固定とされる例と被写体方向を変更できるように可動とされる例が考えられるが、複数の撮像機能部位を設ける場合、全てを固定とする構成例、全てを可動とする構成例、一部を固定で一部を可動とする構成例がそれぞれ想定される。
表示画像信号としての画像、つまり表示部3をスルー状態としたときにユーザが表示部2を介して視認する光景とは異なる光景としての画像がどのように得られるかは多様に考えられる。
例えば撮像部3(3X、3Y)で撮像された画像や通信部26で受信された画像のそのものが、ユーザが表示部2を介して視認する光景とは異なる光景としての画像となる場合もあるし、像信号処理部15,表示画像処理部12で所定の処理が施されることで、ユーザが表示部2を介して視認する光景と同等の画像が異なる光景としての画像となる場合もある。
ユーザが表示部2を介して視認する光景とは異なる光景としての画像の具体例については後述する。
表示部2の画面上で、画面領域の一部をスルー状態としたうえで、表示画像処理部12から出力される画像信号による表示を行う場合の例を図7,図8に示す。
表示部2において、スルー状態の領域を残したまま画像表示を行う形態としては、画面領域内で親画面領域と子画面領域を設定し、親画面領域と子画面領域の一方をスルー状態、他方を表示画像信号による画像表示状態とする。
或いは、画面領域を分割し、分割した各領域の一方をスルー状態、他方を表示画像信号による画像表示状態とするようにしてもよい。
図7(a)は、表示部2の画面領域で、領域AR1内で右下に子画面としての領域AR2を設定し、画像表示を行っている例である。
図7(b)は、表示部2の画面領域で、領域AR1内で左下に子画面としての領域AR2を設定し、画像表示を行っている例である。
図示しないが、このように子画面を設定する場合、領域AR1内の右上、左上、中央、中央右寄り、中央左寄りなど、各種の位置に子画面としての領域AR2を設定することもできる。
図7(c)は、領域AR2としてのサイズを小さくした例である。
図7(d)は、領域AR2としてのサイズを大きくした例である。
図7(e)、表示部2の画面領域で、領域AR1と領域AR2を等分割して左右に分けた例である。
図7(f)、表示部2の画面領域で、領域AR1と領域AR2を等分割して上下に分けた例である。
またシステムコントローラ10は、動作トリガ情報発生部16からの情報(例えばユーザの操作情報、ユーザ情報、外界情報等)に基づいて、図7(a)〜(f)どのような領域形態で画像表示を行うかを選択したり、或いはこれらを切り換えるようにしてもよい。例えばユーザの操作等に応じて図7(a)(b)のように子画面とされる領域AR2の位置を変更したり、図7(c)(d)のように領域AR2のサイズを変更したり、図7(e)(f)のように等分割することで、ユーザの好みに合わせることができる。
また、いわゆる表示領域交代として、図7(a)〜(f)における領域AR1を画像表示、領域AR2をスルー状態とするような切り換えを行うことも考えられる。
また、図8(d)に、画面領域全体を領域AR2として表示画像信号による画像表示を行っている例を示しているが、例えば図7(a)〜(f)のような表示状態から、図8(d)のようにスルー状態の領域をなくして全画面で画像表示を行っている状態に切り換えることができるようにしてもよい。
図8(b)は、表示部2の画面領域で、領域AR1の左右に領域AR2a、AR2bを設定し、画像表示を行っている例である。
図8(c)は、表示部2の画面領域で、領域AR1の上下に領域AR2a、AR2bを設定し、画像表示を行っている例である。
例えば図6のように2系統の撮像機能部位を有する場合、これらのような2つの領域AR2a、AR2bで各撮像機能部位での撮像画像に基づく画像表示を行うようにすることが考えられる。
また、領域AR1、AR2a、AR2bを3等分に分割設定しても良い。
また、システムコントローラ10の制御によって領域形態の切換や領域の交代が行われることも図7の場合と同様に想定される。
また、図8(a)(b)(c)の状態から図8(d)のように画面全体で画像表示を行う状態に切り換えることができるようにしてもよい。
また、表示装置1が3つ以上の表示画像ソースを有する構成とされる場合、領域AR2としての領域を3つ以上設定し、それぞれの表示画像ソースからの画像が同時に表示されるようにしてもよい。
また、図1のように表示部2が右眼用と左眼用で2つある場合に、その一方の画面全体をスルー状態とし、他方の画面全体で図8(d)のように画像表示を行うことも考えられる。
上記図4,図5,図6のような構成の本実施の形態の表示装置1では、表示画像処理部12で処理されて表示駆動部13に供給される画像信号が、最終的に表示部2での表示に供される表示画像信号とされ、特にこの表示画像信号は、上記図7,図8で説明したようにスルー状態の領域を残したまま、画面上の一部領域に表示される。また、表示画像信号は、ユーザが表示部2を介して視認する光景(つまりスルー状態で視認する光景)とは異なる光景としての画像を表示させる信号である。
表示画像信号としての画像は、撮像部3(又は3X、3Y)で撮像された画像であったり、通信部26で受信された画像であるが、これらをソースとする表示画像信号を、スルー状態で視認する光景とは異なる光景の画像とし、ユーザが、スルー状態の領域で外界の光景を見ながら、一部領域で表示画像を見ることで視覚を拡張できるようにするものである。
図9は、システムコントローラ10の制御処理を示している。
ステップF101は、システムコントローラ10が表示制御部14に対して表示部2をスルー状態とする制御処理を示している。例えば表示装置1が電源オンとされた初期段階では、システムコントローラ10はステップF101で表示部2の画面全面をスルー状態に制御する。
表示部2の画面全面をスルー状態にしている期間は、システムコントローラ10はステップF102で表示開始のトリガが発生したか否かを確認している。例えば動作トリガ情報発生部16としてユーザが操作できる操作子を設け、ユーザが所定の操作子の操作を行うことで表示状態を開始させるトリガの発生と判断すればよい。或いは後に例を述べるが、動作トリガ情報発生部16でユーザの状況や外界の状況を検出し、所定の条件に応じて表示を開始させるトリガの発生とシステムコントローラ10が判断することもできる。
表示画像の切換とは、例えば表示画像内容の切換、領域形態の切換がある。
そして表示画像内容の切換とは、例えば撮像部3でのズーム処理や焦点位置の変更による画像変更、撮像感度の変更による画像変更、撮像信号処理部15での信号処理による画像変更、撮像部3が可動カメラの場合の撮像方向(被写体方向)の変更による画像変更、表示画像処理部12での信号処理による画像変更、複数の表示画像信号のソースを有する場合のソース切換による画像変更など、非常に多様な例が考えられる。
また領域形態の切換とは、親子画面の位置変更や親子画面交代、分割画面の位置変更や領域交代、全画面表示への切換などであり、例えば図7(a)の状態から図7(b)の状態に切り換えたり、図7(a)の状態から図7(e)の状態に切り換えたり、或いは図7(a)の状態から図8(d)の状態に切り換えるなどの制御である。
システムコントローラ10はステップF106で表示切換に関しての制御を行った後も、ステップF104,F105のトリガ発生の監視を行う。
そしてこの処理においては、ステップF103で画像表示を行い、またステップF106で表示切換を行うが、これらの処理において実現される画像表示例を図10〜図15で述べていく。
なお、図10〜図14では基本的には図4の構成例であって、撮像部3がユーザの前方、つまりスルー状態の領域を介してユーザが視認する光景と同一の方向の光景を撮像するように構成されている場合を想定して説明していく。
図10(b)は、画像表示状態として、例えば撮像部3で撮像した画像を表示部2に表示させた状態である。ここでは領域AR1はスルー状態とし、領域AR2に画像表示を行うようにしている。この場合、撮像部3がユーザの前方を撮像しているものとし、その撮像部3に対してズーム制御が行われて望遠撮像が行われることで、スルー状態の領域AR1を介したユーザの視界とは異なる光景の画像(望遠画像)が領域AR2に表示されている。これによりユーザーは、通常の光景をみながら、通常の視覚では見ることのできない望遠画像を楽しむことができる。
なお、ここでは撮像部3の動作により望遠画像が得られる例を挙げたが、逆に広角ズームを実行させることで、近距離の光景が広角に映し出された画像が表示部2に表示されることになる。なお、望遠−広角の制御は、撮像部3におけるズームレンズの駆動制御の他、撮像信号処理部15での信号処理でも可能である。
また図示しないが、いわゆるズーム動作ではなく、システムコントローラ10が撮像部3に焦点位置を可変させるように指示することで、近景、遠景の画像を撮像させ、その画像を表示部2の領域AR2に表示させてもよい。
図11(b)は画像表示状態であり、システムコントローラ10が表示制御部14(表示画像処理部12、表示駆動部13)に対して撮像部3から得られた画像についての拡大処理を指示することにより、図11(b)のように領域AR1はスルー状態とし、領域AR2に拡大画像の表示を行う例である。このように拡大画像として、スルー状態の領域AR1を介したユーザの視界とは異なる光景の画像が領域AR2に表示されることで、ユーザーは、通常の光景をみながら、通常の視覚では見ることのできない画像を見ることができる。
逆に、システムコントローラ10が表示制御部14(表示画像処理部12、表示駆動部13)に対して撮像部3から得られた画像についての縮小処理を実行させ、領域AR2に縮小画像の表示を行うことも考えられる。
図12(b)は画像表示状態であり、このように周囲が薄暗い場合に、システムコントローラ10は撮像制御部11(撮像部3,撮像信号処理部15)に対して撮像感度を上げることを指示したり、撮像信号処理部15や表示画像処理部12に対して輝度レベル、コントラスト、シャープネス調整を指示することなどにより、よりはっきりした明るい表示画像信号を得るようにし、それを表示させる。つまり領域AR1はスルー状態とし、領域AR2に輝度を明るさを向上させた画像の表示を行う例である。このように明るさ調整画像として、スルー状態の領域AR1を介したユーザの視界とは異なる光景の画像が領域AR2に表示されることで、ユーザーは、通常の視覚では見ることのできない画像を見ることができる。
なお、照明部4に照明動作を実行させることも、このような撮像を行う場合に好適となる。
また逆に、周囲が明るすぎる場合などに、システムコントローラ10は撮像制御部11(撮像部3,撮像信号処理部15)に対して撮像感度を下げることを指示したり、撮像信号処理部15や表示画像処理部12に対して輝度レベル、コントラスト、シャープネス調整を指示することなどにより、まぶしくない表示画像信号を得るようにし、それを表示させるようにすることも考えられる。
図13(b)は画像表示状態であり、システムコントローラ10が、撮像制御部11(撮像部3,撮像信号処理部15)に対して赤外線撮像感度の上昇を指示することで、領域AR2に赤外線感度上昇撮像の画像が表示される。即ち暗い部屋で子供の寝顔などを確認できるような画像表示が行われる。これによりユーザーは、通常の視覚では見ることのできない暗視画像を見ることができる。
図14(b)は画像表示状態を示すが、システムコントローラ10が、撮像制御部11(撮像部3,撮像信号処理部15)に対して紫外線撮像感度の上昇を指示することで、領域AR2に紫外線感度上昇撮像の画像が表示される。これによりユーザーは、通常の視覚では見ることのできない紫外光成分を表した画像を見ることができる。
図15(a)は、表示部2の全面がスルー状態とされている場合である。
撮像部3が例えばユーザの後方を撮像するように配置されている場合、画像表示状態は図15(b)のようになり、領域AR1はスルー状態とされ、領域AR2にユーザの後方を撮像した画像の表示が行われる。
また撮像部3が例えばユーザの上方を撮像するように配置されている場合、画像表示状態は図15(c)のようになり、領域AR1はスルー状態とされ、領域AR2にユーザの上方を撮像した画像の表示が行われる。
これらの場合も、スルー状態の領域AR1を介したユーザの視界とは異なる光景の画像が領域AR2に表示されることになり、ユーザーは、通常の前方の光景をみながら、通常の視覚では見ることのできない方向の画像(後方画像や上方画像など)を見ることができる。
この場合、スルー状態の領域AR1を介したユーザの視界とは異なる光景の画像が領域AR2a、AR2bに表示されることになり、ユーザーは、スルー状態の領域AR1での通常の前方の光景に加えて右後方、左後方を視認でき、ほぼ周囲全周を確認できる状態となる。
以下、画面上でスルー状態の領域とあわせて表示される画像信号、即ち表示部2をスルー状態としたときにユーザが表示部2を介して視認する光景とは異なる光景としての画像表示を行うための表示画像信号の例を挙げていく。
・撮像部3のズーム動作で得られる望遠ズーム画像としての表示画像信号
・撮像部3のズーム動作で得られる広角ズーム画像としての表示画像信号
・撮像部3の焦点制御動作で得られる遠景画像としての表示画像信号
・撮像部3の焦点制御動作で得られる近景画像としての表示画像信号
・撮像部3での撮像フレームレートを変更させて得た高速撮像画像や低速撮像画像などとしての表示画像信号
・撮像信号処理部15または表示画像処理部12の信号処理での拡大処理を行った表示画像信号
・撮像信号処理部15または表示画像処理部12の信号処理で得られる縮小処理を行った表示画像信号
・撮像部3での撮像感度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像部3での撮像感度を低下させて明るさを抑えた画像としての表示画像信号
・撮像部3での赤外線撮像感度を上昇させて得た暗視画像としての表示画像信号
・撮像部3での紫外線撮像感度を上昇させて得た画像としての表示画像信号
・撮像部3で特定波長帯域をカットして撮像した画像としての表示画像信号
・撮像信号処理部15または表示画像処理部12の信号処理で輝度を上昇させて明るさをアップさせた画像としての表示画像信号
・撮像信号処理部15または表示画像処理部12の信号処理で輝度を低下させて明るさを抑えた画像としての表示画像信号
・撮像信号処理部15または表示画像処理部12の色信号処理で色合いや雰囲気を変化させた画像としての表示画像信号
・撮像信号処理部15または表示画像処理部12の信号処理でコントラスト、シャープネス等を調整した画像としての表示画像信号
・撮像信号処理部15または表示画像処理部12の信号処理として、モザイク/輝度反転/ソフトフォーカス/画像内の一部の強調表示/ハイライト表示などの画像エフェクト処理を行って得た画像としての表示画像信号
・以上の各動作又は信号処理の組み合わせにより得た表示画像信号
もちろん、上記列挙したものに限定されるものではなく、撮像部3の動作、撮像信号処理部15の信号処理、表示画像処理部12の信号処理により得られる、「スルー状態とは異なる光景」としての表示画像信号は多様に考えられる。
またズーム処理や拡大/縮小処理の倍率、撮像感度変更時の変更するレベル、輝度信号処理や色信号処理での処理係数など、任意に可変することも考えられる。
即ち、この場合、撮像部3での通常撮像で得られた撮像画像は、それ自体が既にユーザがスルー状態の表示部2を介して通常に視認する光景とは異なる光景(例えば後方、上方、足下、右方、左方などの光景)の撮像画像であるため、撮像画像信号を、そのまま表示画像信号として表示部2に表示させればよい。
さらに、その場合に上記列挙したように、撮像部3の撮像動作や撮像信号処理部15の信号処理、表示画像処理部12の信号処理を加えた画像信号を表示画像信号としてもよい。
また前方以外の方向を撮像する撮像部3が存在する場合は、その撮像画像信号そのものを表示画像信号としてもよいし、上記列挙したように、撮像部3の撮像動作、撮像信号処理部15の信号処理、表示画像処理部12の信号処理を加えた画像信号を表示画像信号としてもよい。
また可動式の場合、特定の対象を追尾するような可動制御を行うことも考えられる。例えば撮像画像信号についての画像解析を行い、特定対象を検出した場合、撮像画像内での特定対象の動きに合わせて撮像方向を変化させる。このような制御により、ユーザは、特定の対象を追尾する画像を、例えば領域AR2において見ることができる。
即ち、外部の撮像装置70の撮像画像は、それ自体がユーザがスルー状態の表示部2を介して通常に視認する光景とは異なる光景の撮像画像であるため、通信部26で受信した画像信号を、そのまま表示画像信号として表示部2に表示させることで、ユーザに多様な画像を提供できることになる。
もちろんその場合に、上記列挙したうちで表示画像処理部12の信号処理を加えた画像信号を表示画像信号としてもよい。
例えばユーザからの視界が図10(a)のようにスタジアムで客席からサッカーを観戦している状態にあるときに、スタジアムの別の場所で撮像を行う撮像装置70による映像を、通信部26で受信し、図10(b)のように表示部2の領域AR2に表示させることが考えられるが、例えば監督席近辺に設置された撮像装置70や、審判が装着する小型の撮像装置70などからの映像を受信して、表示部2で表示することで、より興味深く試合観戦を行うことができる。
或いは、リゾート地に設置した撮像装置70や、旅行中の知人が所持する撮像装置70によって撮像した映像を、通信部26で受信し、表示部2の領域AR2に表示させたり、航空機や衛星に設置された撮像装置70で撮像した地上の映像(バードビュー映像)を、通信部26で受信し、表示部2の領域AR2に表示させるなど、多様な例が想定され、このような表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
上記図9の処理に示したように、システムコントローラ10はステップF102で表示開始トリガ発生と判断することや、ステップF104で表示切換トリガ発生と判断することに応じて表示を実行させる。さらにステップF105で表示終了トリガ発生と判断することで表示動作を終了させる。
そしてこれらの表示動作に関するトリガとしては、ユーザの操作によるものとすればよいが、ユーザの状況や外界の状況を検知し、所定の条件によりシステムコントローラ10がトリガ発生と判断しても良いと述べた。
ここでは、ユーザ状況や外界状況によりトリガ発生の判断を行う例について述べる。
視覚センサは、ユーザの視覚に関する情報を検出するものとするが、この視覚センサは、一例としては、例えば表示部2の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ10が取り込み、画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサは、表示部2の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
またシステムコントローラ10は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、表示装置1に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大/縮小制御、焦点変更制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみ表示動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが3回まばたきをすることを、所定の操作入力と判定するなどである。
加速度センサやジャイロの配置位置にもよるが、加速度センサやジャイロによって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図1のような眼鏡型の表示装置1の内部に取り付けられた場合、つまり加速度センサ及びジャイロがユーザの頭部の動きを検出するものとされた場合は、加速度センサの検出情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロの検出情報はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ10はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に2回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ及びジャイロによっては、ユーザが静止状態(非歩行状態)であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサやジャイロが、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。
また表示装置1をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ10は、ユーザが表示装置1を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが表示装置1を装着したことを検知したら、電源オン状態とすることや、逆にユーザが表示装置1の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサによる検出情報は、ユーザの個人認証(装着者個人の識別)にも利用できる。
なお生体センサは、例えば眼鏡型の表示装置1の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、表示装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
照度センサによっては、表示装置1の周囲の明るさの情報を検出できる。
また温度センサ、湿度センサ、気圧センサによっては、温度、湿度、気圧或いは天候を判別する情報を得ることができる。
これらの周囲環境センサにより、表示装置1は周囲の明るさや戸外の場合の気象状況などを判定できるため、システムコントローラ10は、これらを外界情報として用いて、周囲の明るさや気象状況に適した表示画像信号の生成動作を実行制御できる。例えば周囲の明るさに応じて画像の輝度レベルを上下させたり、天候状況に応じて画像の雰囲気を変えるなどである。
撮像対象までの距離を検出することで、システムコントローラ10は、距離に応じた撮像動作、表示動作を実行制御できる。また撮像対象が人などの生体であることを検知することで、撮像対象に応じた表示画像信号の生成動作を実行制御できる。
また通信部26を有する構成の場合、表示装置1に地図データベースを内蔵していなくても、通信部26を介して例えばネットワークサーバや地図データベース内蔵機器にアクセスし、緯度・経度を送信して現在位置に応じた情報を要求し、情報を受信するようにしてもよい。
現在位置に関連する情報としては、現在位置近辺の地名、建造物名、施設名、店名、駅名などの名称情報がある。
また現在位置に関連する情報としては、公園、テーマパーク、コンサートホール、劇場、映画館、スポーツ施設など、建造物の種別を示す情報もある。
また現在位置に関連する情報としては、海岸、海上、河川、山間部、山頂部、森林、湖、平野部など、自然物の種別や名称の情報もある。
また、より詳細な位置についての情報として、例えばテーマパーク内でのエリアや、野球場、サッカー場などでの観戦席のエリア、コンサートホールでの座席のエリアの情報なども現在位置についての情報として取得することができる。
これら、現在位置に関する情報を取得することで、システムコントローラ10は、現在位置や現在地点の近辺の地理的条件や施設などに応じた表示画像信号の生成動作を実行制御したり、特定の場所において表示開始制御或いは表示終了制御を行うなどが可能となる。
まず撮像対象の種別として、撮像画像に含まれている人物、動物、自然物、建造物、機器などを判別できる。例えば動物としては、被写体として鳥が撮像されている状況や猫が撮像されている状況等を判別できる。また自然物としては、海、山、樹木、河川、湖、空、太陽、月などを判別できる。建造物としては、家屋、ビル、競技場などを判別できる。機器としては、パーソナルコンピュータ、AV(Audio-Visual)機器、携帯電話機、PDA、ICカード、二次元バーコードなどが撮像対象となっている状況を判別できる。
これら撮像対象の種別は、予め各種別の形状の特徴を設定しておき、撮像画像内に、形状が該当する被写体が含まれているか否かにより判別可能である。
また画像解析部による画像解析によれば、画像の前後フレームの差分検出などの手法で、被写体の動きの検出、例えば素早い動きが画像内も可能である。例えばスポーツ観戦で選手を撮像している際や、走行している自動車等を撮像している場合などに、動きの素早い被写体を撮像しているという状況を検知することができる。
また画像解析部による画像解析によれば、周囲の状況を判定することも可能である。例えば昼夜や天候による明るさの状況を判定できるし、雨の強さなども認識可能である。
従って、画像解析部は、撮像画像内に或る人物の顔が含まれているときに、その画像を解析すれば上記のような個人特徴データを検出することができる。
撮像画像から個人特徴データを検出した場合、例えばシステムコントローラ10が参照できる記録媒体として、例えばHDD(Hard Disk Drive)やフラッシュメモリなどを搭載し、これらの記録媒体に人物データベースを記憶させておけば、被写体となっている個人の情報を取得できる。或いは、表示装置1に人物データベースを内蔵していなくても、通信部26を介して例えばネットワークサーバや人物データベース内蔵機器にアクセスし、個人特徴データを送信して情報を要求し、特定の人物の情報を受信するようにしてもよい。
例えばユーザ自身が、過去に出会った人物の氏名や所属などの人物情報を個人特徴データとともに人物データベースに登録しておけば、或る人物に出会ったとき(撮像されたとき)に、システムコントローラ10は、その人物の情報を検索できる。
また、有名人の情報を個人特徴データとともに登録した人物データベースが用意されていれば、ユーザが有名人に出会ったときに、その人物の情報を検索できる。
例えば上述したように表示装置1から送信した緯度・経度、或いは個人特徴データなどに応じて外部機器で検索された情報を取得できる。
また外部機器から天候情報、気温情報、湿度情報など気象に関する情報を取得することができる。
また外部機器から施設の利用情報、施設内での撮像禁止/許可情報、案内情報などを取得することができる。
また外部機器自体の識別情報を取得することができる。例えば所定の通信プロトコルにおいてネットワークデバイスとして識別される機器の種別や機器ID等である。
また外部機器に格納されている画像データ、外部機器で再生或いは表示している画像データ、外部機器で受信している画像データなどを取得することができる。
このような通信部26で取得できる情報に基づいて、システムコントローラ10は表示画像信号の生成処理を実行制御できる。
また、ユーザの状況や外界の状況を検出するための構成例は他にも考えられる。
以上、実施の形態を説明してきたが、実施の形態によれば、表示部2の画面領域の一部をスルー状態としたうえで表示画像信号による表示を実行させることで、ユーザはスルー状態の領域により通常の視覚光景が見える状態のまま、通常に視認する視覚光景とは異なる光景の画像を見ることができる。例えばスルー状態の領域により前方を見ながら、表示画像信号の表示により、望遠画像、拡大画像、特殊撮像画像、後方の光景の画像などを見ることができる。このため通常の視覚光景と同時に、通常の視覚では見ることのできない光景を見る状態となり、擬似的にユーザの視覚能力を拡張させる状況を作り出すことができる。
また表示部2は、少なくとも画面領域の一部はスルー状態であるため、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、表示装置1の利点を有効に得ることができる。
例えば撮像部3で撮像した画像信号を記録媒体に記録するストレージ部を設けてもよい。
また撮像した画像信号を、通信部26から他の機器に送信する動作を行うようにしてもよい。
記録媒体から再生されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成して記録媒体に記録した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、記録媒体に記録されたゲームプログラムに基づくゲーム画像など、記録媒体に記録されて表示対象となるあらゆるデータが想定される。
コンテンツソース機器とは、例えばビデオ機器、テレビジョンチューナ、ホームサーバ機器等のAV(Audio-Visual)機器や、パーソナルコンピュータ、PDA(Personal Digital Assistant)、携帯電話機などの情報処理装置などが想定できる。このようなコンテンツソース機器も、表示装置1を用いるユーザ本人やその知人が所有する機器であったり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様に考えられる。
コンテンツソース機器から表示装置1に送信されるデータとしては、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲーム画像など、表示対象となるあらゆるデータが想定される。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、スピーカ部から出力させるようにすることも考えられる。
Claims (12)
- 使用者の目の前方に位置するように配置されて画像表示を行うとともに、画像表示を行う画面領域を透明もしくは半透明であるスルー状態とすることのできる表示手段と、
上記表示手段をスルー状態としたときに使用者が上記表示手段を介して視認する光景とは異なる光景としての表示画像信号を得るように、上記画面領域がスルー状態とされている際に使用者が上記表示手段を介して視認する方向を被写体方向として撮像するか、又は視認する方向とは異なる方向を被写体方向として撮像するようにされた撮像部と、上記撮像部で得られた撮像画像信号に対する信号処理と外部機器から受信した画像信号に対する信号処理とを行う信号処理部とを有し、上記信号処理部により信号処理された撮像画像信号を第1の表示画像信号として生成し、上記信号処理部により信号処理された上記外部機器から受信した画像信号を第2の表示画像信号として生成する画像信号生成手段と、
ユーザの状況や外界の状況を検出し、所定の条件に応じて表示を開始させる動作トリガ情報を発生させる動作トリガ情報発生手段と、
上記表示手段に対して、上記画面領域の一部を上記スルー状態としたうえで上記画像信号生成手段で生成された上記第1の表示画像信号および上記第2の表示画像信号による表示を上記動作トリガ情報を検知して同時に表示開始、同時に表示終了及び表示切換を行う制御手段と、
を備える表示装置。 - 上記動作トリガ発生手段は、視覚センサ、加速度センサ、ジャイロ、生体センサに基づいてのユーザ状況の検出、周囲環境センサ、撮像対象センサ、GPS受信部、日時計数部、画像解析部、通信部等に基づいての外界の状況、を行う請求項1に記載の表示装置。
- 上記表示手段において、上記画面領域内で親画面領域と2つの子画面領域が設定されて、親画面領域と2つの子画面領域のうち、一つが上記スルー状態、他方の2つのそれぞれが上記第1の表示画像信号および上記第2の表示画像信号による画像表示状態とされる請求項1に記載の表示装置。
- 上記表示手段において、上記画面領域が3等分に分割され、分割された各領域の一つが上記スルー状態、他方の2つのそれぞれが上記第1の表示画像信号および上記第2の表示画像信号による画像表示状態とされる請求項1に記載の表示装置。
- 上記第1の表示画像信号および上記第2の表示画像信号のいずれかは、近景撮像又は遠景撮像により得られた画像信号である請求項1に記載の表示装置。
- 上記第1の表示画像信号および上記第2の表示画像信号のいずれかは、望遠撮像又は広角撮像により得られた画像信号である請求項1に記載の表示装置。
- 上記第1の表示画像信号および上記第2の表示画像信号のいずれかは、拡大処理又は縮小処理により得られた画像信号である請求項1に記載の表示装置。
- 上記第1の表示画像信号および上記第2の表示画像信号のいずれかは、撮像感度を上昇又は低下させた撮像により得られた画像信号である請求項1に記載の表示装置。
- 上記第1の表示画像信号および上記第2の表示画像信号のいずれかは、赤外線撮像感度を上昇させた撮像により得られた画像信号である請求項1に記載の表示装置。
- 上記第1の表示画像信号および上記第2の表示画像信号のいずれかは、紫外線撮像感度を上昇させた撮像により得られた画像信号である請求項1に記載の表示装置。
- 上記画像信号生成手段は、上記撮像部における撮像レンズ系の動作制御により、上記表示手段をスルー状態としたときに使用者が視認する光景とは異なる光景としての上記第1の表示画像信号および上記第2の表示画像信号を得る請求項1に記載の表示装置。
- 使用者の目の前方に位置するように配置されて画像表示を行うとともに、画像表示を行う画面領域を透明もしくは半透明であるスルー状態とすることのできる表示手段を備えた表示装置の表示方法として、
上記表示手段をスルー状態としたときに使用者が上記表示手段を介して視認する光景とは異なる光景としての表示画像信号を生成する際に、上記画面領域がスルー状態とされている際に使用者が上記表示手段を介して視認する方向を被写体方向として撮像するか、又は視認する方向とは異なる方向を被写体方向として撮像し、得られた撮像画像信号に対し信号処理を行い第1の表示画像信号を生成するステップと、
外部機器から画像信号を受信し、該画像信号に対し信号処理を行い第2の表示画像信号を生成するステップと、
ユーザの状況や外界の状況を検出し、所定の条件に応じて表示を開始させる動作トリガ情報を発生させるステップと、
上記表示手段に対して、上記画面領域の一部を上記スルー状態としたうえで、上記生成された上記第1の表示画像信号および上記第2の表示画像信号による表示を上記動作トリガ情報を検知して同時に表示開始、同時に表示終了及び表示切換を実行するステップと、
を備える表示方法。
Priority Applications (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006281042A JP5228307B2 (ja) | 2006-10-16 | 2006-10-16 | 表示装置、表示方法 |
TW096138062A TWI428903B (zh) | 2006-10-16 | 2007-10-11 | A display device and a display method thereof |
CA2666692A CA2666692C (en) | 2006-10-16 | 2007-10-12 | Display apparatus, display method |
EP07830131.4A EP2081182B1 (en) | 2006-10-16 | 2007-10-12 | Display device and display method |
KR1020097010005A KR20090069335A (ko) | 2006-10-16 | 2007-10-12 | 표시 장치, 표시 방법 |
US12/445,477 US8681256B2 (en) | 2006-10-16 | 2007-10-12 | Display method and display apparatus in which a part of a screen area is in a through-state |
CNA2007800431636A CN101542584A (zh) | 2006-10-16 | 2007-10-12 | 显示设备、显示方法 |
CN201310332669.6A CN103399403B (zh) | 2006-10-16 | 2007-10-12 | 显示设备、显示方法 |
PCT/JP2007/070397 WO2008047889A1 (en) | 2006-10-16 | 2007-10-12 | Display device and display method |
US14/172,521 US9182598B2 (en) | 2006-10-16 | 2014-02-04 | Display method and display apparatus in which a part of a screen area is in a through-state |
US14/734,308 US9846304B2 (en) | 2006-10-16 | 2015-06-09 | Display method and display apparatus in which a part of a screen area is in a through-state |
US15/811,227 US20180067313A1 (en) | 2006-10-16 | 2017-11-13 | Display method and display apparatus in which a part of a screen area is in a through-state |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006281042A JP5228307B2 (ja) | 2006-10-16 | 2006-10-16 | 表示装置、表示方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012262182A Division JP2013083994A (ja) | 2012-11-30 | 2012-11-30 | 表示装置、表示方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008096867A JP2008096867A (ja) | 2008-04-24 |
JP2008096867A5 JP2008096867A5 (ja) | 2009-11-19 |
JP5228307B2 true JP5228307B2 (ja) | 2013-07-03 |
Family
ID=39314102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006281042A Active JP5228307B2 (ja) | 2006-10-16 | 2006-10-16 | 表示装置、表示方法 |
Country Status (8)
Country | Link |
---|---|
US (4) | US8681256B2 (ja) |
EP (1) | EP2081182B1 (ja) |
JP (1) | JP5228307B2 (ja) |
KR (1) | KR20090069335A (ja) |
CN (2) | CN103399403B (ja) |
CA (1) | CA2666692C (ja) |
TW (1) | TWI428903B (ja) |
WO (1) | WO2008047889A1 (ja) |
Families Citing this family (101)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5017989B2 (ja) | 2006-09-27 | 2012-09-05 | ソニー株式会社 | 撮像装置、撮像方法 |
JP5119636B2 (ja) | 2006-09-27 | 2013-01-16 | ソニー株式会社 | 表示装置、表示方法 |
JP2008096868A (ja) | 2006-10-16 | 2008-04-24 | Sony Corp | 撮像表示装置、撮像表示方法 |
JP5228307B2 (ja) * | 2006-10-16 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
US20090189830A1 (en) * | 2008-01-23 | 2009-07-30 | Deering Michael F | Eye Mounted Displays |
US9812096B2 (en) | 2008-01-23 | 2017-11-07 | Spy Eye, Llc | Eye mounted displays and systems using eye mounted displays |
US8786675B2 (en) * | 2008-01-23 | 2014-07-22 | Michael F. Deering | Systems using eye mounted displays |
DE102008049407A1 (de) * | 2008-09-29 | 2010-04-01 | Carl Zeiss Ag | Anzeigevorrichtung und Anzeigeverfahren |
USRE45394E1 (en) | 2008-10-20 | 2015-03-03 | X6D Limited | 3D glasses |
US9480919B2 (en) * | 2008-10-24 | 2016-11-01 | Excalibur Ip, Llc | Reconfiguring reality using a reality overlay device |
JP5651386B2 (ja) * | 2010-06-23 | 2015-01-14 | ソフトバンクモバイル株式会社 | 眼鏡型表示装置 |
JP5700963B2 (ja) * | 2010-06-29 | 2015-04-15 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
WO2012003844A1 (en) * | 2010-07-05 | 2012-01-12 | Sony Ericsson Mobile Communications Ab | Method for displaying augmentation information in an augmented reality system |
JP5499985B2 (ja) * | 2010-08-09 | 2014-05-21 | ソニー株式会社 | 表示装置組立体 |
WO2012071545A1 (en) * | 2010-11-24 | 2012-05-31 | New Productivity Group, Llc | Detection and feedback of information associated with executive function |
JP5953714B2 (ja) * | 2011-11-24 | 2016-07-20 | セイコーエプソン株式会社 | 装置、頭部装着型表示装置、装置の制御方法および頭部装着型表示装置の制御方法 |
US9081416B2 (en) | 2011-03-24 | 2015-07-14 | Seiko Epson Corporation | Device, head mounted display, control method of device and control method of head mounted display |
CN102693068B (zh) * | 2011-03-25 | 2014-10-22 | 京东方科技集团股份有限公司 | 一种视觉扩展显示设备和方法 |
CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
US9213163B2 (en) | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
KR20140059213A (ko) | 2011-08-30 | 2014-05-15 | 마이크로소프트 코포레이션 | 홍채 스캔 프로파일링을 이용하는 헤드 마운티드 디스플레이 |
US9025252B2 (en) | 2011-08-30 | 2015-05-05 | Microsoft Technology Licensing, Llc | Adjustment of a mixed reality display for inter-pupillary distance alignment |
WO2013093906A1 (en) * | 2011-09-19 | 2013-06-27 | Eyesight Mobile Technologies Ltd. | Touch free interface for augmented reality systems |
US8941560B2 (en) | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
JP6105850B2 (ja) * | 2012-03-16 | 2017-03-29 | 富士通株式会社 | 携帯端末装置、表示制御方法及び表示制御プログラム |
JP6008086B2 (ja) * | 2012-03-26 | 2016-10-19 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
US9219901B2 (en) | 2012-06-19 | 2015-12-22 | Qualcomm Incorporated | Reactive user interface for head-mounted display |
JP5694257B2 (ja) * | 2012-08-27 | 2015-04-01 | 株式会社東芝 | 表示装置、表示方法及びプログラム |
US10620902B2 (en) * | 2012-09-28 | 2020-04-14 | Nokia Technologies Oy | Method and apparatus for providing an indication regarding content presented to another user |
US9894269B2 (en) | 2012-10-31 | 2018-02-13 | Atheer, Inc. | Method and apparatus for background subtraction using focus differences |
JP6040715B2 (ja) | 2012-11-06 | 2016-12-07 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
CN104781873B (zh) * | 2012-11-13 | 2017-06-06 | 索尼公司 | 图像显示装置、图像显示方法、移动装置、图像显示系统 |
JP6023568B2 (ja) * | 2012-11-30 | 2016-11-09 | オリンパス株式会社 | 頭部装着型装置 |
CN103024582B (zh) * | 2012-12-26 | 2016-09-21 | 深圳Tcl新技术有限公司 | 多屏显示控制方法及多屏显示装置 |
JP6375591B2 (ja) * | 2013-01-15 | 2018-08-22 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム |
WO2014128752A1 (ja) * | 2013-02-19 | 2014-08-28 | 株式会社ブリリアントサービス | 表示制御装置、表示制御プログラム、および表示制御方法 |
KR102270699B1 (ko) * | 2013-03-11 | 2021-06-28 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
WO2014144526A2 (en) | 2013-03-15 | 2014-09-18 | Magic Leap, Inc. | Display system and method |
US9819627B2 (en) | 2013-07-01 | 2017-11-14 | Paypal, Inc. | Location restricted message exchange system |
JP6252002B2 (ja) * | 2013-07-11 | 2017-12-27 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
CN104427226B (zh) * | 2013-08-20 | 2018-08-31 | 联想(北京)有限公司 | 图像采集方法和电子设备 |
KR102081934B1 (ko) * | 2013-08-28 | 2020-02-26 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 디바이스 및 그 제어 방법 |
KR20150045637A (ko) * | 2013-10-21 | 2015-04-29 | 삼성전자주식회사 | 사용자 인터페이스 운용 방법 및 그 전자 장치 |
US9772495B2 (en) * | 2013-11-04 | 2017-09-26 | Weng-Kong TAM | Digital loupe device |
US9672649B2 (en) * | 2013-11-04 | 2017-06-06 | At&T Intellectual Property I, Lp | System and method for enabling mirror video chat using a wearable display device |
JP6264014B2 (ja) * | 2013-12-17 | 2018-01-24 | セイコーエプソン株式会社 | 頭部装着型表示装置 |
CN106030493B (zh) * | 2013-12-18 | 2018-10-26 | 前视红外系统股份公司 | 基于滑动手势处理红外图像 |
US9993335B2 (en) | 2014-01-08 | 2018-06-12 | Spy Eye, Llc | Variable resolution eye mounted displays |
JP6743691B2 (ja) * | 2014-02-20 | 2020-08-19 | ソニー株式会社 | 表示制御装置、表示制御方法およびコンピュータプログラム |
JP2015159383A (ja) | 2014-02-21 | 2015-09-03 | ソニー株式会社 | ウェアラブル機器、制御装置、撮影制御方法および自動撮像装置 |
USD817353S1 (en) * | 2014-03-07 | 2018-05-08 | Sony Corporation | Display panel or screen with an icon |
CN103929606B (zh) | 2014-04-01 | 2017-10-10 | 北京智谷睿拓技术服务有限公司 | 图像呈现控制方法及图像呈现控制装置 |
US9781292B2 (en) | 2014-06-03 | 2017-10-03 | Sony Mobile Communications Inc. | Lifelog camera and method of obtaining a digital image tagged with corrected image direction information |
KR101652475B1 (ko) * | 2014-06-11 | 2016-08-30 | 안병영 | 후방 영상이 나타나는 안경 |
KR102217561B1 (ko) * | 2014-06-23 | 2021-02-19 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그것의 제어방법 |
US9959591B2 (en) * | 2014-07-31 | 2018-05-01 | Seiko Epson Corporation | Display apparatus, method for controlling display apparatus, and program |
JP6638195B2 (ja) * | 2015-03-02 | 2020-01-29 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
JP2016033763A (ja) * | 2014-07-31 | 2016-03-10 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
KR102337509B1 (ko) * | 2014-08-29 | 2021-12-09 | 삼성전자주식회사 | 컨텐츠 제공 방법 및 그 전자 장치 |
US9495004B2 (en) * | 2014-09-08 | 2016-11-15 | Qualcomm Incorporated | Display device adjustment by control device |
JP6501389B2 (ja) * | 2014-12-01 | 2019-04-17 | 浅田 一憲 | ヘッドマウントディスプレイ装置、撮影制御方法、及びプログラム |
WO2016110831A1 (en) * | 2015-01-08 | 2016-07-14 | Ashkelon Eyewear Technologies Ltd | An apparatus and method for displaying content |
JP2016191845A (ja) | 2015-03-31 | 2016-11-10 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9811681B2 (en) * | 2015-07-28 | 2017-11-07 | Sony Mobile Communications Inc. | Method and system for providing access to a device for a user |
JP6679856B2 (ja) * | 2015-08-31 | 2020-04-15 | カシオ計算機株式会社 | 表示制御装置、表示制御方法及びプログラム |
EP3185535A1 (en) | 2015-12-22 | 2017-06-28 | Thomson Licensing | Method and apparatus for controlling a discrepant aiming direction of a camera |
US10976809B2 (en) * | 2016-03-14 | 2021-04-13 | Htc Corporation | Interaction method for virtual reality |
JP2017182130A (ja) * | 2016-03-28 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
KR102595020B1 (ko) * | 2016-05-03 | 2023-10-27 | 엘지전자 주식회사 | 헤드마운티드 디스플레이 |
KR20230133940A (ko) | 2016-07-25 | 2023-09-19 | 매직 립, 인코포레이티드 | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 |
EP3296792A1 (en) * | 2016-09-19 | 2018-03-21 | Essilor International | Method for managing the display of an image to a user of an optical system |
EP3316117A1 (en) * | 2016-10-31 | 2018-05-02 | Nokia Technologies OY | Controlling content displayed in a display |
KR20180065515A (ko) * | 2016-12-08 | 2018-06-18 | 박순구 | 다기능 웨어러블 디스플레이 장치 |
US10963055B2 (en) | 2016-12-15 | 2021-03-30 | Sony Interactive Entertainment Inc. | Vibration device and control system for presenting corrected vibration data |
US10969867B2 (en) | 2016-12-15 | 2021-04-06 | Sony Interactive Entertainment Inc. | Information processing system, controller device, controller device control method and program |
JP6626992B2 (ja) | 2016-12-15 | 2019-12-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理システム、振動制御方法、及びプログラム |
WO2018125428A1 (en) | 2016-12-29 | 2018-07-05 | Magic Leap, Inc. | Automatic control of wearable display device based on external conditions |
US10277943B2 (en) * | 2017-03-27 | 2019-04-30 | Microsoft Technology Licensing, Llc | Selective rendering of sparse peripheral displays based on user movements |
JP6833018B2 (ja) * | 2017-04-18 | 2021-02-24 | 株式会社ソニー・インタラクティブエンタテインメント | 振動制御装置 |
WO2018193514A1 (ja) | 2017-04-18 | 2018-10-25 | 株式会社ソニー・インタラクティブエンタテインメント | 振動制御装置 |
JP6887011B2 (ja) | 2017-04-19 | 2021-06-16 | 株式会社ソニー・インタラクティブエンタテインメント | 振動制御装置 |
US11458389B2 (en) | 2017-04-26 | 2022-10-04 | Sony Interactive Entertainment Inc. | Vibration control apparatus |
JP6976719B2 (ja) * | 2017-05-25 | 2021-12-08 | キヤノン株式会社 | 表示制御装置、表示制御方法及びプログラム |
CN108983421B (zh) * | 2017-06-02 | 2022-02-01 | 富泰华工业(深圳)有限公司 | 佩戴显示装置 |
US10687119B2 (en) | 2017-06-27 | 2020-06-16 | Samsung Electronics Co., Ltd | System for providing multiple virtual reality views |
US10578869B2 (en) * | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
WO2019038888A1 (ja) | 2017-08-24 | 2019-02-28 | 株式会社ソニー・インタラクティブエンタテインメント | 振動制御装置 |
US11738261B2 (en) | 2017-08-24 | 2023-08-29 | Sony Interactive Entertainment Inc. | Vibration control apparatus |
US11198059B2 (en) | 2017-08-29 | 2021-12-14 | Sony Interactive Entertainment Inc. | Vibration control apparatus, vibration control method, and program |
JP7135413B2 (ja) * | 2018-05-07 | 2022-09-13 | セイコーエプソン株式会社 | 接続装置、表示装置、接続装置の制御方法、及び、表示装置の制御方法 |
CN117238224A (zh) | 2018-08-31 | 2023-12-15 | 奇跃公司 | 用于增强现实装置的空间分辨的动态调暗 |
WO2020214897A1 (en) | 2019-04-18 | 2020-10-22 | Beckman Coulter, Inc. | Securing data of objects in a laboratory environment |
CN114222942A (zh) | 2019-08-12 | 2022-03-22 | 奇跃公司 | 用于虚拟和增强现实的系统和方法 |
JP2021089351A (ja) * | 2019-12-03 | 2021-06-10 | キヤノン株式会社 | 頭部装着システム及び情報処理装置 |
JP7170277B2 (ja) | 2019-12-09 | 2022-11-14 | 株式会社辰巳菱機 | 通報装置 |
CN111208964B (zh) * | 2020-01-13 | 2023-08-01 | 宜视智能科技(苏州)有限公司 | 低视力助视方法、终端及存储介质 |
EP4182054A1 (en) | 2020-07-16 | 2023-05-24 | Invacare Corporation | System and method for concentrating gas |
US11915570B2 (en) | 2020-07-16 | 2024-02-27 | Ventec Life Systems, Inc. | System and method for concentrating gas |
DE102021206565A1 (de) * | 2021-06-24 | 2022-12-29 | Siemens Healthcare Gmbh | Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität |
CN117980845A (zh) * | 2022-03-16 | 2024-05-03 | 深圳市大疆创新科技有限公司 | 无人机的功耗控制方法、装置、系统及存储介质 |
Family Cites Families (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0226870U (ja) | 1988-08-04 | 1990-02-21 | ||
US7310072B2 (en) * | 1993-10-22 | 2007-12-18 | Kopin Corporation | Portable communication display device |
JP3478354B2 (ja) | 1994-10-20 | 2003-12-15 | ミノルタ株式会社 | 方位検出機構付hmd |
US5978015A (en) | 1994-10-13 | 1999-11-02 | Minolta Co., Ltd. | Stereoscopic system with convergence and dioptric power adjustments according to object distance |
JPH08163526A (ja) | 1994-11-30 | 1996-06-21 | Canon Inc | 映像選択装置 |
US5905525A (en) | 1995-07-13 | 1999-05-18 | Minolta Co., Ltd. | Image display apparatus having a display controlled by user's head movement |
JP3701053B2 (ja) | 1995-07-13 | 2005-09-28 | コニカミノルタホールディングス株式会社 | 映像表示装置 |
JP3632271B2 (ja) | 1995-12-28 | 2005-03-23 | 富士ゼロックス株式会社 | メガネディスプレイ |
US6847336B1 (en) * | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
JPH1164780A (ja) | 1997-08-12 | 1999-03-05 | Olympus Optical Co Ltd | 頭部装着型映像表示装置 |
US6037914A (en) | 1997-08-25 | 2000-03-14 | Hewlett-Packard Company | Method and apparatus for augmented reality using a see-through head-mounted display |
JPH11249588A (ja) | 1998-02-27 | 1999-09-17 | Shimadzu Corp | 頭部装着型表示装置 |
CA2270003A1 (en) | 1998-05-01 | 1999-11-01 | Sarwat Ghobranios | Video camera with eyeglass interface |
JPH11341399A (ja) | 1998-05-29 | 1999-12-10 | Sony Corp | 眼鏡型画像表示装置 |
JP2000284214A (ja) | 1999-03-30 | 2000-10-13 | Suzuki Motor Corp | ヘルメット搭載用表示手段制御装置 |
JP2001356836A (ja) | 2000-06-16 | 2001-12-26 | Toshiba Corp | コンピュータシステム、その画面保護の制御方法及び記憶媒体 |
JP2002044683A (ja) * | 2000-07-19 | 2002-02-08 | Yasushi Haruta | 立体画像用ビデオカメラおよび立体画像再生装置 |
US20020130953A1 (en) | 2001-03-13 | 2002-09-19 | John Riconda | Enhanced display of environmental navigation features to vehicle operator |
GB0109720D0 (en) * | 2001-04-20 | 2001-06-13 | Koninkl Philips Electronics Nv | Display apparatus and image encoded for display by such an apparatus |
CN1156248C (zh) * | 2001-07-13 | 2004-07-07 | 清华大学 | 运动图像的人脸特征检测方法 |
GB2378075A (en) | 2001-07-27 | 2003-01-29 | Hewlett Packard Co | Method and apparatus for transmitting images from head mounted imaging device. |
JP3893983B2 (ja) | 2002-01-17 | 2007-03-14 | ソニー株式会社 | 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム |
JP2003244728A (ja) | 2002-02-15 | 2003-08-29 | Mitsubishi Heavy Ind Ltd | 仮想映像作成装置及び仮想映像作成方法 |
US7204425B2 (en) | 2002-03-18 | 2007-04-17 | Precision Dynamics Corporation | Enhanced identification appliance |
JP2004023692A (ja) * | 2002-06-20 | 2004-01-22 | Hitachi Ltd | 撮影装置、撮影制限システム、撮影警告システム、及び撮影制限解除システム |
JP3988632B2 (ja) | 2002-11-28 | 2007-10-10 | 日本電気株式会社 | 眼鏡型ディスプレイの制御方法 |
FR2848304A1 (fr) | 2002-12-10 | 2004-06-11 | Ingineo | Nouveau systeme audiovisuel mobile de gestion d'information |
JP4133297B2 (ja) | 2002-12-19 | 2008-08-13 | シャープ株式会社 | カメラシステム |
SE0203908D0 (sv) * | 2002-12-30 | 2002-12-30 | Abb Research Ltd | An augmented reality system and method |
US7495638B2 (en) * | 2003-05-13 | 2009-02-24 | Research Triangle Institute | Visual display with increased field of view |
CN101242493B (zh) | 2003-05-20 | 2011-01-12 | 松下电器产业株式会社 | 摄像系统 |
US7369101B2 (en) | 2003-06-12 | 2008-05-06 | Siemens Medical Solutions Usa, Inc. | Calibrating real and virtual views |
JP3968522B2 (ja) * | 2003-10-06 | 2007-08-29 | ソニー株式会社 | 記録装置、及び記録方法 |
US8884845B2 (en) * | 2003-10-28 | 2014-11-11 | Semiconductor Energy Laboratory Co., Ltd. | Display device and telecommunication system |
JP4801340B2 (ja) | 2003-10-28 | 2011-10-26 | 株式会社半導体エネルギー研究所 | 表示装置 |
JP2005172851A (ja) * | 2003-12-05 | 2005-06-30 | Sony Corp | 画像表示装置 |
JP4206036B2 (ja) | 2003-12-09 | 2009-01-07 | 株式会社ゼンリン | 電子地図データを利用した風景画像の撮像位置の特定 |
JP2005269010A (ja) | 2004-03-17 | 2005-09-29 | Olympus Corp | 画像生成装置、画像生成プログラム、及び画像生成方法 |
WO2005088970A1 (ja) | 2004-03-11 | 2005-09-22 | Olympus Corporation | 画像生成装置、画像生成方法、および画像生成プログラム |
JP4605152B2 (ja) * | 2004-03-12 | 2011-01-05 | 株式会社ニコン | 画像表示光学系及び画像表示装置 |
JPWO2005122128A1 (ja) * | 2004-06-10 | 2008-04-10 | 松下電器産業株式会社 | 装着型情報提示装置 |
JP2006050265A (ja) | 2004-08-04 | 2006-02-16 | Sony Corp | アンテナモジュール用磁芯部材、アンテナモジュールおよびこれを備えた携帯情報端末 |
JP2006050285A (ja) | 2004-08-05 | 2006-02-16 | Matsushita Electric Ind Co Ltd | 携帯端末 |
JP2006067139A (ja) | 2004-08-25 | 2006-03-09 | Matsushita Electric Ind Co Ltd | 複数カメラ映像検索装置、複数カメラ映像検索方法、及び複数カメラ映像検索プログラム |
JP4720167B2 (ja) | 2004-12-03 | 2011-07-13 | 株式会社ニコン | 電子カメラおよびプログラム |
JP5040061B2 (ja) | 2004-12-15 | 2012-10-03 | コニカミノルタホールディングス株式会社 | 映像表示装置及び情報提供システム |
WO2007097738A2 (en) * | 2005-01-26 | 2007-08-30 | Wollf Robin Q | Eye tracker/head tracker/camera tracker controlled camera/weapon positioner control system |
JP2006208687A (ja) | 2005-01-27 | 2006-08-10 | Konica Minolta Photo Imaging Inc | ヘッドマウントディスプレイの映像調節システム |
JP2006208867A (ja) | 2005-01-31 | 2006-08-10 | Three Bond Co Ltd | プロジェクター用液晶パネルの製造方法 |
US20080122931A1 (en) * | 2006-06-17 | 2008-05-29 | Walter Nicholas Simbirski | Wireless Sports Training Device |
JP5119636B2 (ja) | 2006-09-27 | 2013-01-16 | ソニー株式会社 | 表示装置、表示方法 |
JP2008096868A (ja) | 2006-10-16 | 2008-04-24 | Sony Corp | 撮像表示装置、撮像表示方法 |
JP5228307B2 (ja) * | 2006-10-16 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
JP4961984B2 (ja) | 2006-12-07 | 2012-06-27 | ソニー株式会社 | 画像表示システム、表示装置、表示方法 |
-
2006
- 2006-10-16 JP JP2006281042A patent/JP5228307B2/ja active Active
-
2007
- 2007-10-11 TW TW096138062A patent/TWI428903B/zh not_active IP Right Cessation
- 2007-10-12 US US12/445,477 patent/US8681256B2/en not_active Expired - Fee Related
- 2007-10-12 EP EP07830131.4A patent/EP2081182B1/en not_active Not-in-force
- 2007-10-12 CA CA2666692A patent/CA2666692C/en not_active Expired - Fee Related
- 2007-10-12 CN CN201310332669.6A patent/CN103399403B/zh not_active Expired - Fee Related
- 2007-10-12 CN CNA2007800431636A patent/CN101542584A/zh active Pending
- 2007-10-12 KR KR1020097010005A patent/KR20090069335A/ko active Search and Examination
- 2007-10-12 WO PCT/JP2007/070397 patent/WO2008047889A1/ja active Application Filing
-
2014
- 2014-02-04 US US14/172,521 patent/US9182598B2/en not_active Expired - Fee Related
-
2015
- 2015-06-09 US US14/734,308 patent/US9846304B2/en not_active Expired - Fee Related
-
2017
- 2017-11-13 US US15/811,227 patent/US20180067313A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20150268471A1 (en) | 2015-09-24 |
US20180067313A1 (en) | 2018-03-08 |
US20140152688A1 (en) | 2014-06-05 |
CN101542584A (zh) | 2009-09-23 |
CN103399403A (zh) | 2013-11-20 |
US20100085462A1 (en) | 2010-04-08 |
US9182598B2 (en) | 2015-11-10 |
CA2666692C (en) | 2018-01-02 |
EP2081182A1 (en) | 2009-07-22 |
JP2008096867A (ja) | 2008-04-24 |
TWI428903B (zh) | 2014-03-01 |
WO2008047889A1 (en) | 2008-04-24 |
CN103399403B (zh) | 2016-10-05 |
EP2081182B1 (en) | 2016-03-30 |
TW200834536A (en) | 2008-08-16 |
US9846304B2 (en) | 2017-12-19 |
KR20090069335A (ko) | 2009-06-30 |
EP2081182A4 (en) | 2011-08-24 |
US8681256B2 (en) | 2014-03-25 |
CA2666692A1 (en) | 2008-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5228307B2 (ja) | 表示装置、表示方法 | |
US9772686B2 (en) | Imaging display apparatus and method | |
TWI384256B (zh) | Display device, display method | |
JP5162928B2 (ja) | 画像処理装置、画像処理方法、画像処理システム | |
JP6137113B2 (ja) | 表示装置、表示方法、プログラム | |
JP2008083289A (ja) | 撮像表示装置、撮像表示方法 | |
JP5664677B2 (ja) | 撮像表示装置、撮像表示方法 | |
JP2013174898A (ja) | 撮像表示装置、撮像表示方法 | |
JP2013083994A (ja) | 表示装置、表示方法 | |
JP5971298B2 (ja) | 表示装置、表示方法 | |
JP2013034237A (ja) | 画像処理装置、画像処理方法、画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080130 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091006 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091006 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120417 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120611 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121130 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20121210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130304 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |