JP2021021889A - 表示装置および表示方法 - Google Patents
表示装置および表示方法 Download PDFInfo
- Publication number
- JP2021021889A JP2021021889A JP2019139693A JP2019139693A JP2021021889A JP 2021021889 A JP2021021889 A JP 2021021889A JP 2019139693 A JP2019139693 A JP 2019139693A JP 2019139693 A JP2019139693 A JP 2019139693A JP 2021021889 A JP2021021889 A JP 2021021889A
- Authority
- JP
- Japan
- Prior art keywords
- display
- user
- image
- display device
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims 1
- 230000008569 process Effects 0.000 description 46
- 210000001508 eye Anatomy 0.000 description 40
- 230000003287 optical effect Effects 0.000 description 21
- 210000003128 head Anatomy 0.000 description 18
- 238000001514 detection method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 239000003651 drinking water Substances 0.000 description 2
- 235000020188 drinking water Nutrition 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 206010019345 Heat stroke Diseases 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】外景を視認可能な使用者の視野内の表示領域において、注視させたい対象物を視認させやすくする。【解決手段】予め登録されている対象物を、使用者の視野内の位置と共に特定し、特定された対象物に対して、対象物の背景の視認性を相対的に低下した態様とする表示を、表示領域内の表示として行なう。具体的には、視認させたい対象物以外の視認性を相対的に低下させて、画像表示部に表示する。【選択図】図7
Description
本開示は、視野内の対象を視認しやすく表示する技術に関する。
近年、HMDなどの表示装置では、使用者の視野内に仮想的な画像を表示する表示装置が種々提案されている。こうした表示装置では、現実に存在する物体に対して、仮想的な画像を予め紐付けておき、使用者が例えばHMD越しにこの物体を見ると、予め用意した画像が物体の一部または全部に重ねて表示されたり、物体の近傍に表示されたりする。
例えば、下記特許文献1記載の表示装置では、文字列が記載された用紙をカメラで撮像し、文字列を認識して訳語や解説、あるいは問題文に対する解答などを、用紙の文字列の近傍に表示するなど、使用者に必要な情報を表示することができる。上記特許文献1では、こうした情報を提示する際、使用者の視線を検出し、使用者が注視している領域に必要な情報を表示すると共に、その周辺の画像はぼかして表示することも開示している。また、映像を表示する際に、使用者の視線位置を検出し、使用者が注視している人物の周囲がぼやけた映像として表示するものも提案されている(例えば、下記特許文献2参照)。
しかしながら、特許文献1に記載の技術では、使用者の視線を検出して、使用者が注視している領域に情報を表示し、注視していない領域をぼかしているに過ぎない。もともと人の中心視野は画角にして数度程度と狭く、中心視野以外は明確に見えている訳ではない。このため、視野の中に使用者が見ようとしているもの、あるいは使用者に提示しようとする物や情報が表示されていても、注目している領域から外れていると、見落としなどが生じ得る。こうした問題は、特許文献1や2に記載の手法では何ら改善されていない。
本開示は、以下の形態又は適用例として実現することが可能である。即ち、外景を視認可能な使用者の視野内に表示領域を有する表示装置が提供される。この表示装置は、予め登録されている対象物を、前記使用者の視野内の位置と共に特定する対象物特定部と、前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう表示制御部と、を備えるものとしてよい。
A.第1実施形態:
A−1.HMDの全体構成:
図1は、本発明の一実施形態におけるHMD(頭部装着型表示装置、Head Mounted Display)100の外観構成を示す図である。HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置70(制御部)と、を備える表示装置である。制御装置70は、画像表示部20と信号をやり取りして、画像表示部20に画像を表示させるために必要な制御を行なう。
A−1.HMDの全体構成:
図1は、本発明の一実施形態におけるHMD(頭部装着型表示装置、Head Mounted Display)100の外観構成を示す図である。HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置70(制御部)と、を備える表示装置である。制御装置70は、画像表示部20と信号をやり取りして、画像表示部20に画像を表示させるために必要な制御を行なう。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22と、左表示ユニット24と、右導光板26と、左導光板28とを備える。
右保持部21および左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部23は、前部フレーム27の端部ELから、画像表示部20の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
右導光板26および左導光板28は、前部フレーム27に設けられている。右導光板26は、画像表示部20の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。この連結位置は、画像表示部20の装着状態における使用者の眉間の位置に対応する。前部フレーム27には、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部21と左保持部23とによって、画像表示部20を使用者の頭部に保持できる。また、右保持部21および左保持部23に対して、画像表示部20の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部20を使用者の頭部に強固に保持できる。
右表示ユニット22は、右導光板26による画像の表示を行う。右表示ユニット22は、右保持部21に設けられ、画像表示部20の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を行う。左表示ユニット24は、左保持部23に設けられ、画像表示部20の装着状態における使用者の左側頭部の近傍に位置する。
本実施形態の右導光板26および左導光板28は、光透過性の樹脂等によって形成される光学部(例えばプリズムやホログラム)であり、右表示ユニット22および左表示ユニット24が出力する画像光を使用者の眼に導く。なお、右導光板26および左導光板28の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム27の表面(使用者の眼と対向する面とは反対側の面)を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26および左導光板28に入射し、右導光板26および左導光板28を透過する外光の光量を調整できる。
画像表示部20は、右表示ユニット22および左表示ユニット24がそれぞれ生成する画像光を、右導光板26および左導光板28に導き、この画像光によって虚像を使用者に視認させる(これを「画像を表示する」とも呼ぶ)。使用者の前方から右導光板26および左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光と、外光とが入射する。このため、使用者における虚像の視認性は、外光の強さに影響を受ける。
このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整することができる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板26および左導光板28を保護し、右導光板26および左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、あるいは、右導光板26および左導光板28のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
画像表示部20には、叙述した画像表示に関する部材の他、カメラ61R,61L、内側カメラ62、照度センサー65、6軸センサー66、インジケーター67が設けられている。2台のカメラ61R,61Lは、画像表示部20の前部フレーム27の上側に配置されている。2台のカメラ61R,61Lは、使用者のほぼ両眼に対応する位置に設けられており、いわゆる両眼視による対象物までの距離の計測が可能となっている。距離の計測は、制御装置70により行なわれる。なお、カメラ61R,61Lは、両眼視による距離の計測ができる位置であれば、どこに設けられていてもよく、前部フレーム27の端部ER,ELにそれぞれ配置されていてもよい。なお、対象物までの距離の計測は、単願カメラとその画像の解析により行なう構成や、ミリ波レーダーなどにより行なう構成などによっても実現可能である。
カメラ61R,61Lは、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。カメラ61R,61Lは、HMD100の表側方向、換言すれば、画像表示部20の装着状態において使用者が視認する視界方向の、少なくとも一部の外景(実空間)を撮像する。換言すれば、カメラ61R,61Lは、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。本実施形態では、カメラ61R,61Lの画角の広さは、使用者が右導光板26および左導光板28を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ61R,61Lの画角の広さを適宜設定可能な光学系を設けてもよい。
内側カメラ62は、カメラ61R,61Lと同様に、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。内側カメラ62は、HMD100の内側方向、換言すれば、画像表示部20の装着状態における使用者と対向する方向を撮像する。本実施形態の内側カメラ62は、使用者の右眼を撮像するための内側カメラと、左眼を撮像するための内側カメラと、を含んでいる。本実施形態では、内側カメラ62の画角の広さは、使用者の右眼または左眼の全体を撮像可能な範囲に設定される。内側カメラ62は、使用者の眼球、特に瞳孔の位置を検出し、両眼の瞳孔の位置から、使用者の視線の方向を算出するのに用いられる。もとより、内側カメラ62は、画角の広さを適宜設定可能な光学系を設けてもよく、使用者の瞳孔のみならず、更に広い領域を撮像することで、使用者の表情などを読取るのに用いてもよい。
照度センサー65は、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するように配置される。照度センサー65は、受光量(受光強度)に対応した検出値を出力する。LEDインジケーター67は、前部フレーム27の端部ERに配置される。LEDインジケーター67は、カメラ61R,61Lによる撮像を実行中に点灯して、撮像中であることを報知する。
6軸センサー66は、加速度センサーであり、使用者の頭部のXYZ方向(3軸)の移動量と、使用者頭部のXYZ方向に対する傾き(3軸)を検出する。XYZ方向は、Z方向が重力方向に沿った方向であり、X方向は、使用者の後から前に向かう方向、Y方向が使用者の左から右に向かう方向である。また、頭部の傾きは、XYZ方向の各軸(X軸,Y軸,Z軸)の周りの角度である。6軸センサー66からの信号を積分することで、初期位置からの使用者頭部の移動量と角度を知ることができる。
画像表示部20は、接続ケーブル40により、制御装置70と接続されている。接続ケーブル40は、左保持部23の先端から引き出され、中継コネクター46を介して、制御装置70に設けられたコネクター77に着脱可能に接続される。接続ケーブル40には、ヘッドセット30が含まれる。ヘッドセット30は、マイク63と使用者の左右の耳に装着される右イヤホン32および左イヤホン34が含まれる。ヘッドセット30は、中継コネクター46に接続されて、接続ケーブル40に一体化される。
A−2.制御装置の構成:
制御装置70は、図1に示すように、周知のCPU71,メモリー72,表示部73,通信部74の他、右眼表示部75、左眼表示府76、信号入出力部78、操作部79等を備える。制御装置70には、所定のOSが組み込まれており、CPU71は、OSの管理の下で、メモリー72に記憶されたプログラムを実行することにより、種々の機能を実現する。実現される機能の例を、図1では、CPU71内に、対象物特定部81,境界検出部82,表示制御部83等として表示した。
制御装置70は、図1に示すように、周知のCPU71,メモリー72,表示部73,通信部74の他、右眼表示部75、左眼表示府76、信号入出力部78、操作部79等を備える。制御装置70には、所定のOSが組み込まれており、CPU71は、OSの管理の下で、メモリー72に記憶されたプログラムを実行することにより、種々の機能を実現する。実現される機能の例を、図1では、CPU71内に、対象物特定部81,境界検出部82,表示制御部83等として表示した。
表示部73は、制御装置70の筐体に設けられたディスプレイであり、画像表示部20への表示に関する種々の情報を表示する。これらの情報の一部または全部は、操作部79を用いた操作により変更することができる。通信部74は、4Gあるいは5Gの通信網を用いて、通信局と接続する。従って、CPU71は、通信部74を介して、ネットワークにアクセス可能であり、ネットワーク上のウエブサイトなどから情報や画像を取得可能である。インターネットなどを通して画像や情報等を取得する場合、使用者は、操作部79を操作して、画像表示部20に表示させる動画や画像のファイルを選択することができる。あるいは、画像表示部20に関する種々の設定、例えば表示する画像の明るさや、連続使用時間の上限といったHMD100の使用条件などを選択することも可能である。もとより、画像表示部20自体にこうした情報を表示させることもできるので、表示部73はなくても、こうした処理や設定は可能である。
信号入出力部78は、画像表示部20に内蔵された右表示ユニット22,左表示ユニット24を除く他の機器、カメラ61R,61L、内側カメラ62、照度センサー65からの信号や、インジケーター67からの信号を、やり取りするインタフェース回路である。CPU71は、信号入出力部78を介して、画像表示部20のカメラ61R,61Lや内側カメラ62から、その撮像画像を読込んだり、インジケーター67を点灯したりすることができる。
右眼表示部75は、右表示ユニット22により右導光板26を介して使用者の右眼に視認させる画像を出力する。同様に、左眼表示府76は、左表示ユニット24により左導光板28を介して使用者の左眼に視認させる画像を出力する。CPU71は、使用者に認識させる画像の位置を計算し、その位置に仮想的な画像が見えるように、両眼視の視差を演算し、視差を有する右左の画像を、右眼表示部75および左眼表示府76を介して、右表示ユニット22,左表示ユニット24に出力する。
右表示ユニット22および左表示ユニット24を用いて、使用者に画像を認識させる光学的な構成について説明する。図2は、画像表示部20が備える光学系の構成を示す要部平面図である。説明の便宜上、図2には使用者の右眼REおよび左眼LEを図示する。図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成されている。
右眼REに虚像を視認させる構成として、右画像表示部としての右表示ユニット22は、OLED(Organic Light Emitting Diode)ユニット221と、右光学系251とを備える。OLEDユニット221は、画像光を発する。右光学系251は、レンズ群等を備え、OLEDユニット221が発する画像光Lを右導光板26へと導く。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光し、R(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素とした複数の画素が、マトリクス状に配置されている。
OLED駆動回路225は、制御装置70の右眼表示部75から送られる信号に従って、OLEDパネル223が備える発光素子の選択および通電を実行し、発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板に実装されてもよい。なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加えて、W(白)の光を放射する発光素子を備えるWRGB構成のOLEDパネル223が採用されてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射後、右導光板26から右眼REへと射出され、この画像光Lが右眼REの網膜で像を結ぶことで、使用者に虚像を視認させる。
左眼LEに虚像を視認させる構成として、左画像表示部としての左表示ユニット24は、OLEDユニット241と、左光学系252とを備える。OLEDユニット241は画像光を発する。左光学系252は、レンズ群等を備え、OLEDユニット241が発する画像光Lを左導光板28へと導く。OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245を有する。各部の詳細は、OLEDユニット221、OLEDパネル223、OLED駆動回路225と同じである。左光学系252の詳細は右光学系251と同じである。
以上説明した構成によれば、HMD100は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。使用者の左眼LEには、ハーフミラー281で反射した画像光Lと、左導光板28を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板26および左導光板28を透かして外景(実世界)が見えると共に、この外景に重なるようにして画像光Lによる虚像が視認される。つまり、HMD100の画像表示部20は、外景を透過することで使用者に対して虚像に加え外景を視認させる。
なお、ハーフミラー261およびハーフミラー281は、右表示ユニット22および左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す。また、右光学系251および右導光板26を総称して「右導光部」とも呼び、左光学系252および左導光板28を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図3は、使用者から見た画像表示部20の要部構成を示す図である。図3では、接続ケーブル40、右イヤホン32、左イヤホン34の図示を省略している。図3の状態では、右導光板26および左導光板28の裏側が視認できると共に、右眼REに画像光を照射するためのハーフミラー261、および、左眼LEに画像光を照射するためのハーフミラー281が略四角形の領域として視認できる。使用者は、これらハーフミラー261、281を含む左右の導光板26、28の全体を透過して外景を視認すると共に、ハーフミラー261、281の位置に矩形の表示画像を視認する。
以上説明したハードウェア構成を備えるHMD100を装着した使用者は、画像表示部20の右導光板26、左導光板28越しに外景を視認することができ、更にパネル223,243に形成された画像をハーフミラー261,281を介して、仮想的な画像を見ることができる。つまり、HMD100の使用者は、現実の外景に仮想的な画像を重ねて見ることができる。なお、仮想的な画像とは、後述するように、コンピューターグラフィックスで作り出した画像でもよいし、レントゲン写真や部品の写真など、実際に撮像した画像であってもよい。「仮想的な画像」とは。外景に存在する実際のものの画像ではなく、画像表示部20により使用者に視認可能に表示する画像のことを意味する。
A−3.画像表示処理:
こうした仮想的な画像を表示する処理とその場合の見え方について、以下説明する。図4は、制御装置70が実行する処理を示すフローチャートである。この処理は、HMD100の電源が投入されている間、繰り返し実行される。
こうした仮想的な画像を表示する処理とその場合の見え方について、以下説明する。図4は、制御装置70が実行する処理を示すフローチャートである。この処理は、HMD100の電源が投入されている間、繰り返し実行される。
図4に示した処理が開始されると、制御装置70は、まずカメラ61R,61Lにより外景を撮影する処理を行なう(ステップS105)。制御装置70は、カメラ61R,61Lが撮影した画像を、信号入出力部78を介して取り込み、CPU71は、これを解析して、物体を検出する処理を行なう(ステップS115)。これらの処理は、カメラ61R,61Lのいずれか一方を用いて、つまり単眼カメラにより撮影された画像を用いて行なってもよい。所定距離だけ離れて配置された二つのカメラ61R,61Lにより撮影された画像を用いれば、立体視が可能であり、物体検出を精度良く行なうことができる。物体検出は、外景に存在する全ての物体について行なう。従って外景に複数の物体があれば、複数の物体が検出される。
図5に、HMD100を装着した使用者が見ている外景の一例を示した。この例では、使用者は、HMD100を装着して、プリンター110の特定色のインクカートリッジを交換しようとしている。プリンター110は、カバー130を明けると、筐体120内に、交換可能に4本のインクカートリッジ141,142,143,144が配列されている。プリンター110として他の構造は図示を省略した。
物体検出処理(ステップS115)を行なった後、検出した物体の中に、予め登録されている物体が存在するかを判断する(ステップS125)。この処理が、CPU71の対象物特定部81による対象物を特定する処理に相当する。検出した物体の中に予め登録した物体があることの特定は、予め登録した物体について用意した画像とのマッチングによって行なうことができる。撮像した物体の画像は、撮像方向や距離により様々なので、予め用意した画像と一致するかは、いわゆるダイナミックマッチングの技術を用いて行なう。もとより、図5に示したように、特定の製品を登録した物体として扱う場合には、物体の表面に特定の符号や文字列を印刷あるいは刻印しておき、これを抽出することで、登録された物体であることを特定しても良い。図5の例で、予め登録した物体が、例えばインク色が「イエロー」のカートリッジが、検出した物体の中に存在しなければ、ステップS105に戻って、カメラ61R,61Lによる撮影から処理を繰り返す。本実施形態では、物体として、プリンター110に装着されるインクカートリッジ141ないし144について、特定色のインクを収納したインクカートリッジ142が予め登録されているものとする。カメラ61R,61Lにより撮影した画像により検出した物体の中に、予め登録した物体であるインクカートリッジ142が存在すると判断した場合(ステップS125:「YES」)、登録物体と周囲との相対的な視認性を変更して表示する視認性変更表示処理を実行する(ステップS130)。このステップS130の処理が、CPU71の表示制御部83による処理に相当する。以下、この処理について詳しく説明する。
この処理を開始すると、まず登録物体と背景との境界を検出する処理を行なう(ステップS135)。境界の検出は、特定した物体の近傍に存在するエッジを抽出することにより、容易に行なうことができる。この処理が、CPU71の境界検出部82による処理に相当する。こうして、特定した物体と背景との境界を検出すると、この境界より外側を背景とみなして、背景を選択する(ステップS145)。背景を選択するとは、使用者の視野内において、検出した物体の境界の外側の全体を選択することを意味する。図5のプリンター110をHMD100を用いて見ている場合で、特定した物体が「イエロー」のインクカートリッジ142であった場合の背景の選択の様子を図6に示した。ここで、特定した物体の境界を画像のエッジOBとして認識することで、その外側の領域を背景(符号CGの領域)として選択している。
その上で、背景の視認性を相対的に低下するための画像を生成する処理を行ない(ステップS155)、これを背景画像として表示する(ステップS165)。以上の処理の後、「NEXT」に抜けて、本ルーチンを一旦終了する。
A−4.実施形態の効果:
第1実施形態では、ステップS155において、背景の視認性を相対的に低下するための画像として、図6に例示した画像を生成した。図6に示す例では、「イエロー」のインクカートリッジ142について検出したエッジOBの外側全部が明度50%のグレーにされたコンピュータグラフィクスCGを生成している。明度50%とは、具体的には、HMD100の右左のOLEDパネル223,243の画素を互い違いに1ドットずつオン(白)・オフ(黒)した画像である。OLEDパネル223,243上に形成された画像は、発光系の画像なので、オフ(黒)のドットからは光が出ていない。オン(白)のドットからは、三原色の発光素子の全てが発光し、白色の光が射出する。OLEDパネル223,243からの光は、右左の導光版26,28によりハーフミラー261,281まで導かれ、ここに使用者に視認される画像として形成される。互い違いに1ドットずつオン・オフされた画像は、換言すれば、画像の1/2のドット(黒)において外景が視認でき、1/2のドットにおいて外景に重ねてドット(白)が視認される画像である。
第1実施形態では、ステップS155において、背景の視認性を相対的に低下するための画像として、図6に例示した画像を生成した。図6に示す例では、「イエロー」のインクカートリッジ142について検出したエッジOBの外側全部が明度50%のグレーにされたコンピュータグラフィクスCGを生成している。明度50%とは、具体的には、HMD100の右左のOLEDパネル223,243の画素を互い違いに1ドットずつオン(白)・オフ(黒)した画像である。OLEDパネル223,243上に形成された画像は、発光系の画像なので、オフ(黒)のドットからは光が出ていない。オン(白)のドットからは、三原色の発光素子の全てが発光し、白色の光が射出する。OLEDパネル223,243からの光は、右左の導光版26,28によりハーフミラー261,281まで導かれ、ここに使用者に視認される画像として形成される。互い違いに1ドットずつオン・オフされた画像は、換言すれば、画像の1/2のドット(黒)において外景が視認でき、1/2のドットにおいて外景に重ねてドット(白)が視認される画像である。
図6に示したコンピュータグラフィクスCGでは、「イエロー」のインクカートリッジ142について検出したエッジOBの内側のドットはオフ(黒)とされ、エッジOBの外側全部が明度50%のグレーにされている。従って、「イエロー」のインクカートリッジ142はそのまま使用者の眼に入り、それ以外は、明度が約半分になった画像として、眼に入ることになる。また、「イエロー」のインクカートリッジ142以外は、1ドットおきに白いドットが目に入るので、使用者には、あたかもぼやけた画像のように視認されることになる。この様子を図7に例示した。なお、「イエロー」のインクカートリッジ142以外は、互い違いに1ドットずつオン(白)のドットとされており、他のドットは外景が見えているので、外景のもの、例えば他のインクカートリッジ141,143,144の色合い(色相や明度)などは、元の色合いがそれなりに反映された状態で見えている。
このため、HMD100を装着した使用者は、例えば「イエロー」のインクカートリッジ142がインク切れを起してこれを交換する場合など、どのカートリッジが交換すべきインクカートリッジであるかを、容易に認識することができる。つまり、使用者が注視すべき対象とその周辺との間で、認識のし易さを相対的に異ならせるので、使用者が注視している対象ではなく、注視すべき対象を明確にでき、使用者が特定のカートリッジを認識するよう誘導できる。換言すれば、使用者の視線を所望の部材に誘導できる。人間の視野自体は上下方向で約130度、左右方向で約180度前後あるものの、対象物を見ている場合の中心視野は画角にして数度程度と狭く、中心視野以外は明確に見えている訳ではない。このため、視野の中に使用者が見ようとしているものや情報が存在していても、注目している領域から外れていると、見落としなどが生じ得る。本実施形態のHMD100では、注視すべき対象以外はぼやけて見えるので、使用者の視線は、自然に注視すべき対象に導かれる。
A−5.他の構成例:
こうした使用者の視線の誘導は、注視させようとする部品等が小さい場合や、他の部品に隠れやすい位置にある場合などに特に有効である。図8は、こうした場合を例示する説明図である。インクカートリッジの交換を意図して、プリンター110のカバー130を開いた使用者は、4本並んだインクカートリッジ141〜144に気を取られ、インクカートリッジ141〜144の脇に配置された別の、小さな部品150の存在に気付かない場合がある。こうした場合に、部品150以外の視認性を相対的に低下してやれば、小さな部品や見にくい位置にある部品等であっても、使用者は自然に部品150に注視することになる。こうした部品としては、プリンターであれば、例えばインクポンプやインク吸収体ケース、キャリア搬送用モータなど、様々な部品が考えられる。
こうした使用者の視線の誘導は、注視させようとする部品等が小さい場合や、他の部品に隠れやすい位置にある場合などに特に有効である。図8は、こうした場合を例示する説明図である。インクカートリッジの交換を意図して、プリンター110のカバー130を開いた使用者は、4本並んだインクカートリッジ141〜144に気を取られ、インクカートリッジ141〜144の脇に配置された別の、小さな部品150の存在に気付かない場合がある。こうした場合に、部品150以外の視認性を相対的に低下してやれば、小さな部品や見にくい位置にある部品等であっても、使用者は自然に部品150に注視することになる。こうした部品としては、プリンターであれば、例えばインクポンプやインク吸収体ケース、キャリア搬送用モータなど、様々な部品が考えられる。
こうした視線の誘導は、よく似た部品や商品が多数存在する際に、そのうちの所望の対象物を使用者に認識させるといった場合にも利用することができる。図9は、自動販売機ASに多数の商品が陳列されている場合を例示する説明図である。図示するように、自動販売機ASには、上段に商品T1〜T6、下段に商品U1〜U6が並んでいる。缶やペットボトルに入った飲料水などの場合、商品の形状はほぼ同一、もしくは大きさは異なるが形状は相似形といったことがある。こうした場合に、HMD100の操作部79を操作して、仮に「XXが飲みたい」と使用者が入力し、HMD100の制御装置70が、通信により、使用者の近くの自動販売機ASで「XX」という商品が販売されていることを特定したとする。更に自動販売機AS内に「XX」という商品が、上段の左から3番目、つまり商品T3に存在し、更にその類似品が下段の左から5番目、つまり商品U5として陳列・販売されていることを特定したとする。
そうすると、HMD100は、図4に示した処理を実行し、使用者が見ている外景に、商品T3、U5の部分だけを除いたグレーのコンピュータグラフィクスCGを重ねて表示する。図9は、コンピュータグラフィクスCGを重ねたことで、使用者が自動販売機ASを見た場合の見え方を例示する説明図である。図示したように、自動販売機ASにおいて、目当ての商品T3、その類似品U5が、周辺と比べて、相対的に見やすく表示されるので、HMD100の使用者は、直ぐに目当ての商品を視認することができる。この例では、表示する商品は使用者が検索した商品だが、当日の気温や湿度、日照などの情報から、特定の商品、例えば熱中症予防の効果の高い飲料水などを、お薦め商品として、周辺と比べて相対的に見やすく表示する様にしてもよい。あるいは、セール対象商品などを周辺と比べて相対的に見やすく表示してもよい。見やすく表示する商品数は、1つでも良いし、3以上でもよい。また、多数の自動販売機ASが並んでいるような場合に、特定の自動販売機ASを他より相対的に視認しやすく表示してもよい。こうした表示は、もとより自動販売機に限るものではなく、他の様々な対象物、物体に対して応用することができる。例えば、外科手術をする場合、予めCTやMRIなどの機器を用いて患部を特定しておき、手術中に術者はHMD100を装着することで、手術対象の臓器を認識し、その臓器のうち、患部以外の視認性を落して表示するようにしてもよい。こうすれば、術部を誤ったり、他の部位に気を取られたりするということを抑制できる。
B.第2実施形態:
次に、第2実施形態について説明する。第2実施形態のHMD100は、第1実施形態と同様のハードウェア構成を備える。制御装置70の処理内容も、図4に示したものと同様に、相対的に視認のし易さを変更する処理(ステップS130)を行なうが、その処理内容が異なる。以下、図10を用いてこの処理について説明する。
次に、第2実施形態について説明する。第2実施形態のHMD100は、第1実施形態と同様のハードウェア構成を備える。制御装置70の処理内容も、図4に示したものと同様に、相対的に視認のし易さを変更する処理(ステップS130)を行なうが、その処理内容が異なる。以下、図10を用いてこの処理について説明する。
外景の撮影(図4、ステップS105)と物体検出処理(同、ステップS115)を行ない、外景に登録物体があると判断すると(ステップS125:「YES」)、HMD100は、図10に示すように、登録された物体の視認のし易さを相対的に変更する処理(ステップS130)を実行する。この処理では、まず物体とその背景との境界を検出する処理を行なう(ステップS235)。境界は、必ずしも閉領域とならないこともあり得るため、続くステップS245で、物体領域と背景領域とを確定させる(ステップS245)。境界が閉領域とならない場合とは、物体がHMD100の視野の端にあって、視野の外に一部がはみ出している場合や、物体の一部の色合い(色相や明度)が背景と類似しており、境界として認識できない部分が存在する場合などである。こうした場合には、認識した境界の端を直線で繋ぐと言った処理や、登録してある物体の形状から閉領域を推定するなどの処理を行ない、物体領域を確定し、結果的に背景領域も確定する。もとより、撮像した画像に対して各画素の明度を閾値と比較して2値化する処理を行なって境界を検出するといった処理を行なっている場合には、閾値の大きさを順次変更して、境界を複数認識し、それらを組み合わせて、物体領域と背景領域とを確定するなど、他の手法を用いても差し支えない。
次に、物体の背景の視認性を相対的に低下させる処理を物体領域と背景領域のいずれに対して行なうかの選択を行なう(ステップS255)。視認のし易さを相対的なものなので、物体の視認性を高めることと背景の視認性を低下させることは、いずれも、物体の背景の視認性を相対的に低下させる処理になるからである。この選択は、操作部79を操作することにより、その都度、使用者が行なっても良いし、制御装置70が予め選択して設定おき、その設定を参照するようにしても差し支えない。
ステップS255において、背景画像を対象にすると判断した場合には、ステップS265において背景画像をぼかす処理を行なう。この処理は、第1実施形態で説明したように、背景領域の画像の明度を50%にするといった処理である。他方、物体領域を対象にすると判断した場合には、ステップS275において、対象としている物体を目立たせる処理を行なう。これらのステップS265,S275の処理については、後でまとめて説明する。
背景画像をぼかしたり対処画像を目立たせたりする処理のいずれかを行なったのち、続いて6軸センサー66からの信号を入力する処理を行なう(ステップS280)。6軸センサー66からの信号を入力するのは、使用者の頭部の動き、つまり使用者がHMD100より見ている視野の変更の様子を知るためである。入力した6軸センサー66の信号から、物体位置をトレースする処理を行なう(ステップS285)。つまり、撮像した外景から見いだされた物体の視野内での位置は、使用者の頭部の動きにより変るので、これをトレースするのである。その上で、トレースした物体の位置に対応した画像を表示する処理を行なう(ステップS295)。
ステップS265やステップS275に示した背景画像をぼかしたり、対象画像を目出させたりする処理について説明する。図11,図12は、対象画像を目立たせるケースを示す説明図である。図11は、建物BLDの前を車両CAが走行している場合にカメラ61R,61Lで撮像した画像DAを例示している。図11では、建物BLDと車両CAの色合い(色相や明度)がよく似ており、両者が見分けにくい場合を想定している。こうした場合に、目立たせようとする対象(ここでは車両CA)の画像の色や明るさを変えた画像を生成し、これを使用者の視野内に、外景に含まれている物体に重ねて表示する。物体の位置は6軸センサー66を利用してトレースされているので、物体が移動していたり、使用者が頭部の位置や角度を変えていたりしても、物体に重ねて対象画像を表示することができる。図12は、建物BLDの前の車両CAに、色相や明度を変えた車両の画像を重ねて表示している状態を示す。注目させようとしている車両CAは、建物BLDとは明確に区別される態様で、つまり物体の背景の視認性を相対的に低下させた状態で表示される。色相を変える場合には、背景とは補色関係にある色相にしたり、背景が黒っぽい場合は、車両を黄色にするなど、背景に対して目立つ色の組み合わせとして予め知られた色相にしたりしてもよい。明度を変える場合には、背景が所定の明度以下、つまり暗い場合には、対象画像の明度を明るくして外景内の対象に重ねて表示すればよい。背景が所定の明度より高い、つまり明るい場合には、対象画像の明度を暗くして外景内の対象に重ねて表示してもよい。いずれの場合でも、対象と背景の明度差は際立ち、特定された物体の視認性は背景に対して高められる。
他方、背景の視認性を相対的に低くする場合には、第1実施形態で示したように、外景をぼかしてもよいし、図13に示すように、特定された物体である車両CA以外を全て、暗い色の画像で塗りつぶすようにしてもよい。この場合は、背景領域に相当する全てのドットを、青などの特定色にしてもよいし、この場合、特定された物体である車両CAは、そのまま見えているので、使用者は車両CAを容易に視認することができる。なお、こうした物体以外を塗りつぶすように表示において、本実施形態では境界を検出して、物体の境界の内外で、明確に表示を異ならせたが、図14に例示するように、必ずしも物体の境界で明確に表示を異ならせる必要はない。図14では、表示境界OPを物体の形状に近似の楕円形状としており、その内側では、外景がそのまま視認でき、その外側は塗りつぶされている。もとより、この表示境界OPの形状は、どのようなものであっても差し支えない、つまり、対象物の内側の領域だけを含む形状としてもよい、対象物の内側の一部と、内側の一部に連続し、対象物の外側の一部とを含む領域(図14はこのような場合の一形態である)であってもよく、対象物の領域全体と、対象物の領域に連続し、対象物の外側の一部とを含む領域であってもよい。また、図13、図14では、背景は塗りつぶしたが、外景が一定の割合で見えるようにして、ぼかした表示としてもよいし、撮像した外景をフィルタ処理などによりぼかした画像として、これを外景に重ねて表示するものとしてもよい。
また本実施形態では、境界を検出しているので、この境界を強調表示してもよい。エッジの強調は、例えば、境界に沿って太い境界線を重ねて表示してもよいし、境界に境界線を破線で表示して、この破線の線の部分と線と線との間の部分とを交互を入れ替えて表示する様にしてもよい。後者の表示は破線とその間とが交互に明滅する表示の態様となり、対象物の視認性を高める効果がある。もとより境界線を実線で表示して、これを点滅させてもよい。
C.他の実施形態:
(1)上記いくつかの実施形態の他の実施形態について説明する。他の実施形態として、外景を視認可能な使用者の視野内に表示領域を有する表示装置が提供される。この表示装置は、予め登録されている対象物を、前記使用者の視野内の位置と共に特定する対象物特定部と、前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう表示制御部と、を備える。こうすれば、予め登録された対象物の背景を、対象物より視認性を相対的に低下された態様で表示するので、予め登録した対象物を使用者に注視もしくは認識させ易くできる。
(1)上記いくつかの実施形態の他の実施形態について説明する。他の実施形態として、外景を視認可能な使用者の視野内に表示領域を有する表示装置が提供される。この表示装置は、予め登録されている対象物を、前記使用者の視野内の位置と共に特定する対象物特定部と、前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう表示制御部と、を備える。こうすれば、予め登録された対象物の背景を、対象物より視認性を相対的に低下された態様で表示するので、予め登録した対象物を使用者に注視もしくは認識させ易くできる。
(2)こうした表示装置において、前記表示制御部は、前記対象物よりも前記背景の視認性を低下した態様とする表示である視認性低下表示を、前記背景に重ねて行なうものとしてよい。こうすれば、予め登録された対象物の背景を、対象物より視認性を相対的に低下された態様で表示するので、予め登録した対象物を使用者に注視もしくは認識させ易くできる。
(3)こうした表示装置において、前記表示制御部は、前記視認性低下表示として、(A)前記背景をぼかした態様、(B)前記背景の明度を低下した態様、(C)前記背景を、予め定めた態様で塗りつぶした態様、のうちの少なくとも一つの態様の表示を行なうものとしてもよい。こうすれば、視認性の低下は、相対的なものなので、背景の視認性を低下する視認性低下表示により実現しても良い。
(4)こうした表示装置において、前記表示制御部は、前記対象物を前記背景よりも視認性を高めた態様とする表示である視認性向上表示を、前記対象物に重ねて行なうものとしてもよい。こうすれば、視認性の低下は、相対的なものなので、対象物の視認性を高める視認性向上表示により、対象物の視認性を背景よりも高めることができる。
(5)こうした表示装置において、前記表示制御部は、前記視認性向上表示として、(a)前記対象物のエッジを強調した態様、(b)前記対象物の明度を高めた態様、(c)前記対象物の色相を変更した態様、のうちの少なくとも一つの態様の表示を行なうものとしてもよい。こうすれば、視認性向上表示を容易に実現できる。いずれの手法を用いるかは、対象物の大きさ、もともとの対象物の視認性の容易さ、背景の視認性の程度などに応じて決定すればよい。
(6)こうした表示装置において、前記表示制御部は、前記対象物と前記背景とを、前記対象物の境界を検出することにより切り分けて、前記表示を行なうものとしてもよい。こうすれば、対象物と背景とを明確に切り分けることができ、背景の視認性を対象物に対して相対的に低下する表示を容易に実現できる。
(7)こうした表示装置において、前記表示制御部は、前記対象物の内側の少なくとも一部を含む領域以外を背景として、前記表示を行なうものとしてもよい。こうすれば、対象物と背景とを、厳密に切り分ける必要がなく、視認性の変更を容易に行なうことができる。
(8)こうした表示装置において、前記対象物の内側の少なくとも一部を含む領域は、[1]前記対象物の内側の領域、[2]前記対象物の内側の一部と、前記内側の一部に連続し、前記対象物の外側の一部とを含む領域、[3]前記対象物の領域全体と、前記対象物の領域に連続し、前記対象物の外側の一部とを含む領域、のいずれか一つとしてもよい。こうすれば、背景に対して結果的に視認性が相対的に高くなる対象物の領域を柔軟に決定することができる。
(9)こうした表示装置は、頭部装着型の表示装置であり、前記対象物特定部は、前記使用者の視野内を撮像する撮像部と、前記撮像部により撮像された画像から、前記予め登録された対象物を抽出する抽出部と、を備えるものとしてもよい。こうすれば、使用者の頭部の動きにより使用者の視野が変化しても、これに応じて対象物の位置を特定し、特定された対象物に対して、対象物の背景の視認性を相対的に低下した態様とする表示を、表示領域内の表示として、容易に行なうことができる。もとより、表示装置は、頭部装着型に限定する必要はない。例えば、会場内を俯瞰的に監視できる位置にいる使用者であれば、使用者の前にシースルー型の表示パネルを設置し、これを介して、会場を俯瞰するようにすればよい。この場合でも、特定の参加者などの対象に使用者の視線を誘導したい場合には、表示パネルに、対象の背景の視認性を相対的に低下させる画像を表示すればよい。
(10)他の実施形態として、外景を視認可能な使用者の視野内の表示領域において表示を行なう表示方法が提供される。この表示方法では、予め登録されている対象物を、前記使用者の視野内の位置と共に特定し、前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう。こうすれば、予め登録された対象物の背景を、対象物より視認性を相対的に低下された態様で表示するので、予め登録した対象物を使用者に注視もしくは認識させ易くできる。
(11)上記各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。ソフトウェアによって実現されていた構成の少なくとも一部は、ディスクリートな回路構成により実現することも可能である。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。すなわち、「コンピュータ読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
(12)本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。例えば、特定した物体の境界を強調して物体の視認性を相対的に高める処理と、境界の外側、つまり背景をぼかすなど視認性を相対的に低下させる処理とを同時に行なうことも差し支えない。
20…画像表示部、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光版、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…中継コネクター、61R,61L…カメラ、62…内側カメラ、63…マイク、65…照度センサー、66…6軸センサー、67…LEDインジケーター、70…制御装置、71…CPU、72…メモリー、73…表示部、74…通信部、75…右眼表示部、76…左眼表示府、77…コネクター、78…信号入出力部、79…操作部、81…対象物特定部、82…境界検出部、83…表示制御部、110…プリンター、120…筐体、130…カバー、141〜144…インクカートリッジ、150…部品、217,239…温度センサー、221,241…OLEDユニット、223,243…OLEDパネル、225,245…OLED駆動回路、239…温度センサー、251…右光学系、252…左光学系、261,281…ハーフミラー、AS…自動販売機、BLD…建物、CA…車両
Claims (10)
- 外景を視認可能な使用者の視野内に表示領域を有する表示装置であって、
予め登録されている対象物を、前記使用者の視野内の位置と共に特定する対象物特定部と、
前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう表示制御部と、
を備える表示装置。 - 請求項1に記載の表示装置であって、
前記表示制御部は、前記対象物よりも前記背景の視認性を低下した態様とする表示である視認性低下表示を、前記背景に重ねて行なう、表示装置。 - 請求項2に記載の表示装置であって、
前記表示制御部は、前記視認性低下表示として、
(A)前記背景をぼかした態様、
(B)前記背景の明度を低下した態様、
(C)前記背景を、予め定めた態様で塗りつぶした態様、
のうちの少なくとも一つの態様の表示を行なう、表示装置。 - 請求項1から請求項3のいずれか一項に記載の表示装置であって、
前記表示制御部は、前記対象物を前記背景よりも視認性を高めた態様とする表示である視認性向上表示を、前記対象物に重ねて行なう、表示装置。 - 請求項4記載の表示装置であって、
前記表示制御部は、前記視認性向上表示として、
(a)前記対象物のエッジを強調した態様、
(b)前記対象物の明度を高めた態様、
(c)前記対象物の色相を変更した態様、
のうちの少なくとも一つの態様の表示を行なう、表示装置。 - 請求項1から請求項5のいずれか一項に記載の表示装置であって、
前記表示制御部は、前記対象物と前記背景とを、前記対象物の境界を検出することにより切り分けて、前記表示を行なう、表示装置。 - 請求項1から請求項5のいずれか一項に記載の表示装置であって、
前記表示制御部は、前記対象物の内側の少なくとも一部を含む領域以外を背景として、前記表示を行なう、表示装置。 - 請求項7に記載の表示装置であって、
前記対象物の内側の少なくとも一部を含む領域は、
[1]前記対象物の内側の領域、
[2]前記対象物の内側の一部と、前記内側の一部に連続し、前記対象物の外側の一部とを含む領域、
[3]前記対象物の領域全体と、前記対象物の領域に連続し、前記対象物の外側の一部とを含む領域、
のいずれか一つである、表示装置。 - 請求項1から請求項8のいずれか一項に記載に表示装置であって、
当該表示装置は、頭部装着型の表示装置であり、
前記対象物特定部は、
前記使用者の視野内を撮像する撮像部と、
前記撮像部により撮像された画像から、前記予め登録された対象物を抽出する抽出部と、
を備える、表示装置。 - 外景を視認可能な使用者の視野内の表示領域において表示を行なう表示方法であって、
予め登録されている対象物を、前記使用者の視野内の位置と共に特定し、
前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう、
表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019139693A JP2021021889A (ja) | 2019-07-30 | 2019-07-30 | 表示装置および表示方法 |
US16/941,926 US20210035533A1 (en) | 2019-07-30 | 2020-07-29 | Display device and display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019139693A JP2021021889A (ja) | 2019-07-30 | 2019-07-30 | 表示装置および表示方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021021889A true JP2021021889A (ja) | 2021-02-18 |
Family
ID=74259695
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019139693A Pending JP2021021889A (ja) | 2019-07-30 | 2019-07-30 | 表示装置および表示方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210035533A1 (ja) |
JP (1) | JP2021021889A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023013938A (ja) * | 2021-07-16 | 2023-01-26 | 株式会社レーベン | 視力訓練具 |
JP2023030002A (ja) * | 2022-04-20 | 2023-03-07 | 株式会社レーベン | 視力訓練具 |
WO2023032173A1 (ja) * | 2021-09-03 | 2023-03-09 | 日本電気株式会社 | 仮想空間提供装置、仮想空間提供方法、及びコンピュータ読み取り可能な記憶媒体 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11450009B2 (en) * | 2018-02-26 | 2022-09-20 | Intel Corporation | Object detection with modified image background |
US20230152587A1 (en) * | 2021-11-17 | 2023-05-18 | Meta Platforms Technologies, Llc | Ambient light sensors and camera-based display adjustment in smart glasses for immersive reality applications |
-
2019
- 2019-07-30 JP JP2019139693A patent/JP2021021889A/ja active Pending
-
2020
- 2020-07-29 US US16/941,926 patent/US20210035533A1/en not_active Abandoned
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023013938A (ja) * | 2021-07-16 | 2023-01-26 | 株式会社レーベン | 視力訓練具 |
JP7245563B2 (ja) | 2021-07-16 | 2023-03-24 | 株式会社レーベン | 視力訓練具 |
WO2023032173A1 (ja) * | 2021-09-03 | 2023-03-09 | 日本電気株式会社 | 仮想空間提供装置、仮想空間提供方法、及びコンピュータ読み取り可能な記憶媒体 |
JP2023030002A (ja) * | 2022-04-20 | 2023-03-07 | 株式会社レーベン | 視力訓練具 |
JP7486223B2 (ja) | 2022-04-20 | 2024-05-17 | 株式会社レーベン | 視力訓練具 |
Also Published As
Publication number | Publication date |
---|---|
US20210035533A1 (en) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10175484B2 (en) | Head-mounted display device, control method for head-mounted display device, and computer program | |
US20210035533A1 (en) | Display device and display method | |
US9720238B2 (en) | Method and apparatus for a dynamic “region of interest” in a display system | |
CN110275297B (zh) | 头部佩戴型显示装置、显示控制方法以及记录介质 | |
CN110708533B (zh) | 基于增强现实的视觉辅助方法及智能穿戴设备 | |
CN109960039B (zh) | 显示系统、电子设备以及显示方法 | |
CN108535868B (zh) | 头部佩戴型显示装置及其控制方法 | |
US9870048B2 (en) | Head-mounted display device, method of controlling the same, and computer program | |
US11575877B2 (en) | Utilizing dual cameras for continuous camera capture | |
JPWO2015012280A1 (ja) | 視線検出装置 | |
JP6669053B2 (ja) | ヘッドアップディスプレイシステム | |
JP6903998B2 (ja) | ヘッドマウントディスプレイ | |
CN105549203A (zh) | 显示装置以及显示装置的控制方法 | |
US11774764B2 (en) | Digital glasses having display vision enhancement | |
CN115715177A (zh) | 具有几何危险物检测的盲人辅助眼镜 | |
KR102617220B1 (ko) | 가상 이미지 디스플레이 장치 | |
US11269187B2 (en) | Display device and display method | |
JP6733174B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
US11422379B2 (en) | Head-mounted display apparatus and display method adopting interpupillary distance based image modification | |
US20230244307A1 (en) | Visual assistance | |
JP2021047370A (ja) | 表示装置、表示装置の制御方法、表示装置の制御プログラム、及び表示システム |