JP2021021889A - 表示装置および表示方法 - Google Patents

表示装置および表示方法 Download PDF

Info

Publication number
JP2021021889A
JP2021021889A JP2019139693A JP2019139693A JP2021021889A JP 2021021889 A JP2021021889 A JP 2021021889A JP 2019139693 A JP2019139693 A JP 2019139693A JP 2019139693 A JP2019139693 A JP 2019139693A JP 2021021889 A JP2021021889 A JP 2021021889A
Authority
JP
Japan
Prior art keywords
display
user
image
display device
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019139693A
Other languages
English (en)
Inventor
田中 英樹
Hideki Tanaka
英樹 田中
裕也 丸山
Hironari Maruyama
裕也 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019139693A priority Critical patent/JP2021021889A/ja
Priority to US16/941,926 priority patent/US20210035533A1/en
Publication of JP2021021889A publication Critical patent/JP2021021889A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0686Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】外景を視認可能な使用者の視野内の表示領域において、注視させたい対象物を視認させやすくする。【解決手段】予め登録されている対象物を、使用者の視野内の位置と共に特定し、特定された対象物に対して、対象物の背景の視認性を相対的に低下した態様とする表示を、表示領域内の表示として行なう。具体的には、視認させたい対象物以外の視認性を相対的に低下させて、画像表示部に表示する。【選択図】図7

Description

本開示は、視野内の対象を視認しやすく表示する技術に関する。
近年、HMDなどの表示装置では、使用者の視野内に仮想的な画像を表示する表示装置が種々提案されている。こうした表示装置では、現実に存在する物体に対して、仮想的な画像を予め紐付けておき、使用者が例えばHMD越しにこの物体を見ると、予め用意した画像が物体の一部または全部に重ねて表示されたり、物体の近傍に表示されたりする。
例えば、下記特許文献1記載の表示装置では、文字列が記載された用紙をカメラで撮像し、文字列を認識して訳語や解説、あるいは問題文に対する解答などを、用紙の文字列の近傍に表示するなど、使用者に必要な情報を表示することができる。上記特許文献1では、こうした情報を提示する際、使用者の視線を検出し、使用者が注視している領域に必要な情報を表示すると共に、その周辺の画像はぼかして表示することも開示している。また、映像を表示する際に、使用者の視線位置を検出し、使用者が注視している人物の周囲がぼやけた映像として表示するものも提案されている(例えば、下記特許文献2参照)。
特開2014−93050号公報 特開2017−21667号公報
しかしながら、特許文献1に記載の技術では、使用者の視線を検出して、使用者が注視している領域に情報を表示し、注視していない領域をぼかしているに過ぎない。もともと人の中心視野は画角にして数度程度と狭く、中心視野以外は明確に見えている訳ではない。このため、視野の中に使用者が見ようとしているもの、あるいは使用者に提示しようとする物や情報が表示されていても、注目している領域から外れていると、見落としなどが生じ得る。こうした問題は、特許文献1や2に記載の手法では何ら改善されていない。
本開示は、以下の形態又は適用例として実現することが可能である。即ち、外景を視認可能な使用者の視野内に表示領域を有する表示装置が提供される。この表示装置は、予め登録されている対象物を、前記使用者の視野内の位置と共に特定する対象物特定部と、前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう表示制御部と、を備えるものとしてよい。
実施形態におけるHMDの外観構成を示す説明図。 画像表示部が備える光学系の構成を示す要部平面図。 使用者から見た画像表示部の要部構成を示す説明図。 第1実施形態の表示処理の概要を示すフローチャート。 HMDを装着した使用者が見ている外景の一例を示す説明図。 対象である物体の輪郭を抽出した様子を示す説明図。 視認させたい対象以外の視認性を低下させた表示の一例を示す説明図。 視認しにくい対象を視認させやすく表示した一例を示す説明図。 自動販売機ASに多数の商品が陳列されている場合の表示例を示す説明図。 第2実施形態の視認のし易さを変更する処理の概要を示すフローチャート。 建物の前を車両が走行している場合に撮像した画像を例示する説明図。 対象画像を目立たせる表示例を示す説明図。 対象以外の背景を塗りつぶした表示例を示す説明図。 特定した物体の一部を除いて、周囲の視認性を低下させた表示例を示す説明図。
A.第1実施形態:
A−1.HMDの全体構成:
図1は、本発明の一実施形態におけるHMD(頭部装着型表示装置、Head Mounted Display)100の外観構成を示す図である。HMD100は、使用者の頭部に装着された状態で使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置70(制御部)と、を備える表示装置である。制御装置70は、画像表示部20と信号をやり取りして、画像表示部20に画像を表示させるために必要な制御を行なう。
画像表示部20は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有する。画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示ユニット22と、左表示ユニット24と、右導光板26と、左導光板28とを備える。
右保持部21および左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態における使用者の右側頭部に対応する位置まで延伸して設けられている。左保持部23は、前部フレーム27の端部ELから、画像表示部20の装着状態における使用者の左側頭部に対応する位置まで延伸して設けられている。
右導光板26および左導光板28は、前部フレーム27に設けられている。右導光板26は、画像表示部20の装着状態における使用者の右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態における使用者の左眼の眼前に位置し、左眼に画像を視認させる。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有する。この連結位置は、画像表示部20の装着状態における使用者の眉間の位置に対応する。前部フレーム27には、右導光板26と左導光板28との連結位置において、画像表示部20の装着状態において使用者の鼻に当接する鼻当て部が設けられていてもよい。この場合、鼻当て部と右保持部21と左保持部23とによって、画像表示部20を使用者の頭部に保持できる。また、右保持部21および左保持部23に対して、画像表示部20の装着状態において使用者の後頭部に接するベルトを連結してもよい。この場合、ベルトによって画像表示部20を使用者の頭部に強固に保持できる。
右表示ユニット22は、右導光板26による画像の表示を行う。右表示ユニット22は、右保持部21に設けられ、画像表示部20の装着状態における使用者の右側頭部の近傍に位置する。左表示ユニット24は、左導光板28による画像の表示を行う。左表示ユニット24は、左保持部23に設けられ、画像表示部20の装着状態における使用者の左側頭部の近傍に位置する。
本実施形態の右導光板26および左導光板28は、光透過性の樹脂等によって形成される光学部(例えばプリズムやホログラム)であり、右表示ユニット22および左表示ユニット24が出力する画像光を使用者の眼に導く。なお、右導光板26および左導光板28の表面には、調光板が設けられてもよい。調光板は、光の波長域により透過率が異なる薄板状の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、前部フレーム27の表面(使用者の眼と対向する面とは反対側の面)を覆うように配置される。調光板の光学特性を適宜選択することにより、可視光、赤外光、および紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26および左導光板28に入射し、右導光板26および左導光板28を透過する外光の光量を調整できる。
画像表示部20は、右表示ユニット22および左表示ユニット24がそれぞれ生成する画像光を、右導光板26および左導光板28に導き、この画像光によって虚像を使用者に視認させる(これを「画像を表示する」とも呼ぶ)。使用者の前方から右導光板26および左導光板28を透過して外光が使用者の眼に入射する場合、使用者の眼には、虚像を構成する画像光と、外光とが入射する。このため、使用者における虚像の視認性は、外光の強さに影響を受ける。
このため、例えば前部フレーム27に調光板を装着し、調光板の光学特性を適宜選択あるいは調整することによって、虚像の視認のしやすさを調整することができる。典型的な例では、HMD100を装着した使用者が少なくとも外の景色を視認できる程度の光透過性を有する調光板を選択することができる。調光板を用いると、右導光板26および左導光板28を保護し、右導光板26および左導光板28の損傷や汚れの付着等を抑制する効果が期待できる。調光板は、前部フレーム27、あるいは、右導光板26および左導光板28のそれぞれに対して着脱可能としてもよい。また、複数種類の調光板を交換して着脱可能としてもよく、調光板を省略してもよい。
画像表示部20には、叙述した画像表示に関する部材の他、カメラ61R,61L、内側カメラ62、照度センサー65、6軸センサー66、インジケーター67が設けられている。2台のカメラ61R,61Lは、画像表示部20の前部フレーム27の上側に配置されている。2台のカメラ61R,61Lは、使用者のほぼ両眼に対応する位置に設けられており、いわゆる両眼視による対象物までの距離の計測が可能となっている。距離の計測は、制御装置70により行なわれる。なお、カメラ61R,61Lは、両眼視による距離の計測ができる位置であれば、どこに設けられていてもよく、前部フレーム27の端部ER,ELにそれぞれ配置されていてもよい。なお、対象物までの距離の計測は、単願カメラとその画像の解析により行なう構成や、ミリ波レーダーなどにより行なう構成などによっても実現可能である。
カメラ61R,61Lは、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。カメラ61R,61Lは、HMD100の表側方向、換言すれば、画像表示部20の装着状態において使用者が視認する視界方向の、少なくとも一部の外景(実空間)を撮像する。換言すれば、カメラ61R,61Lは、使用者の視界と重なる範囲または方向を撮像し、使用者が視認する方向を撮像する。本実施形態では、カメラ61R,61Lの画角の広さは、使用者が右導光板26および左導光板28を透過して視認可能な使用者の視界の全体を撮像するように設定される。カメラ61R,61Lの画角の広さを適宜設定可能な光学系を設けてもよい。
内側カメラ62は、カメラ61R,61Lと同様に、CCDやCMOS等の撮像素子、および、撮像レンズ等を備えるデジタルカメラである。内側カメラ62は、HMD100の内側方向、換言すれば、画像表示部20の装着状態における使用者と対向する方向を撮像する。本実施形態の内側カメラ62は、使用者の右眼を撮像するための内側カメラと、左眼を撮像するための内側カメラと、を含んでいる。本実施形態では、内側カメラ62の画角の広さは、使用者の右眼または左眼の全体を撮像可能な範囲に設定される。内側カメラ62は、使用者の眼球、特に瞳孔の位置を検出し、両眼の瞳孔の位置から、使用者の視線の方向を算出するのに用いられる。もとより、内側カメラ62は、画角の広さを適宜設定可能な光学系を設けてもよく、使用者の瞳孔のみならず、更に広い領域を撮像することで、使用者の表情などを読取るのに用いてもよい。
照度センサー65は、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するように配置される。照度センサー65は、受光量(受光強度)に対応した検出値を出力する。LEDインジケーター67は、前部フレーム27の端部ERに配置される。LEDインジケーター67は、カメラ61R,61Lによる撮像を実行中に点灯して、撮像中であることを報知する。
6軸センサー66は、加速度センサーであり、使用者の頭部のXYZ方向(3軸)の移動量と、使用者頭部のXYZ方向に対する傾き(3軸)を検出する。XYZ方向は、Z方向が重力方向に沿った方向であり、X方向は、使用者の後から前に向かう方向、Y方向が使用者の左から右に向かう方向である。また、頭部の傾きは、XYZ方向の各軸(X軸,Y軸,Z軸)の周りの角度である。6軸センサー66からの信号を積分することで、初期位置からの使用者頭部の移動量と角度を知ることができる。
画像表示部20は、接続ケーブル40により、制御装置70と接続されている。接続ケーブル40は、左保持部23の先端から引き出され、中継コネクター46を介して、制御装置70に設けられたコネクター77に着脱可能に接続される。接続ケーブル40には、ヘッドセット30が含まれる。ヘッドセット30は、マイク63と使用者の左右の耳に装着される右イヤホン32および左イヤホン34が含まれる。ヘッドセット30は、中継コネクター46に接続されて、接続ケーブル40に一体化される。
A−2.制御装置の構成:
制御装置70は、図1に示すように、周知のCPU71,メモリー72,表示部73,通信部74の他、右眼表示部75、左眼表示府76、信号入出力部78、操作部79等を備える。制御装置70には、所定のOSが組み込まれており、CPU71は、OSの管理の下で、メモリー72に記憶されたプログラムを実行することにより、種々の機能を実現する。実現される機能の例を、図1では、CPU71内に、対象物特定部81,境界検出部82,表示制御部83等として表示した。
表示部73は、制御装置70の筐体に設けられたディスプレイであり、画像表示部20への表示に関する種々の情報を表示する。これらの情報の一部または全部は、操作部79を用いた操作により変更することができる。通信部74は、4Gあるいは5Gの通信網を用いて、通信局と接続する。従って、CPU71は、通信部74を介して、ネットワークにアクセス可能であり、ネットワーク上のウエブサイトなどから情報や画像を取得可能である。インターネットなどを通して画像や情報等を取得する場合、使用者は、操作部79を操作して、画像表示部20に表示させる動画や画像のファイルを選択することができる。あるいは、画像表示部20に関する種々の設定、例えば表示する画像の明るさや、連続使用時間の上限といったHMD100の使用条件などを選択することも可能である。もとより、画像表示部20自体にこうした情報を表示させることもできるので、表示部73はなくても、こうした処理や設定は可能である。
信号入出力部78は、画像表示部20に内蔵された右表示ユニット22,左表示ユニット24を除く他の機器、カメラ61R,61L、内側カメラ62、照度センサー65からの信号や、インジケーター67からの信号を、やり取りするインタフェース回路である。CPU71は、信号入出力部78を介して、画像表示部20のカメラ61R,61Lや内側カメラ62から、その撮像画像を読込んだり、インジケーター67を点灯したりすることができる。
右眼表示部75は、右表示ユニット22により右導光板26を介して使用者の右眼に視認させる画像を出力する。同様に、左眼表示府76は、左表示ユニット24により左導光板28を介して使用者の左眼に視認させる画像を出力する。CPU71は、使用者に認識させる画像の位置を計算し、その位置に仮想的な画像が見えるように、両眼視の視差を演算し、視差を有する右左の画像を、右眼表示部75および左眼表示府76を介して、右表示ユニット22,左表示ユニット24に出力する。
右表示ユニット22および左表示ユニット24を用いて、使用者に画像を認識させる光学的な構成について説明する。図2は、画像表示部20が備える光学系の構成を示す要部平面図である。説明の便宜上、図2には使用者の右眼REおよび左眼LEを図示する。図2に示すように、右表示ユニット22と左表示ユニット24とは、左右対称に構成されている。
右眼REに虚像を視認させる構成として、右画像表示部としての右表示ユニット22は、OLED(Organic Light Emitting Diode)ユニット221と、右光学系251とを備える。OLEDユニット221は、画像光を発する。右光学系251は、レンズ群等を備え、OLEDユニット221が発する画像光Lを右導光板26へと導く。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、有機エレクトロルミネッセンスにより発光し、R(赤)、G(緑)、B(青)の色光をそれぞれ発する発光素子により構成される自発光型の表示パネルである。OLEDパネル223は、R、G、Bの素子を1個ずつ含む単位を1画素とした複数の画素が、マトリクス状に配置されている。
OLED駆動回路225は、制御装置70の右眼表示部75から送られる信号に従って、OLEDパネル223が備える発光素子の選択および通電を実行し、発光素子を発光させる。OLED駆動回路225は、OLEDパネル223の裏面、すなわち発光面の裏側に、ボンディング等により固定されている。OLED駆動回路225は、例えばOLEDパネル223を駆動する半導体デバイスで構成され、OLEDパネル223の裏面に固定される基板に実装されてもよい。なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成を採用してもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加えて、W(白)の光を放射する発光素子を備えるWRGB構成のOLEDパネル223が採用されてもよい。
右光学系251は、OLEDパネル223から射出された画像光Lを並行状態の光束にするコリメートレンズを有する。コリメートレンズにより並行状態の光束にされた画像光Lは、右導光板26に入射する。右導光板26の内部において光を導く光路には、画像光Lを反射する複数の反射面が形成される。画像光Lは、右導光板26の内部で複数回の反射を経て右眼RE側に導かれる。右導光板26には、右眼REの眼前に位置するハーフミラー261(反射面)が形成される。画像光Lは、ハーフミラー261で反射後、右導光板26から右眼REへと射出され、この画像光Lが右眼REの網膜で像を結ぶことで、使用者に虚像を視認させる。
左眼LEに虚像を視認させる構成として、左画像表示部としての左表示ユニット24は、OLEDユニット241と、左光学系252とを備える。OLEDユニット241は画像光を発する。左光学系252は、レンズ群等を備え、OLEDユニット241が発する画像光Lを左導光板28へと導く。OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245を有する。各部の詳細は、OLEDユニット221、OLEDパネル223、OLED駆動回路225と同じである。左光学系252の詳細は右光学系251と同じである。
以上説明した構成によれば、HMD100は、シースルー型の表示装置として機能することができる。すなわち使用者の右眼REには、ハーフミラー261で反射した画像光Lと、右導光板26を透過した外光OLとが入射する。使用者の左眼LEには、ハーフミラー281で反射した画像光Lと、左導光板28を透過した外光OLとが入射する。このように、HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者の眼に入射させる。この結果、使用者にとっては、右導光板26および左導光板28を透かして外景(実世界)が見えると共に、この外景に重なるようにして画像光Lによる虚像が視認される。つまり、HMD100の画像表示部20は、外景を透過することで使用者に対して虚像に加え外景を視認させる。
なお、ハーフミラー261およびハーフミラー281は、右表示ユニット22および左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す。また、右光学系251および右導光板26を総称して「右導光部」とも呼び、左光学系252および左導光板28を総称して「左導光部」とも呼ぶ。右導光部および左導光部の構成は、上述した例に限定されず、画像光を用いて使用者の眼前に虚像を形成する限りにおいて任意の方式を用いることができる。例えば、右導光部および左導光部には、回折格子を用いてもよいし、半透過反射膜を用いてもよい。
図3は、使用者から見た画像表示部20の要部構成を示す図である。図3では、接続ケーブル40、右イヤホン32、左イヤホン34の図示を省略している。図3の状態では、右導光板26および左導光板28の裏側が視認できると共に、右眼REに画像光を照射するためのハーフミラー261、および、左眼LEに画像光を照射するためのハーフミラー281が略四角形の領域として視認できる。使用者は、これらハーフミラー261、281を含む左右の導光板26、28の全体を透過して外景を視認すると共に、ハーフミラー261、281の位置に矩形の表示画像を視認する。
以上説明したハードウェア構成を備えるHMD100を装着した使用者は、画像表示部20の右導光板26、左導光板28越しに外景を視認することができ、更にパネル223,243に形成された画像をハーフミラー261,281を介して、仮想的な画像を見ることができる。つまり、HMD100の使用者は、現実の外景に仮想的な画像を重ねて見ることができる。なお、仮想的な画像とは、後述するように、コンピューターグラフィックスで作り出した画像でもよいし、レントゲン写真や部品の写真など、実際に撮像した画像であってもよい。「仮想的な画像」とは。外景に存在する実際のものの画像ではなく、画像表示部20により使用者に視認可能に表示する画像のことを意味する。
A−3.画像表示処理:
こうした仮想的な画像を表示する処理とその場合の見え方について、以下説明する。図4は、制御装置70が実行する処理を示すフローチャートである。この処理は、HMD100の電源が投入されている間、繰り返し実行される。
図4に示した処理が開始されると、制御装置70は、まずカメラ61R,61Lにより外景を撮影する処理を行なう(ステップS105)。制御装置70は、カメラ61R,61Lが撮影した画像を、信号入出力部78を介して取り込み、CPU71は、これを解析して、物体を検出する処理を行なう(ステップS115)。これらの処理は、カメラ61R,61Lのいずれか一方を用いて、つまり単眼カメラにより撮影された画像を用いて行なってもよい。所定距離だけ離れて配置された二つのカメラ61R,61Lにより撮影された画像を用いれば、立体視が可能であり、物体検出を精度良く行なうことができる。物体検出は、外景に存在する全ての物体について行なう。従って外景に複数の物体があれば、複数の物体が検出される。
図5に、HMD100を装着した使用者が見ている外景の一例を示した。この例では、使用者は、HMD100を装着して、プリンター110の特定色のインクカートリッジを交換しようとしている。プリンター110は、カバー130を明けると、筐体120内に、交換可能に4本のインクカートリッジ141,142,143,144が配列されている。プリンター110として他の構造は図示を省略した。
物体検出処理(ステップS115)を行なった後、検出した物体の中に、予め登録されている物体が存在するかを判断する(ステップS125)。この処理が、CPU71の対象物特定部81による対象物を特定する処理に相当する。検出した物体の中に予め登録した物体があることの特定は、予め登録した物体について用意した画像とのマッチングによって行なうことができる。撮像した物体の画像は、撮像方向や距離により様々なので、予め用意した画像と一致するかは、いわゆるダイナミックマッチングの技術を用いて行なう。もとより、図5に示したように、特定の製品を登録した物体として扱う場合には、物体の表面に特定の符号や文字列を印刷あるいは刻印しておき、これを抽出することで、登録された物体であることを特定しても良い。図5の例で、予め登録した物体が、例えばインク色が「イエロー」のカートリッジが、検出した物体の中に存在しなければ、ステップS105に戻って、カメラ61R,61Lによる撮影から処理を繰り返す。本実施形態では、物体として、プリンター110に装着されるインクカートリッジ141ないし144について、特定色のインクを収納したインクカートリッジ142が予め登録されているものとする。カメラ61R,61Lにより撮影した画像により検出した物体の中に、予め登録した物体であるインクカートリッジ142が存在すると判断した場合(ステップS125:「YES」)、登録物体と周囲との相対的な視認性を変更して表示する視認性変更表示処理を実行する(ステップS130)。このステップS130の処理が、CPU71の表示制御部83による処理に相当する。以下、この処理について詳しく説明する。
この処理を開始すると、まず登録物体と背景との境界を検出する処理を行なう(ステップS135)。境界の検出は、特定した物体の近傍に存在するエッジを抽出することにより、容易に行なうことができる。この処理が、CPU71の境界検出部82による処理に相当する。こうして、特定した物体と背景との境界を検出すると、この境界より外側を背景とみなして、背景を選択する(ステップS145)。背景を選択するとは、使用者の視野内において、検出した物体の境界の外側の全体を選択することを意味する。図5のプリンター110をHMD100を用いて見ている場合で、特定した物体が「イエロー」のインクカートリッジ142であった場合の背景の選択の様子を図6に示した。ここで、特定した物体の境界を画像のエッジOBとして認識することで、その外側の領域を背景(符号CGの領域)として選択している。
その上で、背景の視認性を相対的に低下するための画像を生成する処理を行ない(ステップS155)、これを背景画像として表示する(ステップS165)。以上の処理の後、「NEXT」に抜けて、本ルーチンを一旦終了する。
A−4.実施形態の効果:
第1実施形態では、ステップS155において、背景の視認性を相対的に低下するための画像として、図6に例示した画像を生成した。図6に示す例では、「イエロー」のインクカートリッジ142について検出したエッジOBの外側全部が明度50%のグレーにされたコンピュータグラフィクスCGを生成している。明度50%とは、具体的には、HMD100の右左のOLEDパネル223,243の画素を互い違いに1ドットずつオン(白)・オフ(黒)した画像である。OLEDパネル223,243上に形成された画像は、発光系の画像なので、オフ(黒)のドットからは光が出ていない。オン(白)のドットからは、三原色の発光素子の全てが発光し、白色の光が射出する。OLEDパネル223,243からの光は、右左の導光版26,28によりハーフミラー261,281まで導かれ、ここに使用者に視認される画像として形成される。互い違いに1ドットずつオン・オフされた画像は、換言すれば、画像の1/2のドット(黒)において外景が視認でき、1/2のドットにおいて外景に重ねてドット(白)が視認される画像である。
図6に示したコンピュータグラフィクスCGでは、「イエロー」のインクカートリッジ142について検出したエッジOBの内側のドットはオフ(黒)とされ、エッジOBの外側全部が明度50%のグレーにされている。従って、「イエロー」のインクカートリッジ142はそのまま使用者の眼に入り、それ以外は、明度が約半分になった画像として、眼に入ることになる。また、「イエロー」のインクカートリッジ142以外は、1ドットおきに白いドットが目に入るので、使用者には、あたかもぼやけた画像のように視認されることになる。この様子を図7に例示した。なお、「イエロー」のインクカートリッジ142以外は、互い違いに1ドットずつオン(白)のドットとされており、他のドットは外景が見えているので、外景のもの、例えば他のインクカートリッジ141,143,144の色合い(色相や明度)などは、元の色合いがそれなりに反映された状態で見えている。
このため、HMD100を装着した使用者は、例えば「イエロー」のインクカートリッジ142がインク切れを起してこれを交換する場合など、どのカートリッジが交換すべきインクカートリッジであるかを、容易に認識することができる。つまり、使用者が注視すべき対象とその周辺との間で、認識のし易さを相対的に異ならせるので、使用者が注視している対象ではなく、注視すべき対象を明確にでき、使用者が特定のカートリッジを認識するよう誘導できる。換言すれば、使用者の視線を所望の部材に誘導できる。人間の視野自体は上下方向で約130度、左右方向で約180度前後あるものの、対象物を見ている場合の中心視野は画角にして数度程度と狭く、中心視野以外は明確に見えている訳ではない。このため、視野の中に使用者が見ようとしているものや情報が存在していても、注目している領域から外れていると、見落としなどが生じ得る。本実施形態のHMD100では、注視すべき対象以外はぼやけて見えるので、使用者の視線は、自然に注視すべき対象に導かれる。
A−5.他の構成例:
こうした使用者の視線の誘導は、注視させようとする部品等が小さい場合や、他の部品に隠れやすい位置にある場合などに特に有効である。図8は、こうした場合を例示する説明図である。インクカートリッジの交換を意図して、プリンター110のカバー130を開いた使用者は、4本並んだインクカートリッジ141〜144に気を取られ、インクカートリッジ141〜144の脇に配置された別の、小さな部品150の存在に気付かない場合がある。こうした場合に、部品150以外の視認性を相対的に低下してやれば、小さな部品や見にくい位置にある部品等であっても、使用者は自然に部品150に注視することになる。こうした部品としては、プリンターであれば、例えばインクポンプやインク吸収体ケース、キャリア搬送用モータなど、様々な部品が考えられる。
こうした視線の誘導は、よく似た部品や商品が多数存在する際に、そのうちの所望の対象物を使用者に認識させるといった場合にも利用することができる。図9は、自動販売機ASに多数の商品が陳列されている場合を例示する説明図である。図示するように、自動販売機ASには、上段に商品T1〜T6、下段に商品U1〜U6が並んでいる。缶やペットボトルに入った飲料水などの場合、商品の形状はほぼ同一、もしくは大きさは異なるが形状は相似形といったことがある。こうした場合に、HMD100の操作部79を操作して、仮に「XXが飲みたい」と使用者が入力し、HMD100の制御装置70が、通信により、使用者の近くの自動販売機ASで「XX」という商品が販売されていることを特定したとする。更に自動販売機AS内に「XX」という商品が、上段の左から3番目、つまり商品T3に存在し、更にその類似品が下段の左から5番目、つまり商品U5として陳列・販売されていることを特定したとする。
そうすると、HMD100は、図4に示した処理を実行し、使用者が見ている外景に、商品T3、U5の部分だけを除いたグレーのコンピュータグラフィクスCGを重ねて表示する。図9は、コンピュータグラフィクスCGを重ねたことで、使用者が自動販売機ASを見た場合の見え方を例示する説明図である。図示したように、自動販売機ASにおいて、目当ての商品T3、その類似品U5が、周辺と比べて、相対的に見やすく表示されるので、HMD100の使用者は、直ぐに目当ての商品を視認することができる。この例では、表示する商品は使用者が検索した商品だが、当日の気温や湿度、日照などの情報から、特定の商品、例えば熱中症予防の効果の高い飲料水などを、お薦め商品として、周辺と比べて相対的に見やすく表示する様にしてもよい。あるいは、セール対象商品などを周辺と比べて相対的に見やすく表示してもよい。見やすく表示する商品数は、1つでも良いし、3以上でもよい。また、多数の自動販売機ASが並んでいるような場合に、特定の自動販売機ASを他より相対的に視認しやすく表示してもよい。こうした表示は、もとより自動販売機に限るものではなく、他の様々な対象物、物体に対して応用することができる。例えば、外科手術をする場合、予めCTやMRIなどの機器を用いて患部を特定しておき、手術中に術者はHMD100を装着することで、手術対象の臓器を認識し、その臓器のうち、患部以外の視認性を落して表示するようにしてもよい。こうすれば、術部を誤ったり、他の部位に気を取られたりするということを抑制できる。
B.第2実施形態:
次に、第2実施形態について説明する。第2実施形態のHMD100は、第1実施形態と同様のハードウェア構成を備える。制御装置70の処理内容も、図4に示したものと同様に、相対的に視認のし易さを変更する処理(ステップS130)を行なうが、その処理内容が異なる。以下、図10を用いてこの処理について説明する。
外景の撮影(図4、ステップS105)と物体検出処理(同、ステップS115)を行ない、外景に登録物体があると判断すると(ステップS125:「YES」)、HMD100は、図10に示すように、登録された物体の視認のし易さを相対的に変更する処理(ステップS130)を実行する。この処理では、まず物体とその背景との境界を検出する処理を行なう(ステップS235)。境界は、必ずしも閉領域とならないこともあり得るため、続くステップS245で、物体領域と背景領域とを確定させる(ステップS245)。境界が閉領域とならない場合とは、物体がHMD100の視野の端にあって、視野の外に一部がはみ出している場合や、物体の一部の色合い(色相や明度)が背景と類似しており、境界として認識できない部分が存在する場合などである。こうした場合には、認識した境界の端を直線で繋ぐと言った処理や、登録してある物体の形状から閉領域を推定するなどの処理を行ない、物体領域を確定し、結果的に背景領域も確定する。もとより、撮像した画像に対して各画素の明度を閾値と比較して2値化する処理を行なって境界を検出するといった処理を行なっている場合には、閾値の大きさを順次変更して、境界を複数認識し、それらを組み合わせて、物体領域と背景領域とを確定するなど、他の手法を用いても差し支えない。
次に、物体の背景の視認性を相対的に低下させる処理を物体領域と背景領域のいずれに対して行なうかの選択を行なう(ステップS255)。視認のし易さを相対的なものなので、物体の視認性を高めることと背景の視認性を低下させることは、いずれも、物体の背景の視認性を相対的に低下させる処理になるからである。この選択は、操作部79を操作することにより、その都度、使用者が行なっても良いし、制御装置70が予め選択して設定おき、その設定を参照するようにしても差し支えない。
ステップS255において、背景画像を対象にすると判断した場合には、ステップS265において背景画像をぼかす処理を行なう。この処理は、第1実施形態で説明したように、背景領域の画像の明度を50%にするといった処理である。他方、物体領域を対象にすると判断した場合には、ステップS275において、対象としている物体を目立たせる処理を行なう。これらのステップS265,S275の処理については、後でまとめて説明する。
背景画像をぼかしたり対処画像を目立たせたりする処理のいずれかを行なったのち、続いて6軸センサー66からの信号を入力する処理を行なう(ステップS280)。6軸センサー66からの信号を入力するのは、使用者の頭部の動き、つまり使用者がHMD100より見ている視野の変更の様子を知るためである。入力した6軸センサー66の信号から、物体位置をトレースする処理を行なう(ステップS285)。つまり、撮像した外景から見いだされた物体の視野内での位置は、使用者の頭部の動きにより変るので、これをトレースするのである。その上で、トレースした物体の位置に対応した画像を表示する処理を行なう(ステップS295)。
ステップS265やステップS275に示した背景画像をぼかしたり、対象画像を目出させたりする処理について説明する。図11,図12は、対象画像を目立たせるケースを示す説明図である。図11は、建物BLDの前を車両CAが走行している場合にカメラ61R,61Lで撮像した画像DAを例示している。図11では、建物BLDと車両CAの色合い(色相や明度)がよく似ており、両者が見分けにくい場合を想定している。こうした場合に、目立たせようとする対象(ここでは車両CA)の画像の色や明るさを変えた画像を生成し、これを使用者の視野内に、外景に含まれている物体に重ねて表示する。物体の位置は6軸センサー66を利用してトレースされているので、物体が移動していたり、使用者が頭部の位置や角度を変えていたりしても、物体に重ねて対象画像を表示することができる。図12は、建物BLDの前の車両CAに、色相や明度を変えた車両の画像を重ねて表示している状態を示す。注目させようとしている車両CAは、建物BLDとは明確に区別される態様で、つまり物体の背景の視認性を相対的に低下させた状態で表示される。色相を変える場合には、背景とは補色関係にある色相にしたり、背景が黒っぽい場合は、車両を黄色にするなど、背景に対して目立つ色の組み合わせとして予め知られた色相にしたりしてもよい。明度を変える場合には、背景が所定の明度以下、つまり暗い場合には、対象画像の明度を明るくして外景内の対象に重ねて表示すればよい。背景が所定の明度より高い、つまり明るい場合には、対象画像の明度を暗くして外景内の対象に重ねて表示してもよい。いずれの場合でも、対象と背景の明度差は際立ち、特定された物体の視認性は背景に対して高められる。
他方、背景の視認性を相対的に低くする場合には、第1実施形態で示したように、外景をぼかしてもよいし、図13に示すように、特定された物体である車両CA以外を全て、暗い色の画像で塗りつぶすようにしてもよい。この場合は、背景領域に相当する全てのドットを、青などの特定色にしてもよいし、この場合、特定された物体である車両CAは、そのまま見えているので、使用者は車両CAを容易に視認することができる。なお、こうした物体以外を塗りつぶすように表示において、本実施形態では境界を検出して、物体の境界の内外で、明確に表示を異ならせたが、図14に例示するように、必ずしも物体の境界で明確に表示を異ならせる必要はない。図14では、表示境界OPを物体の形状に近似の楕円形状としており、その内側では、外景がそのまま視認でき、その外側は塗りつぶされている。もとより、この表示境界OPの形状は、どのようなものであっても差し支えない、つまり、対象物の内側の領域だけを含む形状としてもよい、対象物の内側の一部と、内側の一部に連続し、対象物の外側の一部とを含む領域(図14はこのような場合の一形態である)であってもよく、対象物の領域全体と、対象物の領域に連続し、対象物の外側の一部とを含む領域であってもよい。また、図13、図14では、背景は塗りつぶしたが、外景が一定の割合で見えるようにして、ぼかした表示としてもよいし、撮像した外景をフィルタ処理などによりぼかした画像として、これを外景に重ねて表示するものとしてもよい。
また本実施形態では、境界を検出しているので、この境界を強調表示してもよい。エッジの強調は、例えば、境界に沿って太い境界線を重ねて表示してもよいし、境界に境界線を破線で表示して、この破線の線の部分と線と線との間の部分とを交互を入れ替えて表示する様にしてもよい。後者の表示は破線とその間とが交互に明滅する表示の態様となり、対象物の視認性を高める効果がある。もとより境界線を実線で表示して、これを点滅させてもよい。
C.他の実施形態:
(1)上記いくつかの実施形態の他の実施形態について説明する。他の実施形態として、外景を視認可能な使用者の視野内に表示領域を有する表示装置が提供される。この表示装置は、予め登録されている対象物を、前記使用者の視野内の位置と共に特定する対象物特定部と、前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう表示制御部と、を備える。こうすれば、予め登録された対象物の背景を、対象物より視認性を相対的に低下された態様で表示するので、予め登録した対象物を使用者に注視もしくは認識させ易くできる。
(2)こうした表示装置において、前記表示制御部は、前記対象物よりも前記背景の視認性を低下した態様とする表示である視認性低下表示を、前記背景に重ねて行なうものとしてよい。こうすれば、予め登録された対象物の背景を、対象物より視認性を相対的に低下された態様で表示するので、予め登録した対象物を使用者に注視もしくは認識させ易くできる。
(3)こうした表示装置において、前記表示制御部は、前記視認性低下表示として、(A)前記背景をぼかした態様、(B)前記背景の明度を低下した態様、(C)前記背景を、予め定めた態様で塗りつぶした態様、のうちの少なくとも一つの態様の表示を行なうものとしてもよい。こうすれば、視認性の低下は、相対的なものなので、背景の視認性を低下する視認性低下表示により実現しても良い。
(4)こうした表示装置において、前記表示制御部は、前記対象物を前記背景よりも視認性を高めた態様とする表示である視認性向上表示を、前記対象物に重ねて行なうものとしてもよい。こうすれば、視認性の低下は、相対的なものなので、対象物の視認性を高める視認性向上表示により、対象物の視認性を背景よりも高めることができる。
(5)こうした表示装置において、前記表示制御部は、前記視認性向上表示として、(a)前記対象物のエッジを強調した態様、(b)前記対象物の明度を高めた態様、(c)前記対象物の色相を変更した態様、のうちの少なくとも一つの態様の表示を行なうものとしてもよい。こうすれば、視認性向上表示を容易に実現できる。いずれの手法を用いるかは、対象物の大きさ、もともとの対象物の視認性の容易さ、背景の視認性の程度などに応じて決定すればよい。
(6)こうした表示装置において、前記表示制御部は、前記対象物と前記背景とを、前記対象物の境界を検出することにより切り分けて、前記表示を行なうものとしてもよい。こうすれば、対象物と背景とを明確に切り分けることができ、背景の視認性を対象物に対して相対的に低下する表示を容易に実現できる。
(7)こうした表示装置において、前記表示制御部は、前記対象物の内側の少なくとも一部を含む領域以外を背景として、前記表示を行なうものとしてもよい。こうすれば、対象物と背景とを、厳密に切り分ける必要がなく、視認性の変更を容易に行なうことができる。
(8)こうした表示装置において、前記対象物の内側の少なくとも一部を含む領域は、[1]前記対象物の内側の領域、[2]前記対象物の内側の一部と、前記内側の一部に連続し、前記対象物の外側の一部とを含む領域、[3]前記対象物の領域全体と、前記対象物の領域に連続し、前記対象物の外側の一部とを含む領域、のいずれか一つとしてもよい。こうすれば、背景に対して結果的に視認性が相対的に高くなる対象物の領域を柔軟に決定することができる。
(9)こうした表示装置は、頭部装着型の表示装置であり、前記対象物特定部は、前記使用者の視野内を撮像する撮像部と、前記撮像部により撮像された画像から、前記予め登録された対象物を抽出する抽出部と、を備えるものとしてもよい。こうすれば、使用者の頭部の動きにより使用者の視野が変化しても、これに応じて対象物の位置を特定し、特定された対象物に対して、対象物の背景の視認性を相対的に低下した態様とする表示を、表示領域内の表示として、容易に行なうことができる。もとより、表示装置は、頭部装着型に限定する必要はない。例えば、会場内を俯瞰的に監視できる位置にいる使用者であれば、使用者の前にシースルー型の表示パネルを設置し、これを介して、会場を俯瞰するようにすればよい。この場合でも、特定の参加者などの対象に使用者の視線を誘導したい場合には、表示パネルに、対象の背景の視認性を相対的に低下させる画像を表示すればよい。
(10)他の実施形態として、外景を視認可能な使用者の視野内の表示領域において表示を行なう表示方法が提供される。この表示方法では、予め登録されている対象物を、前記使用者の視野内の位置と共に特定し、前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう。こうすれば、予め登録された対象物の背景を、対象物より視認性を相対的に低下された態様で表示するので、予め登録した対象物を使用者に注視もしくは認識させ易くできる。
(11)上記各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。ソフトウェアによって実現されていた構成の少なくとも一部は、ディスクリートな回路構成により実現することも可能である。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。すなわち、「コンピュータ読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
(12)本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。例えば、特定した物体の境界を強調して物体の視認性を相対的に高める処理と、境界の外側、つまり背景をぼかすなど視認性を相対的に低下させる処理とを同時に行なうことも差し支えない。
20…画像表示部、21…右保持部、22…右表示ユニット、23…左保持部、24…左表示ユニット、26…右導光版、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、40…接続ケーブル、46…中継コネクター、61R,61L…カメラ、62…内側カメラ、63…マイク、65…照度センサー、66…6軸センサー、67…LEDインジケーター、70…制御装置、71…CPU、72…メモリー、73…表示部、74…通信部、75…右眼表示部、76…左眼表示府、77…コネクター、78…信号入出力部、79…操作部、81…対象物特定部、82…境界検出部、83…表示制御部、110…プリンター、120…筐体、130…カバー、141〜144…インクカートリッジ、150…部品、217,239…温度センサー、221,241…OLEDユニット、223,243…OLEDパネル、225,245…OLED駆動回路、239…温度センサー、251…右光学系、252…左光学系、261,281…ハーフミラー、AS…自動販売機、BLD…建物、CA…車両

Claims (10)

  1. 外景を視認可能な使用者の視野内に表示領域を有する表示装置であって、
    予め登録されている対象物を、前記使用者の視野内の位置と共に特定する対象物特定部と、
    前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう表示制御部と、
    を備える表示装置。
  2. 請求項1に記載の表示装置であって、
    前記表示制御部は、前記対象物よりも前記背景の視認性を低下した態様とする表示である視認性低下表示を、前記背景に重ねて行なう、表示装置。
  3. 請求項2に記載の表示装置であって、
    前記表示制御部は、前記視認性低下表示として、
    (A)前記背景をぼかした態様、
    (B)前記背景の明度を低下した態様、
    (C)前記背景を、予め定めた態様で塗りつぶした態様、
    のうちの少なくとも一つの態様の表示を行なう、表示装置。
  4. 請求項1から請求項3のいずれか一項に記載の表示装置であって、
    前記表示制御部は、前記対象物を前記背景よりも視認性を高めた態様とする表示である視認性向上表示を、前記対象物に重ねて行なう、表示装置。
  5. 請求項4記載の表示装置であって、
    前記表示制御部は、前記視認性向上表示として、
    (a)前記対象物のエッジを強調した態様、
    (b)前記対象物の明度を高めた態様、
    (c)前記対象物の色相を変更した態様、
    のうちの少なくとも一つの態様の表示を行なう、表示装置。
  6. 請求項1から請求項5のいずれか一項に記載の表示装置であって、
    前記表示制御部は、前記対象物と前記背景とを、前記対象物の境界を検出することにより切り分けて、前記表示を行なう、表示装置。
  7. 請求項1から請求項5のいずれか一項に記載の表示装置であって、
    前記表示制御部は、前記対象物の内側の少なくとも一部を含む領域以外を背景として、前記表示を行なう、表示装置。
  8. 請求項7に記載の表示装置であって、
    前記対象物の内側の少なくとも一部を含む領域は、
    [1]前記対象物の内側の領域、
    [2]前記対象物の内側の一部と、前記内側の一部に連続し、前記対象物の外側の一部とを含む領域、
    [3]前記対象物の領域全体と、前記対象物の領域に連続し、前記対象物の外側の一部とを含む領域、
    のいずれか一つである、表示装置。
  9. 請求項1から請求項8のいずれか一項に記載に表示装置であって、
    当該表示装置は、頭部装着型の表示装置であり、
    前記対象物特定部は、
    前記使用者の視野内を撮像する撮像部と、
    前記撮像部により撮像された画像から、前記予め登録された対象物を抽出する抽出部と、
    を備える、表示装置。
  10. 外景を視認可能な使用者の視野内の表示領域において表示を行なう表示方法であって、
    予め登録されている対象物を、前記使用者の視野内の位置と共に特定し、
    前記特定された対象物に対して、前記対象物の背景の視認性を相対的に低下した態様とする表示を、前記表示領域内の表示として行なう、
    表示方法。
JP2019139693A 2019-07-30 2019-07-30 表示装置および表示方法 Pending JP2021021889A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019139693A JP2021021889A (ja) 2019-07-30 2019-07-30 表示装置および表示方法
US16/941,926 US20210035533A1 (en) 2019-07-30 2020-07-29 Display device and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019139693A JP2021021889A (ja) 2019-07-30 2019-07-30 表示装置および表示方法

Publications (1)

Publication Number Publication Date
JP2021021889A true JP2021021889A (ja) 2021-02-18

Family

ID=74259695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019139693A Pending JP2021021889A (ja) 2019-07-30 2019-07-30 表示装置および表示方法

Country Status (2)

Country Link
US (1) US20210035533A1 (ja)
JP (1) JP2021021889A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023013938A (ja) * 2021-07-16 2023-01-26 株式会社レーベン 視力訓練具
JP2023030002A (ja) * 2022-04-20 2023-03-07 株式会社レーベン 視力訓練具
WO2023032173A1 (ja) * 2021-09-03 2023-03-09 日本電気株式会社 仮想空間提供装置、仮想空間提供方法、及びコンピュータ読み取り可能な記憶媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11450009B2 (en) * 2018-02-26 2022-09-20 Intel Corporation Object detection with modified image background
US20230152587A1 (en) * 2021-11-17 2023-05-18 Meta Platforms Technologies, Llc Ambient light sensors and camera-based display adjustment in smart glasses for immersive reality applications

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023013938A (ja) * 2021-07-16 2023-01-26 株式会社レーベン 視力訓練具
JP7245563B2 (ja) 2021-07-16 2023-03-24 株式会社レーベン 視力訓練具
WO2023032173A1 (ja) * 2021-09-03 2023-03-09 日本電気株式会社 仮想空間提供装置、仮想空間提供方法、及びコンピュータ読み取り可能な記憶媒体
JP2023030002A (ja) * 2022-04-20 2023-03-07 株式会社レーベン 視力訓練具
JP7486223B2 (ja) 2022-04-20 2024-05-17 株式会社レーベン 視力訓練具

Also Published As

Publication number Publication date
US20210035533A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
US10175484B2 (en) Head-mounted display device, control method for head-mounted display device, and computer program
US20210035533A1 (en) Display device and display method
US9720238B2 (en) Method and apparatus for a dynamic “region of interest” in a display system
CN110275297B (zh) 头部佩戴型显示装置、显示控制方法以及记录介质
CN110708533B (zh) 基于增强现实的视觉辅助方法及智能穿戴设备
CN109960039B (zh) 显示系统、电子设备以及显示方法
CN108535868B (zh) 头部佩戴型显示装置及其控制方法
US9870048B2 (en) Head-mounted display device, method of controlling the same, and computer program
US11575877B2 (en) Utilizing dual cameras for continuous camera capture
JPWO2015012280A1 (ja) 視線検出装置
JP6669053B2 (ja) ヘッドアップディスプレイシステム
JP6903998B2 (ja) ヘッドマウントディスプレイ
CN105549203A (zh) 显示装置以及显示装置的控制方法
US11774764B2 (en) Digital glasses having display vision enhancement
CN115715177A (zh) 具有几何危险物检测的盲人辅助眼镜
KR102617220B1 (ko) 가상 이미지 디스플레이 장치
US11269187B2 (en) Display device and display method
JP6733174B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US11422379B2 (en) Head-mounted display apparatus and display method adopting interpupillary distance based image modification
US20230244307A1 (en) Visual assistance
JP2021047370A (ja) 表示装置、表示装置の制御方法、表示装置の制御プログラム、及び表示システム