JP2022152147A - 画像表示装置及び画像表示装置の再起動方法 - Google Patents
画像表示装置及び画像表示装置の再起動方法 Download PDFInfo
- Publication number
- JP2022152147A JP2022152147A JP2021054806A JP2021054806A JP2022152147A JP 2022152147 A JP2022152147 A JP 2022152147A JP 2021054806 A JP2021054806 A JP 2021054806A JP 2021054806 A JP2021054806 A JP 2021054806A JP 2022152147 A JP2022152147 A JP 2022152147A
- Authority
- JP
- Japan
- Prior art keywords
- image display
- display device
- unit
- abnormality
- restarting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
- G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
- G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
- G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】異常が発生した場合の報知タイミングの遅れを軽減させた画像表示装置を提供する。【解決手段】HMD100は、使用者Uの頭部に装着され、異常の検出を報知する画像表示部20と、画像表示部20が使用者Uの頭部に装着されているか否かを検出するDP6軸センサー235と、画像表示部20の使用者Uの頭部への装着が検出されず、HMD100の異常が検出された場合に、第1順序に従ってHMD100を再起動させる第1再起動モードを実行し、画像表示部20の使用者Uの頭部への装着が検出され、HMD100の異常が検出された場合に、第2順序に従ってHMD100を再起動させる第2再起動モードを実行するDP制御部120を備える。第2順序において画像表示部20を再起動させる順番は、第1順序において画像表示部20を再起動させる順番よりも前に設定される。【選択図】図3
Description
本発明は、画像表示装置及び画像表示装置の再起動方法に関する。
従来、装置のエラーを検出し、検出したエラーに対応した処理を実行する画像表示装置が知られている。
例えば、特許文献1に開示のシースルー型表示装置は、検出したエラーのレベルに基づいて、シースルー型ディスプレイの輝度や、調光素子の透過率、表示画像の表示位置やサイズ等を調整する。
例えば、特許文献1に開示のシースルー型表示装置は、検出したエラーのレベルに基づいて、シースルー型ディスプレイの輝度や、調光素子の透過率、表示画像の表示位置やサイズ等を調整する。
しかしながら、画像表示装置に異常が発生した場合、画像表示装置の表示が消え、画像表示装置が再起動した後に表示が復活する場合がある。このような場合、表示が復活するまでに時間を要すると、使用者を困惑させる恐れがあった。
上記課題を解決する一態様は、使用者の頭部に装着される画像表示装置であって、前記画像表示装置の異常を検出する第1検出部と、前記画像表示装置に設けられ、異常の検出を報知する報知部と、前記画像表示装置が前記使用者の頭部に装着されていることを検出する第2検出部と、前記第2検出部により前記画像表示装置の装着が検出されず、前記第1検出部により前記画像表示装置の異常が検出された場合に、第1順序に従って前記画像表示装置を再起動させる第1再起動モードを実行し、前記第2検出部により前記画像表示装置の装着が検出され、前記第1検出部により前記画像表示装置の異常が検出された場合に、前記第1順序とは異なる第2順序に従って前記画像表示装置を再起動させる第2再起動モードを実行する制御部と、を備え、前記第2順序において前記報知部を再起動させる順番は、前記第1順序における前記報知部を再起動させる順番よりも前に設定される、画像表示装置である。
上記課題を解決する一態様は、使用者の頭部に装着される画像表示装置であって、前記画像表示装置の異常を検出する第1検出部と、前記画像表示装置に設けられ、異常の検出を報知する報知部と、前記画像表示装置が前記使用者の頭部に装着されていることを検出する第2検出部と、前記第2検出部により前記画像表示装置の装着が検出されずに、前記第1検出部により前記画像表示装置の異常が検出された場合に、第1順序に従って前記画像表示装置を再起動させる第1再起動モードを実行し、前記第2検出部により前記画像表示装置の装着が検出され、前記第1検出部により前記画像表示装置の異常が検出された場合に、前記第1順序とは異なる第2順序に従って前記画像表示装置を再起動させる第2再起動モードを実行する制御部と、を備え、前記第2再起動モードの開始から前記報知部を再起動させるまでの時間間隔が、前記第1再起動モードの開始から前記報知部を再起動させるまでの時間間隔よりも短い、画像表示装置である。
上記課題を解決する一態様は、使用者の頭部に装着される画像表示装置の再起動方法であって、前記画像表示装置の異常を検出する第1検出工程と、前記使用者の頭部に装着されていることを検出する第2検出工程と、前記第1検出工程により前記画像表示装置の異常が検出され、前記第2検出工程により前記画像表示装置の装着が検出されなかった場合に、第1順序に従って前記画像表示装置を再起動させる第1再起動工程と、前記第1検出工程により前記画像表示装置の異常が検出され、前記第2検出工程により前記画像表示装置の装着が検出された場合に、前記第1順序とは異なる第2順序に従って前記画像表示装置を再起動させる第2再起動工程と、を有し、前記第2順序における前記画像表示装置に異常が発生したことを報知する報知部の再起動の順番は、前記第1順序における前記報知の再起動の順番よりも前に設定される、画像表示装置の再起動方法である。
上記課題を解決する一態様は、使用者の頭部に装着される画像表示装置の再起動方法であって、前記画像表示装置の異常を検出する第1検出工程と、前記画像表示装置が使用者の頭部に装着されていることを検出する第2検出工程と、前記第1検出工程により前記画像表示装置の異常が検出され、前記第2検出工程により前記画像表示装置の装着が検出されなかった場合に、第1順序に従って前記画像表示装置を再起動させる第1再起動工程と、前記第1検出工程により前記画像表示装置の異常が検出され、前記第2検出工程により前記画像表示装置の装着が検出された場合に、前記第1順序とは異なる第2順序に従って前記画像表示装置を再起動させる第2再起動工程と、を有し、前記第2再起動工程の開始から前記画像表示装置に異常が発生したことを報知する報知部を再起動させるまでの時間間隔が、前記第1再起動工程の開始から前記報知部を再起動させるまでの時間間隔よりも短い、画像表示装置の再起動方法である。
1.表示システムの構成
図1は、表示システム1の概略構成を示す図である。
表示システム1は、画像表示装置に相当するHMD100と、制御装置300とを備える。HMD100は、使用者Uの頭部に装着される画像表示部20を備え、使用者に画像や映像を視認させる頭部装着型表示装置である。HMDは、Head Mounted Displayを略して表記したものである。
図1は、表示システム1の概略構成を示す図である。
表示システム1は、画像表示装置に相当するHMD100と、制御装置300とを備える。HMD100は、使用者Uの頭部に装着される画像表示部20を備え、使用者に画像や映像を視認させる頭部装着型表示装置である。HMDは、Head Mounted Displayを略して表記したものである。
HMD100は、画像表示部20に接続された接続装置10を有する。接続装置10は、HMD100を、HMD100とは異なる装置に接続するインターフェイスとして機能する。表示システム1では、接続装置10に制御装置300が接続される。
以下の説明及び図面においては、説明の便宜のため、HMD100を構成するいくつかの機能部の名称に接頭辞DPを付し、制御装置300を構成するいくつかの機能部の名称に接頭辞COを付す。
以下の説明及び図面においては、説明の便宜のため、HMD100を構成するいくつかの機能部の名称に接頭辞DPを付し、制御装置300を構成するいくつかの機能部の名称に接頭辞COを付す。
制御装置300は、文字や画像を表示する表示画面、及び、タッチ操作や押圧操作を検出する操作部として機能するタッチパネル328を備え、携帯可能なサイズの端末装置であり、例えばスマートフォンを用いることができる。制御装置300は、デスクトップ型パーソナルコンピューター、ノート型パーソナルコンピューター、タブレット型パーソナルコンピューター等であってもよい。
接続装置10は、箱形のケースに、コネクター11A及びコネクター11Dを備える。コネクター11Aには接続ケーブル40を介して画像表示部20が接続され、コネクター11DにはUSBケーブル46を介して制御装置300が接続される。これにより、画像表示部20と制御装置300は相互にデータを送受信可能に接続される。例えば、制御装置300は、画像表示部20が映像を表示するための映像データや、音声データを画像表示部20に出力する。例えば、画像表示部20は、後述するように画像表示部20が備える各種センサーの検出データを制御装置300に送信する。制御装置300は、画像表示部20に対して電力を供給可能であってもよい。USBは、Universal Serial Busを略して表記したものである。
USBケーブル46を用いて接続装置10と制御装置300とを接続する構成は一例にすぎず、接続装置10と制御装置300との具体的な接続形態は制限されない。例えば、他の種類のケーブルを用いて有線接続してもよいし、無線通信を介して接続してもよい。例えば、USBケーブル46がUSB-TypeC規格のコネクター11Dに接続される構成では、USBケーブル46により20ボルトの直流電流の供給が可能であり、USB-TypeCの代替モードの機能としてHDMI規格の映像データ等を伝送できる。HDMIは登録商標である。
画像表示部20は、右保持部21と、左保持部23と、前部フレーム27とを有する本体に、右表示部22、左表示部24、右導光板26及び左導光板28を備える。
右保持部21及び左保持部23は、前部フレーム27の両端部から後方に延び、使用者Uの頭部に画像表示部20を保持する。右保持部21は、前部フレーム27において使用者Uの右側に位置する端部ERに連結され、左保持部23は使用者Uの左側に位置する端部ELに連結される。
右導光板26及び左導光板28は、前部フレーム27に設けられる。右導光板26は、画像表示部20の装着状態において使用者Uの右眼の眼前に位置し、右眼に画像を視認させる。左導光板28は、画像表示部20の装着状態において使用者Uの左眼の眼前に位置し、左眼に画像を視認させる。右導光板26及び左導光板28は、光透過性の樹脂等によって形成される光学部であり、右表示部22及び左表示部24が出力する画像光を、使用者Uの眼に導く。右導光板26及び左導光板28は、例えばプリズムである。
前部フレーム27は、右導光板26の一端と左導光板28の一端とを互いに連結した形状を有し、この連結位置は、使用者Uが画像表示部20を装着する装着状態で、使用者Uの眉間に対応する。前部フレーム27は、画像表示部20の装着状態で使用者Uの鼻に当接する鼻当て部を備えてもよく、右保持部21及び左保持部23にベルトを連結して、ベルトによって画像表示部20を使用者Uの頭部に保持する構成であってもよい。
右表示部22及び左表示部24は、それぞれ、光学ユニット及び周辺回路をユニット化したモジュールである。右表示部22は、右導光板26により画像を表示させ、左表示部24は左導光板28により画像を表示させる。右表示部22は右保持部21に設けられ、左表示部24は左保持部23に設けられる。
使用者Uの右眼には、右導光板26により導かれた画像光と、右導光板26を透過した外光とが入射する。同様に、左眼には、左導光板28により導かれた画像光と、左導光板28を透過した外光とが入射する。使用者Uの眼には、右導光板26及び左導光板28からの画像光と、右導光板26及び左導光板28を透過する外光とが入射する。これにより、使用者Uは画像表示部20が表示する画像と、右導光板26及び左導光板28を透過する外景とを重ねて視認する。
前部フレーム27には、DP照度センサー65が配置される。DP照度センサー65は、画像表示部20を装着する使用者Uの前方からの外光を受光するセンサーである。DP照度センサー65によって、右導光板26及び左導光板28を透過して使用者Uの眼に入射する外光の照度や光量を検出できる。
DP外側カメラ61は、前部フレーム27において、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。DP外側カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラであり、単眼カメラであってもよいし、ステレオカメラであってもよい。DP外側カメラ61の画角は、画像表示部20を装着した使用者Uが右導光板26及び左導光板28を透過して視認する外景の範囲の少なくとも一部を含む。DP外側カメラ61は広角カメラであってもよく、画像表示部20を装着した使用者Uが視認する外景の全体を撮像可能なものであってもよい。CCDは、Charge Coupled Deviceの略であり、CMOSは、Complementary Metal Oxide Semiconductorの略である。
前部フレーム27には、DP外側カメラ61の動作中に点灯するLEDインジケーター67が配置される。
前部フレーム27には、DP外側カメラ61の動作中に点灯するLEDインジケーター67が配置される。
前部フレーム27には、予め設定された測定方向に位置する測定対象物までの距離を検出する距離センサー64が設けられる。距離センサー64は、例えば、LEDやレーザーダイオード等を用いた光反射式距離センサー、赤外線式深度センサー、超音波式の距離センサー、或いは、レーザーレンジスキャナーである。距離センサー64は、画像検出と音声検出とを組み合わせた距離検出ユニットや、カメラによるステレオ撮像で得られる画像を処理して距離を検出する装置であってもよい。距離センサー64の測定方向は、例えば、右導光板26及び左導光板28を透過して使用者Uが視認する外景の方向である。
右表示部22及び左表示部24は、それぞれ、接続ケーブル40により接続装置10に接続される。接続ケーブル40は、オーディオコネクター36を備える。オーディオコネクター36には、ステレオヘッドホンを構成する右イヤホン32及び左イヤホン34と、マイク63とを有するヘッドセット30が接続される。右イヤホン32及び左イヤホン34は、接続装置10が出力する音声信号に基づき音声を出力する。マイク63は、音声を集音して音声信号を接続装置10に出力する。
2.画像表示部の光学系の構成
図2は、画像表示部20の光学系の構成を示す要部平面図である。図2には説明のため使用者Uの左眼LE及び右眼REを図示する。
右表示部22と左表示部24とは、例えば、左右対称に構成される。
右眼REに画像を視認させる構成として、右表示部22は、画像光を発するOLEDユニット221、及び、OLEDユニット221が発する画像光Lを右導光板26に導く右光学系251を備える。OLEDはOrganic Light Emitting Diodeの略である。
図2は、画像表示部20の光学系の構成を示す要部平面図である。図2には説明のため使用者Uの左眼LE及び右眼REを図示する。
右表示部22と左表示部24とは、例えば、左右対称に構成される。
右眼REに画像を視認させる構成として、右表示部22は、画像光を発するOLEDユニット221、及び、OLEDユニット221が発する画像光Lを右導光板26に導く右光学系251を備える。OLEDはOrganic Light Emitting Diodeの略である。
OLEDユニット221は、OLEDパネル223と、OLEDパネル223を駆動するOLED駆動回路225とを有する。OLEDパネル223は、例えばR、G、Bの色光をそれぞれ発する発光素子を配置した自発光型の表示パネルである。OLED駆動回路225は、DP制御部120の制御に従ってOLEDパネル223を駆動する。OLED駆動回路225は、例えばOLEDパネル223の裏面に固定される不図示の基板に実装され、この基板に、図3に示す温度センサー217が実装される。
右光学系251は、OLEDパネル223から射出された画像光Lをコリメートレンズによって並行状態の光束にし、右導光板26に入射させる。右導光板26の内部において画像光Lは複数の反射面で反射し、右眼REの眼前に位置するハーフミラー261で反射して、右眼REに向けて右導光板26から射出される。
左眼LEに画像を視認させる構成として、右表示部22は、画像光を発するOLEDユニット241、及び、OLEDユニット241が発する画像光Lを左導光板28に導く左光学系252を備える。
OLEDユニット241は、OLEDパネル243と、OLEDパネル243を駆動するOLED駆動回路245とを有する。OLEDパネル243は、例えばR、G、Bの色光をそれぞれ発する発光素子を配置した自発光型の表示パネルである。OLED駆動回路245は、DP制御部120の制御に従ってOLEDパネル243を駆動する。OLED駆動回路245は、例えばOLEDパネル243の裏面に固定される不図示の基板に実装され、この基板には図3に示す温度センサー239が実装される。
左光学系252は、OLEDパネル243から射出された画像光Lをコリメートレンズによって並行状態の光束にし、左導光板28に入射させる。左導光板28の内部において画像光Lは複数の反射面で反射し、左眼LEの眼前に位置するハーフミラー261で反射して、左眼LEに向けて左導光板28から射出される。
HMD100は、透過型の表示装置として機能する。すなわち、使用者Uの右眼REには、ハーフミラー261で反射した画像光Lと右導光板26を透過した外光OLとが入射する。左眼LEには、ハーフミラー281で反射した画像光Lと、ハーフミラー281を透過した外光OLとが入射する。HMD100は、内部で処理した画像の画像光Lと外光OLとを重ねて使用者Uの眼に入射させる。このため、使用者Uには、右導光板26及び左導光板28を透かして外景が見え、この外景に重ねて、画像光Lによる画像が視認される。ハーフミラー261、281は、右表示部22及び左表示部24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部を構成する。
3.HMDの制御系
図3は、表示システム1のブロック図であり、特に、HMD100の構成を詳細に示す。
画像表示部20において、右表示部22は、右表示部基板210を有する。右表示部基板210には、接続ケーブル40に接続される右I/F部211、右I/F部211を介して接続装置10から入力されるデータを受信する受信部213、及び、EEPROM215が実装される。右I/F部211は、受信部213、EEPROM215、温度センサー217、DP外側カメラ61、距離センサー64、DP照度センサー65、及びLEDインジケーター67を、接続装置10に接続する。受信部213は、OLEDユニット221を接続装置10に接続する。EEPROMはElectrically Erasable Programmable Read-Only Memoryの略記である。また、受信部213を、Rx213と記載する場合がある。
図3は、表示システム1のブロック図であり、特に、HMD100の構成を詳細に示す。
画像表示部20において、右表示部22は、右表示部基板210を有する。右表示部基板210には、接続ケーブル40に接続される右I/F部211、右I/F部211を介して接続装置10から入力されるデータを受信する受信部213、及び、EEPROM215が実装される。右I/F部211は、受信部213、EEPROM215、温度センサー217、DP外側カメラ61、距離センサー64、DP照度センサー65、及びLEDインジケーター67を、接続装置10に接続する。受信部213は、OLEDユニット221を接続装置10に接続する。EEPROMはElectrically Erasable Programmable Read-Only Memoryの略記である。また、受信部213を、Rx213と記載する場合がある。
左表示部24は、左表示部基板230を有する。左表示部基板230には、接続ケーブル40に接続される左I/F部231、及び、左I/F部231を介して接続装置10から入力されるデータを受信する受信部233が実装される。左表示部基板230には、DP6軸センサー235及びDP磁気センサー237が実装される。
左I/F部231は、受信部233、DP6軸センサー235、DP磁気センサー237及び温度センサー239を、接続装置10に接続する。受信部233は、OLEDユニット241を接続装置10に接続する。また、左I/F部231は、右I/F部211と同等の機能させることも可能であり、つまり、左I/F部231は、受信部213、EEPROM215、温度センサー217、DP外側カメラ61、距離センサー64、DP照度センサー65、及びLEDインジケーター67を、接続装置10に接続する。この場合に、右I/F部211は、受信部233、DP6軸センサー235、DP磁気センサー237及び温度センサー239を、接続装置10に接続する。この他にも、左I/F部231は、右I/F部211が接続装置10に接続しているセンサー及び構成を、右I/F部211の代わりに接続装置10に接続することも可能である。以下、受信部233を、Rx233と記載する場合がある。
左I/F部231は、受信部233、DP6軸センサー235、DP磁気センサー237及び温度センサー239を、接続装置10に接続する。受信部233は、OLEDユニット241を接続装置10に接続する。また、左I/F部231は、右I/F部211と同等の機能させることも可能であり、つまり、左I/F部231は、受信部213、EEPROM215、温度センサー217、DP外側カメラ61、距離センサー64、DP照度センサー65、及びLEDインジケーター67を、接続装置10に接続する。この場合に、右I/F部211は、受信部233、DP6軸センサー235、DP磁気センサー237及び温度センサー239を、接続装置10に接続する。この他にも、左I/F部231は、右I/F部211が接続装置10に接続しているセンサー及び構成を、右I/F部211の代わりに接続装置10に接続することも可能である。以下、受信部233を、Rx233と記載する場合がある。
EEPROM215は、各種のデータを不揮発的に記憶する。EEPROM215は、例えば、画像表示部20が備えるOLEDユニット221、241の発光特性や表示特性に関するデータ、右表示部22又は左表示部24が備えるセンサーの特性に関するデータなどを記憶する。具体的には、OLEDユニット221、241のガンマ補正に係るパラメーター、温度センサー217、239の検出値を補償するデータ等をDP制御部120により読取り可能に記憶する。
DP外側カメラ61は、右I/F部211を介して入力される信号に従って撮像を実行し、撮像画像データを、右I/F部211に出力する。DP照度センサー65は、外光を受光し、受光量又は受光強度に対応した検出値を出力する。LEDインジケーター67は、右I/F部211を介して入力される制御信号又は駆動電流に従って点灯する。
温度センサー217は、OLEDユニット221の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。
温度センサー217は、OLEDユニット221の温度を検出し、検出温度に対応する電圧値あるいは抵抗値を、検出値として出力する。
距離センサー64は、距離を検出した検出結果を示す信号を、右I/F部211を介して接続装置10に出力する。
受信部213は、右I/F部211を介して接続装置10から伝送される表示用の映像データを受信し、OLEDユニット221に出力する。OLEDユニット221は、接続装置10が伝送する映像データに基づく映像を表示する。
受信部233は、左I/F部231を介して接続装置10から伝送される表示用の映像データを受信し、OLEDユニット241に出力する。OLEDユニット221、241は、接続装置10が伝送する映像データに基づく映像を表示する。
受信部233は、左I/F部231を介して接続装置10から伝送される表示用の映像データを受信し、OLEDユニット241に出力する。OLEDユニット221、241は、接続装置10が伝送する映像データに基づく映像を表示する。
DP6軸センサー235は、3軸加速度センサー、及び、3軸ジャイロセンサーを備えるモーションセンサーである。DP磁気センサー237は、例えば、3軸の地磁気センサーである。DP6軸センサー235及びDP磁気センサー237は、上記の各センサーがモジュール化されたIMUであってもよく、DP6軸センサー235及びDP磁気センサー237を一体化したモジュールであってもよい。IMUは、Inertial Measurement Unitの略記である。温度センサー239は、OLEDユニット241の温度を検出する。DP6軸センサー235、DP磁気センサー237、及び温度センサー239は、それぞれ、検出値を接続装置10に出力する。
画像表示部20の各部は、接続ケーブル40により接続装置10から供給される電力により動作する。画像表示部20は、右表示部22に電源部229を備え、左表示部24に電源部249を備える。電源部229は、接続装置10が接続ケーブル40を介して供給する電力を、右表示部基板210を含む右表示部22の各部に分配し、供給する。電源部249は、接続装置10が接続ケーブル40を介して供給する電力を、左表示部基板230を含む左表示部24の各部に分配し、供給する。電源部229、249は、電圧を変換する変換回路等を備えてもよい。電源部229、249は、電源制御部126と共に電力供給部に相当する。
接続装置10は、I/F部110、DP制御部120、センサー制御部122、表示制御部124、電源制御部126、不揮発性記憶部130、操作部140、接続部145及び音声処理部147を備える。
I/F部110は、コネクター11D、及び各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。I/F部110は、例えば、コネクター11D及びインターフェイス回路を実装したインターフェイス基板である。I/F部110は、外部の記憶装置や記憶媒体を接続可能なメモリーカード用インターフェイス等を備えてもよいし、I/F部110を無線通信インターフェイスで構成してもよい。
DP制御部120は、CPUやマイコン等のプロセッサーを備え、このプロセッサーがプログラムを実行することにより、接続装置10の各部を制御する。DP制御部120は、プロセッサーのワークエリアを構成するRAMを備えてもよい。RAMはRandom Access Memoryの略記である。
DP制御部120には、不揮発性記憶部130、操作部140、接続部145、及び音声処理部147が接続される。不揮発性記憶部130は、DP制御部120が実行するプログラムやデータを不揮発的に記憶するROMである。ROMは、Read Only Memoryの略記である。不揮発性記憶部130は、ディスプレイドライバー135を含むデバイスドライバーを記憶する。
センサー制御部122は、画像表示部20が備えるセンサー群を動作させる。センサー群には、DP外側カメラ61、距離センサー64、DP照度センサー65、温度センサー217、DP6軸センサー235、DP磁気センサー237及び温度センサー239が含まれる。センサー制御部122は、DP制御部120の制御に従って各センサーのサンプリング周期の設定及び初期化を行い、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。
センサー制御部122は、各センサーの検出値や検出結果を示す検出データを、予め設定されたタイミングで、I/F部110に出力する。ここで、DP外側カメラ61の撮像画像データを、他のセンサーの検出値や検出結果と同様に、検出データと呼ぶ。
センサー制御部122は、アナログ信号をデジタルデータに変換するA/Dコンバーターを備えてもよい。この場合、センサー制御部122は、画像表示部20のセンサーから取得した検出値や検出結果のアナログ信号を検出データに変換して出力する。センサー制御部122は、画像表示部20のセンサーから検出値や検出結果のデジタルデータを取得し、データフォーマットの変換や出力タイミングの調整等を行って、検出データをI/F部110に出力してもよい。
センサー制御部122は、アナログ信号をデジタルデータに変換するA/Dコンバーターを備えてもよい。この場合、センサー制御部122は、画像表示部20のセンサーから取得した検出値や検出結果のアナログ信号を検出データに変換して出力する。センサー制御部122は、画像表示部20のセンサーから検出値や検出結果のデジタルデータを取得し、データフォーマットの変換や出力タイミングの調整等を行って、検出データをI/F部110に出力してもよい。
センサー制御部122の動作により、I/F部110に接続された制御装置300は、HMD100の各センサーの検出値や、DP外側カメラ61の撮像画像データを取得できる。
センサー制御部122は、上述した各センサーの検出値をもとに演算処理した結果を、検出データとして出力してもよい。例えば、センサー制御部122は、複数のセンサーの検出値や検出結果を統合的に処理し、いわゆるセンサーフュージョン処理部として機能してもよい。この場合、センサー制御部122は、センサーフュージョンによって、画像表示部20の各センサーに含まれない仮想のセンサーの検出データを生成してもよい。例えば、センサー制御部122は、画像表示部20が移動した軌跡を示す軌跡データ、画像表示部20の3次元空間における位置を示す座標データ、画像表示部20の方向を示す方向データを、検出データとして出力してもよい。ここで、座標データは、接続装置10の位置を基準とする相対座標を示すデータであってもよいし、画像表示部20が存在する空間に設定された基準位置に対する位置を示すデータであってもよい。方向データは、接続装置10の位置や方向を基準とする方向を示すデータであってもよいし、画像表示部20が存在する空間に設定された基準位置に対する方向を示すデータであってもよい。
センサー制御部122は、コネクター11DにUSBケーブル46により接続された装置との間で通信プロトコルを実行し、検出データを出力する。
センサー制御部122は、コネクター11DにUSBケーブル46により接続された装置との間で通信プロトコルを実行し、検出データを出力する。
表示制御部124は、I/F部110に入力される再生信号に含まれる映像データ、或いは表示データに基づき、画像表示部20に画像を表示させるための各種処理を実行する。本実施形態では、USB-TypeCコネクターで構成されるコネクター11Dを通じて、USB-TypeCの代替モードで映像データが伝送される。表示制御部124は、例えば、フレームの切り出し、解像度変換、スケーリング、中間フレーム生成、フレームレート変換等の各種処理を実行する。表示制御部124は、OLEDユニット221、241に対応する映像データを接続部145に出力する。接続部145に入力された映像データは、コネクター11Aから、映像信号201として右I/F部211及び左I/F部231に伝送される。表示制御部124は、I/F部110に入力される表示制御データに従って、画像表示部20の表示状態を調整し、また、変更する。
センサー制御部122と表示制御部124との少なくとも一方は、プロセッサーがプログラムを実行することにより、ソフトウェアとハードウェアとの協働により実現されてもよい。すなわち、センサー制御部122及び表示制御部124は、プロセッサーにより構成され、プログラムを実行することで上記の動作を実行する。この例で、センサー制御部122及び表示制御部124は、DP制御部120を構成するプロセッサーがプログラムを実行することで実現されてもよい。言い換えれば、プロセッサーがプログラムを実行することで、DP制御部120、表示制御部124、及びセンサー制御部122として機能してもよい。ここで、プロセッサーは、コンピューターと言い換えることができる。センサー制御部122及び表示制御部124は、データ処理を行うためのワークメモリーを具備してもよく、DP制御部120のメモリーを利用して処理を行ってもよい。
表示制御部124、及び、センサー制御部122は、DSPやFPGA等、プログラムされたハードウェアにより構成されてもよい。センサー制御部122及び表示制御部124を統合して、SoC-FPGAとして構成してもよい。DSPは、Digital Signal Processorを略して表記したものである。FPGAは、Field Programmable Gate Arrayを略して表記したものである。SoCはSystem-on-a-Chipを略して表記したものである。
電源制御部126は、コネクター11Dに接続され、コネクター11Dから供給される電力に基づき接続装置10の各部及び画像表示部20に電源を供給する回路である。
電源制御部126は、電源部229、249と共に電力供給部に相当する。
電源制御部126は、電源部229、249と共に電力供給部に相当する。
操作部140は、接続装置10が備えるスイッチ等の操作を検出し、操作内容を示すデータをDP制御部120に出力する。
音声処理部147は、DP制御部120から入力される音声データに従って、音声信号を生成する。この音声データには、制御装置300から入力される再生信号に含まれる音声データも含まれる。また、音声処理部147は、アンプを備え、生成した音声信号を増幅して接続部145に出力する。この音声信号は接続部145からオーディオコネクター36を介して右イヤホン32及び左イヤホン34に出力される。音声処理部147は、マイク63が集音した音声の音声データを生成し、DP制御部120に出力する。音声処理部147が出力する音声データは、画像表示部20が備えるセンサーの検出データと同様に、センサー制御部122により処理されてもよい。
4.制御装置の構成
図4は、制御装置300のブロック図である。
制御装置300は、CO制御部310を備える。CO制御部310は、プロセッサー311、メモリー312及び不揮発性メモリー313を備える。プロセッサー311は、CPU、マイコン、DSP等で構成され、プログラムを実行することにより制御装置300の各部を制御する。メモリー312は、プロセッサー311のワークエリアを形成する。不揮発性メモリー313は、半導体メモリー機能部等で構成され、プロセッサー311が実行するプログラムや、プロセッサー311により処理される各種データを不揮発的に記憶する。例えば、不揮発性メモリー313は、プロセッサー311が実行する基本制御プログラムとしてのオペレーティングシステム、及び、オペレーティングシステム上で動作するアプリケーションプログラム等を記憶する。不揮発性メモリー313は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。CO制御部310は、プロセッサー311、メモリー312、及び不揮発性メモリー313を統合したSoCであってもよい。
図4は、制御装置300のブロック図である。
制御装置300は、CO制御部310を備える。CO制御部310は、プロセッサー311、メモリー312及び不揮発性メモリー313を備える。プロセッサー311は、CPU、マイコン、DSP等で構成され、プログラムを実行することにより制御装置300の各部を制御する。メモリー312は、プロセッサー311のワークエリアを形成する。不揮発性メモリー313は、半導体メモリー機能部等で構成され、プロセッサー311が実行するプログラムや、プロセッサー311により処理される各種データを不揮発的に記憶する。例えば、不揮発性メモリー313は、プロセッサー311が実行する基本制御プログラムとしてのオペレーティングシステム、及び、オペレーティングシステム上で動作するアプリケーションプログラム等を記憶する。不揮発性メモリー313は、アプリケーションプログラムの実行時に処理されるデータや処理結果のデータを記憶する。CO制御部310は、プロセッサー311、メモリー312、及び不揮発性メモリー313を統合したSoCであってもよい。
CO制御部310には、GNSS321、COカメラ322、CO6軸センサー323、CO磁気センサー324、CO照度センサー325、音声出力部326、CO表示部327、バッテリー329、通信部330及びI/F部331が接続される。
GNSS321は、衛星測位システムを利用して測位を行い、制御装置300の位置をCO制御部310に出力する。GNSSは、Global Navigation Satellite Systemを省略した表記である。
COカメラ322は、制御装置300の本体に設けられるデジタルカメラであり、例えば、タッチパネル328に隣接して配置され、タッチパネル328に対向する方向を撮像する。COカメラ322は、CO制御部310の制御に従って撮像を実行し、撮像画像データをCO制御部310に出力する。
CO6軸センサー323は、3軸加速度センサー及び3軸ジャイロセンサーを備えるモーションセンサーであり、検出値を示す検出データをCO制御部310に出力する。CO磁気センサー324は、例えば、3軸の地磁気センサーであり、検出値を示す検出データをCO制御部310に出力する。CO6軸センサー323及びCO磁気センサー324は、上記の各センサーがモジュール化されたIMUであってもよく、CO6軸センサー323及びCO磁気センサー324を一体化したモジュールであってもよい。
CO照度センサー325は、外光を受光し、受光量又は受光強度に対応する検出値を示す検出データをCO制御部310に出力する。
CO照度センサー325は、外光を受光し、受光量又は受光強度に対応する検出値を示す検出データをCO制御部310に出力する。
音声出力部326は、スピーカーを備え、CO制御部310の制御に従ってスピーカーから音声を出力する。音声出力部326は、CO制御部310が出力する音声信号を増幅してスピーカーに出力するアンプを備えてもよい。CO制御部310がデジタル音声データを出力する構成である場合、音声出力部326は、デジタル音声データをアナログ音声信号に変換するD/Aコンバーターを備えてもよい。
CO表示部327は、タッチパネル328を有し、CO制御部310の制御に従ってタッチパネル328に文字や画像を表示させる。
バッテリー329は、制御装置300の本体に内蔵される二次電池であり、制御装置300の各部に電力を供給すると共に、接続されたHMD100に電力を供給する。
CO制御部310は、I/F部331にHMD100が接続されると、HMD100とのネゴシエーションを行い、HMD100に供給する電力を決定する。ネゴシエーションとは、例えば、電力ロールの設定、授受する電力量の設定などを行う処理である。電力ロールとは、電力を供給する供給源として機能する電力ソース、又は電力ソースから電力を受電する電力シンクである。
CO制御部310は、ネゴシエーションにより決定した電力を、I/F部331を介してHMD100に供給させる。
バッテリー329及びCO制御部310は、第1供給部に相当する。
CO制御部310は、I/F部331にHMD100が接続されると、HMD100とのネゴシエーションを行い、HMD100に供給する電力を決定する。ネゴシエーションとは、例えば、電力ロールの設定、授受する電力量の設定などを行う処理である。電力ロールとは、電力を供給する供給源として機能する電力ソース、又は電力ソースから電力を受電する電力シンクである。
CO制御部310は、ネゴシエーションにより決定した電力を、I/F部331を介してHMD100に供給させる。
バッテリー329及びCO制御部310は、第1供給部に相当する。
通信部330は、BluetoothやWi-Fi等の無線通信プロトコルに対応し、表示システム1の外部の装置と無線通信を実行する。Bluetooth及びWi-Fiは登録商標である。通信部330は、LTEや第5世代移動体通信システム等の移動体通信ネットワークを利用して、モバイルデータ通信を実行する構成であってもよい。LTEは登録商標である。
I/F部331は、データ通信ケーブルが接続される不図示のコネクター、及び、コネクターにより各種通信規格に準拠した通信プロトコルを実行するインターフェイス回路を備える。例えば、I/F部331は、USB規格に準拠したコネクター及びインターフェイス回路を備え、USBケーブル46を通じてデータを送受信し、また、HMD100に電力を供給する。
不揮発性メモリー313には、コンテンツデータが記憶される。
CO制御部310は、コンテンツデータを再生し、映像と音声とを含む再生信号を生成する。CO制御部310は、生成した再生信号をI/F部331を介してHMD100に送信する。
CO制御部310は、コンテンツデータを再生し、映像と音声とを含む再生信号を生成する。CO制御部310は、生成した再生信号をI/F部331を介してHMD100に送信する。
5.HMD100に異常が検出された場合の再起動について
DP制御部120は、予め設定された設定時間ごとにHMD100が備えるデバイスの異常を検出する異常検出処理を実行する。異常検出処理の対象となるデバイスには、例えば、DP照度センサー65、温度センサー217、239、距離センサー64、DP6軸センサー235、DP地磁気センサー239等のセンサーや、DP外側カメラ61、音声処理部147等が含まれる。
DP制御部120は、予め設定された設定時間ごとにHMD100が備えるデバイスの異常を検出する異常検出処理を実行する。異常検出処理の対象となるデバイスには、例えば、DP照度センサー65、温度センサー217、239、距離センサー64、DP6軸センサー235、DP地磁気センサー239等のセンサーや、DP外側カメラ61、音声処理部147等が含まれる。
DP制御部120は、デバイスを駆動するドライバーにアクセス可能であるか否か、及び、ドライバーの状態を示す値が書き込まれるレジスターに、異常を示す値が書き込まれているか否かを判定して異常検出処理を実行する。
また、DP制御部120は、異常検出処理の対象となるデバイスがセンサーである場合、センサーから入力されるセンサー値が異常値を示しているか否かを判定してデバイスの異常を検出する。
また、DP制御部120は、異常検出処理の対象となるデバイスがセンサーである場合、センサーから入力されるセンサー値が異常値を示しているか否かを判定してデバイスの異常を検出する。
DP制御部120は、異常が生じているデバイスを検出すると、この異常を検出したデバイスに、DP6軸センサー235が含まれるか否かを判定する。DP制御部120は、DP6軸センサー235のセンサー値に基づき、画像表示部20が使用者Uの頭部に装着されているか否かを判定するこのため、DP6軸センサー235に異常が生じていると、DP6軸センサー235のセンサー値により画像表示部20が使用者Uの頭部に装着されているか否かを判定することができず、この後に実行するデバイスの再起動の手順が異なる。このため、DP制御部120は、DP6軸センサー235に異常が発生しているか否かを判定する。
DP制御部120は、異常が生じているデバイスにDP6軸センサー235が含まれない場合、DP6軸センサー235のセンサー値に基づいて画像表示部20が使用者Uの頭部に装着されているか否かを判定する。
DP制御部120は、DP6軸センサー235から入力されるセンサー値が一定時間変化しない場合、画像表示部20が使用者Uの頭部に装着されていないと判定する。また、DP制御部120は、DP6軸センサー235から入力されるセンサー値に変化がある場合、画像表示部20が使用者Uの頭部に装着されていると判定する。
DP制御部120は、DP6軸センサー235から入力されるセンサー値が一定時間変化しない場合、画像表示部20が使用者Uの頭部に装着されていないと判定する。また、DP制御部120は、DP6軸センサー235から入力されるセンサー値に変化がある場合、画像表示部20が使用者Uの頭部に装着されていると判定する。
DP制御部120は、デバイスに異常が検出されると、この異常を検出したデバイスのドライバーを含むドライバーを再起動させる。DP制御部120は、再起動モードとして、第1再起動モードと、第2再起動モードとを備える。
第1再起動モードは、使用者Uが画像表示部20を頭部に装着していない場合に実行される再起動のモードである。
第2再起動モードは、使用者Uが画像表示部20を頭部に装着していると判定した場合、又はDP6軸センサー235に異常が発生しており、画像表示部20が使用者Uの頭部に装着されているか否かを判定できない場合に実行される再起動のモードである。
第1再起動モードは、使用者Uが画像表示部20を頭部に装着していない場合に実行される再起動のモードである。
第2再起動モードは、使用者Uが画像表示部20を頭部に装着していると判定した場合、又はDP6軸センサー235に異常が発生しており、画像表示部20が使用者Uの頭部に装着されているか否かを判定できない場合に実行される再起動のモードである。
DP制御部120は、第1再起動モードを実行する場合、第1順序に従って異常を検出したデバイス及びディスプレイドライバー135を再起動させる。第1順序は、異常を検出したデバイスのデバイスドライバーを再起動させた後に、ディスプレイドライバー135を再起動させる順序である。
また、DP制御部120は、第2再起動モードを実行する場合、第2順序に従ってディスプレイドライバー135及び異常を検出したデバイスを再起動させる。第2順序は、ディスプレイドライバー135を再起動させた後に、異常を検出したデバイスのデバイスドライバーを再起動させる順序である。
DP制御部120は、第2再起動モードを実行する場合、ディスプレイドライバー135に異常が生じているか否かを判定し、ディスプレイドライバー135に異常が生じている場合に、ディスプレイドライバー135を再起動させてもよい。また、DP制御部120は、第2再起動モードを実行する場合に、ディスプレイドライバー135に異常が生じているか否かを判定することなくディスプレイドライバー135を再起動させ、その後に、異常を検出したデバイスのデバイスドライバーを再起動させてもよい。
DP制御部120は、第2再起動モードを実行する場合、ディスプレイドライバー135に異常が生じているか否かを判定し、ディスプレイドライバー135に異常が生じている場合に、ディスプレイドライバー135を再起動させてもよい。また、DP制御部120は、第2再起動モードを実行する場合に、ディスプレイドライバー135に異常が生じているか否かを判定することなくディスプレイドライバー135を再起動させ、その後に、異常を検出したデバイスのデバイスドライバーを再起動させてもよい。
画像表示部20は、報知部として機能する。画像表示部20は、報知動作を行う機能部として右表示部22及び左表示部24と、音声出力部とを備える。音声出力部には、音声処理部147、右イヤホン32及び左イヤホン34が含まれる。
DP制御部120は、デバイスの異常を検出して第1再起動モードを実行する場合、異常が発生したデバイスが音声出力部を駆動するドライバーであるときは、まず、案内表示を画像表示部20に表示させる。この案内表示には、音声出力部に異常が発生したことと、音声出力部を再起動させていることと、の案内が含まれる。
また、DP制御部120は、デバイス及びディスプレイドライバー135の異常を検出して第2再起動モードを実行する場合、ディスプレイドライバー135を再起動させた後に、画像表示部20に案内表示を表示させる。また、DP制御部120は、異常が発生したデバイスが音声出力部ではない場合には、音声出力部に音声案内を出力した後で、ディスプレイドライバー135を再起動させてもよい。
デバイスの異常が検出されてからディスプレイドライバー135が再起動されるまでに要する時間は、第1再起動モードよりも第2再起動モードのほうが短い。つまり、第1再起動モードを実行する場合、異常を検出したデバイスのドライバーを再起動させた後に、ディスプレイドライバー135を再起動させる。また、第2再起動モードを実行する場合、ディスプレイドライバー135を再起動させた後に、異常を検出したデバイスのドライバーを再起動させる。このため、デバイスの異常が検出されてからディスプレイドライバー135が再起動されるまでに要する時間は、第1再起動モードよりも第2再起動モードのほうが短くなる。
図5は、DP制御部120の動作を示すフローチャートである。
図5に示すフローチャートを参照しながらDP制御部120の動作について説明する。
まず、DP制御部120は、前回の異常検出処理から一定時間を経過したか否かを判定する(ステップS1)。DP制御部120は、前回の異常検出処理から一定時間を経過していない場合(ステップS1/NO)、一定時間を経過するまで待機する。
図5に示すフローチャートを参照しながらDP制御部120の動作について説明する。
まず、DP制御部120は、前回の異常検出処理から一定時間を経過したか否かを判定する(ステップS1)。DP制御部120は、前回の異常検出処理から一定時間を経過していない場合(ステップS1/NO)、一定時間を経過するまで待機する。
DP制御部120は、前回の異常検出処理を実行してから一定時間を経過した場合(ステップS1/YES)、デバイスの異常検出処理を実行する(ステップS2)。DP制御部120は、デバイスを駆動するドライバーにアクセス可能であるか否か、及び、ドライバーの状態を示す値が書き込まれるレジスターに、異常を示す値が書き込まれているか否かを判定して異常検出処理を実行する。ステップS2は、第1検出工程に相当する。
DP制御部120は、異常検出処理により異常を検出したか否かを判定する(ステップS3)。DP制御部120は、異常検出処理により異常を検出しなかった場合(ステップS3/NO)、ステップS1の判定に戻る。
また、DP制御部120は、異常検出処理により異常を検出した場合(ステップS3/YES)、異常を検出したデバイスにDP6軸センサー235が含まれるか否かを判定する(ステップS4)。
また、DP制御部120は、異常検出処理により異常を検出した場合(ステップS3/YES)、異常を検出したデバイスにDP6軸センサー235が含まれるか否かを判定する(ステップS4)。
DP制御部120は、異常を検出したデバイスにDP6軸センサー235が含まれる場合(ステップS4/YES)、ステップS6の処理に移行し、ディスプレイドライバー135の異常検出処理を開始する(ステップS6)。また、DP制御部120は、異常を検出したデバイスにDP6軸センサー235が含まれない場合(ステップS4/NO)、DP6軸センサー235から入力されるセンサー値に変化があるか否かを判定する(ステップS5)。ステップS5の判定は、第2検出工程に相当する。
DP制御部120は、DP6軸センサー235のセンサー値に変化がない場合(ステップS5/NO)、使用者Uが画像表示部20を頭部に装着していないと判定する。この場合、DP制御部120は、第1再起動モードを実行する。第1再起動モードを実行する場合、まず、DP制御部120は、ステップS3で異常を検出したデバイスのドライバーを再起動させる(ステップS11)。その後、DP制御部120は、ディスプレイドライバー135の異常検出処理を実行する(ステップS12)。DP制御部120は、ディスプレイドライバー135にアクセスできるか否か、及び、ディスプレイドライバー135の状態を示す値が書き込まれるレジスターに、異常を示す値が書き込まれているか否かを判定して、ディスプレイドライバー135に異常が生じているか否かを判定する。DP制御部120は、ディスプレイドライバー135に異常が発生していないと判定した場合(ステップS13/NO)、ステップS1の判定に戻る。また、DP制御部120は、ディスプレイドライバー135に異常が発生していると判定した場合(ステップS13/YES)、ディスプレイドライバー135を再起動させる(ステップS14)。ステップS11~S14は、第1再起動工程に相当する。
また、DP制御部120は、DP6軸センサー235のセンサー値に変化がある場合(ステップS5/YES)、使用者Uが画像表示部20を頭部に装着していると判定する。この場合、DP制御部120は、第2再起動モードを実行する。第2再起動モードを実行する場合、まず、DP制御部120は、ディスプレイドライバー135の異常検出処理を実行する(ステップS6)。DP制御部120は、ディスプレイドライバー135にアクセスできるか否か、及び、ディスプレイドライバー135の状態を示す値が書き込まれるレジスターに、異常を示す値が書き込まれているか否かを判定して、ディスプレイドライバー135に異常が生じているか否かを判定する。
DP制御部120は、ディスプレイドライバー135に異常が発生していると判定した場合(ステップS7/YES)、ディスプレイドライバー135を再起動させる(ステップS8)。DP制御部120は、ディスプレイドライバー135を再起動させると、画像表示部20に案内表示を表示させる(ステップS9)。この案内表示には、異常を検出したデバイスを示す情報と、異常状態からの復帰処理を実行中である旨とが含まれる。DP制御部120は、不揮発性記憶部130に記憶させたOSDデータを取得し、取得したOSDデータを画像表示部20に表示させることで案内表示を表示させる。
DP制御部120は、案内表示を表示させると、ステップS3で異常を検出したデバイスのドライバーを再起動させる(ステップS10)。ステップS8、S9及びS10は、第2再起動工程に相当する。
DP制御部120は、案内表示を表示させると、ステップS3で異常を検出したデバイスのドライバーを再起動させる(ステップS10)。ステップS8、S9及びS10は、第2再起動工程に相当する。
以上説明したように本実施形態のHMD100は、使用者Uの頭部に装着される画像表示装置であり、画像表示部20、DP6軸センサー235及びDP制御部120を備える。
画像表示部20は、使用者Uの頭部に装着され、異常の検出を報知する報知部を備える。
DP制御部120は、HMD100の異常を検出する第1検出部として動作する。
DP6軸センサー235は、画像表示部20が使用者Uの頭部に装着されているか否かを検出する第2検出部として機能する。
画像表示部20は、使用者Uの頭部に装着され、異常の検出を報知する報知部を備える。
DP制御部120は、HMD100の異常を検出する第1検出部として動作する。
DP6軸センサー235は、画像表示部20が使用者Uの頭部に装着されているか否かを検出する第2検出部として機能する。
DP制御部120は、DP6軸センサー235により画像表示部20の頭部への装着が検出されず、HMD100の異常が検出された場合、第1順序に従ってHMD100を再起動させる。また、DP制御部120は、DP6軸センサー235により画像表示部20の頭部への装着が検出され、HMD100の異常が検出された場合、第2順序に従ってHMD100を再起動させる第2再起動モードを実行する。
第2順序において画像表示部20を制御するディスプレイドライバー135を再起動させる順番は、第1順序においてディスプレイドライバー135を再起動させる順番よりも前に設定される。
従って、画像表示部20が使用者Uの頭部に装着されている場合に、ディスプレイドライバー135が再起されるタイミングを早めて、使用者Uへの報知のタイミングの遅れを軽減させることができる。
第2順序において画像表示部20を制御するディスプレイドライバー135を再起動させる順番は、第1順序においてディスプレイドライバー135を再起動させる順番よりも前に設定される。
従って、画像表示部20が使用者Uの頭部に装着されている場合に、ディスプレイドライバー135が再起されるタイミングを早めて、使用者Uへの報知のタイミングの遅れを軽減させることができる。
また、第2再起動モードの開始からディスプレイドライバー135を再起動させるまでの時間間隔が、第1再起動モードの開始からディスプレイドライバー135を再起動させるまでの時間間隔よりも短い。
ディスプレイドライバー135が再起されるタイミングを早めて、使用者Uへの報知のタイミングの遅れを軽減させることができる。
ディスプレイドライバー135が再起されるタイミングを早めて、使用者Uへの報知のタイミングの遅れを軽減させることができる。
DP制御部120は、HMD100の異常が検出された場合、ディスプレイドライバー135に異常が生じているか否かを判定し、ディスプレイドライバー135に異常が生じていると判定した場合には、第2再起動モードを実行する。
従って、ディスプレイドライバー135に異常が生じている場合に、ディスプレイドライバー135を優先的に再起動させることで、異常の発生を画像表示部20に表示させて報知する場合の報知タイミングの遅れを軽減させることができる。
従って、ディスプレイドライバー135に異常が生じている場合に、ディスプレイドライバー135を優先的に再起動させることで、異常の発生を画像表示部20に表示させて報知する場合の報知タイミングの遅れを軽減させることができる。
画像表示部20は、報知部として、使用者Uに視認させる画像を表示する右表示部22及び左表示部24と、音声を出力する音声出力部と、を含む。音声出力部は、音声処理部147と、右イヤホン32及び左イヤホン34とを含む。
DP制御部120は、ディスプレイドライバー135に異常が生じていると判定した場合に、音声出力部により異常の発生を報知する。
また、DP制御部120は、音声出力部に異常が生じていると判定した場合に、ディスプレイドライバー135により異常の発生を報知する。
従って、異常が発生していない報知部を使用して報知を行うため、使用者Uへの報知のタイミングの遅れを軽減させることができる。
DP制御部120は、ディスプレイドライバー135に異常が生じていると判定した場合に、音声出力部により異常の発生を報知する。
また、DP制御部120は、音声出力部に異常が生じていると判定した場合に、ディスプレイドライバー135により異常の発生を報知する。
従って、異常が発生していない報知部を使用して報知を行うため、使用者Uへの報知のタイミングの遅れを軽減させることができる。
DP制御部120は、ディスプレイドライバー135に異常が生じていると判定した場合に、ディスプレイドライバー135を音声出力部よりも先に再起動させる。
また、DP制御部120は、音声出力部に異常が生じていると判定した場合に、音声出力部をディスプレイドライバー135よりも先に再起動させる。
従って、異常が発生していると判定したディスプレイドライバー135又は音声出力部を優先的に再起動させることができる。
また、DP制御部120は、音声出力部に異常が生じていると判定した場合に、音声出力部をディスプレイドライバー135よりも先に再起動させる。
従って、異常が発生していると判定したディスプレイドライバー135又は音声出力部を優先的に再起動させることができる。
本発明は上記各実施形態で説明した構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、画像表示装置の例としてHMD100を例示したが、本発明はこれに限定されず、各種の画像表示装置を採用できる。例えば、画像表示部20として、例えば帽子のように装着する画像表示部を採用してもよく、使用者Uの左眼に対応して画像を表示する表示部と、使用者Uの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の画像表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Uの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
例えば、画像表示装置の例としてHMD100を例示したが、本発明はこれに限定されず、各種の画像表示装置を採用できる。例えば、画像表示部20として、例えば帽子のように装着する画像表示部を採用してもよく、使用者Uの左眼に対応して画像を表示する表示部と、使用者Uの右眼に対応して画像を表示する表示部とを備えていればよい。また、本発明の画像表示装置は、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。この場合、使用者Uの身体に対する位置を位置決めする部分、及び、当該部分に対し位置決めされる部分を装着部とすることができる。
HMD100は、本発明の適用対象となる画像表示装置の一例であり、図3に示す構成に限定されない。例えば、上記実施形態では、画像表示部20と接続装置10とが分離された構成を例に挙げて説明したが、接続装置10と画像表示部20とが一体に構成され、使用者Uの頭部に装着される構成とすることも可能である。また、画像表示部20の光学系の構成は任意であり、例えば、使用者Uの眼の前方に位置して使用者Uの視界の一部又は全部に重なる光学部材を用いてもよい。或いは、レーザー光等を走査させて画像光とする走査方式の光学系を採用してもよい。或いは、光学部材の内部で画像光を導光させるものに限らず、使用者Uの眼に向けて画像光を屈折及び/又は反射させて導く機能のみを有するものであってもよい。
また、画像表示装置として、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビを採用してもよい。プラズマディスプレイパネル、マイクロLED表示パネル、無機EL表示パネル、量子ドット発光型表示パネル、有機EL表示パネルを備えた表示装置を用いてもよい。この場合、表示パネルが本発明の表示部に相当する。また、表示装置として、画像光をスクリーン等に投射するプロジェクターを用いてもよい。
また、画像表示装置として、液晶表示パネルに画像を表示する液晶モニター又は液晶テレビを採用してもよい。プラズマディスプレイパネル、マイクロLED表示パネル、無機EL表示パネル、量子ドット発光型表示パネル、有機EL表示パネルを備えた表示装置を用いてもよい。この場合、表示パネルが本発明の表示部に相当する。また、表示装置として、画像光をスクリーン等に投射するプロジェクターを用いてもよい。
また、例えば、図3に示したHMD100において、接続装置10を、USB-TypeCコネクター、USB-TypeCコントローラー、及び、USBハブを利用して構成してもよい。この場合、DP外側カメラ61や、その他のセンサーを、USBハブに接続してもよい。また、画像表示部20における右表示部22と左表示部24の表示を制御するコントローラーとして、表示データを右表示部22及び左表示部24に出力するFPGAを、右表示部22又は左表示部24のいずれかに配置してもよい。この場合、接続装置10は、USB-TypeCコントローラーとFPGAとを接続するブリッジコントローラーを備えてもよい。また、画像表示部20において、DP6軸センサー235、DP磁気センサー237、EEPROM215等をFPGAと同じ基板に実装した構成としてもよい。その他のセンサーの配置についても適宜に変更可能である。例えば、距離センサー64やDP照度センサー65は、測定又は検出に適した位置に配置されて、FPGAやUSBType-Cコントローラーに接続される構成としてもよい。
また、OLEDユニット221、241を含む画像表示装置の具体的な仕様についても制限はなく、例えば、OLEDユニット221、241が共通の構成を有していてもよい。
また、OLEDユニット221、241を含む画像表示装置の具体的な仕様についても制限はなく、例えば、OLEDユニット221、241が共通の構成を有していてもよい。
図3、図4に示した各機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。
また、図5に示すHMD100の処理を示すフローチャートは、DP制御部120の処理を理解容易にするために、主な処理内容に応じて分割したものである。図5のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、DP制御部120の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、1つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。例えば、前回の異常検出処理から一定時間を経過したか否かを判定するステップS1、デバイスの異常検出処理を実行するステップS2、異常検出処理により異常を検出したか否かを判定するステップS3、を省略することも可能である。つまり、DP制御部120は、HMD100が備えるデバイスに対して、定期的に異常を検出する処理を実行するのではなく、HMD100が備えるデバイスに異常が生じた場合に、異常を生じたデバイスのうちDP6軸センサー235が含まれるか否かを判定するステップS4を実行する。
また、HMD100が備えるコンピューターを用いて表示装置の再起動方法を実現する場合、このコンピューターに実行させるプログラムを記録媒体、又はこのプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリー機能部を用いることができる。また、上記記録媒体は、サーバー装置が備える内部記憶装置であるRAM、ROM、HDD等の不揮発性記憶装置であってもよい。
また、本実施形態の報知部の一例として、右イヤホン32及び左イヤホン34を音声出処理部147としたが、音声出力処理部はこれに限られるものではない。例えば、右イヤホン32及び左イヤホン34の代わりに、スピーカーを用いて使用者USにHMD100が備えるデバイスに異常が発生したことを案内しても良い。この場合、スピーカーは、前部フレーム27、右保持部21や左保持部23に配置される。
1…表示システム、10…接続装置、11A、11D…コネクター、20…画像表示部、21…右保持部、22…右表示部、23…左保持部、24…左表示部、26…右導光板、27…前部フレーム、28…左導光板、30…ヘッドセット、32…右イヤホン、34…左イヤホン、36…オーディオコネクター、40…接続ケーブル、46…USBケーブル、61…DP外側カメラ、63…マイク、64…距離センサー、65…DP照度センサー、67…LEDインジケーター、100…HMD、110…I/F部、120…DP制御部、122…センサー制御部、126…電源制御部、130…不揮発性記憶部、135…ディスプレイドライバー、140…操作部、145…接続部、147…音声処理部、201…映像信号、210…右表示部基板、211…右I/F部、213…受信部、215…EEPROM、217…温度センサー、221…OLEDユニット、223…OLEDパネル、225…OLED駆動回路、229…電源部、230…左表示部基板、231…左I/F部、233…受信部、235…DP6軸センサー、237…DP磁気センサー、239…温度センサー、241…OLEDユニット、243…OLEDパネル、245…OLED駆動回路、249…電源部、251…右光学系、252…左光学系、261、281…ハーフミラー、300…制御装置、310…CO制御部、311…プロセッサー、312…メモリー、313…不揮発性メモリー、321…GNSS、322…COカメラ、323…CO6軸センサー、324…CO磁気センサー、325…CO照度センサー、326…音声出力部、327…CO表示部、328…タッチパネル、329…バッテリー、330…通信部、331…I/F部。
Claims (7)
- 使用者の頭部に装着される画像表示装置であって、
前記画像表示装置の異常を検出する第1検出部と、
前記画像表示装置に設けられ、異常の検出を報知する報知部と、
前記画像表示装置が前記使用者の頭部に装着されていることを検出する第2検出部と、
前記第2検出部により前記画像表示装置の装着が検出されず、前記第1検出部により前記画像表示装置の異常が検出された場合に、第1順序に従って前記画像表示装置を再起動させる第1再起動モードを実行し、
前記第2検出部により前記画像表示装置の装着が検出され、前記第1検出部により前記画像表示装置の異常が検出された場合に、前記第1順序とは異なる第2順序に従って前記画像表示装置を再起動させる第2再起動モードを実行する制御部と、を備え、
前記第2順序において前記報知部を再起動させる順番は、前記第1順序における前記報知部を再起動させる順番よりも前に設定される、画像表示装置。 - 使用者の頭部に装着される画像表示装置であって、
前記画像表示装置の異常を検出する第1検出部と、
前記画像表示装置に設けられ、異常の検出を報知する報知部と、
前記画像表示装置が前記使用者の頭部に装着されていることを検出する第2検出部と、
前記第2検出部により前記画像表示装置の装着が検出されずに、前記第1検出部により前記画像表示装置の異常が検出された場合に、第1順序に従って前記画像表示装置を再起動させる第1再起動モードを実行し、
前記第2検出部により前記画像表示装置の装着が検出され、前記第1検出部により前記画像表示装置の異常が検出された場合に、前記第1順序とは異なる第2順序に従って前記画像表示装置を再起動させる第2再起動モードを実行する制御部と、を備え、
前記第2再起動モードの開始から前記報知部を再起動させるまでの時間間隔が、前記第1再起動モードの開始から前記報知部を再起動させるまでの時間間隔よりも短い、画像表示装置。 - 前記制御部は、前記第1検出部により前記画像表示装置の異常が検出された場合、前記報知部に異常が生じているか否かを判定し、
前記報知部に異常が生じていると判定した場合に、前記第2再起動モードを実行する、請求項1又は2記載の画像表示装置。 - 前記報知部は、前記使用者に視認させる画像を表示する表示部と、音声を出力する音声出力部と、を含み、
前記制御部は、前記表示部に異常が生じていると判定した場合に、前記音声出力部により異常の発生を報知し、
前記音声出力部に異常が生じていると判定した場合に、前記表示部により異常の発生を報知する、請求項1から3のいずれか一項に記載の画像表示装置。 - 前記制御部は、前記表示部に異常が生じていると判定した場合に、前記表示部を前記音声出力部よりも先に再起動させ、
前記音声出力部に異常が生じていると判定した場合に、前記音声出力部を前記表示部よりも先に再起動させる、請求項4記載の画像表示装置。 - 使用者の頭部に装着される画像表示装置の再起動方法であって、
前記画像表示装置の異常を検出する第1検出工程と、
前記使用者の頭部に装着されていることを検出する第2検出工程と、
前記第1検出工程により前記画像表示装置の異常が検出され、前記第2検出工程により前記画像表示装置の装着が検出されなかった場合に、第1順序に従って前記画像表示装置を再起動させる第1再起動工程と、
前記第1検出工程により前記画像表示装置の異常が検出され、前記第2検出工程により前記画像表示装置の装着が検出された場合に、前記第1順序とは異なる第2順序に従って前記画像表示装置を再起動させる第2再起動工程と、を有し、
前記第2順序における前記画像表示装置に異常が発生したことを報知する報知部の再起動の順番は、前記第1順序における前記報知の再起動の順番よりも前に設定される、画像表示装置の再起動方法。 - 使用者の頭部に装着される画像表示装置の再起動方法であって、
前記画像表示装置の異常を検出する第1検出工程と、
前記画像表示装置が使用者の頭部に装着されていることを検出する第2検出工程と、
前記第1検出工程により前記画像表示装置の異常が検出され、前記第2検出工程により前記画像表示装置の装着が検出されなかった場合に、第1順序に従って前記画像表示装置を再起動させる第1再起動工程と、
前記第1検出工程により前記画像表示装置の異常が検出され、前記第2検出工程により前記画像表示装置の装着が検出された場合に、前記第1順序とは異なる第2順序に従って前記画像表示装置を再起動させる第2再起動工程と、を有し、
前記第2再起動工程の開始から前記画像表示装置に異常が発生したことを報知する報知部を再起動させるまでの時間間隔が、前記第1再起動工程の開始から前記報知部を再起動させるまでの時間間隔よりも短い、画像表示装置の再起動方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021054806A JP2022152147A (ja) | 2021-03-29 | 2021-03-29 | 画像表示装置及び画像表示装置の再起動方法 |
CN202210309422.1A CN115148135A (zh) | 2021-03-29 | 2022-03-28 | 图像显示装置以及图像显示装置的重启方法 |
US17/705,414 US11579454B2 (en) | 2021-03-29 | 2022-03-28 | Image display device and reboot method for image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021054806A JP2022152147A (ja) | 2021-03-29 | 2021-03-29 | 画像表示装置及び画像表示装置の再起動方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022152147A true JP2022152147A (ja) | 2022-10-12 |
Family
ID=83363974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021054806A Pending JP2022152147A (ja) | 2021-03-29 | 2021-03-29 | 画像表示装置及び画像表示装置の再起動方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11579454B2 (ja) |
JP (1) | JP2022152147A (ja) |
CN (1) | CN115148135A (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7069047B2 (ja) | 2017-01-18 | 2022-05-17 | ソニーセミコンダクタソリューションズ株式会社 | シースルー型表示装置、システム、プログラム及び情報処理方法 |
CN110007487A (zh) * | 2019-03-25 | 2019-07-12 | 华为技术有限公司 | 具有无线充电接收电路的眼镜、用于眼镜的眼镜盒及系统 |
-
2021
- 2021-03-29 JP JP2021054806A patent/JP2022152147A/ja active Pending
-
2022
- 2022-03-28 CN CN202210309422.1A patent/CN115148135A/zh active Pending
- 2022-03-28 US US17/705,414 patent/US11579454B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
CN115148135A (zh) | 2022-10-04 |
US20220308351A1 (en) | 2022-09-29 |
US11579454B2 (en) | 2023-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11393431B2 (en) | Display system, control program for information processor, and control method for information processor that are configured to adjust display of a first image on a first display unit based on the position of a second display unit | |
US20200227007A1 (en) | Display system, control method of display system, information processing device, and control program of information processing device | |
US20170178565A1 (en) | Display device, method of controlling display device, and program | |
US20210200284A1 (en) | Image display device, power supply system, and power supply method for image display device | |
US11353704B2 (en) | Head mounted device (HMD) coupled to smartphone executing personal authentication of a user | |
US11531508B2 (en) | Data processing device, display system, and data processing method that controls the output of data based on a connection state | |
US20220299763A1 (en) | Display system and display device | |
US11720313B2 (en) | Display system, display method and program | |
US11579454B2 (en) | Image display device and reboot method for image display device | |
US11275547B2 (en) | Display system, display method, and program | |
US11269188B2 (en) | Display system, control program for information processing device, method for controlling information processing device, and display device | |
US11086441B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and control program for information processing apparatus | |
US20210200497A1 (en) | Display system, display method, and program | |
US20210097959A1 (en) | Display system, display control method, and program | |
US20240027765A1 (en) | Control device, control method for head-mounted display device, and program | |
US20190340999A1 (en) | Connection device, display device, and control method for the display device | |
US11630793B2 (en) | Image display device and port arrangement | |
JP2022152148A (ja) | 頭部装着型表示装置 | |
JP2021057747A (ja) | 表示システム、画像表示装置、画像表示方法及びプログラム | |
JP2022144577A (ja) | 音声出力装置及び頭部装着型表示装置 | |
JP2016109910A (ja) | 表示装置、及び、表示装置の制御方法 | |
JP2020129263A (ja) | 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210917 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20211104 |