JP2020536331A - 車両内において乗物酔いを伴わずにデジタルコンテンツを見ること - Google Patents

車両内において乗物酔いを伴わずにデジタルコンテンツを見ること Download PDF

Info

Publication number
JP2020536331A
JP2020536331A JP2020519436A JP2020519436A JP2020536331A JP 2020536331 A JP2020536331 A JP 2020536331A JP 2020519436 A JP2020519436 A JP 2020519436A JP 2020519436 A JP2020519436 A JP 2020519436A JP 2020536331 A JP2020536331 A JP 2020536331A
Authority
JP
Japan
Prior art keywords
vehicle
data
virtual
sickness
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020519436A
Other languages
English (en)
Other versions
JP7002648B2 (ja
Inventor
プロフェンディナー、ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of JP2020536331A publication Critical patent/JP2020536331A/ja
Application granted granted Critical
Publication of JP7002648B2 publication Critical patent/JP7002648B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • G02B27/022Viewing apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/332Force measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/35Communication
    • A61M2205/3546Range
    • A61M2205/3569Range sublocal, e.g. between console and disposable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/35Communication
    • A61M2205/3576Communication with non implanted data transmission devices, e.g. using external transmitter or receiver
    • A61M2205/3592Communication with non implanted data transmission devices, e.g. using external transmitter or receiver using telemetric means, e.g. radio or optical transmission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • A61M2205/507Head Mounted Displays [HMD]
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0183Adaptation to parameters characterising the motion of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hematology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Hardware Design (AREA)
  • Anesthesiology (AREA)
  • Psychology (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、車両内において乗物酔いを伴わずにデジタルコンテンツを視るためのシステムに関する。このシステムは、車両を備える。この車両は、制御ユニットと、制御ユニットに接続された複数のセンサと、デジタルコンテンツを統合する仮想3Dシーンを表示するために制御ユニットに無線で接続できるデータ眼鏡とを有する。【選択図】なし

Description

本発明は、車両内において乗物酔いを伴わずにデジタルコンテンツを見るためのシステムに関する。このシステムは車両を含み、この車両は、制御ユニットと、この制御ユニットに接続された複数のセンサと、デジタルコンテンツを統合する仮想3Dシーンを表示するために制御ユニットに無線で接続できるデータ眼鏡(ヘッドマウントデバイス、HMD)とを備える。
車両の乗員は、走行中にさまざまな加速度にさらされる。一方で、加速度には、車両の進行方向に作用する車両の直線加速度(前後加速度)が含まれ、これは加速または制動によって引き起こされる。他方で、乗員は回転加速度(横加速度)を経験し、この回転加速度は、車両の走行方向に関連した、回転軸の空間的な方向に応じて、ピッチング(回転軸の方向は、水平で、走行方向に対して垂直)、ローリング(回転軸の方向は走行方向に平行)、ヨーイング(回転軸の方向は、鉛直で、走行方向に対して垂直)のいずれかとなる。回転加速度は、ステアリングと地盤のトポロジーとによって直接的に発生し、前述の直接的な加速度のすべてに対する弾力性のある応答として間接的に発生する。
車両の乗員は、車両の走行中に目を介して伝えられた、位置、方向、加速度の視覚的知覚(視覚)が、前庭器官(平衡感覚)を介して伝えられた同じ大きさの知覚と一致しない場合に、めまい、頭痛、心拍数の増加、吐き気、嘔吐(乗物酔い)を経験する可能性がある。
このような不一致は、例えば、乗員にとって、運転中に本を読んだり、スマートフォンやタブレットなどのモバイル端末でデジタルコンテンツを見たりしているときに、発生する可能性がある。乗員は、視線を下げている間に、できるだけ静かに保たれている本のページや、できるだけ静かに保たれているモバイルデバイスのディスプレイを凝視するが、そのときに、走行する車両の加速によって平衡感覚が継続的に刺激される。しかし、本を読んだりせず、またモバイルデバイスのディスプレイを見たりしていないが、車両の周囲についての視覚的認識が制限されているか、または損なわれている乗員も居る。たとえば、車両の後方に座っている乗員の正面側の視野は、前部車両のシートとヘッドレストとの間を部分的に通過したものである。その場合に、乗物酔いになる可能性がある。
特許文献1は、車両の後部座席にいる乗員を乗物酔いから保護するための車両用のシステム、方法、および装置を開示している。このシステムは、車両に接続されるとともに、前方を向いた外部カメラと、車両のフロントヘッドレストの後方に取り付けられ、後部に座っている乗員の視野内に配置された表示ユニットとを備えている。表示ユニットは、外部カメラによって記録されたビデオストリームを継続的に乗員に見せるようにする。外部カメラによって記録される車両の前方の周辺領域は、常に車両の空間位置と方向に直接依存しているため、走行中に発生するすべての加速度をリアルタイムで反映する。このため、後部座席の乗員が乗物酔いになる危険性が低減または排除される。ビデオストリームは、表示ユニットによって前景中に表示される静的な情報のためのバックグランドとしても機能する。それによって、後部座席の乗員は、情報を読むことと、前庭器官による加速知覚と一致する視覚刺激を受け取ることとを同時に行うことができる。
しかしながら、この解決策では、後部座席の乗員の視線の方向は、表示ユニットの位置によって事前に決定される。通常、本は頭を傾けて読むのに対し、表示ユニットの読み取りは頭をまっすぐにして行うため、乗員は車両または車両の周囲からの刺激によって簡単に気をまぎらすことができる。さらに、この解決策は、根本的に後部座席の乗員に適したものである。なぜなら、前部座席の乗員に応じて表示ユニットを設置することが難しいためである。ただし、この欠点は回避できる。
例えば特許文献2は、車両の表示ユニットを操作するためのシステムを開示している。この表示ユニットはデータ眼鏡として設計され、このデータ眼鏡を着用している車両の乗員が読むために、乗員にテキストを見えるようにすることができるものである。車両は、この車両の走行情報を検出するための複数のセンサを有する。表示ユニットは、移動情報を受信し、車両の加速度と一致するところの、受信された移動情報に応じてリアルタイムで計算されるテキストにとって適切な背景を表示するように構成される。このようにして、データ眼鏡の着用者がテキストを読んでいるときにおける乗物酔いの危険性が軽減される。
一方、特許文献3は、車両内で動画を見るときに乗物酔いを低減する方法を開示している。この方法に適したデバイスは、乗員の頭部に装着される表示ユニット(ヘッドマウントデバイス、HMD)を備え、この表示ユニットは、6つの加速度センサと、位置/方向センサ(自由度6すなわち6DOFのトラッカー)と、オプション装備のミニカメラとを備える。表示ユニットは、車両内において表示ユニットとは別に配置されたコンピュータに、無線または有線ケーブルで結合されている。コンピュータは、表示ユニットのセンサからの信号に応じて、DVD(デジタル バーサタイル ディスク)、ビデオ、VR(バーチャル リアリティ)アプリケーション、またはAR(拡張現実、オーグメンテッド リアリティ)アプリケーションからデータを再生し、この表示ユニットの装着者の視覚的知覚が前庭器官による知覚と一致するように、それら再生データを表示ユニットへ変換して出力するように構成されている。
この方法では、コンピュータから表示ユニットへの動画ストリームの伝送に、広い帯域幅が必要である。表示ユニットをケーブルすなわち有線でコンピュータをケーブルで接続すると、十分な帯域幅を問題なく実現できる。ただし、ケーブルが原因して、この変形例では表示ユニットの取り扱いが困難である。一方、無線方式のワイヤレスカップリングでは、取り扱いが簡単でその点では問題ないのであるが、高解像度かつ高画像変化率の場合に動画ストリームを送信する際に、十分な帯域幅を常に確保できるとは限らない。この問題は、車両における数人の乗員が同時に表示ユニットを使用し、異なる動画ストリームを見る場合に、悪化する。
アメリカ特許出願公開第2006/0015000号明細書 ドイツ特許出願公開第102014019579号明細書 ドイツ特許第10156219号明細書
したがって、本発明は、乗員が扱いやすく、狭い帯域幅で管理できるところの、車両でデジタルコンテンツを見るときの乗物酔いを低減するための改善されたシステムを提供するという目的に基づいている。さらに、本発明は、車両においてデジタルコンテンツを表示するための改善された方法を提供することを目的とする。
本発明の目的は、車両内において乗物酔いなしでデジタルコンテンツを閲覧するためのシステムにある。このシステムは車両を有し、この車両は、制御ユニットと、この制御ユニットに接続された複数のセンサと、デジタルコンテンツを統合する仮想3Dシーンを表示するために制御ユニットに無線で接続できるデータ眼鏡とを備える。
本発明によれば、車両の制御ユニットは、センサから受信されたセンサデータより制御変数を計算し、その制御変数をデータ眼鏡に送信するように構成される。したがって、制御ユニットは、これらの制御変数からのデータを計算することによって、センサデータを前処理する。センサデータを受信する場合よりも少ない制御変数が必要なときには、制御ユニットによってセンサデータを前処理することにより、送信するデータ量を減らすことができる。制御変数の計算の頻度がセンサデータの受信の頻度よりも低くなるように選択されている場合は、さらなる削減が可能である。
本発明によれば、データ眼鏡は、制御変数を受け取り、受け取った制御変数に応じて仮想3Dシーン(仮想現実、バーチャルリアリティ VR)を計算するように構成されている。仮想3Dシーンでは、通常、大量のデータを表示する必要がある。仮想3Dシーンが乗物酔いに対抗するためのものである場合は、そのデータ量は、車両の加速度に合わせてリアルタイムで計算されて、データ眼鏡に表示される必要がある。本発明は、データ眼鏡を構成しかつ制御変数に応じて仮想3Dシーンを計算することを考慮することに基づいている。このようにして、データ集約型の仮想3Dシーンをデータ眼鏡に表示するためにこのデータ眼鏡に送信する必要はない。むしろ、計算に関連するいくつかの制御変数を送信するだけで十分であり、そのために必要な帯域幅は十分に小さくなる。
一実施形態では、車両およびデータ眼鏡はそれぞれ、補完的な無線通信インターフェイス、特に、IRインターフェイス、ブルートゥース(登録商標)インターフェイス、WiFiインターフェイスおよび/またはNFCインターフェイスを有する。ここに言及された通信インターフェイスから逸脱する既知のまたは将来の通信インターフェイスは、本発明の範囲内のものである。もちろん、車両とデータ眼鏡とは、データ眼鏡を車両に接続するために、データ眼鏡の着用者が任意のインターフェイスペアを選択できるいくつかの相補的なインターフェイスペアを持つこともできる。
好ましい実施形態では、制御ユニットによって計算された制御変数は、絶対的な位置と、水平線に対する角度と、車両の横加速度および縦加速度とを含み、および/またはデータ眼鏡は、仮想3Dシーンを計算する前に、特に平滑化のために、受信した制御変数を後処理するように構成される。つまり、車両の加速度と一致する仮想3Dシーンを計算するには、4つの制御変数で十分である。車両の絶対位置は、仮想3Dシーン内の空間配置のために使用することができる。水平線に対する角度を使用して、仮想3Dシーンのデータ眼鏡の着用者の視点を、実際の視線方向に対応してシミュレートすることができる。縦加速度と横加速度とは、乗物酔いのリスクを減らすための最も重要な制御変数である。これらを使用して、3D仮想シーンを車両に対応させて加速し、それによって、視覚による知覚と前庭器官による知覚との不一致を低減または回避することができる。
さらなる実施形態では、本発明のシステムは、車両パラメータおよび/または走行パラメータを表示するために、車両および/またはデータ眼鏡に無線で接続することができるモバイル端末を、特にスマートウォッチを、備える。そして、データ眼鏡は、モバイル端末に対応する仮想端末を、計算された仮想3Dシーンに統合するように構成され、その結果、モバイル端末によって表示される車両パラメータおよび/または走行パラメータを、仮想端末上で見ることができる。モバイルデバイスとその仮想対応デバイスとを同時に使用することで、データ眼鏡の着用者は、現実世界と仮想世界との境界を克服する均一な相互作用の体験を実現することができる。スマートウォッチは、これに特に適している。なぜなら、着用者が手首に継続的に装着し、その使用が非常に便利であるためである。
一実施形態では、データ眼鏡は、このデータ眼鏡の着用者にデータ眼鏡の取り外しを要求するために、データグラスの着用者に対して、特に車両のドライバーに対して、視覚的指示を、特に比喩的指示を、計算された仮想3Dシーンに統合するように、構成される。たとえば、計算された仮想3Dシーンにポータルを含めることができる。ポータルは、着用者がデータ眼鏡を取り外すときに仮想的に通過される。このようにして、データ眼鏡の着用者は、非常に自然な双方向体験(インタラクションエクスペリエンス)を行うことができる。
さらなる実施形態では、データ眼鏡は、データ眼鏡についての環境と、車両の内部環境のデジタルモデルとを検出するための、少なくとも1つの光学センサ、特にカメラを含む。またデータ眼鏡は、デジタルモデルを使用して、内部環境に対応する検出された環境の静的な部分と、車両の窓から見える車両の移動する外部環境に対応する検出された環境の動的な部分とを区別するように構成されている。車両の周囲に対するデータ眼鏡グラスの動きは、検出された動的コンポーネントによって決定できる。データ眼鏡と周囲の環境との間の相対的な動きをさらに考慮することで、視覚による知覚と前庭器官による知覚との不一致をさらに減らすことができる。
一実施形態では、車両は、データ眼鏡の使用に応じた調整範囲であって、車両の構成要素についての調整範囲、特に前部座席の位置についての調整範囲を提供するように構成される。データ眼鏡を使用する場合に、例えばデータ眼鏡についての空間的な要件により、着用者の頭部に取り付けられたデータ眼鏡と車両のエアバッグとの間の距離が、着用者の頭部と車両のエアバッグとの間の距離に比べて短くなり、その結果、展開したエアバッグがデータ眼鏡に衝撃を与え、この衝撃を間接的に着用者の頭部に与える可能性がある。これにより、乗員が負傷する危険性がある。これは、データ眼鏡の着用者が、データ眼鏡を着用していない車両の乗員に比べて、車両シートをより少なくしか前方へ調整できないという事実によって、防止することができる。つまり、車両用シートに着座している乗員がデータ眼鏡グラスを着用している場合は、車両用シートの調整範囲を前部において小さくすることが可能である。
さらなる実施形態では、データ眼鏡は、車両についての周囲の環境の中の物体に関する情報を、特に比喩的に、計算された仮想3Dシーンに統合するように構成される。例えば、景色、つまり車両の近くに存在するプロバイダからの興味深いポイント(ポイント オブ インタレスト、POI)または興味深い製品(製品の配置)を、仮想3Dシーンに統合することができる。仮想3Dシーンのテーマに一致するメタファーを使用できる。
好ましい実施形態では、データ眼鏡は、仮想スクリーン上で二次元動画ストリームを再生するように、特に映画を再生するように構成され、また二次元動画の内容に対応する計算された仮想3Dシーンで仮想スクリーンを表すように構成される。つまり、仮想画面で再生される動画ストリームにマッチする仮想3Dシーンのテーマを選択することができる。これにより、データ眼鏡の着用者は特に均一な体験をすることができる。
本発明の別の目的は、車両とともに本発明によるシステムを形成するように設計および構成された、車両用のデータ眼鏡である。このようなデータ眼鏡は、車両の制御ユニットに無線で接続することができ、それは、車両においてデータ眼鏡を着用した乗員が、仮想3Dシーンに埋め込まれたデジタルコンテンツを乗物酔いなしに見ることができ、また狭い帯域幅で無線接続できるようにするためである。
本発明はまた、特に本発明によるシステムを用いて、車両にデジタルコンテンツを表示する方法に関し、車両に設けられた制御ユニットは、車両に設けられた複数のセンサによって受信されるセンサデータを使用する。制御変数が計算され、計算された制御変数が、車両から、車両に無線で接続されたデータ眼鏡に送信され、またデータ眼鏡によって、受信した制御変数に応じて、デジタルコンテンツを統合する仮想3Dシーンが計算される。本発明による方法では、仮想3Dシーンの計算は、車両側ではなく、データ眼鏡を通して行われる。その結果、大量のデータを車両からデータ眼鏡に送信する必要がなくなる。車両の加速度と一致する仮想3Dシーンの場合、センサデータから計算されたわずかな制御変数だけで十分である。そのため、連続送信には、車両とデータグラス間のワイヤレス接続に、狭い帯域幅が求められる。
車両の乗客が乗物酔いせずにデジタルコンテンツを閲覧するための本発明によるシステムの実施形態を使用して、本発明を以下においてさらに例示および説明する。
このシステムは、制御ユニットが設けられた車両と、車両に設けられて制御ユニットに接続された複数のセンサとを備える。このシステムには、デジタルコンテンツを統合する仮想3Dシーンを表示するためのデータ眼鏡も含まれる。車両、特にこの車両に装備されているセンサとデータ眼鏡とは、相互に補完するワイヤレスWiFi通信インターフェイスを備えており、それらを使用して相互に接続される。
制御ユニットは、前処理の一部として、センサから受信したセンサデータからデータ眼鏡の制御変数を計算し、またWiFi通信インターフェイスを使用して制御変数をデータ眼鏡に無線送信するように構成されている。制御変数には、絶対位置と、水平線に対する角度と、車両の横加速度および縦加速度とが含まれる。
データ眼鏡は、制御ユニットによって計算された制御変数を受け取り、それらの制御変数を再加工し、この受け取って再加工した制御変数に応じて仮想3Dシーンを計算するように構成されている。離散的な時点で受け取った制御変数の後処理は、平滑化によって制御変数の連続的なコースを補間するのに役立つ。
このシステムには、目的地までの残りの距離や利用可能なエネルギー貯量などの、車両や走行のパラメータを表示するスマートウォッチも含まれる。スマートウォッチは、ワイヤレスWiFi通信インターフェイスを備えて、車両またはスマート眼鏡に無線で接続される。データ眼鏡は、スマートウォッチに対応する仮想スマートウォッチを計算された仮想3Dシーンに統合するように構成されているため、スマートウォッチによって表示される車両パラメータまたは走行パラメータも、仮想スマートウォッチに表示される。
データ眼鏡は、このデータ眼鏡の着用者にデータ眼鏡の取り外しを要求するために、このデータ眼鏡の着用者のための、特に車両の運転者のための視覚的表示を、特に比喩的な表示を、計算された仮想3Dシーンに統合するように構成されている。比喩的な表示として、データ眼鏡は、このデータ眼鏡を着用している車両の運転者が事実上通過するポータルを表す。
データ眼鏡は、このデータ眼鏡の周囲の環境と、車両の内部環境のデジタルモデルとを取り込むためのカメラを含む。これは、内部環境に関連するところの、検出された環境における静的な部材間のデジタルモデルによって構成される。そして、これは、内部環境に対応する。すなわち、車両の内装に対応する。また検出された環境における動的コンポーネントを区別することに対応する。これは、車両の窓を通して見ることができる、車両に対して相対的に移動する外部環境に対応する。
車両は、前部座席の位置について、前部座席に座っている乗員がスマート眼鏡を着用しているかどうかにもとづいて相違する調整範囲を提供するように構成されている。
データ眼鏡はさらに、車両の周囲環境における物体に関する情報を、計算された仮想3Dシーンに対して特に比喩的に統合するように構成される。この目的のために、例えば、車両の周囲における特定のプロバイダの位置、または特別な広告情報、または車両の周囲の光景に関する観光情報が、仮想3Dシーンの主題に一致するように表示される。
データ眼鏡は、仮想3Dシーンに統合された仮想スクリーンで映画を再生するように構成される。計算された仮想3Dシーンに仮想画面が表示され、これは、2次元の動画のテーマに対応する。たとえば、仮想3Dシーンは、スターウォーズの長編映画から知られているデススターの飛行をシミュレートでき、その一方、スターウォーズの長編映画の1つのエピソードが仮想スクリーンで再生される。
本発明によるシステムの動作中、制御値は、センサデータから制御ユニットによって計算されるとともに、車両に無線で接続されているデータ眼鏡に送信される。受け取った制御変数に応じて、データ眼鏡は、デジタルコンテンツを統合する仮想3Dシーンを計算する。
本発明によるシステムの利点は、データ眼鏡を着用した車両の乗員に対して、スマート眼鏡と車両との間のワイヤレス接続に利用できる広い帯域幅を必要とせずに、デジタルコンテンツに主題的に適合したデータ集約型VRアプリケーションの枠組み内で、乗物酔いの無い状態でのデジタルコンテンツの視聴が可能になることである。これにより、データ眼鏡の着用者は、簡単な取り扱いによって、デジタルコンテンツの均一かつ全体的な体験を行うことができる。この利点は、車両における複数の乗員が同時に異なるデジタルコンテンツを表示している場合に、さらに高まる。

Claims (10)

  1. 車両内のデジタルコンテンツを車酔いを伴わずに見るためのシステムであって、
    制御ユニットと、この制御ユニットに接続された複数のセンサとを備えた車両を有するとともに、デジタルコンテンツを統合する仮想3Dシーンを表示するために制御ユニットに無線で接続できるデータ眼鏡を有し、
    制御ユニットは、センサから受信したセンサデータより制御変数を計算するとともに、その制御変数をデータ眼鏡に送信するように構成され、
    データ眼鏡は、制御変数を受信するとともに、受信した制御変数に応じて仮想3Dシーンを計算するように構成されていることを特徴とする車両内において乗物酔いを伴わずにデジタルコンテンツを見るためのシステム。
  2. 車両とデータ眼鏡とが、それぞれ、補足的な無線通信インターフェイス、特に、IRインターフェイス、ブルートゥース(登録商標)インターフェイス、WiFiインターフェイスおよび/またはNFCインターフェイスを有することを特徴とする請求項1記載の車両内において乗物酔いを伴わずにデジタルコンテンツを見るためのシステム。
  3. 制御ユニットによって計算された制御変数が、絶対位置と、水平線に対する角度と、車両の横加速度および縦加速度とを含み、および/またはデータ眼鏡は、仮想3Dシーンを計算する前に受け取った制御変数を後処理するように、特にそれらを平滑化するように、構成されていることを特徴とする請求項1または2記載の車両内において乗物酔いを伴わずにデジタルコンテンツを見るためのシステム。
  4. 車両および/またはデータ眼鏡に無線で接続できて、車両パラメータおよび/または走行パラメータを表示するためのモバイル端末を、特にスマートウォッチを備え、
    データ眼鏡は、モバイル端末に対応する仮想端末を、計算された仮想3Dシーンに統合するように構成されるとともに、その結果としてモバイル端末によって表示される車両パラメータおよび/または走行パラメータを、仮想端末に表示させるように構成されていることを特徴とする請求項1から3までのいずれか1項記載の車両内において乗物酔いを伴わずにデジタルコンテンツを見るためのシステム。
  5. データ眼鏡は、このデータ眼鏡の着用者にデータ眼鏡の取り外しを要求するために、データグラスの着用者に対して、特に車両のドライバーに対して、視覚的指示を、特に比喩的指示を、計算された仮想3Dシーンに統合するように構成されていることを特徴とする請求項1から4までのいずれか1項記載の車両内において乗物酔いを伴わずにデジタルコンテンツを見るためのシステム。
  6. データ眼鏡は、このデータ眼鏡についての環境と、車両の内部環境のデジタルモデルとを検出するための、少なくとも1つの光学センサ、特にカメラを含み、かつデータ眼鏡は、デジタルモデルを使用して、内部環境に対応する検出された環境の静的な部分と、車両の窓から見える車両の移動する外部環境に対応する検出された環境の動的な部分とを区別するように構成されていることを特徴とする請求項1から5までのいずれか1項記載の車両内において乗物酔いを伴わずにデジタルコンテンツを見るためのシステム。
  7. 車両は、データ眼鏡の使用に応じた調整範囲であって、車両の構成要素についての調整範囲、特に前部座席の位置についての調整範囲を提供するように構成されていることを特徴とする請求項1から6までのいずれか1項記載の車両内において乗物酔いを伴わずにデジタルコンテンツを見るためのシステム。
  8. データ眼鏡は、車両についての周囲の環境の中の物体に関する情報を、特に比喩的に、計算された仮想3Dシーンに統合するように構成され、および/または、
    データ眼鏡は、仮想スクリーン上で二次元動画ストリームを再生するように、特に映画を再生するように構成され、また二次元動画の内容に対応する計算された仮想3Dシーンで仮想スクリーンを表すように構成されていることを特徴とする請求項1から6までのいずれか1項記載の車両内において乗物酔いを伴わずにデジタルコンテンツを見るためのシステム。
  9. 車両と共に、請求項1から8までのいずれか1項に記載のシステムを形成するように設計および構成されたものであることを特徴とする車両用のデータ眼鏡。
  10. 特に請求項1から8のいずれか1項に記載のシステムによって、車両内にデジタルコンテンツを表示する方法であって、
    車両に設けられた制御ユニットによって、車両に設けられた複数のセンサにて受信されたセンサデータから制御変数を計算し、
    計算された制御変数を、車両から、車両にワイヤレスで接続されたデータ眼鏡に送信し、
    データ眼鏡によって、受信した制御変数に応じて、デジタルコンテンツを統合する仮想3Dシーンを計算することを特徴とする車両内にデジタルコンテンツを表示する方法。
JP2020519436A 2017-10-04 2018-09-20 車両内において乗物酔いを伴わずにデジタルコンテンツを見ること Active JP7002648B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017217592.3A DE102017217592A1 (de) 2017-10-04 2017-10-04 Kinetosefreies Betrachten eines digitalen Inhalts in einem Fahrzeug
DE102017217592.3 2017-10-04
PCT/EP2018/075497 WO2019068477A1 (de) 2017-10-04 2018-09-20 Kinetosefreies betrachten eines digitalen inhalts in einem fahrzeug

Publications (2)

Publication Number Publication Date
JP2020536331A true JP2020536331A (ja) 2020-12-10
JP7002648B2 JP7002648B2 (ja) 2022-01-20

Family

ID=63685966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020519436A Active JP7002648B2 (ja) 2017-10-04 2018-09-20 車両内において乗物酔いを伴わずにデジタルコンテンツを見ること

Country Status (7)

Country Link
US (1) US20200242361A1 (ja)
EP (1) EP3691729A1 (ja)
JP (1) JP7002648B2 (ja)
KR (1) KR102403915B1 (ja)
CN (1) CN111182940B (ja)
DE (1) DE102017217592A1 (ja)
WO (1) WO2019068477A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019152980A (ja) * 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
DE102019116713B4 (de) * 2019-06-19 2021-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende Darstellung einer virtuellen Flüssigkeit in einer Datenbrille im Fortbewegungsmittel
GB2592397A (en) * 2020-02-27 2021-09-01 Daimler Ag Method and system for mitigating motion sickness of users in a moving vehicle
DE102020105196A1 (de) * 2020-02-27 2021-09-02 Audi Aktiengesellschaft Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug sowie System mit einem Kraftfahrzeug und einer Datenbrille
JP7135052B2 (ja) * 2020-10-29 2022-09-12 ソフトバンク株式会社 制御装置、プログラム、及び制御方法
DE102021117904A1 (de) * 2021-07-12 2023-01-12 Valeo Comfort And Driving Assistance Videostreamen von einem Fahrzeug zu einem entfernten Virtuelle-Realität-System
CN113986165B (zh) * 2021-10-09 2024-04-26 上海瑾盛通信科技有限公司 显示控制方法、电子装置及可读存储介质
US11676311B1 (en) 2021-11-29 2023-06-13 International Business Machines Corporation Augmented reality replica of missing device interface

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014200018A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2015204616A (ja) * 2014-04-14 2015-11-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド ヘッドマウントディスプレイの提示の調整
WO2016208546A1 (ja) * 2015-06-26 2016-12-29 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、通知装置、通知システム、通知方法及びプログラム
JP2017001634A (ja) * 2015-06-16 2017-01-05 東日本旅客鉄道株式会社 徐行区間注意喚起システム
JP2017146963A (ja) * 2016-02-18 2017-08-24 国立大学法人名古屋大学 仮想空間表示システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10156219C1 (de) 2001-11-15 2003-08-14 Daimler Chrysler Ag Verfahren und Vorrichtung zur Reduzierung von Kinetose-Störungen
US7722526B2 (en) 2004-07-16 2010-05-25 Samuel Kim System, method and apparatus for preventing motion sickness
US20090225434A1 (en) * 2008-03-10 2009-09-10 Nicholas Clayton L Vehicle rear view apparatus utilizing heads up display and rear looking sensors
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US9283349B2 (en) * 2011-05-13 2016-03-15 Mobitv, Inc. Methods and apparatus for device based prevention of kinetosis
GB201310367D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9630631B2 (en) * 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) * 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
DE102013021137B4 (de) * 2013-12-13 2022-01-27 Audi Ag Verfahren zum Betreiben einer Datenschnittstelle eines Kraftwagens und Kraftwagen
DE102014213021A1 (de) * 2014-07-04 2016-01-07 Bayerische Motoren Werke Aktiengesellschaft Lokalisierung eines HMD im Fahrzeug
DE102014019579B4 (de) 2014-12-30 2016-12-08 Audi Ag System und Verfahren zum Betreiben einer Anzeigeeinrichtung
DE102015202099A1 (de) * 2015-02-06 2016-08-11 Bayerische Motoren Werke Aktiengesellschaft Verarbeiten von Sensordaten für ein Fahrerassistenzsystem
KR20160097411A (ko) * 2015-02-06 2016-08-18 이강우 웨어러블 디바이스를 이용한 운동정보 제공 시스템 및 운동정보 제공 방법
US20160238852A1 (en) * 2015-02-13 2016-08-18 Castar, Inc. Head mounted display performing post render processing
DE102015004749A1 (de) * 2015-04-11 2016-10-13 Audi Ag Verfahren zum Betreiben einer Virtual-Reality-Brille und System mit einer Virtual-Reality-Brille
JP6443236B2 (ja) * 2015-06-16 2018-12-26 株式会社Jvcケンウッド 虚像提示システム、画像投射装置および虚像提示方法
DE102015011616A1 (de) * 2015-09-04 2017-03-09 Audi Ag Virtual-Reality-System und Verfahren zum Betreiben eines Virtual-Reality-Systems
US10338673B2 (en) * 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
US10310266B2 (en) * 2016-02-10 2019-06-04 Advanced Micro Devices, Inc. Method and system for streaming information in wireless virtual reality
CN107128264A (zh) * 2016-02-28 2017-09-05 司文奎 防晕车的信号获取及发送、接收及处理方法和发送端
US10274737B2 (en) * 2016-02-29 2019-04-30 Microsoft Technology Licensing, Llc Selecting portions of vehicle-captured video to use for display
US9459692B1 (en) * 2016-03-29 2016-10-04 Ariadne's Thread (Usa), Inc. Virtual reality headset with relative motion head tracker
CN106056973B (zh) * 2016-06-29 2020-09-11 北京小米移动软件有限公司 基于虚拟现实技术的停车引导方法及系统
US10503245B2 (en) * 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
US10837790B2 (en) * 2017-08-01 2020-11-17 Nio Usa, Inc. Productive and accident-free driving modes for a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014200018A (ja) * 2013-03-29 2014-10-23 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP2015204616A (ja) * 2014-04-14 2015-11-16 ハーマン インターナショナル インダストリーズ インコーポレイテッド ヘッドマウントディスプレイの提示の調整
JP2017001634A (ja) * 2015-06-16 2017-01-05 東日本旅客鉄道株式会社 徐行区間注意喚起システム
WO2016208546A1 (ja) * 2015-06-26 2016-12-29 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイ、通知装置、通知システム、通知方法及びプログラム
JP2017146963A (ja) * 2016-02-18 2017-08-24 国立大学法人名古屋大学 仮想空間表示システム

Also Published As

Publication number Publication date
CN111182940B (zh) 2022-02-25
WO2019068477A1 (de) 2019-04-11
KR20200062266A (ko) 2020-06-03
CN111182940A (zh) 2020-05-19
JP7002648B2 (ja) 2022-01-20
KR102403915B1 (ko) 2022-05-31
EP3691729A1 (de) 2020-08-12
US20200242361A1 (en) 2020-07-30
DE102017217592A1 (de) 2019-04-04

Similar Documents

Publication Publication Date Title
JP7002648B2 (ja) 車両内において乗物酔いを伴わずにデジタルコンテンツを見ること
CN109716266B (zh) 沉浸式虚拟显示
US11484790B2 (en) Reality vs virtual reality racing
JP6540691B2 (ja) 頭部位置検出装置及び頭部位置検出方法、画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム
US9703100B2 (en) Change nature of display according to overall motion
US9996975B2 (en) Interactive multi-rider virtual reality ride system
US10108018B2 (en) Image display apparatus for displaying an image captured by a mobile apparatus
US9756319B2 (en) Virtual see-through instrument cluster with live video
CN110383142A (zh) 用于机动车的娱乐系统和用于运行娱乐系统的方法
KR102532438B1 (ko) 가상 오브젝트를 활용한 이동공간 메타버스 환경에서의 멀미 저감 방법 및 그 장치
CN117706780A (zh) 在绑定车辆的呈现与绑定眼镜的呈现之间传输显示内容
Yanagi Driving Experience of an Indirect Vision Cockpit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227

R150 Certificate of patent or registration of utility model

Ref document number: 7002648

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150