JP2023140280A - 車両のプロトタイプ解決策の設計、検討及び/又は提示のためのシステム、対応する動作方法、並びにコンピュータプログラム製品 - Google Patents
車両のプロトタイプ解決策の設計、検討及び/又は提示のためのシステム、対応する動作方法、並びにコンピュータプログラム製品 Download PDFInfo
- Publication number
- JP2023140280A JP2023140280A JP2023001677A JP2023001677A JP2023140280A JP 2023140280 A JP2023140280 A JP 2023140280A JP 2023001677 A JP2023001677 A JP 2023001677A JP 2023001677 A JP2023001677 A JP 2023001677A JP 2023140280 A JP2023140280 A JP 2023140280A
- Authority
- JP
- Japan
- Prior art keywords
- headset
- actuator
- driver unit
- data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013461 design Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 title claims description 9
- 238000004590 computer program Methods 0.000 title claims description 4
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000003287 optical effect Effects 0.000 claims abstract description 16
- 230000003190 augmentative effect Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 8
- 238000009499 grossing Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/18—Details relating to CAD techniques using virtual or augmented reality
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Optics & Photonics (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
【課題】複数の調整可能な物理デバイス(フロア、シート、ステアリングホイール等)並びにその管理及び/又は利用のための電子システムを提供する。【解決手段】システム100において、1つ又は複数のアクチュエータを介して垂直に移動できる車両のフロア8の四隅に配置され、ユーザの手又はヘッドセット402を含むオブジェクト408の位置を検出する1つ又は複数の光学ベースステーション404と、ドライバユニット、制御ユニット及び処理ユニットを含む電子制御システムと、を備える。ドライバユニットは、アクチュエータに作動コマンドを提供し、アクチュエータからオブジェクトの位置データを受信し、ヘッドセットに対するオブジェクトの位置を決定する。制御ユニットは、ドライバユニットからフィードバック状態及び位置データを受信する。処理ユニットは、ドライバユニットからヘッドセットに対するオブジェクトの位置を受信し仮想表現を生成する。【選択図】図4
Description
本明細書は、車両(例えば、車両の外装及び/又は内装の特徴を含む)のデザイン及び/又はプロトタイプの解決策の設計、開発、検討及び/又は提示のためのシステムに関し、システムは、複数の調整可能な物理デバイス(例えば、フロア、一対のシート、ステアリングホイールを含むフロントヘッド)と、それらの管理及び/又は利用のための電子システムとを含む。
上記したシステムは、例えば、国際特許出願(PCT出願)PCT/IB2021/058845号(本出願の出願時にはまだ公開されていない)から当技術分野で知られている。
具体的には、そのような既知のシステムは、複数の物理デバイス、電子制御ユニット(例えば、CPU)、及び表示及び制御デバイスを備える。表示及び制御デバイスは、ユーザによって着用され得る少なくとも1つの仮想現実ディスプレイ又は拡張現実ディスプレイを含む。物理的支持体は、複数のそれぞれのアクチュエータによって移動可能かつ調整可能である。電子制御ユニットは、車両のプロトタイプのデジタル表現又はデジタルモデルを生成するように構成され、物理的支持体の位置は、デジタルモデル内の対応するデジタル支持体の位置と関連付けられる。制御ユニットは、以下の動作のうちの少なくとも1つを実行するように構成されている。物理的支持体の配置を定められた位置に調整するように1つ又は複数のアクチュエータを作動させること、及び/又は、表示及び制御デバイスを介して、それぞれの物理的支持体の位置に対応する位置にデジタル支持体を表示することである。当該定められた位置は、表示及び制御デバイスを介してユーザによって設定される。物理的支持体の位置は、アクチュエータを作動させることによって設定される。
物理的支持体の配置とデジタルモデルでの当該支持体のデジタル表現の配置とを適切に一致させることで、ユーザエクスペリエンスが向上し、車両設計者は、車両設計段階でデジタル環境の利点を最大限に活用できるようになり、顧客は、実物大の従来のモックアップ車両に頼る必要なく、設計プロトタイプを正確に検討及び/又は検証できる。
したがって、物理モデルとデジタルモデルとの間のマッチングが改善された、そのような既知の混合された物理/デジタルシステムを提供することが当技術分野において必要とされている。
本明細書の1つ又は複数の実施形態の目的は、そのような改良されたシステムを提供することである。
1つ又は複数の実施形態によれば、そのような目的は、特許請求の範囲に記載の特徴を有するシステムによって達成され得る。
1つ又は複数の実施形態は、対応する動作方法に関連し得る。
1つ又は複数の実施形態は、コンピュータプログラム製品に関連し得、当該製品は、少なくとも1つの処理回路(例えば、MCU/CPU)のメモリに読み込み可能であり、製品が少なくとも1つの処理回路で実行されると方法の動作を実行するソフトウェアコードの部分を含む。本明細書で使用される場合、そのようなコンピュータプログラム製品への言及は、1つ又は複数の実施形態による方法の実施を調整するために処理システムを制御するための命令を含むコンピュータ可読媒体への言及と同等であると理解される。「少なくとも1つの」処理回路への言及は、1つ又は複数の実施形態がモジュール式及び/又は分散形式で実装されることが可能であることを強調することを意図している。
特許請求の範囲は、実施形態に関して本明細書で提供される技術的教示の不可欠な部分である。
1つ又は複数の実施形態では、車両のプロトタイプ解決策の設計、検討、及び/又は提示のためのシステムは、車両の内装の複数のハードウェア構成要素を備え、ハードウェア構成要素は、複数のそれぞれのアクチュエータを介して異なる位置に移動可能及び/又は調整可能である。システムは、ユーザが装着可能な仮想又は拡張現実ヘッドセットを備え、ヘッドセットは、複数のハードウェア構成要素に対応する複数の仮想構成要素の仮想表現をユーザに表示するように構成されている。システムは、関心領域内の1つ又は複数のオブジェクトの位置を検出するように構成された複数のオブジェクト検出センサを備え、1つ又は複数のオブジェクトは、ユーザの手及び/又はヘッドセットを含む。システムは、ドライバユニット、制御ユニット、及び処理ユニットを含む電子制御システムを備える。ドライバユニットは、アクチュエータに作動コマンドを提供し、及び/又はアクチュエータから位置データを受信するように、アクチュエータに結合されて、関心領域内の1つ又は複数のオブジェクトの位置を示すデータを受信するように、複数のオブジェクト検出センサに結合される。ドライバユニットは、ヘッドセットに対する1つ又は複数のオブジェクトの位置を決定するように、1つ又は複数のオブジェクトの位置を示すデータに対してセンサデータ統合処理を実行するように構成される。制御ユニットは、ドライバユニットに結合されて、ドライバユニットにコマンドを送信し、ドライバユニットからフィードバック状態及び位置データを受信する。処理ユニットは、ヘッドセットに対する1つ又は複数のオブジェクトの位置をドライバユニットから受信し、それに応じてヘッドセットによって表示される仮想表現を生成するように構成される。
したがって、1つ又は複数の実施形態は、物理的な車両モックアップと、ユーザに表示される対応する仮想モックアップとのマッチングの精度を向上させることを容易にする。
1つ又は複数の実施形態では、複数のオブジェクト検出センサは、光学追跡デバイス、好ましくは6自由度光学追跡デバイス、ヘッドセットに結合された慣性測定ユニット、及びユーザの手の位置を検出するように構成された装置のうちの少なくとも1つを備える。
1つ又は複数の実施形態では、複数のオブジェクト検出センサは、1つ又は複数のカメラ、ヘッドセットに結合された慣性測定ユニット、及び光学センサのセットを備える。ドライバユニットは、慣性測定ユニットからのデータに応じて平滑化された光学センサからのデータに応じてヘッドセットの第1位置を決定し、1つ又は複数のカメラからのデーアに応じてヘッドセットの第2位置を決定するように構成される。ドライバユニットはさらに、ヘッドセットの第1位置をヘッドセットの第2位置と比較してヘッドセットの配置誤差を計算し、ヘッドセットに対する1つ又は複数のオブジェクトの決定された位置から配置誤差を差し引いて、ヘッドセットに対する1つ又は複数のオブジェクトの補正された位置を生成するように構成される。処理ユニットは、補正された位置に応じてヘッドセットによって表示される仮想表現を生成するように構成される。
1つ又は複数の実施形態では、複数のハードウェア構成要素は、フロア、少なくとも1つのシート、フロントヘッド、フロントヘッドに取り付けられたステアリングホイール、フロントヘッドの下に配置された少なくとも1つのペダル、及び1つ又は複数のアームレストのうちの少なくとも1つを含む。
1つ又は複数の実施形態では、制御ユニットは、ユーザから、ユーザインタフェースを介して、ハードウェア構成要素を移動させるアクチュエータの想定される位置を示すデータのセットを受信し、ドライバユニットにアクチュエータの想定される位置を示すデータを送信するように構成される。ドライバユニットは、アクチュエータを想定される位置に調整するように作動コマンドをアクチュエータに提供するように構成される。
1つ又は複数の実施形態では、制御ユニットは、ユーザから、ユーザインタフェースを介して、ハードウェア構成要素の想定される位置を示すデータのセットを受信するように構成される。制御ユニットは、ハードウェア構成要素の想定される位置を示すデータに応じて、ハードウェア構成要素を移動させるアクチュエータの想定される位置を示すデータの対応するセットを決定し、ドライバユニットにアクチュエータの想定される位置を示すデータを送信するように構成される。ドライバユニットは、アクチュエータを想定される位置に調整するようにアクチュエータに作動コマンドを提供するように構成される。
1つ又は複数の実施形態では、制御ユニットは、ハードウェア構成要素を移動させるアクチュエータの想定される位置を示すデータのセットをデータファイルから読み込み、ドライバユニットにアクチュエータの想定される位置を示すデータを送信するように構成される。ドライバユニットは、アクチュエータを想定される位置に調整するように作動コマンドをアクチュエータに提供するように構成される。
1つ又は複数の実施形態では、制御ユニットは、ユーザインタフェースを備え、ハードウェア構成要素の現在の位置を表す画像を、ハードウェア構成要素の想定される位置置を表す画像に重ねてユーザインタフェースを介して示すように構成される。
単に非限定的な例として提供される添付図面を参照して、本発明を詳細に説明する。
図1及び図2は、車両のスタイルプロトタイプの設計、開発、検討及び/又は提示のための物理的環境及び仮想環境を統合するためのシステム100の想定される実施形態の例である。
図1のシステム100の物理的環境は、1つ又は複数のアクチュエータを介して垂直に移動できるフロア8を含む。例えば、2対のアクチュエータ9、10、11、12が設けられ、長方形のフロア8の4つの角に配置され得る。フロア8には、一対の前部シート1、2を収容するための一対の前部開口22と、一対の後部シート3、4を収容するための一対の後部開口23とが設けられている。各シートには、シートを異なる位置に移動させるができる、それぞれの電動及び調整デバイス13が設けられている。物理的環境は、ステアリングホイール6を含むフロントヘッド5をさらに含むことができる。ステアリングホイール6にはまた、その位置を移動及び調整することができる、それぞれの電動及び調整デバイスが設けられている。物理的環境は、リアヘッド7をさらに含むことができる。物理的環境は、システムの電子制御システムに人間工学的フィードバックを提供するのに適した、圧力センサ41を備えた(例えば、各対のシートの間、及び/又は各シートの側方に配置された)1つ又は複数のアームレスト40をさらに含むことができる。
図2は、車両のスタイルプロトタイプの設計のための物理的環境及び仮想環境を統合するためのシステム100の別の実施形態を示す。既に説明したものと同一又は類似の部品は、同じ参照番号で示されている。図2のシステム100は、一対のシート1、2のみを含む。さらに、図2は、フロントヘッド5の下に(例えば、ステアリングホイール6に沿って)配置された一対の自動車用ペダル15であって、その位置もそれぞれのアクチュエータを介して調整され得る、自動車用ペダル15と、ステアリングホイール6の位置を移動及び調整するためのアクチュエータ14と、フロントヘッド5に配置されたスクリーン46と、仮想現実バイザ又は拡張現実バイザ44と、及び電子制御デバイス(例えば、タブレット)45と、を示す。図1に示されていなくとも、本発明の任意の実施形態は、ペダル15、アクチュエータ14、スクリーン46、仮想現実バイザ又は拡張現実バイザ44、及び制御デバイス45を含み得ることが理解されるであろう。
シート1、2、3、4のそれぞれは、上記で引用した国際特許出願に開示されているように、3つの直交軸X、Y、Zに沿って移動及び調整され得る。シート1、2、3、4の移動、並びにペダル15、ステアリングホイール6及び/又はアームレスト40などの物理的環境の他の可動部品の移動、は、さらに以下で開示されるように、電子制御システムによって制御される。
図1及び図2を参照して説明した設計/開発フレームワークの実施形態は、少なくとも2つの動作モードで使用され得る。
例えば新しい自動車モデルの提示に適した第1動作モードでは、ユーザ(例えば自動車設計者)は、コマンドを(電子制御システムを介して)与えて、車両の特定のレイアウトに従って前述の可動物理デバイス(例えば、シート、ペダル、ステアリングホイール、アームレストなど)の位置を設定できる。例えば、ユーザは、コンピュータ又はタブレット45を介してコマンドを与えることができる。見込み客は、例えば仮想/拡張現実バイザ44を使用して、設計プロトタイプを見ることができ、同時に、物理デバイスが対応するように配置されている物理的環境を使用して「モックアップ」車両の制御及びコマンドの人間工学及び/又は機能を試すことができる。
第2動作モードでは、本明細書で開示される設計/開発フレームワークにより、設計者は、例えば仮想/拡張現実バイザ44を使用して、設計中の車両の物理的要素の特定の構成を表示し、同時に、その人間工学とスタイルをテストできるようになり、必要に応じて、設計者は、例えばコンピュータやタブレット45などを使用してリアルタイムでそれらを変更できる。
図3は、1つ又は複数の実施形態によるシステム100の特定のハードウェア及びソフトウェア構成要素を例示するブロック図である。
システム100は、「物理的」設計環境のハードウェア構成要素302、例えば、図1及び図2を参照して実質的に説明されたハードウェア構成要素を備える。さらに、システム100は、物理的設計環境の空間内のオブジェクトの位置を検出及び/又は追跡するように構成された1つ又は複数の位置検出及び/又は動き追跡デバイス304を備える。例えば、デバイス304は、6自由度(6DOF)追跡デバイスなどの1つ又は複数の光学追跡デバイス、1つ又は複数の慣性測定ユニット(IMU)、ユーザの手の位置を検出/追跡するように構成された1つ又は複数の装置などを含むことができる。さらに、システム100は、ハードウェア構成要素302(例えば、可動シート、ステアリングホイール、ペダル、アームレストなどのアクチュエータ)及び検出/追跡デバイス304と相互接続する電子ドライバユニット306を備える。具体的には、ドライバユニット306は、動作コマンドをアクチュエータに送信でき、アクチュエータから位置データ(例えば、フィードバックデータ)を受信でき、及び/又はデバイス304から位置データを受信できる。ドライバユニット306はさらに、以下にさらに開示するように、アクチュエータ及びデバイス304からもたらされるセンサデータの統合を実行する。
システム100は、以下でさらに説明するように、物理構成要素302の位置を制御するように構成されたリモート電子制御ユニット308(例えば、コンピュータ又はワークステーション)をさらに備える。制御ユニット308は、ドライバユニット306に結合されて、ドライバユニット306にコマンドを送信し、ドライバユニット306からデータを受信する。例えば、制御ユニット308は、オン又はオフコマンド、作動コマンド(例えば、「ステアリングホイール:角度を45°に設定」)などのコマンド308aをドライバユニット306に送信できる。さらに、制御ユニット308は、現在のステータス情報(例えば、「オン」、「オフ」、「エラーステータス」、「現在移動中」など)、及び1つ又は複数のアクチュエータからの姿勢情報(例えば、「ステアリングホイール:現在の角度35.82°」)などの状態情報308bをドライバユニット306から受信できる。
システム100はさらに、ドライバユニット306から統合センサデータを受信し、物理構成要素302及びユーザの検出された位置を仮想/拡張現実バイザ44に表示された対応するデジタル構成要素の位置と同期させるように構成された処理ユニット310を備える。具体的には、処理ユニット310は、プラグイン部分312、コンテンツ部分314(例えば、対話型自動車モデル)、及びグラフィックエンジン部分316(例えば、ゲームエンジン)を含むソフトウェアコードを実行できる。プラグイン部分312は、ハードウェアモックアップの現在のステータス、及びハードウェアモックアップ内で相互作用する物理的要素の位置(例えば、ハードウェア構成要素302の位置、バイザ44などのユーザのヘッドセットの位置及び向き、ユーザの手の位置及び向きなど)などのデータをドライバユニット306から受信できる。
システム100の物理的環境におけるアクチュエータ(例えば、ハードウェア構成要素302を動かすモータ)は、自機の状態を検出できる。例えば、リニアモータは、そのフルスケールに対する現在の位置を検出できてもよい(例えば、モータn°1、現在の位置=25mm、フルスケール範囲=400mm)。アクチュエータからもたらされる位置データを使用して、ドライバユニット306は、物理モックアップの全体的な姿勢を計算するように構成される。しかし、このような姿勢では、構造全体の位置及び方向に関する情報が不足し得る。したがって、1つ又は複数の実施形態は、光学追跡及び/又は慣性追跡を使用して、物理モックアップとモックアップに座っているユーザとの間の相対位置を検出できる。さらに、エンドユーザの頭の姿勢(例えば、空間における位置及び向き)が、同様に検出され得る。
予想されるように、ドライバユニット306は、センサデータ統合を実行するように構成される。さまざまなソース(例えば、光学及びIMU追跡)からのデータを正しく統合し、さまざまな頻度でさまざまな精度で実行できる能力は、望ましい機能である。したがって、ユースケースとその制約に特有の、優れた(たとえば、信頼できる)データ統合モデルを提供することは有益である。一般に、光学追跡は、低頻度でユーザの絶対位置と方向を検出するために使用され得るが、揺らぎが発生し得る。揺らぎ(ジッター)をフィルタリングすると遅延が発生する可能性があり、これは仮想/拡張現実バイザ44などのヘッドマウントデバイス(HMD)の使用には適していない。一方、慣性測定ユニットに基づくセンサは、高頻度で滑らかな相対位置と方向のデータを生成できるが、時間の経過とともにドリフトする可能性がある。したがって、1つ又は複数の実施形態は、満足のいく結果を提供するために、2つのデータタイプの有利な組み合わせを利用できる。さらに、(例えば、リープモーション(Leap Motion)などの光学センシングによる)ユーザの手の追跡もセンサ統合モデルに統合され得る。
予想されるように、制御ユニット308は、ハードウェア構成要素302の位置を制御するように構成される。これは、例えば、ユーザがアクチュエータモータの1つ1つの位置を手動で設定する必要なく、物理モックアップを所望の構成に簡単に設定できるように、ユーザフレンドリな方法で実装され得る。制御ユニット308は、例えば、リモートユーザインタフェース及び3つの異なる制御モードを提供できる。
第1制御モード(例えば、「手動(manual)」)では、ユーザは、各アクチュエータを所望の状態に設定できる(例えば、「モータn°1を400mmのうち15mmの位置に設定する」)。
第2制御モード(例えば、「人間工学(ergonomics)」)では、ユーザは、ハードウェア構成要素302の位置を設定でき、制御ユニット308は、所望の最終位置を、対応するアクチュエータ状態と相関させるように構成される。例えば、ユーザは、ステアリングホイールを水平に対して特定の角度に設定でき(例えば、「ステアリングホイールの角度を70°に設定する」)、制御ユニット308は、所望の結果をもたらすステアリングホイールの1つ又は複数のアクチュエータの位置を決定できる。いくつかの計算が、人間工学的値とモータ値との間で相互に変換するために使用される。
第3制御モード(例えば「記憶(storage)」)では、アクチュエータの状態(位置)及び/又はハードウェア構成要素302の位置を定めるデータがファイルから読み込まれ得る。このような位置データの保存及び取得が可能になることにより、複数のユーザが異なる構成を保存したり、共通の共有プロジェクトで作業したりできるようにすることで、開発チームの作業を促進することができる。
制御ユニット308を使用する場合、ユーザは、(上述の3つのモードのいずれかを使用して)物理モックアップの姿勢を設定してリモートユーザインタフェースを介して確認でき、それにより、制御ユニット308はアクチュエータに物理構成要素302の動作コマンドを送信する。ユーザインタフェースでは、2つの重ね合わせた画像が表示され得る。第1画像(例えば、「ゴースト」又は「半透明」画像)は、物理モックアップの現在の実際の姿勢を示すことができ、第2画像(「ソリッド」画像)は、物理モックアップの目標姿勢を示すことができる。
予想されるように、処理ユニット310は、ドライバユニット306から統合センサデータを受信し、物理構成要素302の検出された位置及びユーザの検出された位置を、仮想/拡張現実バイザ44などの仮想環境に表示される対応するデジタル構成要素の位置と同期させるように構成される。例えば、プラグイン部分312は、ドライバユニット306からもたらされるデータを、例えばアンリアルエンジン(Unreal Engine)などのグラフィックエンジンに統合するように構成され得る。プラグイン部分312の用途は、検討/設計されている車両の3D仮想モデルを、物理構成要素302の実際の位置と一致させることである。例えば、物理モックアップに物理的に着席し、ヘッドマウントバイザ44を装着しているユーザは、「仮想」世界及び「現実」世界で同時に、ステアリングホイール6、アームレスト40、ディスプレイ46等に触れることができるだろう。
物理モックアップとユーザに示される仮想環境との間の同期を提供するために、仮想モックアップ(例えば「ブルーゴースト」)は、グラフィックエンジン(例えば、アンリアル(Unreal))上で稼働中の車両の3Dモデルと一致する必要がある。仮想モックアップは、ドライバユニット306に接続してその姿勢をリアルタイムで更新するか、制御ユニット308を介して作成された構成ファイルが読み込まれるか、又はユーザが仮想環境で姿勢を直接定めて(例えば制御ユニット308をバイパスして)ドライバユニット306に送り返すことができる。仮想環境で(例えば、ユーザが仮想/拡張現実ヘッドセットを装着して)仮想モックアップを表示すると、仮想モックアップと物理モックアップが整列される。さらに、仮想環境で仮想の手が視覚化され得、それらの位置が他の仮想的に表示される要素(例えば、仮想のステアリングホイール)の位置と一致され得る。
1つ又は複数の実施形態は、物理モックアップとユーザに示される仮想環境との間の精度及びマッチングを改善するセンサ融合アルゴリズムを利用できる。この点に関しては、図4及び5を参照する必要がある。
標準的な仮想現実システム(例えば、オキュラス(Oculus)、HTC Viveなどとして知られる商用システム)では、ヘッドセット(例えば、仮想/拡張現実バイザ44)の空間内の位置の推定は、主にIMUセンサから受信したデータに基づいている。しかし、IMUセンサは非定常の誤差を生成する場合があり、つまり、仮想環境で視覚化された仮想オブジェクトの位置は、物理世界での同じオブジェクトの実際の位置と比較して、時間の経過とともにドリフトする可能性がある。仮想環境における仮想オブジェクトの配置の誤差は、物理的環境での知覚エラー(例えば、ユーザの誤った触覚フィードバック)につながる。また、上記のような商用システムは、IMUデータを他のデータ(カメラやライトハウス(lighthouse)からのデータなど)と結合し、センサ結合を使用できる。しかし、そのような商用センサ統合アルゴリズムは、従来、正確にするのではなく、滑らかになるように設計されており、また、複数のオブジェクトを追跡できない場合がある。例えば、オキュラスとして商業的に知られるシステムは、複数のオブジェクトを追跡することはできない。HTC Viveとして知られる別の商業的に既知のシステムは、「Viveトラッカー」として知られる追加のデバイスを使用できるが、これは正確ではなく、静的なオブジェクト(追跡する必要があるシステム100の物理部分の静的な構造など)に対してはさらに信頼性が低く、扱いづらく、電力が供給される必要があり且つドングルを使用してワイヤレスで接続される必要があるアクティブなデバイスである。
図4に例示されるように、従来のVR/ARシステムでは、バイザ44などのヘッドマウントデバイス(HMD)402の位置及び/又は向きは、(例えば、フロア8の四隅に配置された)1つ又は複数の光学ベースステーション404によって追跡され得る。ヘッドマウントデバイス402の追跡された位置は、ユーザの目に対する視覚情報を生成するために使用されるため、位置データは従来、IMUデータを使用して平滑化され、誤差(例えば、ドリフト誤差)を引き起こす。これは図4に表されており、デバイス402は、ヘッドマウントデバイスを装着したユーザの現実の物理的位置を表し、デバイス406は対応する平滑化された位置を表している。したがって、配置誤差又は平滑化誤差ESが発生し得る。物理的環境では、他のオブジェクト408(例えば、ハードウェア構成要素302のうちの1つ又は複数)が提供され、その位置も光学ベースステーション404によって追跡される。これらのオブジェクトはユーザに取り付けられておらず(例えば、ユーザの頭部に取り付けられておらず)、したがって移動することが想定されないため、オブジェクト408の位置を平滑化する必要はない。その結果、仮想環境(VR/ARバイザ44)で提示されるオブジェクト408の位置は、物理世界におけるオブジェクト408の実際の位置に等しいか又は非常に近くなる。1つ又は複数の他のオブジェクト(例えば、ユーザの手)の位置は、デバイス402の位置に対する追跡され得るため、仮想環境におけるこれらの追加のオブジェクトの位置も、実際の物理的な位置と比較して、平滑化誤差ESによって影響を受けるだろう。
その結果、従来のAR/VRシステムが使用された場合、位置の不一致により、ユーザは(VR/ARヘッドセット44からもたらされる)視覚フィードバックと(ユーザの周りの物理構成要素302からもたらされる)触覚フィードバックを一致させることができなくなる可能性がある。例えば、ユーザの手は、(図4の点410で例示されるように)物理的環境内の追跡されたオブジェクト408に触れることができるが、ヘッドセット44によって示される「仮想」の手は、オブジェクト408の仮想表現に触れているものとして表示されない可能性がある。実際には、仮想的に表示されたデバイスの一部のみに影響する平滑化誤差ESにより、ユーザの視覚がユーザの力覚(触覚)とは異なるものになる可能性がある。既知の解決策は、平滑化によって生じる誤差をできるだけ小さく保つことを目的としており、達成可能な平滑化のレベルと残留誤差の間のトレードオフ、及び/又は高精度のIMUセンサの使用及び/又はカスタムセンサ統合アルゴリズムの実装の必要性をもたらす。
したがって、図5に例示される1つ又は複数の実施形態は、改善された平滑化経験及び高い精度をもたらす単純な解決策を提供できる。システム100は、(例えば、ドライバユニット306とデータを交換することによって)ヘッドマウントデバイス402の位置を独立して検出/追跡するように構成された1つ又は複数の追加のカメラ502をさらに備えることができる。ヘッドセット402からの平滑化された位置データは置き換えられず、カメラ502を介して決定された位置データと比較され、各時点で平滑化誤差ESが決定(例えば、測定)される。したがって、測定された平滑化誤差は、ヘッドマウントデバイス402に対して配置されたすべてのオブジェクトの位置から差し引かれ得、手が、物理的にある位置に仮想的に配置され、AR/VRヘッドセット44を介してユーザに与えられる視覚情報が、ユーザがシステムの物理構成要素から得られる力覚(触覚)フィードバックと一致する。
明らかに、構造の詳細及び実施形態は、特許請求の範囲で定められる本発明の保護の範囲から逸脱することなく、説明及び図示されたものに関して広く変化し得る。したがって、例えば、シート、ステアリングホイール、及びペダルの一般的な構成は、図面に示されているものとは異なってもよく、異なる車種に適合され得る。
Claims (10)
- 車両のプロトタイプ解決策の設計、検討及び/又は提示のためのシステム(100)であって、前記システム(100)は、
車両の内装の複数のハードウェア構成要素(302)であって、前記ハードウェア構成要素(302)は、複数のそれぞれのアクチュエータを介して異なる位置に移動可能及び/又は調整可能である、複数のハードウェア構成要素(302)と、
ユーザによって装着可能な仮想又は拡張現実ヘッドセット(44;402)であって、前記ヘッドセット(44;402)は、前記複数のハードウェア構成要素(302)に対応する複数の仮想構成要素の仮想表現をユーザに表示するように構成される、ヘッドセット(44;402)と、
関心領域内の1つ又は複数のオブジェクトの位置を検出するように構成された複数のオブジェクト検出センサ(304)であって、前記1つ又は複数のオブジェクトは、前記ユーザの手及び/又は前記ヘッドセット(44;402)を含む、複数のオブジェクト検出センサ(304)と、
ドライバユニット(306)、制御ユニット(308)及び処理ユニット(310)を含む電子制御システム(306、308、310)と、
を備え、
前記ドライバユニット(306)は、アクチュエータに作動コマンドを提供し、及び/又は前記アクチュエータから位置データを受信するように、前記アクチュエータに結合され、前記関心領域内の前記1つ又は複数のオブジェクトの前記位置を示すデータを受信するように前記複数のオブジェクト検出センサ(304)に結合され、
前記ドライバユニット(306)は、前記ヘッドセット(44;402)に対する前記1つ又は複数のオブジェクトの位置を決定するように、前記1つ又は複数のオブジェクトの前記位置を示す前記データにセンサデータ統合処理を実行するように構成され、
前記制御ユニット(308)は、コマンドを前記ドライバユニットに送信し、フィードバック状態及び位置データを前記ドライバユニットから受信するように、前記ドライバユニット(306)に結合され、
前記処理ユニット(310)は、前記ドライバユニット(306)から前記ヘッドセット(44;402)に対する前記1つ又は複数のオブジェクトの前記位置を受信し、それに応じて前記ヘッドセット(44;402)によって表示される前記仮想表現を生成するように構成される、
システム(100)。 - 前記複数のオブジェクト検出センサ(304)は、
光学追跡デバイスであって、好ましくは6自由度光学追跡デバイスである、光学追跡デバイスと、
前記ヘッドセット(44;402)に結合された慣性測定ユニットと、
前記ユーザの手の位置を検出するように構成されたデバイスと、
のうちの少なくとも1つを備える、請求項1に記載のシステム(100)。 - 前記複数のオブジェクト検出センサ(304)は、1つ又は複数のカメラ(502)、前記ヘッドセット(44;402)に結合された慣性測定ユニット、及び光学センサ(404)のセットを含み、
前記ドライバユニット(306)は、
前記慣性測定ユニットからのデータに応じて平滑化された前記光学センサからのデータに応じて前記ヘッドセットの第1位置を決定し、前記1つ又は複数のカメラ(502)からのデータに応じて前記ヘッドセット(44;402)の第2位置を決定し、
前記ヘッドセット(44;402)の前記第1位置を前記ヘッドセット(44;402)の前記第2位置と比較して前記ヘッドセット(44;402)の配置誤差(ES)を計算し、
前記配置誤差(ES)を前記ヘッドセット(44;402)に対する前記1つ又は複数のオブジェクトの決定された位置から差し引いて、前記ヘッドセット(44;402)に対する前記1つ又は複数のオブジェクトの補正された位置を生成する、
ように構成され、
前記処理ユニット(310)は、前記補正された位置に応じて前記ヘッドセット(44;402)によって表示される前記仮想表現を生成するように構成される、
請求項1又は請求項2に記載のシステム(100)。 - 前記複数のハードウェア構成要素(302)は、フロア(8)、少なくとも1つのシート(1,2)、フロントヘッド(5)、前記フロントヘッド(5)に取り付けられたステアリングホイール(6)、前記フロントヘッド(5)の下に配置された少なくとも1つのペダル(15)、及び1つ又は複数のアームレスト(40)のうちの少なくとも1つを含む、請求項1から請求項3のいずれか一項に記載のシステム(100)。
- 前記制御ユニット(308)は、
前記ユーザから、ユーザインタフェースを介して、前記ハードウェア構成要素(302)を移動させる前記アクチュエータの想定される位置を示すデータのセットを受信し、
前記ドライバユニット(306)に前記アクチュエータの想定される位置を示す前記データを送信する、
ように構成され、前記ドライバユニット(306)は、前記アクチュエータを前記想定される位置に調整するように作動コマンドを前記アクチュエータに提供するように構成される、
請求項1から請求項4のいずれか一項に記載のシステム(100)。 - 前記制御ユニット(308)は、
前記ユーザから、ユーザインタフェースを介して、前記ハードウェア構成要素(302)の想定される位置を示すデータのセットを受信し、
前記ハードウェア構成要素(302)の想定される位置を示す前記データに応じて、前記ハードウェア構成要素(302)を移動させる前記アクチュエータの想定される位置を示すデータの対応するセットを決定し、
前記ドライバユニット(306)に前記アクチュエータの想定される位置を示す前記データを送信する、
ように構成され、前記ドライバユニット(306)は、前記アクチュエータを前記想定される位置に調整するように作動コマンドを前記アクチュエータに提供するように構成される、
請求項1から請求項5のいずれか一項に記載のシステム(100)。 - 前記制御ユニット(308)は、
前記ハードウェア構成要素(302)を移動させる前記アクチュエータの想定される位置を示すデータのセットをデータファイルから読み込み、
前記ドライバユニット(306)に前記アクチュエータの想定される位置を示す前記データを送信する、
ように構成され、前記ドライバユニット(306)は、前記アクチュエータを前記想定される位置に調整するように作動コマンドを前記アクチュエータに提供するように構成される、
請求項1から請求項6のいずれか一項に記載のシステム(100)。 - 前記制御ユニット(308)は、ユーザインタフェースを備え、前記ハードウェア構成要素(302)の現在の位置を表す画像を、前記ハードウェア構成要素(302)の想定される位置を表す画像に重ねて前記ユーザインタフェースを介して示すように構成される、請求項1から請求項7のいずれか一項に記載のシステム(100)。
- 請求項1から請求項8のいずれか一項に記載のシステム(100)を動作させる方法であって、前記方法は、
複数のそれぞれのアクチュエータを介して車両の内装の前記複数のハードウェア構成要素(302)を異なる位置に移動及び/又は調整することと、
前記複数のオブジェクト検出センサ(304)を介して、関心領域内の、ユーザの手及び/又は前記ヘッドセット(44;402)を含む1つ又は複数のオブジェクトの位置を検出することと、
前記仮想又は拡張現実ヘッドセット(44;402)を介して、前記複数のハードウェア構成要素(302)に対応する複数の仮想構成要素の仮想表現を前記ユーザに表示することと、
前記アクチュエータに作動コマンドを提供及び/又は前記アクチュエータから位置データを受信し、前記関心領域内の前記1つ又は複数のオブジェクトの前記位置を示すデータを受信することと、
前記ヘッドセット(44;402)に対する前記1つ又は複数のオブジェクトの位置を決定するように、前記1つ又は複数のオブジェクトの前記位置を示す前記データにセンサデータ統合処理を実行することと、
コマンドを前記ドライバユニット(306)に送信し、フィードバック状態及び位置データを前記ドライバユニット(306)から受信することと、
前記ドライバユニット(306)から前記ヘッドセット(44;402)に対する前記1つ又は複数のオブジェクトの前記位置を受信し、それに応じて前記ヘッドセット(44;402)によって表示される前記仮想表現を生成することと、
を含む、方法。 - 少なくとも1つのコンピュータのメモリに読み込み可能であり、前記コンピュータによって実行されると、請求項9に記載の方法のステップを前記コンピュータに実行させるソフトウェアコード部分を含む、コンピュータプログラム製品。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IT102022000002903A IT202200002903A1 (it) | 2022-02-16 | 2022-02-16 | Sistema per la progettazione, revisione e/o presentazione di soluzioni prototipali per veicoli, procedimento di funzionamento e prodotto informatico corrispondenti |
IT102022000002903 | 2022-02-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023140280A true JP2023140280A (ja) | 2023-10-04 |
Family
ID=81581070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023001677A Pending JP2023140280A (ja) | 2022-02-16 | 2023-01-10 | 車両のプロトタイプ解決策の設計、検討及び/又は提示のためのシステム、対応する動作方法、並びにコンピュータプログラム製品 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230259675A1 (ja) |
EP (1) | EP4231191A1 (ja) |
JP (1) | JP2023140280A (ja) |
CN (1) | CN116611159A (ja) |
IT (1) | IT202200002903A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240296599A1 (en) * | 2023-03-03 | 2024-09-05 | Toyota Connected North America, Inc. | Systems and methods for displaying updated vehicle interiors |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7464010B2 (en) * | 2004-12-21 | 2008-12-09 | Electronics And Telecommunications Research Institute | User interface design and evaluation system and hand interaction based user interface design and evaluation system |
US10482669B2 (en) * | 2016-09-23 | 2019-11-19 | Apple Inc. | Augmented virtual display |
US11079753B1 (en) * | 2018-01-07 | 2021-08-03 | Matthew Roy | Self-driving vehicle with remote user supervision and temporary override |
US11164476B2 (en) * | 2018-05-29 | 2021-11-02 | Cse Software Inc. | Heavy equipment simulation system and methods of operating same |
EP3663941B1 (en) * | 2018-12-07 | 2022-07-13 | Volvo Car Corporation | Evaluation of a simulated vehicle-related feature |
EP3798813A1 (en) | 2019-09-24 | 2021-03-31 | Jesús Francisco Barberan Latorre | Method for decorating a substrate and substrate thus decorated |
US20210294944A1 (en) * | 2020-03-19 | 2021-09-23 | Nvidia Corporation | Virtual environment scenarios and observers for autonomous machine applications |
-
2022
- 2022-02-16 IT IT102022000002903A patent/IT202200002903A1/it unknown
-
2023
- 2023-01-10 JP JP2023001677A patent/JP2023140280A/ja active Pending
- 2023-01-24 EP EP23153037.9A patent/EP4231191A1/en active Pending
- 2023-02-14 CN CN202310111745.4A patent/CN116611159A/zh active Pending
- 2023-02-15 US US18/169,511 patent/US20230259675A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230259675A1 (en) | 2023-08-17 |
IT202200002903A1 (it) | 2023-08-16 |
EP4231191A1 (en) | 2023-08-23 |
CN116611159A (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200201041A1 (en) | Method for operating a mobile virtual reality system in a motor vehicle, and mobile virtual reality system | |
Fiorentino et al. | Spacedesign: A mixed reality workspace for aesthetic industrial design | |
US10908694B2 (en) | Object motion tracking with remote device | |
JP3944019B2 (ja) | 情報処理装置および方法 | |
JP4533087B2 (ja) | 画像処理方法、画像処理装置 | |
US8988465B2 (en) | Physical-virtual hybrid representation | |
US20170025031A1 (en) | Method and apparatus for testing a device for use in an aircraft | |
JP4356983B2 (ja) | 画像処理方法、画像処理装置 | |
US10176638B2 (en) | Method and system for calibrating a virtual reality system | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
WO2016205046A1 (en) | Three-dimensional user input | |
CN115244492A (zh) | 物理对象对增强现实中的虚拟对象的遮挡 | |
WO2013074989A1 (en) | Pre-button event stylus position | |
US20230259675A1 (en) | System for the design, review and/or presentation of prototype solutions for vehicles, corresponding operation method and computer program product | |
EP1533683A2 (en) | Mixed reality simulation system | |
Punpongsanon et al. | Extended LazyNav: Virtual 3D ground navigation for large displays and head-mounted displays | |
JPH09138637A (ja) | 模擬視界装置 | |
JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
JP3559335B2 (ja) | 三次元画像処理装置 | |
Gigante | Virtual reality: Enabling technologies | |
US8896631B2 (en) | Hyper parallax transformation matrix based on user eye positions | |
Ikits et al. | A comprehensive calibration and registration procedure for the visual haptic workbench | |
Qiu et al. | Using AR technology for automotive visibility and accessibility assessment | |
JP2018132847A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20040246234A1 (en) | Display apparatus |