JP2020534051A - ヘッドセットシステムを位置合わせするためのシステム及び方法 - Google Patents
ヘッドセットシステムを位置合わせするためのシステム及び方法 Download PDFInfo
- Publication number
- JP2020534051A JP2020534051A JP2020513740A JP2020513740A JP2020534051A JP 2020534051 A JP2020534051 A JP 2020534051A JP 2020513740 A JP2020513740 A JP 2020513740A JP 2020513740 A JP2020513740 A JP 2020513740A JP 2020534051 A JP2020534051 A JP 2020534051A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- headset system
- configurations
- camera
- transducer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
- H04N1/4092—Edge or detail enhancement
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本明細書で記載される構成は、トランスデューサーと、被験者の画像データを取り込むように構成されたカメラと、取り込まれた画像データを使用して被験者上に置かれた1又は2以上の基準マーカーを検出し、検出された基準マーカーに基づいて被験者に対してトランスデューサーを位置合わせするように構成されたコントローラと、を含むヘッドセットシステムのシステム、装置、及び方法に関する。【選択図】図1A
Description
(関連特許出願に対する相互参照)
本出願は、2017年9月14日に出願された米国仮特許出願第62/558,804号から優先権を主張し、全体として、引用により本明細書に組み込まれる。
本出願は、2017年9月14日に出願された米国仮特許出願第62/558,804号から優先権を主張し、全体として、引用により本明細書に組み込まれる。
ヘッドセットシステムに組み込まれるデバイス(例えば、光学デバイス、外科用デバイス、走査デバイス、医療診断デバイス、自動経頭蓋ドップラーデバイスなど)の性能は、被験者の頭部に対するデバイスの位置決めに基づいて最適化される。被験者の頭部の特定の領域に対するデバイスの初期位置合わせ(例えば、アライメント)は、動作中にデバイスが効果的に動作するために重要なことである。加えて、デバイスの手動位置合わせを実行するヘッドセットシステムの技術者は、動作中のデバイスの性能が悪影響を受けるような人為的ミスを導入させる可能性がある。更に、デバイスを適切に位置合わせするために高度な技能を有する技術者が必要になる場合があり、このことがヘルスケアの効率的でタイムリーな運営を妨げる可能性がある。このため、最小限に要求される人間の介入で被験者の頭部に対してデバイスを自動的に位置合わせすることができるデバイスを含むヘッドセットシステムが望まれる。
様々な構成によれば、被験者に対するヘッドセットシステムの自動位置合わせを提供するシステム及び方法が提供される。一部の構成では、自動位置合わせは、ヘッドセットシステムを操作する人間の技術者の必要性が最小限にされるか又は排除され、これにより、システムを動作させる際の人為的ミスを最小限に抑えることができ、ヘッドセットシステムの動作のより速くより効率的な実行をもたらすことができる。
一部の構成では、ヘッドセットシステムは、トランスデューサーと、被験者の画像データを取り込むように構成されたカメラと、捕らえられた画像データを使用して被験者上に置かれた1又は2以上の基準(フィデューシャル)マーカーを検出し、検出された基準マーカーに基づいて被験者に対してトランスデューサーを位置合わせするように構成されたコントローラとを含む。
一部の構成では、トランスデューサーは、超音波トランスデューサーである。
一部の構成では、ヘッドセットシステムは、被験者に対してトランスデューサーを位置決めするように構成されたロボットを更に含む。コントローラは、被験者上でのトランスデューサーの動作に合わせてトランスデューサーを位置決めし、トランスデューサーを動作中にトランスデューサーの作業空間を1又は2以上の境界に制限することにより、トランスデューサーを位置合わせするように構成される。
一部の構成では、画像データは、被験者上に配置された1又は2以上の基準マーカーを取り込む。
一部の構成では、1又は2以上の基準マーカーの各々は、光を反射することができる再帰反射材料を有する。
一部の構成では、1又は2以上の基準マーカーの各々は、再帰反射材料と比較してより少ない光を反射する材料から作られた境界を有する。
一部の構成では、1又は2以上の基準マーカーの各々は、固定のサイズ、形状、及び設計を有する。
一部の構成では、コントローラは、画像データから1又は2以上のバイナリ画像を生成することにより、取り込まれた画像データを分析するように構成される。
一部の構成では、1又は2以上のバイナリ画像の少なくとも1つは、閾値ベースのバイナリ画像であり、コントローラは、画像データの各ピクセル値を所定の閾値を上回って第1の値に設定し、画像データの各ピクセル値を所定の閾値未満に第2の値に設定することにより閾値ベースのバイナリ画像を生成する。
一部の構成では、1又は2以上のバイナリ画像の少なくとも1つは、エッジ検出ベースのバイナリ画像である。
一部の構成では、コントローラは、1又は2以上のバイナリ画像内の輪郭を検出し、検出された輪郭から基準輪郭を選択し、基準輪郭が、画像データが取り込まれる間に被験者上に配置された基準マーカーの輪郭であるように構成される。
一部の構成では、真円の面積対周囲比とは異なる面積対周囲比を有する輪郭の各々が却下される。
一部の構成では、所定の範囲の値の外にある面積を有する輪郭の各々が却下される。
一部の構成では、1又は2以上のバイナリ画像は、閾値ベースのバイナリ画像及びエッジ検出ベースのバイナリ画像を含む。検出された輪郭の少なくとも1つは、閾値ベースのバイナリ画像とエッジ検出ベースのバイナリ画像との両方に存在する。検出された輪郭の少なくとも1つは、基準輪郭として選択される。
一部の構成では、コントローラは、カメラの光学パラメータ及び基準マーカーの各々の所定のサイズに基づいて、基準マーカーの各々の位置を決定するように構成される。
一部の構成では、コントローラは、基準マーカーの各々の位置が所定の範囲内に入ることを決定するように構成される。
一部の構成では、コントローラは、取り込まれた画像データに基づいて、被験者上に置かれた1又は2以上の基準マーカーのカメラ座標を決定し、カメラ座標をロボット座標に変換することにより取り込まれた画像データを分析するように構成される。コントローラは、ロボット座標に基づいてトランスデューサーを位置合わせするように構成される。
一部の構成では、コントローラは、検出された1又は2以上の基準マーカーに基づいて許容可能なロボットの作業空間を決定し、許容可能なロボットの作業空間に基づいてトランスデューサーの走査経路を決定するように構成される。
一部の構成では、1又は2以上の基準マーカーは、2つの基準マーカーを含み、コントローラは、画像データを使用して候補領域を特定し、候補領域を候補領域ペアに分類して、候補領域ペアの各々の特徴を決定することにより、1又は2以上の基準マーカーを検出するように構成される。
一部の構成では、コントローラは、候補領域ペアの各々が2つの基準に対応する確率を決定し、2つの基準が存在する最も高い確率を有する候補領域ペアの1つを選択することにより、1又は2以上の基準マーカーを検出するように構成される。
一部の構成では、候補領域は、最大安定極値領域(MSER)アルゴリズムによって特定され、画像データは、異なる視点からの被験者の側面の2つの画像を含む。
一部の構成では、特徴は、候補領域ペアの各々における各候補領域の位置、サイズ、偏心度、画像強度、及び局所テクスチャを含む。
一部の構成では、特徴は、候補領域ペアの各々における候補領域間の空間的関係を含む。
一部の構成では、ヘッドセットシステムは更にデバイスを含む。デバイスは、本体と、本体によって収容されたトランスデューサーと、本体によって収容されたカメラとを含む。カメラは、本体に対して移動して、被験者の画像データを取り込むように構成される。
一部の構成では、カメラは、本体から延びるように構成される。
一部の構成では、カメラは、本体に剛体的に装着される。
一部の構成では、カメラは、本体に対して枢動、回転、又はシフトするように構成される。
一部の構成では、カメラは、被験者上に光を放出してカメラが被験者の1又は2以上の画像を撮影することを可能にするように構成された照明光源を含む。
一部の構成では、カメラは、第1の位置から被験者の側面の第1の画像を撮影し、第1の位置とは異なる第2の位置から被験者の側面の第2の画像を撮影するように構成される。
一部の構成では、被験者に対してヘッドセットシステムのトランスデューサーを位置合わせする方法は、被験者の画像データを取り込むステップと、取り込まれた画像データを使用して被験者上に置かれた1又は2以上の基準マーカーを検出するステップと、検出された基準マーカーに基づく被験者に対するトランスデューサーを位置合わせするステップと、を含む。
一部の構成では、コンピューター可読命令を有する非一時的なコンピューター可読媒体であって、実行時に、被験者の画像データを取り込むように構成して、カメラを設定し、取り込んだ画像データを使用して被験者上に置かれた1又は2以上の基準マーカーを検出し、検出された基準マーカーに基づいて被験者に対してトランスデューサーを位置合わせするようにカメラを構成することによって、ヘッドセットシステムのプロセッサにヘッドセットシステムのトランスデューサーを位置合わせさせるようにする。
本開示の特徴、態様、及び利点は、以下の説明、及び以下に簡潔に記載される図面に示される添付の例示的な構成から明らかになるであろう。
添付の図面に関連して以下に述べる詳細な説明は、様々な構成の説明として意図されており、本明細書で説明される概念が実行することができる唯一の構成を表すことを意図していない。詳細な説明は、様々な概念の十分な理解を提供するための具体的な詳細を含んでいる。しかしながら、これらの概念は、これらの具体的な詳細がなく実行することができることは当業者には明らかであろう。場合によっては、このような概念の難解さを避けるために、よく知られている構造及び構成要素がブロック図形式で示されている。
様々な配置の以下の説明では、その一部を形成し、且つ配置を実施することができる例示的な特定の配置を例示的に示す添付図面を参照する。他の配置を利用することができ、且つ構造的変更を本発明の開示に開示する様々な配置の範囲から逸脱することなく行うことができることは理解されるものとする。
図1Aは、様々な構成による、デバイス130を含むヘッドセットシステム100の斜視図を示す。図1Bは、様々な構成によるデバイス130の無い、図1Aに示されるヘッドセットシステム100の斜視図を示す。図2A、図2B、及び図2Cは、様々な構成による患者の頭部を有する図1A及び図1Bに示されるヘッドセットシステム100の図を示す。
図1A〜図2Cを参照すると、一部の構成では、動的ヘッドセットシステム100は、ヘッドクレードル110、拘束システム120、デバイス130、デバイス取り付け機構140、及びマウント150を含む。一部の構成では、クレードル110は、患者の頭部を収容し支持するように構成される(例えば、デバイス130の動作中)。クレードル110は、デバイス130と併用して使用するため異なるヘッドサイズに対応し且つ支持することができる。一部の構成では、クレードル110は、フレームと、該フレームに取り付けられたパッドとを含む。フレームはパッドを支持し、パッドは、人間の頭部に接触するように構成される。一部の構成では、クレードル110のフレームは、様々な頭部サイズ及び形状を適切に輪郭付けて支持するような形状にされ、フレームはまた、デバイス130の作業空間においてユーザの頭部を適切に位置決めするような形状にされる。一部の構成では、クレードル110のフレームは、限定ではないが、柔軟なプラスチック、ポリエチレン、ウレタン、ポリプロピレン、ABS、ナイロン、繊維強化シリコーン、構造フォーム、又は同様なものなど、屈曲することができる任意の適切な可鍛性材料から作られる。
一部の構成では、クレードル110のパッドは、限定ではないが、クローズドセルフォーム、オープンセルフォーム、自己スキニングオープン又はクローズドセルフォーム、鋳造物、エアレーション、又は押出しシリコーン、又はウレタン、圧力を効率的に分散するように構成されたポリウレタンゲル剤、又は同様なものなど、任意の適切な軟質材料から作られる。幾つかの構成において、クレードル110のパッドは、限定ではないが、約0.1ポンド毎平方インチ(psi)〜約60psi(例えば、約0.1psi〜約10psiの範囲で)、又は他の適切な硬度の範囲内など、頭部を支持するための任意の適切な硬度を有する。一部の構成では、クレードル110のパッドは、頭部の輪郭に適合するように拡張するためのメモリを有する。一部の構成では、クレードル110のパッド(例えば、フォーム)は、パッドが膨張してヘッドセット装置100を固定するように、ユーザの頭部がヘッドセットシステム100に置かれた後に圧縮され膨張する。一部の構成では、パッドを含むクレードル110は、限定ではないが、射出成形、積層法、接着剤装着(例えば、接着、又は接合)、同時成形、同時鋳造、射出、スナップ、ベルクロ(登録商標)ファスナーで、面ファスナー、摩擦嵌合、バーブによる取り付け、ネジボスの使用、又は同様なものなど、ヘッドセット装置110内にパッドを固定するための任意の適切なプロセスによって製造される。
他の構成では、クレードル110のパッドは、膨張可能なブラダーを含む。一部の構成では、ブラダーは、手動又はポンプで充填された中空の空隙である。このような構成では、膨張ブラダーは、メモリを有し且つブラダー内で膨張して少なくとも90%の容量まで膨張する内部構造を有する自己膨張式である。他の構成では、限定ではないが、ブラダーは、少なくとも約95%の容量、少なくとも約80%の容量、少なくとも約70%の容量など、他の適切な容量まで膨張する。更なる構成では、膨張は、統合ポンプ、又は外部充填、又はポンプ源により支援される。一部の構成では、膨張ブラダーは、空気、気体、液体、又はヘッドセットシステム100の膨張パッドをユーザの頭部に取り付け又は固定するための任意の他の適切な要素で充填される。他の構成では、ブラダーは、プラスチックビーズ又はペレットで充填される。特定の構成では、プラスチック製のビーズ又はペレットで充填されたブラダーは、ブラダーに真空が適用されると、患者の頭部を捕らえるために硬化する。
一部の構成では、拘束システム120は、クレードル110内に置かれたとき、被験者の頭部を拘束するように構成される。一部の構成では、拘束システム120は、ベース121、本体122、及び接触部123を含む。一部の構成では、ベース121は、マウント150に取り付けられる。本体122は、ベース121内に滑動して、ベース121にいる間ロックして、被験者の異なる頭部(例えば、異なるサイズと形状)に適合させるため拘束システム120を調整可能にするように構成された細長いセクションを含む。一部の構成では、接触部123は、本体122に取り付けられ、接触部123は、ヘッドセットシステム100を被験者に固定するために被験者の頭部(例えば、前額部)に接触して、圧力を加えるように構成される。一部の構成では、接触部123は、接触部123が本体122に取り付けられた場所で枢動して、被験者の異なるサイズ及び形状の頭部に対する更なる調整を可能にするように構成される。接触部123は、被験者の頭部に接触するためのパッドを含み、パッドは、クローズドセルフォーム、オープンセルフォーム、自己スキニングオープン又はクローズドセルフォーム、鋳造物、エアレーション、又は押出しシリコーン、又はウレタン、圧力を効率的に分散するように構成されたポリウレタンゲル剤、又は同様なものなど、任意の適切な軟質材料から作られる。
一部の構成では、デバイス130は、モジュール式であり、取り付け機構140を介してヘッドセットシステム100に対して取り付け及び取り外しすることができる。一部の構成では、ヘッドセットシステム100は、ユーザの頭部に対して使用するための医療デバイス(例えば、眼球監視システム、呼吸デバイス、神経活動を監視するデバイス、外科デバイス、放射性トレースを監視するデバイス、又はその他の適切なデバイス)と併用して使用される。他の構成では、ヘッドセットシステム100は、ユーザの頭部に対して使用するための非医療デバイス(例えば、仮想現実の接眼レンズ)と併用して使用される。
一部の構成では、デバイス130は、トランスデューサー又はプローブ131と、プローブ131を制御するためのロボットとを含み、集合的に「機器」と呼ばれる。この点に関して、本明細書で使用される「機器」は、少なくとも1つのデータ収集デバイス(例えば、限定ではないがプローブ131などのプローブ)及びデータ収集デバイスの位置と動作(例えば、データ収集)を制御するように構成されたデバイス(例えば、限定ではないがロボット132などの位置決め構成要素)を指す。例えば、ロボットは、頭部の表面に沿ってプローブ131を平行移動させ、プローブ131を頭部に向かって及び頭部から離れて移動させるように構成される。一部の構成では、プローブ131の端部は、ロボットとインタフェース接続して、ロボットは、限定ではないが、プローブ131を制御する(例えば、プローブ131のz軸圧力、通常のアライメント、又はそのようなものを制御する)ためのモータアセンブリなどの構成要素を含む。一部の構成では、被験者の頭部に対するプローブ131の位置合わせは、プローブ131を被験者の頭部に適切に位置決めして整列させるためにロボットを使用することにより達成される。
一部の構成では、プローブ131は、第1の端部と、第1の端部の反対側にある第2の端部とを含む。一部の構成では、第1の端部は、走査面(例えば、被験者の頭部)に隣接するか又は接触するように構成される凹状面を含む。凹状面は、生成されたエネルギーを走査面に向けて集束させるために特定のピッチで構成される。一部の構成では、デバイス130は、プローブ131の第1の端部が人間の頭部(例えば、人間の頭部の側面)に沿って隣接するか又は接触して整列するように構成され、またプローブ131の第1の端部が、第1の端部から超音波放射を提供し、人間の頭部に向けるように構成される(例えば、脳に向かって)、経頭蓋ドップラー(TCD)装置である。この点で、プローブ131は、超音波検査用に構成された超音波プローブである。他の構成では、プローブ131は、限定ではないが、赤外線、X線、電磁、熱、近赤外線、光学、照明、音声、脳波計、又は同様なものなど、動作中に他のタイプの波を放出するように構成される。
一部の構成では、プローブ131の第2の端部は、ロボットに結合される。一部の構成では、プローブ131の第2の端部は、プローブ131の本体の一部に沿ってネジセクションを含み、第2の端部は、ネジを介して(例えば、ロボットにネジ止めされることによって)ロボットに固定されるように構成される。他の構成では、プローブ131は、限定ではないが、溶接、接着剤、1又は2以上のフック&ラッチ、1又は2以上の別個のネジ、圧入、又は同様なものなど、任意の他の適切な接続手段によりロボットに固定される。
本明細書に説明されるヘッドセットと併せて使用することができるプローブシステムに関する更なる開示は、2017年1月5日に出願された、「超音波プローブの制御用ロボットシステム」という名称の米国本出願第15/399,648号明細書に見出すことができ、全体として、引用により全体が本明細書に組み込まれる。
一部の構成では、ヘッドセットシステム100は、ユーザの頭部に対して使用及び位置合わせ(例えば、位置決め又は整列)される他の医療及び非医療デバイスを保持する。例えば、一部の構成では、眼球デバイスは、ユーザの目と適切に位置決及び整列されることによって最適化されたデバイスである(例えば、眼球デバイスがユーザの目に対してシフトした場合、眼球デバイスの性能が低下する可能性がある)。一部の構成では、眼球デバイスは、患者の目を覆うようにヘッドセットシステム100に取り付けられる。ヘッドセットシステム100に対する非医療デバイスの使用例として、一部の構成では、ヘッドセットシステム100は、ユーザに対して仮想体験を提供するように構成された仮想現実デバイスである眼球デバイスと関連して使用することができ、ユーザの目の前方の眼球デバイスの位置決めの何れかの外乱により、ユーザの仮想体験の低下を引き起こす可能性があるようになる。
一部の構成では、眼球デバイスは、被験者の眼球挙動を追跡する(例えば、ユーザが脳震盪を経験したかどうかを診断する)ように設計された医療デバイスである。他の構成では、眼球デバイスは、ユーザの視力を判定又は調整するための眼球診断又は治療ツールである。一例として、眼球デバイスは、ユーザの不完全な視力を矯正するためのデバイスである(例えば、レーザー眼科手術)。別の例として、一部の構成では、眼球デバイスは、ユーザの視力処方、1又は2以上の眼の疾患(例えば、緑内障、白内障、高眼圧症、ブドウ膜炎、又は同様なもの)の存在などを決定するための眼球診断ツールである。一部の構成では、眼球デバイスは、両方の目を同時又は順次的に覆って相互作用するように設計される。他の構成では、眼球デバイスは、単一の目を覆って相互作用するように設計される(例えば、その間、他の目は依然として覆われていない)。
一部の構成では、取り付け機構140は、デバイス130を収容して固定するように構成される。他の構成では、取り付け機構140は、他の医療及び非医療デバイス(例えば、上述されたもの)を収容して固定するように構成される。一部の構成では、取り付け機構140は、トラック141及びスライダー142を含む。トラック141は、スライダー142を収容し、スライダー142は、トラック141に沿って調整可能である。例えば、スライダー142は、トラック141内を滑動することができ、所望の位置で所定位置にロックすることができる。一部の構成では、取り付け機構140は、それぞれのセットがヘッドセットシステム100の反対側に位置付けられた、トラック141及びスライダー142の2つのセットを含む。従って、一部の構成では、複数のデバイス130は、被験者の頭部の両側に対する動作のためヘッドセットシステム100にて取り付けることができる。
一部の構成では、デバイス130はスライダー142に固定され、スライダー142の調整が被験者の頭部に対するデバイス130の調整をもたらすようになる(例えば、被験者の頭部に向かって及び被験者の頭部から離れる伸縮調整)。一部の構成では、デバイス130の底部は、スライダー142に接続される。特定の構成では、デバイス130は、限定ではないが、溶接、接着剤、1又は2以上の別個のボルト、1又は2以上のフック&ラッチ、1又は2以上の別個のネジ、圧入フィッティング、又は同様なものなど任意の適切な接続機構によって取り付け機構140に固定される。一部の構成では、取り付け機構140(例えば、トラック141及び/又はスライダー142)は、限定ではないが、硬質プラスチック、金属、アルミニウム、鋼、チタン、マグネシウム、各種合金、硬質プラスチック、複合材料、炭素繊維、ファイバーグラス、発泡フォーム、圧縮成形フォーム、ステレオリソグラフィー(SLA)、又は熱溶解積層法(FDM)製材料、反応射出成形(RIM)による成形品、アクリロニトリルブタジエンスチレン(ABS)、熱可塑性オレフィン(TPO)、ナイロン、ポリ塩化ビニル(PVC)、繊維強化樹脂、又は同様なものなど、任意の適切な剛体材料から作られる。
一部の構成では、マウント150は、拘束システム120(例えば、ベース121)、取り付け機構140、及びクレードル110に固定される。一部の構成では、拘束システム120、取り付け機構140、及びクレードル110のうちの1又は2以上は、複数のネジ及び/又はボルトを介してマウント150に取り付けられる。他の構成では、拘束システム120、取り付け機構140、及びクレードル110のうちの1又は2以上が、限定ではないが、溶接、接着剤、1又は2以上のフック&ラッチ、圧入フィッティング、又は同様なものなど、任意の他の適切な接続手段によってマウント150に取り付けられる。一部の構成では、拘束システム120、取り付け機構140、及びクレードル110のうちの1又は2以上は、マウント150に恒久的に固定される。他の構成では、拘束システム120、取り付け機構140、及びクレードル110のうちの1又は2以上は、マウント150に取り外し可能に取り付けられる。
一部の構成では、マウント150は、限定ではないが、硬質プラスチック、金属、アルミニウム、鋼、チタン、マグネシウム、様々な合金、硬体プラスチック、複合材料、炭素繊維、グラスファイバー、発泡フォーム、圧縮成形フォーム、SLA、又はFDM製材料、RIM成形、ABS、TPO、ナイロン、PVC、繊維強化樹脂、又は同様なものなど、任意の適切な硬体材料で作られる。システム100のクレードル、マウント、及び他の構造的構成要素に関する更なる開示は、2017年12月22日に出願された「ヘッドセットシステム」という名称の非仮特許出願シリアル番号15/853,433号、及び2018年8月10日に出願された「ダイナミックヘッドセット装置」という名称の非仮特許出願シリアル番号16/101,352号に見出すことができ、これらの各々は、その全体が引用により本明細書に組み込まれる。
図3Aは、様々な構成による、ヘッドセットシステムに含まれるデバイス330の斜視図を示す。図3Bは、様々な構成による、図3Aに示されるデバイス330の正面図を示す。図3Cは、様々な構成による、図3Aに示されたデバイス330の透視斜視図を示す。図3Dは、様々な構成による、図3Aに示されたデバイス330の透視正面図を示す。図1〜図3Dを参照すると、デバイス330は、デバイス130の例示的な実施例である。
一部の構成では、デバイス330は、ヘッドセットシステム100内で使用するために、(例えば、デバイス130と類似)上記のように取り付け機構140に結合されるように構成される。一部の構成では、デバイス330は、トランスデューサー、又はプローブ331、カメラ332、及びロボット333を含む。一部の構成では、プローブ331は、プローブ131と類似しており、そういうわけでプローブ131に関する上記の説明は、プローブ331に適用される。図のように、一部の構成では、プローブ331は、プローブ331が複数の軸(例えば、x軸、y軸、及びz軸)に沿って、上記のように移動するように、デバイス330のロボット333に結合される。
一部の構成では、カメラ332は、被験者の頭部がヘッドセットシステム100内(例えば、クレードル110内)に置かれたとき、被験者の頭部の1又は2以上の画像を取り込むように構成される。捕らえられた1又は2以上の画像から、被験者の頭部は、デバイス330に対して位置合わせすることができる(例えば、デバイス330は、被験者の頭部でのプローブ331、及びデバイス330のその後の動作のためにプローブ331を最初に位置決め、又は整列させることができ、プローブ331及びデバイス330の動作中にプローブ331の作業空間を特定の境界に制限、又は定めること、など)。デバイス330の位置合わせに関する更なる詳細は、以下に開示される。
一部の構成では、カメラ332は、被験者のうちの1又は2以上の身体の部分(例えば、被験者の頭部)の画像を撮影するための任意の適切な画像取り込み機構、又はデバイスである。カメラ332の例としては、デジタルカメラ、サーマルカメラ、赤外線カメラ、暗視カメラなどが含まれるが、これらに限定されない。幾つかの例では、カメラ332は、被験者の頭部を位置合わせするのに適することができるように構成された所望の画像を取り込むための任意の適切な解像度、及び焦点距離を有することができる(例えば、約5メガピクセル及び約4ミリメートル(mm)焦点距離)。特定の構成では、カメラ332の解像度、及び/又は焦点距離は、固定、又は事前に決定される。他の構成では、解像度、及び/又は焦点距離は、可変である。一部の構成では、カメラ332は、デバイス330の本体(例えば、ロボット333及びプローブ331を収容するデバイス330の一部)から移動して(例えば、伸び)、デバイス330に剛体的に装着させられる(例えば、本体から延びるように構成されたデバイス330の本体の一部まで)。他の構成では、カメラ332は、デバイス330の本体に対して調整可能である(例えば、カメラ332は、本体に対して枢動、回転、移動などをすることができる)。
一部の構成では、カメラ332は、コントローラ(図4のコントローラ408)により自動的に、又はオペレーターにより、手動式に、被験者の頭部がヘッドセットシステム100内に保持されている時、被験者の頭部の特定の解剖学的位置がカメラ332の視野内にあるように、且つデバイス330、又はヘッドセットシステム100の任意の他の部分がカメラの視野を妨げないように位置決めされ、又は移動(例えば、延長、枢動、回転、又は移動)される。例えば、一部の構成では、被験者の頭部がヘッドセットシステム100内に保持されている時、被験者の耳珠と目は、カメラ332に見えるように構成されている。一部の構成では、プローブ331及びロボット333の作業空間に対するカメラ332の相対的位置及び回転は、以下で更に述べるように、被験者の頭部に対してデバイス330を位置合わせするために利用できる既知の固定パラメータである。更なる構成では、カメラ332の露出時間は、調整可能である(例えば、オペレーターにより手動で調整可能)。
一部の構成では、カメラ332は、被験者の頭部に照射を受ける光を放出して、カメラ332が被験者の頭部の1又は2以上の画像を撮影することを可能にするように構成された照明光源334を含む。一部の構成では、照明光源334は、1又は2以上の照明器(例えば、1又は2以上の発光ダイオード(LED)、1又は2以上の蛍光ライト、1又は2以上のバラストライト、1又は2以上のハロゲンライト、1又は2以上のネオンライト)、など)を含む。照明光源334は、本明細書で説明されるように、カメラ332が被験者の頭部の画像を取得できるように被験者の頭部を適切に照明するための任意の所望の数の照明器を含む。例えば、照明光源334は、複数の照明器(例えば、2個、4個、8個、12個、又はそれ以上の照明器)を含むことができる。一部の構成では、照明光源334から発せられる光は、限定ではないが、赤外光(例えば、850ナノメートル(nm)の波長を有する光)など、カメラ332によって取り込まれるのに適した波長を有する。従って、一部の構成では、カメラ332は、照明光源334によって発せられる光の波長を有する光に敏感である(例えば、カメラ333は赤外光に敏感である)。一部の構成では、照明光源334の照明器は、適切な距離で適切な時間の量(例えば、50mm以上の距離で1000秒間)が使用され、被験者及び動作者の目に光の照射を受けるのには、十分安全なものとなる。他の構成では、照明光源は、必要とはされなく、カメラ332(例えば、暗視カメラ、赤外線カメラ、熱カメラなど)は、照明がなく被験者の頭部の画像を取り込むように構成される。
一部の構成では、照明光源334は、照明器が位置付けされるプリント基板(PCB)を含む。特定の構成では、PCBは、カメラ334のレンズが通過するのを可能にする開口部を含む。一部の構成では、照明器は、カメラ334のレンズの周りに等間隔で(例えば、円形に)配置され、照明器は、カメラ334のレンズの外径にできるだけ近くなるように更に位置決めされる。一部の構成では、照明光源334の輝度は、パルス幅変調(PWM)を使用して調整され、オペレーターによって調整され得るか、又は自動的に調整され得る(例えば、周囲光の輝度に基づいて)。一部の構成では、カメラ334のフレーム露出が機能しているとき、照明器はオン状態で電力供給される。
図4は、様々な構成によるヘッドセット位置合わせシステム400のブロック図を示す。 図1A〜図4を参照すると、一部の構成では、ヘッドセット位置合わせシステム400は、ヘッドセットシステム100の例示的な実施例であり、本明細書で説明されるプローブ331、カメラ332、及びロボット333を含むデバイス330を含む。ヘッドセット位置合わせシステム400は、入力デバイス402、出力デバイス404、及びネットワークインタフェース406を更に含む。
一部の構成では、入力デバイス402は、オペレーターがヘッドセット位置合わせシステム400に情報、又はコマンドを入力するのを可能にするように構成された任意の適切なデバイスを含む。一部の構成では、入力デバイス402は、キーボード、キーパッド、マウス、ジョイスティック、タッチスクリーンディスプレイ、又は同様の機能を実行する任意のその他の入力デバイスを含むが、これに限定されない。一部の構成では、出力デバイス404は、ヘッドセット位置合わせシステム400に関する情報、結果、メッセージなどをオペレーターに表示するように構成された任意の適切なデバイスを含む。一部の構成では、出力デバイス404は、コンピューターモニター、プリンター、ファクシミリ、又は同様の機能を実行する任意のその他の出力デバイスを含むが、これに限定されない。一部の構成では、入力デバイス402、及び出力デバイス404は、同じデバイス(例えば、タッチスクリーンディスプレイデバイス)である。一部の構成では、ネットワークインタフェース406は、通信ネットワークを通じてデータ(例えば、結果、命令、要求、ソフトウェア、又はファームウェアの更新、など)を送信、且つ受信するために構築される。従って、ネットワークインタフェース406は、任意のセルラートランシーバー(セルラー規格用)、ローカルワイヤレスネットワークトランシーバー(802.11X、ZigBee、ブルートゥース(登録商標)、Wi-Fiなど)、有線ネットワークインタフェース、それらの組み合わせ(例えば、セルラートランシーバーとBluetooth(登録商標)トランシーバーの両方)、及び/又は同様のものを含む。
一部の構成では、ヘッドセット位置合わせシステム400は、ヘッドセット位置合わせシステム400に対する、動作を制御するためのコントローラ408、データの処理、入力コマンドの実行、結果の提供などを含む。例えば、コントローラ408は、入力デバイス402、又はネットワークインタフェース406からの入力データ、又は命令を受信し、デバイス330を制御してコマンドを実行し、デバイス330からデータを受信し、情報を出力デバイス404、又はネットワークインタフェース406、などに提供するように構成される。一部の構成では、コントローラ408は、プロセッサ408a、メモリ408b、画像処理回路408c、位置合わせ回路408d、検索パラメータ回路408e、及びロボット制御回路408fを含む。特定の構成では、ヘッドセットシステム100は、ヘッドセットシステム100が両側性であるように、且つ被験者の頭部の両側の画像が取り込まれるように、複数のカメラ332を含む(例えば、ヘッドセットシステム100の各々の側に)。このような構成では、取り込まれた画像は、単一のコントローラ408で処理される(例えば、被験者の頭部のうちの左右の画像の各々がコントローラ408で独立して処理される)。
一部の構成では、プロセッサ408aは、汎用プロセッサとして実装され、少なくとも1つのメモリ408bに結合される。プロセッサ408aは、マイクロプロセッサなどの任意の適切なデータ処理デバイスを含む。これとは別に、プロセッサ408aは、任意の適切な電子プロセッサ、コントローラ、マイクロコントローラ、又は状態機械を含む。一部の構成では、プロセッサ408aは、計算デバイス(例えば、デジタル信号プロセッサ(DSP)とマイクロプロセッサ、複数のマイクロプロセッサ、DSPコアと併用する少なくとも1つのマイクロプロセッサ、又は任意のその他のこのような構成との組み合わせ)組み合わせとして実装される。一部の構成では、プロセッサ408aは、特定用途向け集積回路(ASIC)、1又は2以上のフィールドプログラマブルゲートアレイ(FPGA)、デジタルシグナルプロセッサ(DSP)、処理構成要素のグループ、又は他の適切な電子処理構成要素として実装される。
一部の構成では、メモリ408bは、プロセッサ実行可能命令を格納する非一時的なプロセッサ可読記憶媒体を含む。一部の構成では、メモリ408bは、ソフトウェア及びデータを格納するための任意の適切な内部、又は外部デバイスを含む。メモリ408bの例には、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、不揮発性RAM(NVRAM)、フラッシュメモリ、フロッピーディスク、ハードディスク、ドングル、又は他のリコンプセンサーボード(RSB)接続のメモリデバイスなど、これらに限定されずに含むことができる。メモリ408bは、オペレーティングシステム(OS)、ユーザアプリケーションソフトウェア、及び/又は実行可能な命令を格納することができる。メモリ408bは、アレイデータ構造などのアプリケーションデータを格納することもできる。一部の構成では、メモリ408bは、本明細書で説明される様々なプロセスを容易にするためのデータ、及び/又は計算コードを格納する。
本明細書で使用される「回路」という用語は、本明細書で説明される機能を実行するように構造化されたハードウェアを含むことができる。一部の構成では、各それぞれの回路は、本明細書で説明される機能を実行するためにハードウェアを構成するための機械可読媒体を含むことができる。回路は、限定ではないが、処理回路、ネットワークインタフェース、周辺デバイス、入力デバイス、出力デバイス、センサーなどを含むが、1又は2以上の回路構成要素として具現化することができる。一部の構成では、回路は、1又は2以上のアナログ回路、電子回路(例えば、集積回路(IC)、ディスクリート回路、システムオンチップ(SOCs)回路など)、電気通信回路、ハイブリッド回路、及び任意のその他の適切なタイプの回路の形をとることができる。これに関して、回路は、本明細書で説明される動作の達成を成し遂げ、又は促進するための任意のタイプの構成要素を含むことができる。例えば、本明細書で説明される回路は、1又は2以上のトランジスタ、論理ゲート(例えば、NAND、AND、NOR、OR、XOR、NOT、XNORなど)、抵抗、マルチプレクサー、レジスタ、コンデンサ、インダクタ、ダイオード、配線、などを含むことができる。
回路はまた、1又は2以上のメモリ、又はメモリデバイスに通信可能に結合された1又は2以上のプロセッサを含むことができる。これに関して、1又は2以上のプロセッサは、メモリに格納された命令を実行できるか、又は別の方法で1又は2以上のプロセッサにアクセス可能な命令を実行することができる。一部の構成では、1又は2以上のプロセッサは、様々な方法で具現化することができる。1又は2以上のプロセッサは、少なくとも本明細書で説明される動作を実行するのに十分な方法で構築することができる。一部の構成では、1又は2以上のプロセッサは、複数の回路で共有することができる(例えば、第1の回路と第2の回路は、幾つかの構成例では、異なるメモリ領域を介して、格納され、又は別の方法でアクセスした命令を実行できる、同じプロセッサを備え、又は別の方法で共有することができる)。これとは別に、又はこれに加えて、1又は2以上のプロセッサは、1又は2以上のコプロセッサから独立して特定の動作を実行、又は別の方法で実行するように構築することができる。他の構成例では、バスを介して2又は3以上のプロセッサは、独立した、並列の、パイプライン化された、又はマルチスレッドの命令の実行を可能にするために結合することができる。各プロセッサは、1又は2以上の汎用プロセッサ、ASIC、FPGA、DSP、又はメモリによって提供された命令を実行するように構築されたその他の適切な電子データ処理構成要素として実装することができる。1又は2以上のプロセッサは、シングルコアプロセッサ、マルチコアプロセッサ(例えば、デュアルコアプロセッサ、トリプルコアプロセッサ、クアッドコアプロセッサなど)、マイクロプロセッサなどの形をとることができる。一部の構成では、1又は2以上のプロセッサは、デバイスに対して外部にすることができ、例えば、1又は2以上のプロセッサがリモートプロセッサ(例えば、クラウドベースのプロセッサ)にすることができる。これとは別に、又はこれに加えて、1又は2以上のプロセッサは、デバイスの内部、及び/又はローカルにすることができる。これに関して、所定の回路、又はその構成要素は、ローカルに(例えば、ローカルサーバー、ローカル計算システムなどの一部として)又はネット経由で(例えば、クラウドベースのサーバーなどのリモートサーバーの一部として)配置することができる。それを達成するために、本明細書で説明する回路は、1又は2以上の場所の至る所に分散する構成要素を含むことができる。
システム全体、又は構成の一部を実装するための例示的なシステムは、処理ユニット、システムメモリ、及びシステムメモリを含む様々なシステム構成要素を処理ユニットに結合するシステムバスを含む汎用コンピューターを含むことができる。各メモリデバイスは、非一時的揮発性記憶媒体、非揮発性記憶媒体、非一時的記憶媒体(例えば、1又は2以上の揮発性、及び/又は非揮発性メモリ)などを含むことができる。一部の構成では、非揮発性媒体は、ROM、フラッシュメモリ(例えば、NAND、3D、NAND、NOR、3DNORなどのフラッシュメモリなど)、電気的消去可能プログラマブルROM(EEPROM)、磁気抵抗ランダムアクセスメモリ(MRAM)、磁気記憶、ハードディスク、光ディスクなどの形をとることができる。他の構成では、揮発性ストレージ媒体は、RAM、サイリスタランダムアクセスメモリ(TRAM)、Zコンデンサランダムアクセスメモリ(ZRAM)などの形をとることができる。上記の組み合わせは、機械可読媒体の範囲内にも含まれる。これに関連して、機械実行可能命令は、例えば、汎用コンピューター、専用コンピューター、又は専用処理機械に特定の機能、又は機能グループを実行させる命令及びデータを含む。各それぞれのメモリデバイスは、1又は2以上の関連回路によって実行される動作に対して、本明細書に説明された例示的な構成によるプロセッサ命令、及び関連データ(例えば、データベース構成要素、オブジェクトコード構成要素、スクリプト構成要素など)を含む、情報を維持、又は別の方法で格納するように動作することができる。
図5Aは、様々な構成によるデバイス330のカメラ332によって撮影することができる画像の例である、画像500aを示す。
図1A〜5Aを参照すると、一部の構成では、画像処理回路408cは、カメラ332によって取り込まれた画像データ(例えば、被験者の頭部の側面を描写する画像)を受信するように構成される。例えば、カメラ332によって取り込まれた画像は、ピクセル輝度値の二次元配列を含む。一部の構成では、被験者の頭部は、画像が被験者の頭部が基準を有する被験者の頭部を含むように、解剖学的に重要な位置にオペレーターによって配置された基準マーカー(又は基準)を有する。幾つかの構成において、基準は、動作中にデバイス330の作業空間の境界を示すように解剖学的に重要な位置に配置され、基準は、画像処理回路408cによって検出されるように構成される。特定の構成では、基準は、被験者の目の角と被験者の耳珠に配置される。このため、基準の検出により、プローブ331に対して解剖学的マーカー(耳及び目)の画像位置を推定するために、被験者の頭部の側面ごとに、少なくとも1つの画像が被験者の頭部のどちらか一方の側面上の少なくとも1つの基準を構成した後に取得することができる。他の構成では、基準マーカーは、限定ではないが、目、鼻、耳、額、眉毛、口、唇、生え際、鎖骨、へそ、乳首、関節、指の爪など、任意の自然解剖学的印になることができる。
画像500は、第1の基準502a及び第2の基準502bを示す。一部の構成では、任意の適切な数の基準が、限定ではないが、1つの基準、又は3又は4以上の基準など、被験者に配置され得る。一部の構成では、基準502a、502bは、コントローラ408が基準502a及び502bを特定することを可能にする固定した、既知の物質の、又は所定のサイズ、形状、色、及び設計を有する接着ステッカーである。一部の構成では、被験者の身体に配置される全ての基準は、同じサイズ、形状、色、及び設計を有する。コントローラ408は、サイズ、形状、色、及び取り込まれた画像から基準を特定するために、設計などの基準特性で前もってプログラムされる。一部の構成では、基準502a、502bは、円形の再帰反射材料と周囲のブラックリングを含む。円形再帰反射材料及び基準502a、502bの各々の周囲のブラックリングは、基準502a、502bが被験者の頭部に置かれるとき、円形再帰反射材料及び周囲のブラックリングがカメラ332に対して構成されるように、接着剤が供給される表面の反対側の表面上にある。例えば、再帰反射基準502a、502bは、最小限の散乱で光源(例えば照明光源334)に反射して光を戻すことができる。特定の例として、基準502a、502bに入射する電磁波面は、波の源に平行であるが、方向が反対のベクトルに沿って反射される。一部の構成では、基準502a、502bは、消耗品、又は使い捨て品である。
基準502a、502bは、円形形状を有するように説明されているが、限定ではないが、正方形、長方形、三角形、十字形、星、又はコントローラ408によって、被験者の身体上に存在する他の形状と容易に区別することができる別の複雑な設計など、他の形状を有する。複雑な設計の例は、三角形内にある円内の正方形である。
一部の構成では、基準502a、502bのサイズは、画像処理、及び位置合わせ中にコントローラ408によって利用される既知の制御されたパラメータである。一部の構成では、基準502a、502bの各々は、被験者の頭部に照明中(例えば、照明光源334による)、再帰反射材料とその最小限の反射境界との間に高いコントラストがあり得るように、強く反射しない、又は最小限に反射する材料から作られる、特有の境界(例えば、ブラック境界)を有する。境界は、基準502a及び502bの各々の外周の周りにある。一部の構成では、基準502a、502bの各々は、デバイス502の動作中に基準502a、502bが十分に依然として有効であるように、被験者の皮膚に適用するための粘着剤裏あてを含む。同様に、基準502a、502bの色、形状及び設計は、画像処理及び位置合わせ中にコントローラ408によって利用される既知の制御されたパラメータである。
一部の構成では、画像処理回路408cは、カメラ332によって取り込まれた画像を処理するように構成される(例えば、画像500aに取り込まれた基準502a、502bを検出することにより)。一部の構成では、画像500aは、画像500aを滑らかにするために前処理される。例えば、ブルーフィルタは、デジタル画像に通常存在するノイズの影響を滑らかにするために、画像500aに適用することができる。
一部の構成では、画像処理回路408cは、前処理された画像(例えば、デジタル画像)から1又は2以上のバイナリ画像を形成するように構成される。特定の構成では、例えば、画像500aのうちの各ピクセル値の輝度は、閾値が255に設定された所定の輝度以上であって、各ピクセル値の輝度は、閾値が0に設定された、所定の輝度以下である閾値ベースのバイナリ画像が形成される。更なる構成では、例えば、前処理された画像のエッジとして認識された画像500aの一部の上に存在する場合、画像500aのピクセルが1に設定され、ピクセルがエッジの上に存在しないものとして検出された場合、0に設定される、キャニーエッジ検出プロセスを使用することにより、エッジ検出ベースのバイナリ画像が形成される。他の構成では、任意の適切なエッジ検出プロセスは、エッジ検出ベースのバイナリ画像を形成するのに使用することができる。一部の構成では、閾値ベースのバイナリ画像が形成されるが、エッジ検出ベースのバイナリ画像は、形成されない。他の構成では、エッジ検出ベースのバイナリ画像が形成されるが、閾値ベースのバイナリ画像は形成されない。他の構成では、閾値ベースのバイナリ画像とエッジ検出ベースのバイナリ画像の両方が形成される。
一部の構成では、1又は2以上の生成されたバイナリ画像が後処理される。例えば、特定の構成では、拡張フィルタ、及び/又は侵食フィルタは、白色領域が要望通り、それぞれ、成長、及び/又は縮小するようにバイナリ画像に適用される。
一部の構成では、1又は2以上の生成されたバイナリ画像内の輪郭が検出され、検出された輪郭のうち、適切な基準である輪郭(基準輪郭)が選択される。選択されていない輪郭は、画像の背景、又は被験者の顔の光の反射によって形成されたアーティファクトに属する可能性がある。例えば、特定の構成では、輪郭が特定な領域を有する閉じた形状になるように、各輪郭が凸包に置き換えられ、各輪郭に対して最適な楕円が計算される。一部の構成では、同じサイズ、及び同じ中心点を有する(例えば、特定の公差内)最適の楕円を有する異なる検出された輪郭が統合され、同じ輪郭として扱われる。
一部の構成では、輪郭は、それぞれが輪郭の面積対周囲比(例えば、面積対周囲比)を有し、輪郭は、特定の量だけ、真円が却下されるための面積対周囲比(例えば、面積対周囲比)と異なる(例えば、輪郭の面積対周囲比が、真円の面積対周囲比から所定の閾値を超えて異なる場合、輪郭は却下される)。例えば、これにより、基準502a、502bの各々が幾つかの構成で真円として実装されることが知られているためである。同様に、限定ではないが、正方形、長方形、三角形、十字形、星形、又は別の複雑な設計など、他の形状の基準は、真円に関して本明細書で説明したものと同様の各々の形状に関する許容偏差閾値に基づいて特定することができる。一部の構成では、値の所定の範囲外の領域を有する楕円は、却下される(例えば、基準502a、502bの既知の領域に対応する値の範囲)。一部の構成では、最適な楕円の領域と閾値比率を超えて異なる領域を有する輪郭は、却下される。一部の構成では、上記の輪郭及び楕円除去プロセスの任意の1又は2以上(又は全て)が利用される。
一部の構成では、輪郭は、それぞれが輪郭の面積対周囲比(例えば、面積対周囲比)を有し、輪郭は、特定の量だけ、真円が却下されるための面積対周囲比(例えば、面積対周囲比)と異なる(例えば、輪郭の面積対周囲比が、真円の面積対周囲比から所定の閾値を超えて異なる場合、輪郭は却下される)。例えば、これにより、基準502a、502bの各々が幾つかの構成で真円として実装されることが知られているためである。同様に、限定ではないが、正方形、長方形、三角形、十字形、星形、又は別の複雑な設計など、他の形状の基準は、真円に関して本明細書で説明したものと同様の各々の形状に関する許容偏差閾値に基づいて特定することができる。一部の構成では、値の所定の範囲外の領域を有する楕円は、却下される(例えば、基準502a、502bの既知の領域に対応する値の範囲)。一部の構成では、最適な楕円の領域と閾値比率を超えて異なる領域を有する輪郭は、却下される。一部の構成では、上記の輪郭及び楕円除去プロセスの任意の1又は2以上(又は全て)が利用される。
一部の構成では、閾値ベースのバイナリ画像とエッジ検出ベースのバイナリ画像の両方に存在するものとして検出される楕円(例えば基準)などの輪郭が受け入れられる。例えば、特定の構成では、各バイナリ画像で検出された楕円中心点が互いに所定の範囲内にあると決定された場合、楕円は、両方の画像に存在するものとして特定される。従って、一部の構成では、画像処理動作の結果は、画像内の各基準の位置とピクセルのサイズを取り込む特徴タプルの収集を含む。
一部の構成では、例えば、閾値ベースのバイナリ画像とエッジ検出ベースのバイナリ画像が基準サイズに関して対立する場合、各バイナリ画像で検出されたサイズに基づいて、進めるための基準サイズが選択される。特定の構成では、閾値ベースのバイナリ画像の基準(例えば、基準のサイズ)が常に選択される。他の構成では、エッジ検出ベースのバイナリ画像の基準が常に選択される。まだ他の構成では、小さいサイズの基準が常に選択され、大きいサイズの基準が常に選択され、異なるサイズの基準の平均、などが選択される。
図5Bは、様々な構成による画像処理を受ける図5Aに示される画像500aの後のバイナリ画像500bを示す。図1A〜図5Bを参照すると、一部の構成では、上述の画像処理技術を利用することにより、画像処理回路408cは、基準502a、502bを明確に特定、且つ位置決めするバイナリ画像500bを生成するように構成される。
図6は、カメラ332(図3)、カメラ332の仮想画像、と様々な構成による基準との間の空間的関係の三次元図を示す。
図1A〜図6を参照すると、一部の構成では、画像処理回路408cは、画像内の位置(例えば、バイナリ画像500b)を画像内のピクセル座標値(u、v)として表すように構成される。特定の構成では、画像の左側上部の位置は、座標(0、0)として指定されるが、u座標値は、画像の右側側面に向かう移動と共に増加し、v座標値は、画像の下部に向かう移動と共に増加する。他の構成では、任意の他の適切な座標系が画像内の位置を特定するのに使用される(例えば、(0、0)は、画像の右側下部に位置付けすることができるが、左側側面に向かう移動がu座標値を増加させ、画像の上部に向かう移動は、v座標値を増加させる、など)。一部の構成では、画像処理回路408cは、カメラ332のカメラ固有行列及びカメラ332のカメラ歪み係数を使用して、これらの画像座標を同次カメラ座標に変換し、これらは、カメラ332のカメラ較正手順に基づいて計算することができる既知のパラメータである。
一部の構成では、同次カメラ座標をフィジカルユニットカメラ座標に変換するために、画像処理回路408cは、同次カメラ座標ベクトルに関連付けられたフィジカルユニット距離を決定するように構成される。同次座標の場合、位置付け点は、次の方程式で表されるように、非ゼロスカラーによる乗算と同等と見なされ、ここで、
は、カメラ332の原点から仮想カメラ画像の基準の位置までのベクトルであり、xは、仮想カメラ画像のx軸に沿った座標値であり、yは、仮想カメラ画像のy軸に沿った座標値であり、更にaは、非ゼロスカラーである。
は、カメラ332の原点から仮想カメラ画像の基準の位置までのベクトルであり、xは、仮想カメラ画像のx軸に沿った座標値であり、yは、仮想カメラ画像のy軸に沿った座標値であり、更にaは、非ゼロスカラーである。
図6は、実環境の基準602、仮想カメラ画像606での仮想画像基準604、及びカメラ原点608を示す。一部の構成では、
は、カメラ原点608から仮想画像基準604の位置までのベクトルを表し、
は、カメラ原点608から実環境の基準602の位置までのベクトルを表す。一部の構成では、fpxは、カメラ332の焦点距離を表す(例えば、カメラ332のセンサーのピクセルサイズの単位で測定される))、これは既知のパラメータである。更なる構成では、φDpxは、仮想画像基準604の直径(例えば、ピクセル単位)を表し、φDactualは、実環境の基準602の直径を表し、これらは両方とも既知のパラメータである。一部の構成では、zactualは、カメラの原点608から実環境の基準602までの距離を表す。
は、カメラ原点608から仮想画像基準604の位置までのベクトルを表し、
は、カメラ原点608から実環境の基準602の位置までのベクトルを表す。一部の構成では、fpxは、カメラ332の焦点距離を表す(例えば、カメラ332のセンサーのピクセルサイズの単位で測定される))、これは既知のパラメータである。更なる構成では、φDpxは、仮想画像基準604の直径(例えば、ピクセル単位)を表し、φDactualは、実環境の基準602の直径を表し、これらは両方とも既知のパラメータである。一部の構成では、zactualは、カメラの原点608から実環境の基準602までの距離を表す。
一部の構成では、画像処理回路408cは、上記の方程式及び既知のパラメータに基づいて
を決定するように構成される。例えば、特定の構成では、仮想カメラ画像606は、カメラ原点608から距離fpxに位置付けられる。従って、一部の構成では、同様の三角形を使用して、fpx、φDpx、及びφDactualが既知となると、画像処理回路408cがzactualを決定するように構成される。更なる構成では、画像処理回路408cは、
のz座標成分がzactualに等しくなるように
にスカラー定数を乗算し、
という結果になるように構成される。言い換えれば、例えば、
にスカラー定数を乗算することで、
のz座標成分がzactualに等しくなるという結果になり、
のx座標及びy座標成分も決定される(例えば、上記方程式で示されるように)。
を決定するように構成される。例えば、特定の構成では、仮想カメラ画像606は、カメラ原点608から距離fpxに位置付けられる。従って、一部の構成では、同様の三角形を使用して、fpx、φDpx、及びφDactualが既知となると、画像処理回路408cがzactualを決定するように構成される。更なる構成では、画像処理回路408cは、
のz座標成分がzactualに等しくなるように
にスカラー定数を乗算し、
という結果になるように構成される。言い換えれば、例えば、
にスカラー定数を乗算することで、
のz座標成分がzactualに等しくなるという結果になり、
のx座標及びy座標成分も決定される(例えば、上記方程式で示されるように)。
このようにして、一部の構成では、画像処理回路408cは、カメラ332の光学パラメータ及び基準602の既知のサイズを利用して、カメラ332に対する基準602の位置を決定するように構成される。更なる構成では、画像処理回路408cは、境界限界を適用して、基準602の検出位置が実際の使用のためにカメラ332に対する位置の合理的な所定の範囲内に入ることを保証するように構成される。
一部の構成では、位置合わせ回路408dは、画像処理回路408cによって取得されたカメラ座標(例えば、
)を、デバイス330の動作中にプローブ331を位置決めするためロボット333を制御する際にロボット制御回路408fによって使用されるロボット座標に変換するように構成される。特定の構成では、カメラ座標系とロボット座標系との間の変換は、同次座標を使用して実行される。
)を、デバイス330の動作中にプローブ331を位置決めするためロボット333を制御する際にロボット制御回路408fによって使用されるロボット座標に変換するように構成される。特定の構成では、カメラ座標系とロボット座標系との間の変換は、同次座標を使用して実行される。
特定の構成では、位置合わせ回路408dは、カメラ座標とロボット座標との間の関係(例えば、4×4行列である座標変換行列)を格納する座標変換器クラスを格納する。例えば、一部の構成では、カメラ座標の位置は、3x1ベクトル(例えば、
)として表され、位置合わせ回路408dは、1の値を持つ4番目の座標を追加することによって3x1カメラ座標を同次座標表現に変換するように構成される(例えば、[x、y、z]は、[x、y、z、1]になる)。更なる構成では、位置合わせ回路408dは、同次座標で表されたカメラ座標ベクトルに格納された座標変換行列を乗算して、均一なロボット座標ベクトルを取得するように構成される。一部の構成では、カメラ座標のロボット座標への変換を容易にする座標変換行列は、次の形式になる。
特定の構成では、Rは、カメラ座標系とロボット座標系の間で方向の変更を適用するための3x3回転行列であり、tは、ロボット座標系の原点とカメラ座標系の間の変換である(例えば、ロボット座標系の3x1ベクトルとして表される)。一部の構成では、逆座標変換行列は、ロボット座標をカメラ座標に変換するのに利用することができる。従って、一部の構成では、位置合わせ回路408dは、ロボット333の作業空間の原点とカメラ332の原点との間の既知の空間的関係を利用して、カメラ332に対する位置をロボット333に対する位置に変換するように構成される。更なる構成では、位置合わせ回路408dは、追加の境界制限を適用して、基準の検出位置が実際の使用のためのロボット333の作業空間の原点に対する位置の合理的な範囲に入ることを保証するように構成される。一部の構成では、検出された基準は、基準が適切に検出されたことを確認するためにオペレーターに表示される。例えば、前処理された画像(例えば、画像500a)及びバイナリ画像(例えば、画像500b)のうちの1又は2以上が出力デバイス404によって表示することができる。幾つかの例では、基準に対応する選択された輪郭は、オペレーターに表示される前処理された画像に重ねられる。例えば、図5Aに示されるような基準502a及び502bは、オペレーターが基準502a及び502bに対応する輪郭を容易に見ることができ、502a、及び502bが正しく認識されるように、基準502a、及び502bを目立たせ、基準502a、及び502b、などの輝度を調整することにより基準502a及び502bを強調するグラフィカル状態に表示することができる。入力デバイス402は、オペレーターが基準502a及び502bが正しく認識されていることを確認し、選択された輪郭を却下することを可能にするユーザインタラクティブ要素(例えば、ソフトスイッチ、ボタン、ダイヤルなど)を提供することができる。オペレーターがユーザインタラクティブ要素を介して、基準502a及び502bを確認したことを決定することに対応して、コントローラ408(例えば、位置合わせ回路408d)は、説明された方法でデバイス330の動作中に、プローブ331を位置決めするためのロボット333を制御するときに、ロボット制御回路408fによって使用されるカメラ座標をロボット座標に変換するように構成される。オペレーターがユーザインタラクティブ要素を介して輪郭を却下したと決定することに対応して、本明細書で説明したような基準検出方法が再実行できる。
)として表され、位置合わせ回路408dは、1の値を持つ4番目の座標を追加することによって3x1カメラ座標を同次座標表現に変換するように構成される(例えば、[x、y、z]は、[x、y、z、1]になる)。更なる構成では、位置合わせ回路408dは、同次座標で表されたカメラ座標ベクトルに格納された座標変換行列を乗算して、均一なロボット座標ベクトルを取得するように構成される。一部の構成では、カメラ座標のロボット座標への変換を容易にする座標変換行列は、次の形式になる。
特定の構成では、Rは、カメラ座標系とロボット座標系の間で方向の変更を適用するための3x3回転行列であり、tは、ロボット座標系の原点とカメラ座標系の間の変換である(例えば、ロボット座標系の3x1ベクトルとして表される)。一部の構成では、逆座標変換行列は、ロボット座標をカメラ座標に変換するのに利用することができる。従って、一部の構成では、位置合わせ回路408dは、ロボット333の作業空間の原点とカメラ332の原点との間の既知の空間的関係を利用して、カメラ332に対する位置をロボット333に対する位置に変換するように構成される。更なる構成では、位置合わせ回路408dは、追加の境界制限を適用して、基準の検出位置が実際の使用のためのロボット333の作業空間の原点に対する位置の合理的な範囲に入ることを保証するように構成される。一部の構成では、検出された基準は、基準が適切に検出されたことを確認するためにオペレーターに表示される。例えば、前処理された画像(例えば、画像500a)及びバイナリ画像(例えば、画像500b)のうちの1又は2以上が出力デバイス404によって表示することができる。幾つかの例では、基準に対応する選択された輪郭は、オペレーターに表示される前処理された画像に重ねられる。例えば、図5Aに示されるような基準502a及び502bは、オペレーターが基準502a及び502bに対応する輪郭を容易に見ることができ、502a、及び502bが正しく認識されるように、基準502a、及び502bを目立たせ、基準502a、及び502b、などの輝度を調整することにより基準502a及び502bを強調するグラフィカル状態に表示することができる。入力デバイス402は、オペレーターが基準502a及び502bが正しく認識されていることを確認し、選択された輪郭を却下することを可能にするユーザインタラクティブ要素(例えば、ソフトスイッチ、ボタン、ダイヤルなど)を提供することができる。オペレーターがユーザインタラクティブ要素を介して、基準502a及び502bを確認したことを決定することに対応して、コントローラ408(例えば、位置合わせ回路408d)は、説明された方法でデバイス330の動作中に、プローブ331を位置決めするためのロボット333を制御するときに、ロボット制御回路408fによって使用されるカメラ座標をロボット座標に変換するように構成される。オペレーターがユーザインタラクティブ要素を介して輪郭を却下したと決定することに対応して、本明細書で説明したような基準検出方法が再実行できる。
一部の構成では、検索パラメータ回路408eは、デバイス330の走査動作中に、最適な走査開始位置の特定を含む、検索パターン及びプローブ331の走査経路を生成するように構成される。検索パラメータ回路408eは、検索パターン及び経路の生成において、上記の通り、位置合わせ回路408dによって決定された許容可能なロボットの作業空間を利用する。特定の構成では、検出された基準の位置は、プローブ331の検索領域を制限し、検索を誘導するための基準として検索パラメータ回路408eによって受信される。一部の構成では、検索パラメータ回路408eは、デバイス330の動作中にプローブ331の位置決め及び移動経路に関してロボット制御回路408fに命令し、ロボット制御回路408fが対応する制御信号をロボット333に物理的にプローブ331を制御するために送信することができるようにする。
要約すれば、様々な構成では、解剖学的に関係のある位置に取り付けられた基準を有する被験者の頭部は、ヘッドセットシステムに収容され、被験者の頭部の1又は2以上の画像が取り込まれる。画像処理は、基準を検出するために利用される。一部の構成では、検出された基準は、基準の検出された位置が正しいことを確認するためにオペレーターに表示される。カメラ座標における基準の位置は、ロボットの作業空間内のロボット座標で決定され、検索パラメータは、基準の位置を利用してプローブの移動を制限し(例えば、ロボットの作業空間内の特定の領域を避ける)、作業空間内の最適な位置を選択し、プローブによる走査を開始する。
従って、様々な構成では、本明細書に説明されるヘッドセットシステムを位置合わせするためのシステム及び方法は、被験者の解剖学的構造(例えば、眼角及び耳珠)に対するロボットプローブの位置合わせを可能にする。一部の構成では、本明細書に説明されるシステムと方法は、走査の準備でヘッドセットシステムの準備時間を短縮するが、プローブが解剖学的に関係のある位置で走査するのを一貫して誘導することにより、プローブの反復可能で正確な位置決めにより走査の精度を高める。更に、本明細書に説明されるシステム及び方法は、被験者の解剖学的構造に対するヘッドセットシステムの動きを明確に制限することにより、ヘッドセットシステムの安全性を高める(例えば、プローブが目の角から前方の位置を超えて移動するのを防ぐことにより)。
更なる構成では、ヘッドセットシステムを位置合わせするシステム及び方法は、プローブによって走査された信号がロボット作業空間内のロボット座標におけるプローブの現在の位置に基づいて、生じることから決定することができる。例えば、プローブの現在の位置に基づいて、システムは、プローブが脳の中大脳動脈(MCA)から生じる信号を取り込むことを決定することができる。
他の構成によると、上記の通り、被験者の頭部に位置決めされた基準の画像を捕らえて画像を処理する代わりに、ヘッドセットシステム内の被験者の頭部を位置合わせする他のシステム及び方法を用いることができる。一例として、一部の構成では、カメラからの距離は、所定の値として確立することができる(例えば、あたかも既知の距離で平坦な表面を撮像するかのように)。例えば、カメラからの距離は、オペレーターによって入力できる。このため、オペレーターは、カメラで取り込まれた画像上の1又は2以上のポイントを単に選択でき、システムは、カメラからの所定の距離に基づいて1又は2以上の座標のうちの各々のロボット座標を決定することができる。
他の構成では、ヘッドセットシステム内で被験者の頭部を位置合わせするシステム及び方法は、マシンビジョンを実装して、被験者の頭部の解剖学的に重要な目印(例えば、眼角及び耳珠)の位置を自動的に検出する。例えば、マシンビジョンは、機械学習技術を利用して、被験者の頭部の様々な画像を分析し、解剖学的に重要な目印を特定するシステムをトレーニングできる。人間のオペレーターによって決定した画像及び対応する結果(例えば、特定された目印)を含むトレーニングセットは、人工知能(例えば、AI)をトレーニングし、解剖学的に重要な目印を特定するために使用することができる。コントローラ408は、被験者の身体部分の画像を受け入れ、特定された解剖学的に重要な目印を出力する分類器を実装するのに使用することができる。更に他の構成では、システムは、立体映像が被験者の頭部の位置の距離を決定する際に、実装されるように(例えば、2つの異なる、且つ物理的に分離したカメラによる単一ポイントの画像を撮影することで)、ヘッドセットシステムの片側に複数のカメラ(例えば、2台)を含む。特定の構成では、単一のカメラに取り付けられた位置決めステージは、立体映像を実装するためにポイントの複数の画像を撮影するために利用することができる(例えば、単一のカメラは、第1の画像を撮り、位置決めステージがカメラを移動させ、更に同じカメラが第2の画像を撮影する)。一部の構成では、位置決めステージを使用する代わりに、単一のカメラは、カメラが立体映像を実装するために動き回る(例えば、プローブに沿って)ことができるように走査デバイスのロボットに取り付けられる。
図7は、様々な構成による被験者に対するヘッドセットシステム(例えば、図1のヘッドセットシステム100、及び/又は図4のヘッドセット位置合わせシステム400)のプローブ(例えば、図1A及び図2Bのプローブ131、及び/又は図3A−図4のプローブ331)を位置合わせするための例示的な方法700を示すフローチャート図である。図1A〜図7を参照すると、710で、被験者の画像データ(例えば、1又は2以上の画像)は、説明された方法で1又は2以上のカメラ(例えば、カメラ332)によって取り込まれる。720で、コントローラ408は、説明された方法で取り込まれた画像データを使用して、被験者上に置かれた1又は2以上の基準マーカー(例えば、基準502a及び502b)を検出するように構成される。730で、コントローラ408は、説明された方法で検出された基準マーカーに基づいて被験者に対するプローブを位置合わせするように構成される。被験者の側面が方法700のための重要な身体部分として説明されているが(例えば、カメラ332は、710で被験者の側面の画像を取り込まれ、画像は、720及び730に対して説明された方法で位置合わせのために分析される)、方法700は、被験者の任意の適切な身体部分に対して実装することができる。例えば、カメラ332は、任意の適切な身体部分に位置決めされ、及び/又は移動することができ、その身体部分の画像は、カメラ332によって取り込まれ、本明細書で説明された方法で分析することができる。
図8は、様々な構成による基準ペア(例えば、基準502a及び502b)を決定するための例示的な方法800を示すフローチャート図である。図1A〜図8を参照すると、方法800は、一対の基準が被験者の頭部の側面上に置かれると仮定して、一対の基準(例えば、基準502a及び502b)がブロック720で検出することができる例示的な方法である。
810で、コントローラ408(例えば、画像処理回路408c)は、候補領域を特定するように構成される。マシンビジョンに関わる幾つかの例では、候補領域(例えば、候補楕円領域)c1、c2、…、cnは、異なる視点から所定の被験者頭部の側面の2つの画像を入力として受け入れる最大安定極値領域(MSER)アルゴリズムを使用して特定することができる。MSERアルゴリズムは、画像内の楕円領域を検出するために使用することができる。説明されているように、単一のカメラは、異なる視点からの所定の被験者の頭部の側面の2つの画像を撮影するために移動することができる。これとは別に、異なる位置(異なる視点)にある2台のカメラは、それぞれが被験者の頭部の側面の画像を撮影することができる。
幾つかの例では、各候補領域は、それぞれの候補領域を構成するピクセルのリストによって表すことができる。幾つかの例では、各候補領域は、適切な適合アルゴリズムを使って取得された楕円によって近似することができる。一部の候補領域が基準に対応している。他の候補領域は、画像の背景、又は被験者の顔の光の反射によって形成されたアーティファクトに対応する。
820で、コントローラ408(例えば、画像処理回路408c)は、特定された候補領域を候補領域ペアに分類するように構成され、各候補領域ペアは、2つの候補領域を含む。 例えば、候補領域のうちの組み合わせの全ての順列を決定することができる。
830で、コントローラ408(例えば、画像処理回路408c)は、候補領域ペアの特徴を決定するように構成される。特徴は、ペア内の各個人の候補領域の特徴、又はペアの相対的な特性を示す相対的な特徴であり得る。一部の構成では、各候補領域(例えば、各候補楕円領域)は、位置、サイズ、形状(偏心)、画像強度、及び局所テクスチャの1又は2以上で特徴付けることができる。位置は、本明細書で説明されるピクセル座標値(u、v)で表される画像500a、及び/又は500bにおける基準の位置を指す。サイズは、候補領域に適合する楕円の総面積を指す。離心率とは、候補領域に適合する楕円の2つの軸の長さの比率を指す。強度は、幾つかの例では、平均値を使用して決定された候補領域内の強度分布を指し、これとは別の例では、候補領域内の強度分布は、ヒストグラムを使用して決定することができる。ヒストグラムの作成では、全てに同じ制限(最小値と最大値など)があり、その正規化は、候補領域内のピクセルに適用される。画像内の各候補領域のヒストグラムが生成され、これらのヒストグラムは、全て同じ制限がある。幾つかの例では、候補領域に対応する楕円を囲む強度は、説明した方法で平均値、又はヒストグラムを使用して説明することができる。楕円を囲む外側の領域は、内側の楕円の外側の境界及び175%にスケーリングされたそのコピーに基づく楕円リングによって定めることができる。つまり、楕円の内側の強度に加えて、内部長軸及び短軸の楕円環、又はリングの強度は、楕円領域の長軸及び短軸にそれぞれ等しい。外側の長軸及び短軸は、楕円領域の長軸及び短軸の175%、それぞれに等しい。幾つかの例では、基準の理想的な形状は、真円である。カメラの視点及び被験者の頭部の位置/方向を考えると、画像500a、及び/又は500bに楕円形として真円が表示される可能性がある。形状記述子(例えば、一般的な形状記述子、形状コンテキスト記述子など)は、楕円形状から候補領域がどれだけ近いかを撮るのに使用することができる。局所テクスチャは、組織記述子を使用して表される候補領域の外観を指す。幾つかの例では、画像勾配が、例えば、限定ではないが、迅速なロバスト機能(SURF)など、適切な技術を使用してヒストグラムとして要約することができる、候補領域に対応する楕円内で画像勾配が抽出される。
2つの基準(例えば、基準502a、及び502b)が患者の頭部に置かれる例では、2つの基準は、カメラによって取り込まれた任意の画像内に存在すると仮定することができる(カメラが適切に位置決めされている場合)。2つの候補領域間の関係を示す特徴は、候補領域のペアが2つの基準になることができるかどうかを決定するのに使用することができる。例えば、2つの候補領域、又はそれに対応する2つの楕円の間の空間的関係は、基準とアーティファクトを区別するのに使用することができる。相対位置とは、2つの候補領域間の距離と勾配を指す。
840で、コントローラ408(例えば、画像処理回路408c)は、候補領域ペアの各々が被験者に置かれた基準に対応する確率を決定するように構成される。850で、コントローラ408(例えば、画像処理回路408c)は、基準である最も高い確率を有する候補領域ペアを選択するように構成される。
確率的フレームワークは、限定ではないが、位置、サイズ、形状、画像強度、局所テクスチャ、及び空間的関係のうちの1又は2以上など、特徴に基づいた基準として候補領域のペアを選択することを確立することができる。例えば、特徴は、限定ではないが、Fi、j←[featuresi、featuresj、及びfiectionij]の形など、候補領域の各ペア(ci、cj)に対する特徴ベクトルで説明することができる。featuresijという用語は、限定ではないが、2つの候補領域間の空間的な関係(距離及び/又は勾配の点で)など、相対的な特徴を指す。featuresiという用語は、候補領域ペアの第1の候補領域の特徴(例えば、位置、サイズ、形状、画像強度、及び局所テクスチャのうちの1又は2以上)を指す。featuresjという用語は、候補領域ペアの第2の候補領域の特徴(例えば、位置、サイズ、形状、画像強度、及び局所的テクスチャのうちの1又は2以上)を指す。
特徴(位置、サイズ、形状、画像強度、局所テクスチャ、及び空間的関係)の各々の加重は、機械学習を使用して決定することができる。例えば、画像処理回路408c(AIを実装)が特徴のそれぞれに割り当てられた加重を学習できるように、手動でラベル付けトレーニングセット(例えばデータ例)を提供することができる。各個人の特徴の確率的マッピングは、機械学習に基づいて決定することができる。各特徴の値は、確率モデルによってマッピングされ、特徴が確率に関してどのくらい基準に属する可能性があるかを表す値を出力する。次に、例えば、回帰モデルを使用して、候補領域の各ペアの最終的な予測スコアを決定するために、全ての特徴(個々の特徴と相対的な特徴)の確率が組み合わせられる。最も高いスコアのペアが選択される。
一部の構成では、各所定の特徴の確率モデルの例は、平均μ及び標準偏差σが実際の基準のデータ例から推定されるガウス分布モデルとすることができる。
換言すると、トレーニングセットのデータ例は、μ及びσを決定するために使用することができる。例えば、μ及びσは、トレーニングセットの当該特徴の平均とトレーニングセットの標準偏差である。
換言すると、トレーニングセットのデータ例は、μ及びσを決定するために使用することができる。例えば、μ及びσは、トレーニングセットの当該特徴の平均とトレーニングセットの標準偏差である。
他の例では、ガウス分布モデルの代わりに、カーネル密度推定(KDE)が、所定の各特徴の確率的モデルとして使用することができる。
幾つかの例では、候補領域ペアの全体的な確率は、各特徴(個別又は相対的)の確率を結合(例えば、乗算)することにより決定することができる。
幾つかの例では、全ての特徴が正しい予測に等しく貢献しない可能性がある。従って、特徴は、例えば回帰法を使用して、加重され得る。一例では、加重が実際の身体的にテストされた例のラベル付き領域の例及びトレーニングデータセットから推定される、リッジ回帰モデルが実装され得る。他の例では、カーネルリッジ回帰がリッジ回帰の代わりに使用することができる。
方法700及び800は、被験者の頭部の側面の画像(例えば、画像500a及び500b)を参照して説明されているが、方法700及び800は、限定ではないが、被験者の顔の前面(例えば、被験者の頭部の超音波信号を取得するため)、胸部(例えば、心臓の超音波信号を取得するため)、胴体(例えば、様々な器官の超音波信号を取得するため)、四肢(例えば、四肢の血流の超音波信号を取得するため)など、被験者の他の身体部分に対して実装することができる。
基準(例えば、基準502a及び502b)は、被験者の解剖学的特徴の特定を容易にするために使用するように説明されているが、解剖学的特徴は、任意の基準を使用することなく特定することができる。例えば、カメラ332は、被験者の身体部分の画像を(任意の基準が取り付けられることなく)取り込むことができる。コントローラ408(例えば、画像処理回路408c)は、適切な画像処理及び画像認識技術(例えば、マシンビジョン)を使用して取り込まれた画像を処理し、関心のある解剖学的特徴の身体部分として画像に取り込まれたオブジェクトを特定することができる。
他の構成では、限定ではないが、構造光、飛行時間用カメラ、飛行時間用センサー、赤外線センサーなど、位置合わせプロセス中に、被験者の頭部の領域の走査デバイスからの距離を位置付け、及び検出するための任意の他の適切な技術、又はデバイスを実装することができる。例えば、一部の構成では、サーマルカメラは、被験者の適切な走査領域(例えば、一時的な窓)の直接可視化が取得されるように、被験者の頭部の赤外線画像を撮影するために利用される。
一部の構成では、本明細書に説明されたシステム100及び400は、限定ではないが、針誘導、血管内超音波法(例えば、血管の検査、血流特性、血栓特定、塞栓症のモニタリングなど)、心エコー図、腹部超音波検査(例えば、膵臓、大動脈、下大静脈、肝臓、胆嚢、胆管、腎臓、脾臓、虫垂、直腸部などの画像化)、婦人科超音波検査(例えば、子宮、卵巣、卵管などの骨盤内臓器の検査)、産科超音波検査、耳鼻咽喉科超音波検査(例えば、甲状腺のイメージング(腫瘍や病変など)、リンパ節、唾液腺、など)、新生児の超音波検査(例えば、乳児の頭蓋骨の軟点、出血、脳室肥大、水頭症、無酸素性傷害などによる脳内構造異常の評価)、眼科的処置(例えば、A−スキャン超音波バイオメトリクス、B−スキャン超音波検査など)、呼吸器使用(例えば、気管支内超音波(EBUS))、泌尿器科手技(例えば、被験者の膀胱に保持された体液量の測定、イメージング骨盤内臓器(子宮、卵巣、膀胱、前立腺、睾丸など)、及び腎結石の検出)、陰嚢超音波検査(例えば、精巣痛の評価、固形腫瘤の特定など)、筋骨格処置(例えば、腱、筋肉、神経、靭帯、軟部組織塊、骨表面などの検査)、骨折超音波検査、筋障害性疾患の検査、除脂肪体重の推定、筋肉の質の代理測定(例えば、組織構成)、腎機能検査(例えば、腎超音波検査)など、他の診断超音波検査と併用して使用される。
一部の構成では、本明細書で説明されるシステム100及び400は、限定ではないが、高強度集束超音波(HIFU)、集束超音波手術(FUS)、磁気共鳴誘導集束超音波(MRgFUS)、砕石術(例えば、腎臓結石、胃石、胆石などの破壊)、標的超音波薬物送達、経皮超音波薬物送達、超音波止血、がん療法、超音波支援血栓溶解、歯科衛生(例えば、歯のクリーニング)、水晶体超音波乳化吸引術、アブレーション(腫瘍、又は他の組織の例)、音響標的薬物送達(ATDD)、薬物のトリガー放出(例えば、抗がん剤)、超音波臓器治療(硬化療法、静脈内レーザー治療、脂肪吸引術など)など、治療用超音波検査と併用して使用される。一部の構成では、超音波は、皮膚表面下の組織の刺激(例えば、例として約800,000Hz〜2,000,000Hzなどの非常に高い周波数音波の使用による)、筋骨格系疾患の超音波曝露による治療(例えば、靭帯の捻挫、筋緊張、腱炎、関節炎、足底筋膜炎、中足骨痛、椎間関節刺激、衝突症候群、滑液包炎、関節リウマチ、変形性関節炎、瘢痕組織の癒着など)を含むが、これに限定されない、理学療法用途に使用される。
「高速で保持」、「装着」、「取り付け」、「結合」、「固定」、「接続」、「固定」などを含む上記で使用される用語は、同義的に使用される。更に、特定の構成は、第2の要素に「結合」(又は「取り付け」、「接続」、「固定」など)される第1の要素を含むように説明されたが、第1の要素は、第2の要素に直接的に結合することができ、又は第3の要素を介して第2の要素に間接的に結合することができる。
前述の説明は、任意の当業者が本明細書で説明される様々な態様を実行できるようにするために提供される。これらの態様に対する様々な修正は、当業者には見てすぐ分かるものであり、本明細書で定められる一般的な原理は、他の態様に適用することができる。従って、特許請求の範囲は、本明細書に示される態様に限定されることを意図しているものではなく、言語の請求項と一致する全範囲が認められるものであり、単数形の要素への引用は、特にそのように規定がない限り、「唯一」を意味することを意図しているものではなく、むしろ「1又は2以上」を意味する。特に別の規定のない限り、「一部」という用語は、1又は2以上を指す。通常の当業者に知られているか、又は後に知られるようになる前述の説明全体にわたって説明される様々な態様の要素に対する、全ての構造的、且つ機能的等価物は、引用により明示的に本明細書に組み込まれ、請求項により網羅されることを意図している。更に、本明細書に開示されているものは、このような開示が特許請求の範囲に明確に列挙されていても、いなくとも、公衆に捧げられることを意図していない。要素が「手段」という語句を使用して明確に列挙されていない限り、請求項要素は、手段に機能を加えて解釈されるべきではない。
開示されたプロセスにおけるステップの特定の順序、又は階層は、例示的なアプローチの例であることが理解される。設計の好みに基づいて、プロセスのステップの特定の順序、又は階層は、前述の説明の範囲内にとどまりながら再配置することができることが理解される。特許請求範囲に添付の方法は、サンプルの順序で様々なステップの要素を提示し、提示された特定の順序、又は階層に限定されることはあり得ない。
開示された実装の前述の説明は、任意の当業者が開示された主題を作成、又は使用することを可能にするように提供される。これらの実装に対する様々な修正は、当業者には容易に明らかであり、本明細書で定められる一般的な原理は、前述の説明の精神、又は範囲から逸脱することなく他の実装に適用することができる。従って、前述の説明は、本明細書に示される実装に限定されることを意図するものではなく、本明細書に開示される原理、及び新規の特徴と一致する最も広い範囲と認められるものである。
図示、及び説明された様々な例は、特許請求の範囲の様々な特徴を示すための例としてのみ提供される。しかしながら、任意の所定の例に対して示され、説明された特徴は、必ずしも関連する例に限定されるものではなく、示され、説明された他の例と使用、又は組み合わせることができる。更に、特許請求の範囲は、何れかの例によって限定されることを意図していない。
前述の方法の説明、及びプロセスフロー図は、単に例示的な例として提供されており、様々な例のステップが提示された順序で実行されなければならないことを要求、又は暗示することを意図していない。当業者の一人によって理解されるように、前述の例におけるステップの順序は、任意の順序で実行することができる。「その後」、「その時」、「次へ」などの言葉は、ステップの順序を制限することを意図するものではなく、これらの言葉は、単に方法の説明を通じて読者を誘導するために使用される。更に、例えば、冠詞「a」、「an」又は「the」を使用した単数形の請求項要素への言及は、要素を単数形に限定するものとして解釈されるものではない。
本明細書で開示される例に関連して説明される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピューターソフトウェア、又は両方の組み合わせとして実装することができる。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な実例となる構成要素、ブロック、モジュール、回路、及びステップが、それらの機能に関して一般的に上記で説明されてきた。このような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定のアプリケーション及びシステム全体に課される設計上の制約事項に依存する。当業者は、特定のアプリケーションごとに説明した機能を様々な方法で実装することができるが、このような実装の決定は、本開示の範囲からの逸脱を引き起こすものとして解釈されるべきではない。
本明細書で開示される例と関連して説明される、様々な例示的ロジック、論理ブロック、モジュール、及び回路を実装するために使用されるハードウェアは、汎用プロセッサ、DSP、ASIC、FPGA、又は他のプログラム可能論理回路、個別のゲート、又はトランジスタロジック、個別のハードウェア構成要素、又は本明細書で説明する機能を実行するように設計されたそれらの任意の組み合わせで実装、又は実行することができる。汎用プロセッサは、マイクロプロセッサとなる可能性があるが、別の方法では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又は状態機械となる可能性がある。プロセッサは、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと併用した1又は2以上のマイクロプロセッサ、又は任意の他のこのような構成として実装することもできる。これとは別に、幾つかのステップ又は方法は、所定の機能に固有のものである回路によって実行することができる。
幾つかの例示的な例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装することができる。ソフトウェアに実装する場合、機能は、非一時的なコンピューター可読記憶媒体又は非一時的なプロセッサ可読記憶媒体上の1又は2以上の命令又はコードとして格納することができる。
本明細書で開示される方法、又はアルゴリズムのステップは、非一時的なコンピューター可読又はプロセッサ可読記憶媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュールで具現化することができる。非一時的なコンピューター可読又はプロセッサ可読記憶媒体は、コンピューター、又はプロセッサによってアクセスすることができる任意の記憶媒体であり得る。限定ではなく例として、このような非一時的なコンピューター可読又はプロセッサ可読記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROM、又は他の光ディスク記憶デバイス、磁気ディスク記憶デバイス、又は命令又はデータ構造の形で所望のプログラムコードを格納するために使用され、コンピューターによってアクセスすることができる任意の他の媒体を含むことができる。本明細書で使用される円板及びディスクは、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスク、及びディスクがレーザーで光学的にデータを再生する間にディスクが通常、磁気的にデータを再生する、ブルーレイディスクを含む。上記の組み合わせも、非一時的なコンピューター可読及びプロセッサ可読媒体の範囲内に含まれる。更に、方法又はアルゴリズムの動作は、コンピュータープログラム製品に組み込むことができる非一時的なプロセッサ可読記憶媒体及び/又はコンピューター可読記憶媒体上のコード、及び/又は命令の1つ又は任意の組み合わせ又はセットとして存在することができる。
本明細書で開示される方法、又はアルゴリズムのステップは、非一時的なコンピューター可読又はプロセッサ可読記憶媒体上に存在し得るプロセッサ実行可能ソフトウェアモジュールで具現化することができる。非一時的なコンピューター可読又はプロセッサ可読記憶媒体は、コンピューター、又はプロセッサによってアクセスすることができる任意の記憶媒体であり得る。限定ではなく例として、このような非一時的なコンピューター可読又はプロセッサ可読記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ、CD−ROM、又は他の光ディスク記憶デバイス、磁気ディスク記憶デバイス、又は命令又はデータ構造の形で所望のプログラムコードを格納するために使用され、コンピューターによってアクセスすることができる任意の他の媒体を含むことができる。本明細書で使用される円板及びディスクは、コンパクトディスク(CD)、レーザーディスク(登録商標)、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスク、及びディスクがレーザーで光学的にデータを再生する間にディスクが通常、磁気的にデータを再生する、ブルーレイディスクを含む。上記の組み合わせも、非一時的なコンピューター可読及びプロセッサ可読媒体の範囲内に含まれる。更に、方法又はアルゴリズムの動作は、コンピュータープログラム製品に組み込むことができる非一時的なプロセッサ可読記憶媒体及び/又はコンピューター可読記憶媒体上のコード、及び/又は命令の1つ又は任意の組み合わせ又はセットとして存在することができる。
開示された例の前述の説明は、任意の当業者が本開示を作成、又は使用することができるように提供される。これらの例に対する様々な修正は、当業者には容易に明らかであり、本明細書に定められる一般的な原理は、本開示の精神、又は範囲から逸脱することなく幾つかの例に適用することができる。従って、本開示は、本明細書に示される例に限定されるのを意図するものではなく、以下の特許請求の範囲及び本明細書に開示された原理及び新規の特徴と一致する最も広い範囲と認められることを意図する。
100 ヘッドセットシステム
110 ヘッドクレードル
120 拘束システム
130 デバイス
131 プローブ
140 取り付け機構
110 ヘッドクレードル
120 拘束システム
130 デバイス
131 プローブ
140 取り付け機構
Claims (31)
- トランスデューサーと、
被験者の画像データを取り込むように構成されたカメラと、
取り込まれた前記画像データを使用して前記被験者上に置かれた1又は2以上の基準マーカーを検出し、
検出された前記基準マーカーに基づいて前記被験者に対して前記トランスデューサーを位置合わせする、ように構成されたコントローラと、
を備える、ヘッドセットシステム。 - 前記トランスデューサーが、超音波トランスデューサーであることを特徴とする、請求項1に記載のヘッドセットシステム。
- 前記被験者に対して前記トランスデューサーを位置決めするように構成されたロボットを更に備え、前記コントローラは、前記被験者上での前記トランスデューサーの動作に合わせて前記トランスデューサーを位置決めし、前記トランスデューサーの動作中に前記トランスデューサーの作業空間を1又は2以上の境界に制限することにより前記トランスデューサーを位置合わせするように構成されることを特徴とする、請求項1に記載のヘッドセットシステム。
- 前記画像データは、前記被験者上に配置された前記1又は2以上の基準マーカーを取り込むことを特徴とする、請求項1に記載のヘッドセットシステム。
- 前記1又は2以上の基準マーカーの各々が、光を反射することができる再帰反射材料を有することを特徴とする、請求項4に記載のヘッドセットシステム。
- 前記1又は2以上の基準マーカーの各々が、再帰反射材料と比較してより少ない光を反射する材料から作られた境界を有することを特徴とする、請求項5に記載のヘッドセットシステム。
- 前記1又は2以上の基準マーカーの各々が、固定のサイズ、形状、及び設計を有することを特徴とする、請求項4に記載のヘッドセットシステム。
- 前記コントローラは、前記画像データから1又は2以上のバイナリ画像を生成することにより、前記取り込まれた画像データを分析するように構成されることを特徴とする、請求項1に記載のヘッドセットシステム。
- 前記1又は2以上のバイナリ画像のうちの少なくとも1つは、閾値ベースのバイナリ画像であり、前記コントローラは、前記画像データの各ピクセル値を所定の閾値を超えて第1の値に設定し、前記画像データの各ピクセル値を前記所定の閾値を下回る第2の値に設定することにより、前記閾値ベースのバイナリ画像を生成することを特徴とする、請求項8に記載のヘッドセットシステム。
- 前記1又は2以上のバイナリ画像の少なくとも1つは、エッジ検出ベースのバイナリ画像であることを特徴とする、請求項8に記載のヘッドセットシステム。
- 前記コントローラが、
前記1又は2以上のバイナリ画像の輪郭を検出し、
前記検出された輪郭から基準輪郭を選択し、該基準輪郭が、前記画像データが取り込まれている間に前記被験者に配置された前記基準マーカーの輪郭である、
ように構成されることを特徴とする、請求項8に記載のヘッドセットシステム。 - 真円の面積対周囲比とは異なる面積対周囲比を有する前記輪郭の各々が却下されることを特徴とする、請求項10に記載のヘッドセットシステム。
- 所定の範囲の値の外にある面積を有する輪郭の各々が却下されることを特徴とする、請求項10に記載のヘッドセットシステム。
- 前記1又は2以上のバイナリ画像は、閾値ベースのバイナリ画像及びエッジ検出ベースのバイナリ画像を備え、前記検出された輪郭の少なくとも1つは、前記閾値ベースのバイナリ画像及び前記エッジ検出ベースのバイナリ画像の両方に存在し、前記検出された輪郭の少なくとも1つが前記基準輪郭として選択されることを特徴とする、請求項10に記載のヘッドセットシステム。
- 前記コントローラは、前記カメラの光学パラメータ及び前記基準マーカーの各々の所定のサイズに基づいて、前記基準マーカーの各々の位置を決定するように構成されることを特徴とする、請求項10に記載のヘッドセットシステム。
- 前記コントローラは、前記基準マーカーの各々の位置が所定範囲内に入ることを決定するように構成されることを特徴とする、請求項14に記載のヘッドセットシステム。
- 前記コントローラは、前記取り込まれた画像データに基づいて、前記被験者上に置かれた前記1又は2以上の基準マーカーのカメラ座標を決定し、前記カメラ座標をロボット座標に変換することによって、前記取り込まれた画像データを分析するように構成されており、前記コントローラは、前記ロボット座標に基づいて前記トランスデューサーを位置合わせするように構成されることを特徴とする、請求項1に記載のヘッドセットシステム。
- 前記コントローラは、前記検出された1又は2以上の基準マーカーに基づいて、許容可能なロボット作業空間を決定するように構成され、前記トランスデューサーの走査経路を前記許容可能なロボットの作業空間に基づいて決定することを特徴とする、請求項1に記載のヘッドセットシステム。
- 前記1又は2以上の基準マーカーは、2つの基準マーカーを備え、前記コントローラは、前記画像データを使用して候補領域を特定し、前記候補領域を候補領域ペアに分類して、前記候補領域ペアの各候補領域ペアの特徴を決定することによって、前記1又は2以上の基準マーカーを検出するように構成されることを特徴とする、請求項1に記載のヘッドセットシステム。
- 前記コントローラは、前記候補領域ペアの各々が前記2つの基準に対応する確率を決定し、前記2つの基準が存在する前記最も高い確率を有する前記候補領域ペアの1つを選択することにより、前記1又は2以上の基準マーカーを検出するように構成されることを特徴とする、請求項18に記載のヘッドセットシステム。
- 前記候補領域は、最大安定極値領域(MSER)アルゴリズムによって特定され、前記画像データは、異なる視点からの前記被験者の側面の2つの画像を備える、請求項18に記載のヘッドセットシステム。
- 前記特徴は、前記候補領域ペアの各々における各候補領域の位置、サイズ、偏心度、画像強度、及び局所テクスチャを含むことを特徴とする、請求項18に記載のヘッドセットシステム。
- 前記特徴は、前記候補領域ペアの各々における候補領域間の空間的関係を含むことを特徴とする、請求項18に記載のヘッドセットシステム。
- デバイスを更に備え、
前記デバイスが、本体と、前記本体によって収容された前記トランスデューサーと、前記本体によって収容された前記カメラとを備え、
前記カメラは、前記本体に対して移動して、前記被験者の画像データを取り込むように構成されることを特徴とする、請求項1に記載のヘッドセットシステム。 - 前記カメラは、前記本体から延びるように構成されることを特徴とする、請求項23に記載のヘッドセットシステム。
- 前記カメラは、前記本体に剛体的に装着されていることを特徴とする、請求項23に記載のヘッドセットシステム。
- 前記カメラは、前記本体に対して枢動、回転、又はシフトするように構成されることを特徴とする、請求項23に記載のヘッドセットシステム。
- 前記カメラは、前記被験者上に光を放出して前記カメラが前記被験者の1又は2以上の画像を撮影することを可能にするように構成された照明光源を備えることを特徴とする、請求項23に記載のヘッドセットシステム。
- 前記カメラは、前記被験者の側面の第1の画像を第1の位置から撮影し、前記第1の位置とは異なる第2の位置から前記被験者の前記側面の第2の画像を撮影するように構成されることを特徴とする、請求項23に記載のヘッドセットシステム。
- 被験者に対してヘッドセットシステムのトランスデューサーを位置合わせする方法であって、
前記被験者の画像データを取り込むステップと、
前記取り込まれた画像データを使用して、前記被験者上に置かれた1又は2以上の基準マーカーを検出するステップと、
前記検出された基準マーカーに基づいて、前記被験者に対して前記トランスデューサーを位置合わせするステップと、
を含む、方法。 - コンピューター可読命令を有する非一時的なコンピューター可読媒体であって、前記非一時的なコンピューター可読媒体が実行された時に、
被験者の画像データを取り込むように構成し、
取り込まれた前記画像データを使用して、前記被験者上に置かれた1又は2以上の基準マーカーを検出し、
検出された前記基準マーカーに基づいて、前記被験者に対してトランスデューサーを位置合わせする、
ことによって、ヘッドセットシステムのプロセッサに前記ヘッドセットシステムのトランスデューサーを位置合わせさせる、非一時的なコンピューター可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762558804P | 2017-09-14 | 2017-09-14 | |
US62/558,804 | 2017-09-14 | ||
PCT/US2018/051207 WO2019055865A1 (en) | 2017-09-14 | 2018-09-14 | SYSTEMS AND METHODS FOR ALIGNING A HEADSET SYSTEM |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020534051A true JP2020534051A (ja) | 2020-11-26 |
Family
ID=63714163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020513740A Pending JP2020534051A (ja) | 2017-09-14 | 2018-09-14 | ヘッドセットシステムを位置合わせするためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10616473B2 (ja) |
EP (1) | EP3681400B1 (ja) |
JP (1) | JP2020534051A (ja) |
CN (1) | CN111093513A (ja) |
WO (1) | WO2019055865A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7190552B1 (ja) * | 2021-11-05 | 2022-12-15 | 株式会社ダイヘン | ロボット教示システム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11589836B2 (en) * | 2016-01-05 | 2023-02-28 | Novasignal Corp. | Systems and methods for detecting neurological conditions |
JP2020530324A (ja) | 2017-08-11 | 2020-10-22 | ニューラル アナリティクス、インコーポレイテッド | 動的ヘッドセット装置 |
US20190209127A1 (en) | 2018-01-11 | 2019-07-11 | Neural Analytics, Inc. | Systems and methods for vascular mapping |
USD883486S1 (en) * | 2018-11-05 | 2020-05-05 | Neural Analytics, Inc. | Image device housing |
WO2020167983A2 (en) * | 2019-02-14 | 2020-08-20 | Neural Analytics, Inc. | Systems and methods for modular headset system |
CN112733840A (zh) * | 2020-12-28 | 2021-04-30 | 歌尔光学科技有限公司 | 耳机定位方法、终端设备及存储介质 |
CN113838001B (zh) * | 2021-08-24 | 2024-02-13 | 内蒙古电力科学研究院 | 基于核密度估计的超声波全聚焦图像缺陷处理方法及装置 |
US20230166129A1 (en) * | 2021-11-29 | 2023-06-01 | Attune Neurosciences, Inc. | Head-wearable devices for positioning ultrasound transducers for brain stimulation |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7231063B2 (en) * | 2002-08-09 | 2007-06-12 | Intersense, Inc. | Fiducial detection system |
JP4876056B2 (ja) * | 2007-11-16 | 2012-02-15 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
WO2009085204A2 (en) * | 2007-12-23 | 2009-07-09 | Oraya Therapeutics, Inc. | Methods and devices for detecting, controlling, and predicting radiation delivery |
WO2010067267A1 (en) | 2008-12-09 | 2010-06-17 | Philips Intellectual Property & Standards Gmbh | Head-mounted wireless camera and display unit |
US9700276B2 (en) * | 2012-02-28 | 2017-07-11 | Siemens Healthcare Gmbh | Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update |
EP4140414A1 (en) * | 2012-03-07 | 2023-03-01 | Ziteo, Inc. | Methods and systems for tracking and guiding sensors and instruments |
US9561387B2 (en) * | 2012-04-12 | 2017-02-07 | Unitversity of Florida Research Foundation, Inc. | Ambiguity-free optical tracking system |
CA2870480A1 (en) * | 2012-04-13 | 2013-10-17 | Lightcraft Technology Llc | Hybrid precision tracking |
WO2014055966A1 (en) * | 2012-10-05 | 2014-04-10 | Irobot Corporation | Robot management systems for determining docking station pose including mobile robots and methods using same |
WO2015130124A1 (ko) * | 2014-02-28 | 2015-09-03 | 주식회사 엠에스피 | 헬멧형 저강도 초음파 집속 자극장치 및 시스템 |
US20160030001A1 (en) * | 2014-03-31 | 2016-02-04 | Stuart Stein | Helmet Apparatus and System with Carotid Collar Means On-Boarded |
CA2944783A1 (en) * | 2014-04-10 | 2015-10-15 | Anki, Inc. | Generating and decoding machine-readable optical codes with aesthetic component |
US11589836B2 (en) * | 2016-01-05 | 2023-02-28 | Novasignal Corp. | Systems and methods for detecting neurological conditions |
WO2018026738A1 (en) * | 2016-08-01 | 2018-02-08 | Bhaskar Ramamurthy | Ultrasound guided opening of blood-brain barrier |
KR101850801B1 (ko) * | 2016-09-05 | 2018-04-23 | 한국과학기술연구원 | Mri 장치 내에서 이용되는 초음파 자극 장치 |
WO2018169235A1 (ko) * | 2017-03-16 | 2018-09-20 | 주식회사 뉴로소나 | 의료용 헤드 기어 및 이를 포함하는 경두개 초음파 전달 장치 |
US20180296093A1 (en) * | 2017-04-17 | 2018-10-18 | Yince Loh | Apparatus and Method for Diagnosing Vessel Occlusion |
-
2018
- 2018-09-14 US US16/132,068 patent/US10616473B2/en active Active
- 2018-09-14 JP JP2020513740A patent/JP2020534051A/ja active Pending
- 2018-09-14 EP EP18780002.4A patent/EP3681400B1/en active Active
- 2018-09-14 WO PCT/US2018/051207 patent/WO2019055865A1/en unknown
- 2018-09-14 CN CN201880059811.5A patent/CN111093513A/zh active Pending
-
2020
- 2020-04-01 US US16/837,651 patent/US11190677B2/en active Active
-
2021
- 2021-11-29 US US17/537,060 patent/US11683577B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7190552B1 (ja) * | 2021-11-05 | 2022-12-15 | 株式会社ダイヘン | ロボット教示システム |
TWI807990B (zh) * | 2021-11-05 | 2023-07-01 | 日商達誼恆股份有限公司 | 機器人示教系統 |
Also Published As
Publication number | Publication date |
---|---|
EP3681400A1 (en) | 2020-07-22 |
US20190082098A1 (en) | 2019-03-14 |
CN111093513A (zh) | 2020-05-01 |
US11683577B2 (en) | 2023-06-20 |
US20200228702A1 (en) | 2020-07-16 |
US20220224827A1 (en) | 2022-07-14 |
WO2019055865A1 (en) | 2019-03-21 |
US11190677B2 (en) | 2021-11-30 |
EP3681400B1 (en) | 2021-07-21 |
US10616473B2 (en) | 2020-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11683577B2 (en) | Systems and methods for registering headset system | |
RU2492884C2 (ru) | Способ и устройство для отслеживания положения терапевтического ультразвукового преобразователя | |
US10055848B2 (en) | Three-dimensional image segmentation based on a two-dimensional image information | |
US11484287B2 (en) | Systems and methods for modular headset system | |
KR101572898B1 (ko) | 초음파 모듈 및 이를 구비하는 헬멧형 저강도 초음파 집속 자극장치 | |
US11647990B2 (en) | Implant assessment using ultrasound and optical imaging | |
CN105879244A (zh) | 一种术中图像引导放疗的模拟定位装置和方法 | |
EP3937755A1 (en) | Device and method for analyzing optoacoustic data, optoacoustic system and computer program | |
AU2023200901B2 (en) | Systems and methods for vascular mapping | |
CN116966450A (zh) | 一种聚焦超声无创消融装置、消融术前规划方法及系统 | |
JP6803239B2 (ja) | 手術トレーニングシステム | |
WO2022259256A1 (en) | Ultrasound probe | |
Chen et al. | External tracking devices and tracked tool calibration | |
JP6795744B2 (ja) | 医療支援方法および医療支援装置 | |
KR101923927B1 (ko) | 사용자 신체 맞춤형 트래커를 이용한 영상 정합 시스템 및 방법 | |
WO2004069045A1 (ja) | 眼球検査装置及び眼球検査方法 | |
KR102244287B1 (ko) | 신경을 감지하여 에너지를 조사하는 시술장치 | |
US20230015717A1 (en) | Anatomical scanning, targeting, and visualization | |
KR20230093921A (ko) | 초음파 변환기 위치 설정 장치, 초음파 변환기 위치 설정 프로그램 및 초음파 변환기 위치 설정 인공 지능 구현 방법 | |
WO2023049528A1 (en) | Anatomical scanning, targeting, and visualization |