JP2020089732A5

JP2020089732A5 -

Info

Publication number: JP2020089732A5
Application number: JP2019220120A
Authority: JP
Filing date: 2019-12-05
Publication date: 2023-12-06
Anticipated expiration: 2039-12-05

Description

開示の内容

顔認識を行うための方法が開示される。本方法は、位置合わせのために複数の標的位置を選択することを含む。位置合わせは、複数の標的位置の各々において行われ、各標的位置が位置合わせされると、複数の標的位置の各々において完了する。全ての標的位置の位置合わせが完了すると、システムに示される。

顔認識を行うためのシステムが開示される。本システムは、ワークステーションと、ワークステーションと通信するディスプレイと、患者の顔面に近接して配置される磁気放射器と、ワークステーションと通信する位置合わせプローブと、を含む。位置合わせプローブは、アクチュエータと、磁気放射器から磁気信号を受信して、磁気放射器に対する位置合わせプローブの空間内の位置を特定する磁波受信器と、を含む。位置合わせプローブは、人の顔上の複数の標的位置の各々において位置合わせが行われていることを示し、各標的位置が位置合わせされると、複数の標的位置の各々において位置合わせが完了したことを示し、全ての標的位置の顔の位置合わせが完了したことを示す。

顔認識を行うための位置合わせプローブが開示される。位置合わせプローブは、患者の顔に近接して配置される磁場放射器から磁気信号を受信して、前記磁気放射器に対する位置合わせプローブの空間内での位置を特定する磁波受信器と、アクチュエータと、を含む。位置合わせプローブは、人の顔上の複数の標的位置の各々において位置合わせが行われていることを示し、各標的位置が位置合わせされると、複数の標的位置の各々において位置合わせが完了したことを示し、全ての標的位置の顔の位置合わせが完了したことを示す。

より詳細な理解は、添付の図面と併せて実例として示される下記の説明文より得ることができる。
顔の位置合わせを行うための例示的なシステムの図である。顔の位置合わせを行うための例示的な従来の方法のフロー図である。図２の顔の位置合わせ方法において使用するための例示的な顔の画像である。図１のシステムにおいて使用するための例示的な位置合わせプローブ及び例示的な位置合わせ作動デバイスの図である。図４Ａの例示的な位置合わせプローブ及び例示的な位置合わせ作動デバイスの接合された図である。図４Ａ及び４Ｂの位置合わせ作動デバイスの下側斜視図である。図４Ａ及び４Ｂの例示的な位置合わせプローブ及び例示的な位置合わせ作動デバイスを用いる、顔の位置合わせを行うための例示的な方法のフロー図である。

本出願は、顔認識を行うための方法及び装置に関する。具体的には、本出願は、鼻腔拡張などの耳鼻咽喉（ear/nose/throat、ＥＮＴ）手術のために顔認識を行うための方法及び装置に関する。

一般に、人は、典型的には、８個程度の副鼻腔開口部（例えば、各側で、前頭洞、前篩骨洞、上顎洞、及び中篩骨洞）を有するが、開口部の数は人によって異なる。これらの副鼻腔開口部の各々には、直径が極めて小さい領域がある。したがって、何らかの理由で開口部が詰まった場合には、副鼻腔内からの排液が生じないおそれがある。このような場合には問題が生じ得る。例えば、粘液の蓄積により、感染などの様々な健康上の問題が生じ得る。

これらの問題に対処するために、副鼻腔拡張術などの医療手術を用いることができる。副鼻腔拡張術は、鼻道の径を増加させて、流体のより制限されない流れをもたらすことによって、鼻詰まりを緩和する技術である。副鼻腔拡張術は、膨張させることができるバルーンを含む、副鼻腔内に挿入される器具を使用して行われる。バルーンは、狭い副鼻腔開口部の中間に挿入されて拡張される。この拡張によって副鼻腔開口部に圧力が加えられ（例えば、副鼻腔の組織構造を再成形することによって）開口部が拡大される。開口部は、バルーンが取り出された後にもこの増加した径に維持され、流体の流れにより大きな鼻道がもたらされる。

鼻腔拡張術又は同様のＥＮＴ手術を行うには、手術を行う医師が鼻腔内の器具の位置を高い精度で知ることが重要である。医師は、患者の鼻腔の画像をディスプレイ画面上で視認し、画面上の器具の位置の画像を見ながら器具を操作することにより患者の実際の鼻腔内を移動する。患者の鼻腔内の器具の位置に関して不正確さがあると、医師が鼻腔に損傷を与え、かつ／又は鼻腔内の誤った場所に手術を行ってしまうおそれがある。したがって、画面上の器具の位置が、患者の実際の鼻腔内における実際の器具の位置に正確に一致することが非常に重要である。

医師が手術を行っている鼻腔内の位置を確実に正確に知ることができるようにするため、位置合わせ手順が行われる。この位置合わせ手順は、医師が、ディスプレイ画面上の画像と、その画像の患者の顔上の位置合わせ位置とを視認することを可能にする。位置合わせを行うためのシステム、装置、及び方法は、以下により詳細に説明されるが、簡潔に、表示される画像は、例えば、ＥＮＴ手術の前に撮影された、患者の頭部領域のコンピュータ断層撮影（computerized tomography、ＣＴ）スキャンによるものである。次いで、操作者（例えば、医師又は他の技術者）によって、患者の顔の様々な位置に配置された位置合わせプローブを使用して位置合わせが行われる。更に、患者の頭部は、磁場の中に置かれている。位置合わせプローブの位置は、表示されたＣＴスキャン上で位置合わせされる。

従来の位置合わせ技術では、操作者が位置合わせプローブで患者の顔の異なる領域に触れることを含む。しかしながら、従来の位置合わせ技術は、操作者が、標的位置として位置合わせされている各位置で位置合わせプローブを接続及び切断するための、又は位置合わせが完了したときを示すための、便利な方法を提供しない。

したがって、本明細書では、顔の位置合わせを行うための方法、装置、及びシステムが説明される。顔の位置合わせは、位置合わせシステムから位置合わせ器具を接続及び切断することができる操作者によって行われる。加えて、操作者は、位置合わせプロセスが完了したときを示すことができる。

図１は、顔の位置合わせを行うための例示的なシステム１００の図である。このシステムは、位置合わせプローブ１１０、磁場放射器１２０、ハブ１３０、ワークステーション１４０、ディスプレイ１５０、及び磁気ドライバ１６０を含む。位置合わせプローブ１１０及び磁場放射器１２０はまた、ワークステーション１４０に接続された磁気ドライバ１６０を介してハブ１３０に接続されてもよく、位置合わせプローブ１１０及び磁気放射器１２０の両方から信号を受信して、ワークステーション１４０に転送する。しかしながら、位置合わせプローブ１１０及び磁気ドライバ１６０は、ハブ１３０に信号を通さずに、ワークステーション１４０と直接通信してもよい。

ワークステーション１４０は、例えば、プロセッサ１４１、メモリ１４２、入出力（Ｉ／Ｏ）ドライバ１４３、及びストレージ１４４を含むが、これらは、ワークステーション１４０が、Ｉ／Ｏドライバ１４３を介して入力データ及び出力データを受信し、処理の必要に応じてストレージ１４４及び／又はメモリ１４３にデータを格納することを可能とする。ワークステーション１４０は、ディスプレイ１５０にも接続されている。ドライバ１６０は、患者の頭部Ｈの周囲に１つ又は２つ以上の磁場を放射するように磁気放射器１２０に接続されている。ディスプレイ１５０上に見られるように、標的Ｔを有する画像Ｓが表示される。標的Ｔは、患者の頭部Ｈに対する空間内の位置合わせプローブ１１０の現在の位置を示す。次いで、操作者は、画像Ｓ上の標的を見ることができ、ＥＮＴ手術において後に使用するために、患者の顔の領域を画像Ｓ上に位置合わせすることができる。磁場放射器１２０の位置は、例示的な目的で示されており、磁気画像を提供するために更なる領域に放射器１２０が配置され得ることに留意されたい。例えば、放射器１２０の一部は患者の頭部Ｈの下に配置され得るが、位置の精度を増加させるために複数の磁場発生器を含んでもよい。複数の磁場発生器を利用する場合、位置合わせプローブは、複数の磁場を位置合わせするように構成されるであろう。

位置合わせを行うため、位置合わせプローブ１１０は、患者の頭部Ｈ、より具体的には患者の顔に対して、位置合わせプローブ１１０を正確に配置することを可能にする構成要素を含んでいる。

図２は、顔の位置合わせを行うための例示的な従来の方法２００のフロー図である。ステップ２１０では、ＣＴスキャンがロードされ、表示される。例えば、図１を再び参照すると、メモリデバイスに予め捕捉され、かつロードされた又は電子的に送信されたＣＴスキャンファイルが、ワークステーション１４０にロードされて、画像Ｓとしてディスプレイ１５０上に表示される。

画像が表示されると、操作者は、位置合わせプローブで患者の顔の基準点に触れ、その標的位置を画像上で位置合わせする（ステップ２２０）。例えば、操作者は、図１のディスプレイ１５０に示された患者の顔のある領域に位置合わせプローブ１１０で触れる。

磁気モダリティ間の標的位置がＣＴスキャン上に表示される（ステップ２３０）。すなわち、コイル１１３が磁気放射器１２０から受信した磁場（複数可）に基づいて３次元空間内において位置合わせプローブ１１０が存在すると判定した位置が、ＣＴスキャン上に標的位置として表示される。次いで、この標的位置が位置合わせされる（ステップ２４０）。これは、位置合わせプローブ１１０が、コイル１１３によって検出された磁場に基づいて、ワークステーション１４０に位置合わせプローブ１１０の位置情報を送信することによって達成され得、ここで、ワークステーション１４０は、この位置を処理し、表示された画像上のどこにこの位置を重ねるかを判定する。

完全な位置合わせに十分な顔の位置が位置合わせされた場合（ステップ２５０）、次いで、従来の手術を行うために患者の顔の構造が完全に位置合わせされる（ステップ２６０）。ステップ２５０で位置合わせされた位置が十分でない場合、方法は、次いで、ステップ２２０に戻り、ここで、操作者は、ＥＮＴ手術を行うために患者の顔を完全に位置合わせするために患者の顔の十分に大きな部分をカバーするために、患者の顔の他の領域に触れ続ける。

図３は、図２の顔の位置合わせ方法において使用するための例示的な顔の画像である。例えば、図３の顔の画像は、図１の画像Ｓとすることができる。図３に見られるように、標的Ｔ（Ｔ_１、Ｔ_２、及びＴ_３とする）が実線の十字線で示される。方法２００のステップ２２０を再び参照すると、標的Ｔ_１は、操作者が触れた患者の顔上の第１の点に対応し、標的Ｔ_２は、操作者が触れた患者の顔上の第２の点に対応し、標的Ｔ_３は、操作者が触れた患者の顔上の第３の点に対応する。図３に示されるように、多数の鼻腔３１０もまた画像Ｓに見られる。

しかしながら、（例えば、ボタンをクリック及び解放することによって）患者の顔上の標的が触れられているとき、並びに位置合わせが完了し、患者の顔上の標的がこれ以上位置合わせされないであろうときを示す能力を医師に提供することによって、改善された位置合わせ性能を有することは有益であろう。加えて、医師は、ＥＮＴ手術を行うとき多数のデバイスで作業し、特定の器具（例えば、位置合わせプローブ吸引器具、ポインタ、ブレード、ナビゲーションデバイス、超音波チップ、又は他の可換性プローブ）がシステム１００に接続されている又は切断されていることをシステム１００に伝える改善された作動デバイスを提供することは有益であろう。

図４Ａは、図１のシステムで使用するための例示的な位置合わせプローブ１１０及び例示的な位置合わせ作動デバイス４１０の図４００Ａである。図４Ｂは、一緒に接続された図４Ａの例示的な位置合わせプローブ１１０及び例示的な位置合わせ作動デバイス４１０の図４００Ｂである。位置合わせプローブ１１０は、位置合わせプローブ１１０内の構成要素（例えば、放射器１２０によって放射される磁場を受信するコイル）を起動する位置合わせ起動ボタンＲを含む、陥凹領域を含む。

図４Ａ及び４Ｂを引き続き参照すると、位置合わせ起動デバイス４１０は、コネクタ４１１及びセンサユニット４１２を含む。ワイヤＷは、デバイス４１０をワークステーション１４０に（例えば、ハブ１３０を介して）接続して、デバイス４１０及びワークステーション１４０へ、及びそれらからデータを送信する。デバイス４１０は、矢印Ｃに沿って位置合わせプローブ１１０上に配置され、位置合わせプローブ１１０に取り付けられる。接続された位置合わせプローブ１１０及び位置合わせ起動デバイス４１０を図４Ｂに示す。

図５は、図４Ａ及び４Ｂの位置合わせ作動デバイス４１０の底面斜視図である。図５に示すように、センサユニット４１２の底部は、アクチュエータＡを含む。アクチュエータＡは、コネクタ４１１が押下されるとき、アクチュエータＡが起動ボタンＲを起動させ、また、後述する方法で使用するためにワイヤＷに沿ってワークステーション１４０に信号を送信させるように、位置合わせ起動ボタンＲと一致する。

図６は、図４Ａ及び４Ｂの例示的な位置合わせプローブ１１０及び例示的な位置合わせ作動デバイス４１０を用いる、顔の位置合わせを行うための例示的な方法６００のフロー図である。ステップ６１０において、操作者は、位置合わせ標的位置を選択し、その標的位置で患者の顔に触れる。例えば、図３を再び参照すると、操作者は、位置合わせのために標的位置Ｔ_１を選択してもよい。操作者は、次いで、ステップ６２０において、アクチュエータ（例えば、デバイス４１０のアクチュエータＡ）を押下し、これは、位置Ｔ_１が標的位置として位置合わせされていることをシステム１００に示す。標的位置位置合わせが完了していない場合（ステップ６３０）、操作者は、次いで、その標的位置についての位置合わせが完了するまでアクチュエータを押下し続ける（ステップ６４０）。

その標的位置での位置合わせが完了している場合（ステップ６３０）、操作者は、次いで、アクチュエータを解放し（ステップ６５０）、これは、その標的位置における位置合わせが位置合わせされたことをシステム１００に示す。次いで、ステップ６６０において、顔認識が完了しているかどうかが判定される。完了していない場合、次いで、方法は、ステップ６１０に戻り、更なる標的位置が位置合わせされる（例えば、Ｔ_２、Ｔ_３など）。顔の位置合わせがステップ６６０で完了している場合、操作者は、次いで、例えば、アクチュエータをダブルクリックすることなどによって、位置合わせの終了を示す（ステップ６７０）。

上述される方法、装置、及びシステムは、更なる改変を含むことができることに留意されたい。例えば、位置合わせプローブ（例えば、位置合わせプローブ１１０）、並びに互いに通信するシステム内の他の構成要素は、有線又は無線通信し得る。すなわち、互いに無線でデータを送信及び受信することができる送受信器及びアンテナをデバイス（例えば、位置合わせプローブ１１０及びシステム１００の他の構成要素）に組み込むことができる。また、位置合わせ作動デバイス４１０は、上述したような器具がアクチュエータＡを利用することによってシステムに接続されている、又は切断されていることをシステム１００に伝えるために利用され得ることにも留意されたい。

本方法は、汎用コンピュータ、プロセッサ、又はプロセッサコアにおいて実施することができる。好適なプロセッサとしては、例として、汎用プロセッサ、専用プロセッサ、従来型プロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと関連する１つ若しくは２つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Application Specific Integrated Circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array、ＦＰＧＡ）回路、任意の他の種類の集積回路（integrated circuit、ＩＣ）、及び／又は状態機械が挙げられる。このようなプロセッサは、処理されたハードウェア記述言語（hardware description language、ＨＤＬ）命令及びネットリスト等の他の中間データ（このような命令は、コンピュータ可読媒体に格納することが可能である）の結果を用いて製造プロセスを構成することにより、製造することが可能である。このような処理の結果はマスクワークであり得、このマスクワークをその後半導体製造プロセスにおいて使用して、本開示の特徴を実施するプロセッサを製造する。

本明細書に提供される方法又はフロー図は、汎用コンピュータ又はプロセッサによる実施のために非一時的コンピュータ可読ストレージ媒体に組み込まれるコンピュータプログラム、ソフトウェア、又はファームウェアにおいて実施することができる。非一時的コンピュータ可読ストレージ媒体の例としては、読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（random access memory、ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、磁気媒体、例えば、内蔵ハードディスク及びリムーバブルディスク、磁気光学媒体、並びに光学媒体、例えば、ＣＤ－ＲＯＭディスク及びデジタル多用途ディスク（digital versatile disk、ＤＶＤ）が挙げられる。

〔実施の態様〕
（１）位置合わせプローブを使用して顔の位置合わせを行うための方法であって、
位置合わせのために複数の標的位置を選択することと、
前記位置合わせプローブにより、前記複数の標的位置の各々において位置合わせが行われていることを示すことと、
前記位置合わせプローブにより、各標的位置が位置合わせされると、前記複数の標的位置の前記各々において位置合わせが完了したことを示すことと、
前記位置合わせプローブにより、全ての標的位置の前記顔の位置合わせが完了したことを示すことと、を含む、方法。
（２）前記複数の標的位置の各々において前記位置合わせが行われることを示すことが、前記位置合わせプローブ上のアクチュエータを押下することを含む、実施態様１に記載の方法。
（３）各標的位置が位置合わせされると、前記複数の標的位置の前記各々において前記位置合わせが完了したことを示すことが、前記アクチュエータを解放することを含む、実施態様２に記載の方法。
（４）前記全ての標的位置の前記顔の位置合わせが完了したことを示すことが、アクチュエータを複数回押下することを含む、実施態様１に記載の方法。
（５）前記複数の標的位置のうちの１つにおいて位置合わせが完了したことを示すと、前記標的位置が、コンピュータ断層撮影（ＣＴ）スキャン上に位置合わせされる、実施態様１に記載の方法。

（６）全ての標的位置の前記顔の位置合わせが完了したことを示すと、全ての標的位置が位置合わせされる、実施態様５に記載の方法。
（７）顔認識を行うためのシステムであって、
ワークステーションと、
前記ワークステーションと通信するディスプレイと、
患者の顔に近接して配置される磁気放射器と、
前記ワークステーションと通信する位置合わせプローブと、を備え、前記位置合わせプローブが、アクチュエータと、前記磁気放射器から磁気信号を受信して、前記磁気放射器に対する前記位置合わせプローブの空間内の位置を特定する磁波受信器と、を含み、前記位置合わせプローブが、
人の顔上の前記複数の標的位置の各々において位置合わせが行われていることを示すことと、
各標的位置が位置合わせされると、前記複数の標的位置の前記各々において位置合わせが完了したことを示すことと、
全ての標的位置の前記顔の位置合わせが完了したことを示すことと、を行うように構成されている、システム。
（８）前記ワークステーションが、前記患者の前記顔の基準画像上に表示するために前記ディスプレイに、相関させた標的位置を送信する、実施態様７に記載のシステム。
（９）前記基準画像が、前記患者の前記顔のコンピュータ断層撮影（ＣＴ）スキャンである、実施態様８に記載のシステム。
（１０）前記位置合わせプローブ及び前記ワークステーションが、互いに無線通信している、実施態様７に記載のシステム。

（１１）前記位置合わせプローブと前記ワークステーションとの間の通信を遂行するための、前記位置合わせプローブ及び前記ワークステーションと通信するハブデバイスを更に備える、実施態様７に記載のシステム。
（１２）前記ハブが、前記磁気放射器を駆動するドライバと通信している、実施態様１１に記載のシステム。
（１３）前記ワークステーションが、互いに通信するプロセッサ、メモリ、及びストレージ構成要素を更に備え、基準画像が、前記ディスプレイへの送信のために前記ワークステーションの前記メモリ内に格納される、実施態様７に記載のシステム。
（１４）前記磁気受信器が、前記磁波を受信するための前記位置合わせプローブ内に配設されたコイルである、実施態様７に記載のシステム。
（１５）前記位置合わせプローブは、前記アクチュエータが押下されるとき、人の顔上の前記複数の標的位置の各々において位置合わせが行われていることを示すように構成されている、実施態様７に記載のシステム。

（１６）前記位置合わせプローブは、前記アクチュエータが解放されるとき、各標的位置が位置合わせされると、前記複数の標的位置の前記各々において位置合わせが完了したことを示すように構成されている、実施態様１５に記載のシステム。
（１７）前記位置合わせプローブは、前記アクチュエータが複数回押下されるとき、全ての標的位置の前記顔の位置合わせが完了したことを示すように構成されている、実施態様７に記載のシステム。
（１８）顔認識システムと通信する位置合わせプローブであって、
患者の顔に近接して配置される磁気放射器から磁気信号を受信して、前記磁気放射器に対する前記位置合わせプローブの空間内の位置を特定する磁波受信器と、
アクチュエータと、を備え、
前記位置合わせプローブが、
人の顔上の前記複数の標的位置の各々において位置合わせが行われていることを示すことと、
各標的位置が位置合わせされると、前記複数の標的位置の前記各々において位置合わせが完了したことを示すことと、
全ての標的位置の前記顔の位置合わせが完了したことを示すことと、を行うように構成されている、位置合わせプローブ。
（１９）前記位置合わせプローブは、前記アクチュエータが押下されるとき、人の顔上の前記複数の標的位置の各々において前記位置合わせが行われていること、並びに前記アクチュエータが解放されるとき、各標的位置が位置合わせされると、前記複数の標的位置の前記各々において位置合わせが完了したことを示すように構成されている、実施態様１８に記載の位置合わせプローブ。
（２０）前記位置合わせプローブは、前記アクチュエータが複数回押下されるとき、全ての標的位置の前記顔の位置合わせが完了したことを示すように構成されている、実施態様１８に記載の位置合わせプローブ。